搜索不遵守規則怎么辦

ysx24

弄了一個備份站點不對外開放，放損友們的游戲截圖游戲宏備份等，游戲友們內部使用（當然沒有學習日語的視頻，都是一群不正經的正經人）
并且在論壇根目錄下的
robots.txt  規則只有兩行

1. #
   
2. # robots.txt for Discuz! X3
   
3. #
   
4. 
   
5. User-agent: *
   
6. Disallow:/
   

復制代碼

禁止所有搜索引擎抓取，可谷歌蜘蛛還是時常來，是規則有問題么？

初錦

如果你是想要我這種效果，那很容易。如果想要蜘蛛不來，很難，人家憑什么不來？就因為你一紙空文就不來？人家不做生意了嗎？谷歌號稱全球最大流氓，你指望人家不來？

ysx24

谷歌做為全球性大公司，不遵守robots君子協定，這倒有些意外
對了  你的robots能分享下么

老周部落

1. User-Agent: *
   
2. Disallow: /

復制代碼

好像您的版本少了空格

另外 robots.txt 也不會完全避免采集，他還是會定期爬一下 robots.txt 的。
另外有的軟件防火墻會干掉 robots.txt 訪問，如果干掉的話也不能終止爬取。

ysx24

老周部落 發表于 2021-12-30 21:18
好像您的版本少了空格

另外 robots.txt 也不會完全避免采集，他還是會定期爬一下 robots.txt 的。

改真是，少了個空格