久久久久av_欧美日韩一区二区在线_国产精品三区四区_日韩中字在线

Discuz! 官方交流社區(qū)

標(biāo)題: 搜索不遵守規(guī)則怎么辦 [打印本頁(yè)]
作者: ysx24    時(shí)間: 2021-12-30 11:51
標(biāo)題: 搜索不遵守規(guī)則怎么辦
弄了一個(gè)備份站點(diǎn)不對(duì)外開(kāi)放，放損友們的游戲截圖游戲宏備份等，游戲友們內(nèi)部使用（當(dāng)然沒(méi)有學(xué)習(xí)日語(yǔ)的視頻，都是一群不正經(jīng)的正經(jīng)人）
并且在論壇根目錄下的
robots.txt  規(guī)則只有兩行
  1. #
  2. # robots.txt for Discuz! X3
  3. #

  5. User-agent: *
  6. Disallow:/
復(fù)制代碼

禁止所有搜索引擎抓取，可谷歌蜘蛛還是時(shí)常來(lái)，是規(guī)則有問(wèn)題么？
作者: 初錦    時(shí)間: 2021-12-30 14:09
(, 下載次數(shù): 12)

如果你是想要我這種效果，那很容易。如果想要蜘蛛不來(lái)，很難，人家憑什么不來(lái)？就因?yàn)槟阋患埧瘴木筒粊?lái)？人家不做生意了嗎？谷歌號(hào)稱(chēng)全球最大流氓，你指望人家不來(lái)？


作者: ysx24    時(shí)間: 2021-12-30 14:54
谷歌做為全球性大公司，不遵守robots君子協(xié)定，這倒有些意外
對(duì)了  你的robots能分享下么
作者: 老周部落    時(shí)間: 2021-12-30 21:18
  1. User-Agent: *
  2. Disallow: /
復(fù)制代碼

好像您的版本少了空格

另外 robots.txt 也不會(huì)完全避免采集，他還是會(huì)定期爬一下 robots.txt 的。
另外有的軟件防火墻會(huì)干掉 robots.txt 訪問(wèn)，如果干掉的話也不能終止爬取。
作者: ysx24    時(shí)間: 2021-12-31 05:02
老周部落 發(fā)表于 2021-12-30 21:18
好像您的版本少了空格

另外 robots.txt 也不會(huì)完全避免采集，他還是會(huì)定期爬一下 robots.txt 的。

改真是，少了個(gè)空格



歡迎光臨 Discuz! 官方交流社區(qū) (http://www.9999xn.com/) Powered by Discuz! W1.0