久久久久av_欧美日韩一区二区在线_国产精品三区四区_日韩中字在线
Discuz! 官方交流社區
標題:
搜索不遵守規則怎么辦
[打印本頁]
作者:
ysx24
時間:
2021-12-30 11:51
標題:
搜索不遵守規則怎么辦
弄了一個備份站點不對外開放，放損友們的游戲截圖游戲宏備份等，游戲友們內部使用（當然沒有學習日語的視頻，都是一群不正經的正經人）
并且在論壇根目錄下的
robots.txt 規則只有兩行
#
# robots.txt for Discuz! X3
#
User-agent: *
Disallow:/
復制代碼
禁止所有搜索引擎抓取，可谷歌蜘蛛還是時常來，是規則有問題么？
作者:
初錦
時間:
2021-12-30 14:09
(, 下載次數: 14)
上傳
點擊文件名下載附件
如果你是想要我這種效果，那很容易。如果想要蜘蛛不來，很難，人家憑什么不來？就因為你一紙空文就不來？人家不做生意了嗎？谷歌號稱全球最大流氓，你指望人家不來？
作者:
ysx24
時間:
2021-12-30 14:54
谷歌做為全球性大公司，不遵守robots君子協定，這倒有些意外
對了 你的robots能分享下么
作者:
老周部落
時間:
2021-12-30 21:18
User-Agent: *
Disallow: /
復制代碼
好像您的版本少了空格
另外 robots.txt 也不會完全避免采集，他還是會定期爬一下 robots.txt 的。
另外有的軟件防火墻會干掉 robots.txt 訪問，如果干掉的話也不能終止爬取。
作者:
ysx24
時間:
2021-12-31 05:02
老周部落 發表于 2021-12-30 21:18
好像您的版本少了空格
另外 robots.txt 也不會完全避免采集，他還是會定期爬一下 robots.txt 的。
改真是，少了個空格
歡迎光臨 Discuz! 官方交流社區 (http://www.9999xn.com/)
Powered by Discuz! X5.0
久久久久av_欧美日韩一区二区在线_国产精品三区四区_日韩中字在线
91丨porny丨最新
|
亚洲人成小说网站色在线
|
国产精品免费观看视频
|
国产高清无密码一区二区三区
|
91久久精品网
|
老司机精品视频导航
|
欧美亚洲国产怡红院影院
|
狠狠色综合日日
|
777久久久精品
|
不卡的av网站
|
中文文精品字幕一区二区
|
国产精品99一区二区
|
日韩毛片高清在线播放
|
中文精品一区二区三区
|
婷婷开心久久网
|
91成人在线精品
|
久久国产剧场电影
|
91精品国产色综合久久
|
国产不卡视频在线播放
|
精品国产成人系列
|
欧美久久成人
|
亚洲精品视频观看
|
免费亚洲视频
|
麻豆国产一区二区
|
91官网在线观看
|
精品一区在线看
|
精品欧美一区二区三区精品久久
|
欧美疯狂做受xxxx富婆
|
久久国产精品99久久久久久老狼
|
91福利在线观看
|
日本在线不卡一区
|
黄一区二区三区
|
欧美军同video69gay
|
另类欧美日韩国产在线
|
在线观看av一区二区
|
日韩不卡在线观看日韩不卡视频
|
色婷婷综合久久久久中文一区二区
|
婷婷久久综合九色综合绿巨人
|
老牛国产精品一区的观看方式
|
日韩专区在线视频
|
欧美性猛交xxxx黑人交
|
久久9热精品视频
|
欧美日韩一区中文字幕
|
久久精品国产亚洲一区二区三区
|
91精彩视频在线
|
久久国产综合精品
|
欧美日韩精品免费
|
国产成人在线视频网址
|
日韩一区二区三区电影在线观看
|
国产91综合网
|
久久亚洲精精品中文字幕早川悠里
|
99久精品国产
|
国产精品区一区二区三区
|
极品av少妇一区二区
|
欧美激情中文字幕一区二区
|
午夜天堂精品久久久久
|
椎名由奈av一区二区三区
|
国产一区二区三区成人欧美日韩在线观看
|
中文字幕制服丝袜成人av
|
精品不卡一区
|
亚洲亚洲精品在线观看
|
美女精品在线观看
|
激情成人综合网
|
精品久久久久一区二区国产
|
欧美日韩国产色综合一二三四
|
亚洲日本青草视频在线怡红院
|
久久国产精品亚洲77777
|
加勒比av一区二区
|
精品捆绑美女sm三区
|
亚洲午夜极品
|
亚洲成av人片
|
欧美巨大另类极品videosbest
|
亚洲一二三区在线
|
亚洲va欧美va人人爽
|
欧美精品高清视频
|
91丨国产丨九色丨pron
|
亚洲视频综合在线
|
色天天综合色天天久久
|
精品一区二区三区日韩
|
国产精品免费区二区三区观看
|
日本vs亚洲vs韩国一区三区二区
|
欧美一区二区视频免费观看
|
91理论电影在线观看
|
一区二区欧美国产
|
欧美在线观看禁18
|
av一区二区三区四区
|
亚洲欧美中日韩
|
久久一区国产
|
风间由美一区二区三区在线观看
|
欧美国产一区二区在线观看
|
亚洲一区日韩
|
韩国精品在线观看
|
亚洲国产成人私人影院tom
|
不卡一区二区三区四区
|
午夜伦欧美伦电影理论片
|
日韩女优av电影在线观看
|
亚洲午夜一区
|
美女性感视频久久
|
久久色视频免费观看
|
99在线观看免费视频精品观看
|
奇米影视一区二区三区小说
|
久久影院电视剧免费观看
|
国产一区二区三区黄
|
国产一区视频在线看
|
国产精品久久久久三级
|
一本一本大道香蕉久在线精品
|
黄页网站大全一区二区
|
国产精品视频免费看
|
色8久久人人97超碰香蕉987
|
成人动漫视频在线
|
亚洲成人一区在线
|
在线成人小视频
|
久久精品国产亚洲一区二区三区
|
中文无字幕一区二区三区
|
久久看片网站
|
eeuss鲁片一区二区三区在线观看
|
亚洲精品国产精品乱码不99
|
日韩一二在线观看
|
国产精品亚洲产品
|
不卡电影免费在线播放一区
|
亚洲成人免费电影
|
久久久久久久久久久久久久久99
|
色婷婷一区二区
|
国产一区日韩欧美
|
国内精品国产成人国产三级粉色
|
日韩视频一区
|
粉嫩aⅴ一区二区三区四区五区
|
亚洲精品免费在线
|
精品成人一区二区三区四区
|
一本到一区二区三区
|
韩日精品视频
|
福利电影一区二区三区
|
亚洲成人黄色影院
|
欧美国产成人在线
|
91麻豆精品国产自产在线
|
亚洲一区尤物
|
欧美三级网页
|
国产成人无遮挡在线视频
|
日韩专区一卡二卡
|
|精品福利一区二区三区
|
精品久久免费看
|
欧美日韩一区久久
|
在线观看视频免费一区二区三区
|
精彩视频一区二区
|
亚洲永久精品国产
|
国产精品美女久久久久久
|
欧美精品一区二区高清在线观看
|
久热精品在线
|
亚洲区欧美区
|
欧美福利视频
|
国产精品白丝jk白祙喷水网站
|
亚洲自拍偷拍av
|
欧美www视频
|
欧美日韩国产乱码电影
|
亚洲欧美日韩国产一区
|
激情综合网址
|
91免费版pro下载短视频
|
精品亚洲成a人
|
天堂影院一区二区
|
亚洲欧美视频一区
|
国产亚洲短视频
|
7777精品伊人久久久大香线蕉
|
91精品国产一区二区人妖
|
久久xxxx
|
99pao成人国产永久免费视频
|
99v久久综合狠狠综合久久
|
蜜臀av一区二区
|
亚洲制服欧美中文字幕中文字幕
|
久久久久久日产精品
|
可以看av的网站久久看
|
国产亚洲毛片在线
|
女人色偷偷aa久久天堂
|
成人国产精品免费网站
|
国产精品88888
|
极品少妇一区二区三区精品视频
|
日韩成人一级片
|
五月婷婷久久综合
|
亚洲午夜激情网页
|
一区二区三区四区乱视频
|
亚洲日穴在线视频
|
国产精品进线69影院
|
久久久久久亚洲综合
|
久久奇米777
|
久久久久国产精品麻豆ai换脸
|
色先锋久久av资源部
|
久久精品盗摄
|
另类激情亚洲
|
午夜亚洲福利在线老司机
|
国产欧美日韩
|
日韩网站在线
|
亚洲精品1区2区
|
欧美亚韩一区
|
亚洲综合日本
|
麻豆亚洲精品
|
久久国产99
|
色噜噜狠狠色综合欧洲selulu
|
噜噜噜在线观看免费视频日韩
|
亚洲一区中文
|
一区二区毛片
|
亚洲一区二区三区免费在线观看
|