久久久久av_欧美日韩一区二区在线_国产精品三区四区_日韩中字在线

Discuz! 官方交流社區

標題: 請問如何禁谷歌和必應的蜘蛛搜索引擎 [打印本頁]

作者: amw123456789 時間: 2023-8-10 23:48
標題: 請問如何禁谷歌和必應的蜘蛛搜索引擎
必應每天都有幾千個爬行記錄，就是老爬個人資料

robots.txt我這樣寫對么，大佬幫糾正一下

#
# robots.txt for Discuz! X3
#

User-agent: *
Allow: /data/attachment/
Allow: /data/cache/
Allow: /uc_server/data/avatar/
Disallow: /api/
Disallow: /data/
Disallow: /source/
Disallow: /install/
Disallow: /template/default/
Disallow: /config/
Disallow: /uc_client/
Disallow: /uc_server/
Disallow: /admin.php
Disallow: /search.php
Disallow: /member.php
Disallow: /api.php
Disallow: /misc.php
Disallow: /connect.php
Disallow: /forum.php?mod=redirect*
Disallow: /forum.php?mod=post*
Disallow: /*?mod=misc*
Disallow: /*?mod=attachment*
Disallow: /*mobile=yes*
Disallow: */home
Disallow: */home.php?mod=spacecp*
Disallow: */home.php?mod=profile*

User-agent: Googlebot
Disallow: /

User-agent: bingbot
Disallow: /

User-agent: manbot
Disallow: /

作者: amw123456789 時間: 2023-8-11 09:45
11111111111

作者: dm360 時間: 2024-7-11 14:55
現在百度不給站長活路，bing還算友好了，。至少大部分站點的bing流量已經超越百度了。，你還禁止bing抓取

歡迎光臨 Discuz! 官方交流社區 (http://www.9999xn.com/)