久久久久av_欧美日韩一区二区在线_国产精品三区四区_日韩中字在线

Discuz! 官方交流社區

標題: 如何屏蔽谷歌爬蟲搜索，及其它搜索爬蟲？ [打印本頁]

作者: klg548 時間: 2023-5-31 14:36
標題: 如何屏蔽谷歌爬蟲搜索，及其它搜索爬蟲？
如何屏蔽谷歌爬蟲搜索，及其它搜索爬蟲？有沒有什么插件可以控制的，爬蟲太平凡爬去給服務器好大壓力？

作者: 人工智能實驗室 時間: 2023-5-31 14:59
可以利用.htaccess設置搜索引擎屏蔽，例如：

SetEnvIfNoCase User-Agent "pyspider|Applebot|Apache-HttpClient|CCBot|Abonti|aggregator|AhrefsBot|YisouSpider|BLEXBot|DotBot|YandexBot|trendictionbot|MagiBot|Exabot|ScooperBot|YandexImages|SemrushBot|MJ12bot|startmebot|ltx71|DuckDuckGo|IndeedBot|SEOkicks|GrapeshotCrawler|crawler4j|Pinterestbot|StormCrawler|StormCrawler|paracrawl|StormCrawler|GrapeshotCrawler" bad_bot
Deny from env=bad_bot

復制代碼

不同的搜索引擎蜘蛛用豎線|分隔

作者: 人工智能實驗室 時間: 2023-5-31 15:01
上面的是常見的一些垃圾蜘蛛，可以拿來即用，谷歌對應的代碼為 Googlebot 可以自己添加進去！

作者: 手機之狼 時間: 2023-5-31 17:16

人工智能實驗室發表于 2023-5-31 15:01
上面的是常見的一些垃圾蜘蛛，可以拿來即用，谷歌對應的代碼為 Googlebot 可以自己添加進去！ ...

請問AspiegelBot代碼是什么？讓AspiegelBot騷擾的受不了。

作者: 文強 時間: 2023-5-31 18:14

手機之狼發表于 2023-5-31 17:16
請問AspiegelBot代碼是什么？讓AspiegelBot騷擾的受不了。

(, 下載次數: 8)

作者: qwexiamen 時間: 2023-6-2 10:50
robots.txt放根目錄你可以去搜下寫法比較簡單 User-agent: Googlebot Disallow: /

歡迎光臨 Discuz! 官方交流社區 (http://www.9999xn.com/)