如何屏蔽谷歌爬蟲(chóng)搜索，及其它搜索爬蟲(chóng)？

klg548

如何屏蔽谷歌爬蟲(chóng)搜索，及其它搜索爬蟲(chóng)？有沒(méi)有什么插件可以控制的，爬蟲(chóng)太平凡爬去給服務(wù)器好大壓力？

1 貢獻(xiàn)+1 金幣

最佳答案

可以利用.htaccess設(shè)置搜索引擎屏蔽，例如：

1. SetEnvIfNoCase User-Agent "pyspider|Applebot|Apache-HttpClient|CCBot|Abonti|aggregator|AhrefsBot|YisouSpider|BLEXBot|DotBot|YandexBot|trendictionbot|MagiBot|Exabot|ScooperBot|YandexImages|SemrushBot|MJ12bot|startmebot|ltx71|DuckDuckGo|IndeedBot|SEOkicks|GrapeshotCrawler|crawler4j|Pinterestbot|StormCrawler|StormCrawler|paracrawl|StormCrawler|GrapeshotCrawler" bad_bot
   
2. Deny from env=bad_bot

復(fù)制代碼

不同的搜索引擎蜘蛛用豎線(xiàn)|分隔

• 人工智能實(shí)驗(yàn)室
• 發(fā)表于2023-5-31 14:59:50
• 詳細(xì)答案 >

人工智能實(shí)驗(yàn)室

可以利用.htaccess設(shè)置搜索引擎屏蔽，例如：

1. SetEnvIfNoCase User-Agent "pyspider|Applebot|Apache-HttpClient|CCBot|Abonti|aggregator|AhrefsBot|YisouSpider|BLEXBot|DotBot|YandexBot|trendictionbot|MagiBot|Exabot|ScooperBot|YandexImages|SemrushBot|MJ12bot|startmebot|ltx71|DuckDuckGo|IndeedBot|SEOkicks|GrapeshotCrawler|crawler4j|Pinterestbot|StormCrawler|StormCrawler|paracrawl|StormCrawler|GrapeshotCrawler" bad_bot
   
2. Deny from env=bad_bot

復(fù)制代碼

不同的搜索引擎蜘蛛用豎線(xiàn)|分隔

人工智能實(shí)驗(yàn)室

上面的是常見(jiàn)的一些垃圾蜘蛛，可以拿來(lái)即用，谷歌對(duì)應(yīng)的代碼為 Googlebot 可以自己添加進(jìn)去！

手機(jī)之狼

人工智能實(shí)驗(yàn)室 發(fā)表于 2023-5-31 15:01
上面的是常見(jiàn)的一些垃圾蜘蛛，可以拿來(lái)即用，谷歌對(duì)應(yīng)的代碼為 Googlebot 可以自己添加進(jìn)去！ ...

請(qǐng)問(wèn)AspiegelBot代碼是什么？讓AspiegelBot騷擾的受不了。

文強(qiáng)

手機(jī)之狼 發(fā)表于 2023-5-31 17:16
請(qǐng)問(wèn)AspiegelBot代碼是什么？讓AspiegelBot騷擾的受不了。

qwexiamen

robots.txt放根目錄 你可以去搜下寫(xiě)法 比較簡(jiǎn)單 User-agent: Googlebot Disallow: /