久久久久av_欧美日韩一区二区在线_国产精品三区四区_日韩中字在线

Discuz! 官方交流社區

標題: 如何屏蔽國外垃圾蜘蛛爬蟲服務器經常爬死機卡得很 [打印本頁]

作者: klg548 時間: 2025-8-13 00:28
標題: 如何屏蔽國外垃圾蜘蛛爬蟲服務器經常爬死機卡得很
如何屏蔽國外垃圾蜘蛛爬蟲服務器經常爬死機卡得很，帶寬10M就一個論壇程序，
重啟服務器后登陸網站快得很，過2小時后登陸網站就卡，查看日志分別就是這三爬蟲不停爬取網站。
WebMeUp Semrush  Other

措施1偽靜態

if ($http_user_agent ~* (SemrushBot|DotBot|HttpClient|MJ12bot|SemrushBot|Barkrowler|AhrefsBot|PetalBot|BLEXBot|Other|Semrush|WebMeUp|SM-G900P))
{
return 403;
}
措施2  robots.txt

User-agent: WebMeUp
Disallow: /

User-agent: Other
Disallow: /

User-agent: Semrush
Disallow: /

措施3服務器防火墻屏蔽IP

(, 下載次數: 6)

措施4  購買安全防御方面插件輔助
(, 下載次數: 4)

還是防不住這些爬蟲。WebMeUp Semrush  Other 馬牛馬牛啊  真邪門?望高手指點一下方法。謝謝

作者: 天外飄仙 時間: 2025-8-13 17:41
如果確定是垃圾蜘蛛的話, 直接用

if ($http_user_agent ~* (SemrushBot|DotBot|HttpClient|MJ12bot|SemrushBot|Barkrowler|AhrefsBot|PetalBot|BLEXBot|Other|Semrush|WebMeUp|SM-G900P))
{
return 403;
}

這樣的規則應該就可以了的, 如果屏蔽之后還沒大幅度好轉就是還有其他垃圾蜘蛛或者是垃圾ip再大量訪問

具體的要分析web日志才行;

當然, 如果沒有海外用戶, 可以直接屏蔽所有的海外ip, 你截圖的那個 ip地區訪問限制插件是可以通過關鍵字屏蔽海外的地區或國家的;

最節省資源的方法是: 分析web日志, 找出惡意訪問的ip , 然后使用防火墻攔截

作者: 文強 時間: 2025-8-13 20:22
如果你用的是 Apache ，偽靜態規則這樣寫可以阻止蜘蛛訪問

RewriteCond %{HTTP_USER_AGENT} SemrushBot [NC]
RewriteRule .* - [F,L]

復制代碼

作者: 湖中沉 時間: 2025-8-13 21:33
從根源上，最好是服務器nginx層面攔截，php層面再攔截，實際上已經消耗了大量資源了

歡迎光臨 Discuz! 官方交流社區 (http://www.9999xn.com/)