久久久久av_欧美日韩一区二区在线_国产精品三区四区_日韩中字在线

返回列表 發帖
查看: 1434|回復: 2

[已解決] 屏蔽國外垃圾無用蜘蛛，防止大量抓取導致網站崩潰浪費帶寬

23

主題

36

回帖

63

積分

漸入佳境

貢獻
0 點
金幣
0 個
QQ
樓主
發表于 2023-11-1 12:40:17 | 只看樓主 |倒序瀏覽 |閱讀模式
屏蔽國外垃圾無用蜘蛛，防止大量抓取導致網站崩潰浪費帶寬

我參考這個帖子操作有些管用,分享給有這個方面的站長參考？
http://lieqiyi.com/forum.php?mod=viewthread&tid=1098&extra=page%3D1

1 貢獻

最佳答案

robot.txt部分流氓蜘蛛不遵守，主要還是靠服務器端去設置屏蔽掉部分來源即可
回復

使用道具 舉報

31

主題

5901

回帖

1萬

積分

應用開發者

貢獻
619 點
金幣
1444 個
QQ
沙發
發表于 2023-11-1 13:11:16 | 只看Ta
robot.txt部分流氓蜘蛛不遵守，主要還是靠服務器端去設置屏蔽掉部分來源即可
回復 贊

使用道具 舉報

23

主題

36

回帖

63

積分

漸入佳境

貢獻
0 點
金幣
0 個
QQ
板凳
 樓主| 發表于 2023-11-2 12:46:40 | 只看Ta
總算搞定垃圾蜘蛛爬蟲訪問問題，以前一天5-6萬垃圾爬蟲，搞得服務器內存和帶寬卡得要死？現在搞定了
回復 贊

使用道具 舉報

您需要登錄后才可以回帖 登錄 | 立即注冊

本版積分規則

  • 關注公眾號
  • 有償服務微信
  • 有償服務QQ

手機版|小黑屋|Discuz! 官方交流社區 ( 皖ICP備16010102號 |皖公網安備34010302002376號 )|網站地圖|star

GMT+8, 2025-9-18 16:03 , Processed in 0.082816 second(s), 36 queries .

Powered by Discuz! W1.0 Licensed

Copyright © 2001-2025 Discuz! Team.

關燈 在本版發帖
有償服務QQ
有償服務微信
 返回頂部
快速回復 返回頂部 返回列表