discuz關于禁止SemrushBot等爬蟲的問題

chunge327

這兩天發現SemrushBot這個爬蟲爬的很頻繁  一分鐘能爬十來次
robot.txt中是這樣填寫的嗎

1. User-agent: MJ12bot
   
2. Disallow: /
   
3. User-agent: SemrushBot
   
4. Disallow: /

復制代碼

直接在robot尾部加的嗎？還是有什么其它的方法可以屏蔽掉這些垃圾爬蟲

我知道答案 回答被采納將會獲得1 貢獻 + 1 金幣 已有1人回答

babyfacer

你可以網上找一下這些蜘蛛的IP，連IP也屏蔽了【慎重，別搞錯了】