久久久久av_欧美日韩一区二区在线_国产精品三区四区_日韩中字在线

Discuz! 官方交流社區(qū)

標(biāo)題: 有什么插件能控制谷歌爬蟲抓去及其它爬蟲 [打印本頁]

作者: klg548 時間: 2023-7-27 12:45
標(biāo)題: 有什么插件能控制谷歌爬蟲抓去及其它爬蟲
有什么插件能控制谷歌爬蟲抓去及其它爬蟲，服務(wù)器壓力很大，CPU4內(nèi)存4G帶寬10經(jīng)常拉得滿滿，就是一個新建的論壇，

作者: 天外飄仙 時間: 2023-7-27 16:44
……你這是被人盯上了吧;
你這配置, 新建論壇蜘蛛抓取很難拉滿的! 新建論壇被蜘蛛抓的拉滿應(yīng)該高些才是

作者: 專家 時間: 2023-7-27 17:21
這根本不是小網(wǎng)站有能力解決的問題。辦法是有的，但難度很高。
大網(wǎng)站遇到了這種問題都得花不少功夫解決，還不一定能處理好。
可以參考以下文章，了解搜索引擎爬蟲的威力：
https://www.cnblogs.com/cmt/p/17254793.html
https://www.cnblogs.com/cmt/p/17270037.html
https://www.cnblogs.com/cmt/p/17353598.html

作者: klg548 時間: 2023-7-27 17:42

天外飄仙發(fā)表于 2023-7-27 16:44
……你這是被人盯上了吧;
你這配置, 新建論壇蜘蛛抓取很難拉滿的! 新建論壇被蜘蛛抓的拉滿應(yīng)該高些才 ...

主要是谷歌爬蟲太平凡啦？程序做了IP屏蔽，服務(wù)器上也做IP屏蔽，谷歌爬蟲換了IP段來平凡爬去？頭痛谷歌。搞我經(jīng)常做IP屏蔽。煩躁的很。。。。。。

作者: klg548 時間: 2023-7-27 17:42

專家發(fā)表于 2023-7-27 17:21
這根本不是小網(wǎng)站有能力解決的問題。辦法是有的，但難度很高。
大網(wǎng)站遇到了這種問題都得花不少功夫解決， ...

謝謝大神指引

歡迎光臨 Discuz! 官方交流社區(qū) (http://www.9999xn.com/)