久久久久av_欧美日韩一区二区在线_国产精品三区四区_日韩中字在线

Discuz! 官方交流社區

標題: 關于爬蟲問題，大佬有教的嗎？ [打印本頁]

作者: PandaKiller 時間: 2020-11-3 11:44
標題: 關于爬蟲問題，大佬有教的嗎？

百度經常抓
xxxx.cn/?1

而不是抓這種。。。
xxxx.cn/space-uid-1.html
xxxx.cn/space-username-“用戶名”.html

怎么辦哦。。這樣無所謂？還是？？
我沒有屏蔽加這個 Disallow: /space-*
新站。。

作者: allthebest 時間: 2020-11-4 04:16
地球人都知道，論壇要增加注冊用戶靠帖子，只有傻瓜才認為個人主頁、個人空間收錄最重要。

歡迎光臨 Discuz! 官方交流社區 (http://www.9999xn.com/)