關于爬蟲問題，大佬有教的嗎？

PandaKiller

百度經常抓
xxxx.cn/?1

而不是抓這種。。。
xxxx.cn/space-uid-1.html
xxxx.cn/space-username-“用戶名”.html

怎么辦哦。。 這樣無所謂？還是？？
我沒有屏蔽加這個 Disallow: /space-*   
新站。。

我知道答案 回答被采納將會獲得1 貢獻 已有1人回答

allthebest

地球人都知道，論壇要增加注冊用戶靠帖子，只有傻瓜才認為個人主頁、個人空間收錄最重要。