怎么獲取動態地址

ysx24

論壇一些私密版塊存放存放備份一些個人日常數據，工資款項、工人數據、賊眉鼠眼的隔壁老王最近動向、富婆通訊錄以及邂逅可能性曲線圖…………島國雅蠛  ...
所以要求訪問權限很高，但會不會被引擎抓取到
Robots設置了禁止抓取論壇版塊，如：Disallow: /forum-149-1.html
是不是動態地址也需要進行設置？由于設置了偽靜態，怎么獲取動態地址

1 貢獻

最佳答案

robots.txt不是絕對可靠。各家引擎的支持程度會有不同情況的可能。
把搜索引擎當游客來對待，不希望他看到的，就用游客的手段去處理。比如加密碼才可見的帖子內容。

泄露隱藏的圖片此類可能性是有人可能把你的圖片地址直接引用到其他站點。別家站點被收錄的時候，你的圖片地址就可能被收錄下來了。
做一下防盜鏈能起一定作用。

• mingkong
• 發表于2022-9-21 14:59:36
• 詳細答案 >

天外飄仙

既然是私密, 游客肯定不允許訪問的, 不允許游客訪問的頁面 蜘蛛是無法抓取的……

mingkong

搜索引擎只能以游客身份抓取內容，所以，只要加密碼或者有權限才能訪問的，搜索引擎也訪問不了。
不過不排除里面的圖片因特別原因外漏，被搜索引擎收錄。

ysx24

天外飄仙 發表于 2022-9-21 07:31
既然是私密, 游客肯定不允許訪問的, 不允許游客訪問的頁面 蜘蛛是無法抓取的…… ...

感謝，那是不是說如果版塊或者看帖子要求登錄禁止游客瀏覽，或者帖子有閱讀權限要求，會影響seo

ysx24

mingkong 發表于 2022-9-21 11:08
搜索引擎只能以游客身份抓取內容，所以，只要加密碼或者有權限才能訪問的，搜索引擎也訪問不了。
不過不排 ...

蜘蛛會不會不遵守協議爬取內容，監管機構又是通過什么手段獲取「檢測」』到那些隱藏的違規內容
比如圖片視頻字眼等

mingkong

robots.txt不是絕對可靠。各家引擎的支持程度會有不同情況的可能。
把搜索引擎當游客來對待，不希望他看到的，就用游客的手段去處理。比如加密碼才可見的帖子內容。

泄露隱藏的圖片此類可能性是有人可能把你的圖片地址直接引用到其他站點。別家站點被收錄的時候，你的圖片地址就可能被收錄下來了。
做一下防盜鏈能起一定作用。

ysx24

那么如果全站文章或帖子都設置的需要登錄可見，是不是就是說全站的帖子都不會被蜘蛛爬到更不會被引擎抓取收錄到

mingkong

要看頁面title和頁面介紹是否也被限制了。用游客看看你的限制頁面，看看頁頭的SEO優化部分是否正常。