久久久久av_欧美日韩一区二区在线_国产精品三区四区_日韩中字在线

請問Discuz系統默認的robots.txt會屏蔽Google抓取嗎?

2600 8 0提示:支持鍵盤翻頁<-左 右-> 品質 發表于 2023-6-18 09:43 帖子模式

robots.txt, 使用的是系統默認的內容 ,未曾調整過,但是通過Google搜索,會出現如下提示,請問這是怎么回事呢?謝謝! 系統自帶的robots.txt如下: # # robots.txt for Discuz! X3 # User-agent: * Allow: /data/a ... 查看全文

    組圖打開中,請稍候......

評論8個評論

卡卡北發表于  2023-7-11 10:13:38
User-agent: * 意思是允許所有種類的用戶訪問,它后面的Allow:和Disallow: 意思是,雖然我允許所有用戶訪問,但我還是給出一定的條件,用以下實例來解說:
Disallow: /data/ 意思是你不可以訪問/data/這個文件夾,但又有一句Allow: /data/attachment/ 意思是雖然我前面說你不可以訪問/data/這個文件夾,但是可以直接訪問/data/attachment/這個文件夾,意思是/data/文件夾下除/attachment/之外,別的文件夾不能訪問。
Discuz有償服務發表于  2023-7-9 20:08:56
耗子 發表于 2023-6-23 14:01
他遞交robots.txt  里面包含 Disallow  這個難道 不會屏蔽google抓取 這里定義的一些目錄嗎? ...

那些圖片附件、頭像、后臺地址等內容不需要被收錄,不影響帖子等正常頁面收錄,而且這個也不是針對google的,有問題的話所有搜索引擎都一樣
耗子發表于  2023-6-23 14:01:13

他遞交robots.txt  里面包含 Disallow  這個難道 不會屏蔽google抓取 這里定義的一些目錄嗎?
crx349發表于  2023-6-20 16:24:47
robots.txt
默認不會屏蔽搜索引擎 搜索不到只能說明 google搜索引擎沒收錄你站內容哦
湖中沉發表于  2023-6-20 07:43:35

會在哪里?你說說看……

很明顯默認robots.txt完全沒有對GG搜索單獨的屏蔽條目啊……
Discuz有償服務發表于  2023-6-19 23:24:29
不會
品質發表于  2023-6-19 22:26:32

謝謝回復!請問怎么調整呢?
耗子發表于  2023-6-18 10:57:37
會的



  • 關注公眾號
  • 有償服務微信
  • 有償服務QQ

手機版|小黑屋|Discuz! 官方交流社區 ( 皖ICP備16010102號 |皖公網安備34010302002376號 )|網站地圖|star

GMT+8, 2025-7-6 05:14 , Processed in 0.060516 second(s), 16 queries , Redis On.

Powered by Discuz! W1.0 Licensed

Cpoyright © 2001-2025 Discuz! Team.

關燈 在本版發帖
有償服務QQ
有償服務微信
返回頂部
快速回復 返回頂部 返回列表