【緊急】禁止國內(nèi)搜索引擎訪問自己網(wǎng)站，防止AI竊取你的勞動成果

myboss

這年頭，openAI人工智能的興起，什么GPTBot、百度文心一言、Kimi、阿里云天工AI、豆包、清華大學(xué)智譜清言、訊飛星火、騰訊混元....
他們都在訓(xùn)練大模型，投喂給這些人工智能人類的知識，這些知識哪里來？
通過爬蟲，沒事來你的網(wǎng)站，收集你的數(shù)據(jù)，卻不收錄你網(wǎng)站，更別提給流量了！
原本屬于你的流量都給別人了！
只有那些谷歌搜索、必應(yīng)搜索等國外搜索，公正些！
國內(nèi)，還是建議用戶采用 “必應(yīng)”

只允許谷歌搜索、必應(yīng)搜索爬蟲的robots

1. 
   
2. User-Agent: Googlebot
   
3. Allow: /
   
4. Disallow:
   
5. User-Agent: bingbot
   
6. Allow: /
   
7. Disallow:
   
8. 
   
9. User-Agent: *
   
10. Disallow: /
    
11. 自定義區(qū)
    

復(fù)制代碼

DZ論壇能用的robots

游客，如果您要查看本帖隱藏內(nèi)容請回復(fù)

知乎的robots文件分析解讀：
騰訊、搜狗、百度對知乎都有投資，所以，只保留了百度、搜狗。
北京智者天下科技有限公司為什么這樣做？還不是怕AI，保護(hù)自己的利益！
中小微企業(yè)、個人站長該怎么辦？
學(xué)知乎，把所有搜索引擎都屏蔽了，只保留給流量的搜索引擎。
建議只保留必應(yīng)，Google，剩下的搜索引擎不公正，捧他們也沒啥用。
3和Q大戰(zhàn)，說明什么？
國內(nèi)都是明著、暗里斗爭的！
有沒有覺得，你是暗里斗爭的犧牲品？
明著意思是打著收錄優(yōu)秀網(wǎng)站的幌子，其實就是間接打壓其他人。
不收錄，能省搜索引擎的服務(wù)器資源，還有巨大的利益，把流量都引導(dǎo)自己家的網(wǎng)站，什么知道、什么百科、什么貼吧等，
看看谷歌作為搜索一哥，從不搞這些花花腸子，把自家服務(wù)置頂，更是沒有谷歌知道、谷歌百科等侵犯站長利益的網(wǎng)站。
必應(yīng)搜索也是，為什么他們都那么公正，是因為國外反競爭法很嚴(yán)格。
國內(nèi)沒指望了，那些3、百等公司都是跟上面有合作的，兼職紅客， 負(fù)責(zé)防御工作，要不怎么跟美國斗網(wǎng)絡(luò)？
缺人才，滴哄著來，狠了，就跑美國了！

以下是知乎的robots文件：

1. User-agent: Baiduspider-news
   
2. Disallow: /appview/
   
3. Disallow: /login
   
4. Disallow: /logout
   
5. Disallow: /resetpassword
   
6. Disallow: /terms
   
7. Disallow: /search
   
8. Allow: /search-special
   
9. Disallow: /notifications
   
10. Disallow: /settings
    
11. Disallow: /inbox
    
12. Disallow: /admin_inbox
    
13. Disallow: /*?guide*
    
14. 
    
15. User-agent: Baiduspider
    
16. Disallow: /appview/
    
17. Disallow: /login
    
18. Disallow: /logout
    
19. Disallow: /resetpassword
    
20. Disallow: /terms
    
21. Disallow: /search
    
22. Allow: /search-special
    
23. Disallow: /notifications
    
24. Disallow: /settings
    
25. Disallow: /inbox
    
26. Disallow: /admin_inbox
    
27. Disallow: /*?guide*
    
28. 
    
29. User-agent: Baiduspider-render
    
30. Disallow: /appview/
    
31. Disallow: /login
    
32. Disallow: /logout
    
33. Disallow: /resetpassword
    
34. Disallow: /terms
    
35. Disallow: /search
    
36. Allow: /search-special
    
37. Disallow: /notifications
    
38. Disallow: /settings
    
39. Disallow: /inbox
    
40. Disallow: /admin_inbox
    
41. Disallow: /*?guide*
    
42. 
    
43. User-agent: Baiduspider-image
    
44. Disallow: /appview/
    
45. Disallow: /login
    
46. Disallow: /logout
    
47. Disallow: /resetpassword
    
48. Disallow: /terms
    
49. Disallow: /search
    
50. Allow: /search-special
    
51. Disallow: /notifications
    
52. Disallow: /settings
    
53. Disallow: /inbox
    
54. Disallow: /admin_inbox
    
55. Disallow: /*?guide*
    
56. 
    
57. User-agent: Sogou web spider
    
58. Disallow: /appview/
    
59. Disallow: /login
    
60. Disallow: /logout
    
61. Disallow: /resetpassword
    
62. Disallow: /terms
    
63. Disallow: /search
    
64. Allow: /tardis/sogou/
    
65. Disallow: /notifications
    
66. Disallow: /settings
    
67. Disallow: /inbox
    
68. Disallow: /admin_inbox
    
69. Disallow: /*?guide*
    
70. 
    
71. User-Agent: *
    
72. Disallow: /
    

復(fù)制代碼

淘寶更加嚴(yán)格，直接屏蔽了所有搜索引擎。現(xiàn)
在是前后端分離，爬蟲根本無法爬內(nèi)容，只能爬到標(biāo)題。

國內(nèi)搜索引擎再有市場，不給你流量也白扯！
有奶才是娘，我反正只留下了谷歌、必應(yīng)。

qdkj

實在是坑啊

myboss

qdkj 發(fā)表于 2024-7-30 17:13
實在是坑啊

坑有的是整的中小微企業(yè)都不愿意建自己公司的官方網(wǎng)站了，建設(shè)網(wǎng)站就是不收錄，首頁都不收錄在百這邊至少滴熬3年以上，它才可能收錄。收錄也是排名很低，給用戶展示權(quán)重高的大網(wǎng)站（包括跟他合作的、愛企查、知道等），你的網(wǎng)站滴翻2頁才能看到，而且能看到一個網(wǎng)站首頁，已經(jīng)是萬幸了。

必應(yīng)、谷歌搜索，一搜你就排在前面，就好像他們知道你這個是官方網(wǎng)站一樣。
難道百不知道嗎？
用戶想找的是官方網(wǎng)站，他們就故意排后面，交3千每年就能企業(yè)認(rèn)證，就排到前面。

以下主體，免費做企業(yè)認(rèn)證。
主體適用對象：（1）政府機(jī)關(guān)、事業(yè)單位、醫(yī)院、殯儀館、學(xué)校、博物館、景區(qū)等公立機(jī)構(gòu)。（2）央企、國企、世界500強(qiáng)和中國500強(qiáng)（500強(qiáng)企業(yè)名單，以上一年度《財富》雜志發(fā)布的名單為準(zhǔn)）等知名企業(yè)。
中小微企業(yè)，滴交錢。哈哈。
谷歌是只要建站，就很快收錄網(wǎng)站首頁，內(nèi)頁也有很多收錄的。用戶搜索，就把該給你的流量給予。百是截取各個中小微企業(yè)的流量，給別人。

huyuzhe

66666666666666666支持

qdkj

myboss 發(fā)表于 2024-7-30 17:58
坑有的是整的中小微企業(yè)都不愿意建自己公司的官方網(wǎng)站了，建設(shè)網(wǎng)站就是不收錄，首頁都不收錄在百這邊至少 ...

我有個企業(yè)站，未備案，一年了收錄個首頁，已經(jīng)放棄了，作為內(nèi)部信息發(fā)布平臺用

myboss

qdkj 發(fā)表于 2024-7-30 18:13
我有個企業(yè)站，未備案，一年了收錄個首頁，已經(jīng)放棄了，作為內(nèi)部信息發(fā)布平臺用 ...

未備案，更不容易被收錄了必須滴備案的。
企業(yè)站，最少也滴每年花點SEO的錢，起碼2千元起交3千每年，百就把你該得流量，給你，但是前提還是滴備案

qdkj

myboss 發(fā)表于 2024-7-30 18:22
未備案，更不容易被收錄了必須滴備案的。
企業(yè)站，最少也滴每年花點SEO的錢，起碼2千元起交3千每年，百就 ...

不想搞，反正也不會有線上客戶，被米拓搞怕了

myboss

qdkj 發(fā)表于 2024-7-30 18:22
不想搞，反正也不會有線上客戶，被米拓搞怕了

沒流量，哪里來客戶？
米拓怎么搞你了？

qdkj

myboss 發(fā)表于 2024-7-30 18:29
沒流量，哪里來客戶？
米拓怎么搞你了？

米拓的事你不知道啊，批量起訴侵權(quán)啊

myboss

qdkj 發(fā)表于 2024-7-30 18:37
米拓的事你不知道啊，批量起訴侵權(quán)啊

版權(quán)不算搞算自己沒有遵守授權(quán)協(xié)議。
出來混，都滴交點學(xué)費的。
用dz就沒有版權(quán)糾紛允許商業(yè)化運營