久久久久av_欧美日韩一区二区在线_国产精品三区四区_日韩中字在线

Discuz! 官方交流社區

標題: 【緊急】禁止國內搜索引擎訪問自己網站，防止AI竊取你的勞動成果 [打印本頁]
作者: myboss    時間: 2024-7-30 14:30
標題: 【緊急】禁止國內搜索引擎訪問自己網站，防止AI竊取你的勞動成果
這年頭，openAI人工智能的興起，什么GPTBot、百度文心一言、Kimi、阿里云天工AI、豆包、清華大學智譜清言、訊飛星火、騰訊混元....
他們都在訓練大模型，投喂給這些人工智能人類的知識，這些知識哪里來？
通過爬蟲，沒事來你的網站，收集你的數據，卻不收錄你網站，更別提給流量了！
原本屬于你的流量都給別人了！
只有那些谷歌搜索、必應搜索等國外搜索，公正些！
國內，還是建議用戶采用 “必應”

只允許谷歌搜索、必應搜索爬蟲的robots

  2. User-Agent: Googlebot
  3. Allow: /
  4. Disallow:
  5. User-Agent: bingbot
  6. Allow: /
  7. Disallow:

  9. User-Agent: *
  10. Disallow: /
  11. 自定義區
復制代碼



DZ論壇能用的robots


知乎的robots文件分析解讀：
騰訊、搜狗、百度對知乎都有投資，所以，只保留了百度、搜狗。
北京智者天下科技有限公司為什么這樣做？還不是怕AI，保護自己的利益！
中小微企業、個人站長該怎么辦？
學知乎，把所有搜索引擎都屏蔽了，只保留給流量的搜索引擎。
建議只保留必應，Google，剩下的搜索引擎不公正，捧他們也沒啥用。
3和Q大戰，說明什么？
國內都是明著、暗里斗爭的！
有沒有覺得，你是暗里斗爭的犧牲品？
明著意思是打著收錄優秀網站的幌子，其實就是間接打壓其他人。
不收錄，能省搜索引擎的服務器資源，還有巨大的利益，把流量都引導自己家的網站，什么知道、什么百科、什么貼吧等，
看看谷歌作為搜索一哥，從不搞這些花花腸子，把自家服務置頂，更是沒有谷歌知道、谷歌百科等侵犯站長利益的網站。
必應搜索也是，為什么他們都那么公正，是因為國外反競爭法很嚴格。
國內沒指望了，那些3、百等公司都是跟上面有合作的，兼職紅客， 負責防御工作，要不怎么跟美國斗網絡？
缺人才，滴哄著來，狠了，就跑美國了！

以下是知乎的robots文件：
  1. User-agent: Baiduspider-news
  2. Disallow: /appview/
  3. Disallow: /login
  4. Disallow: /logout
  5. Disallow: /resetpassword
  6. Disallow: /terms
  7. Disallow: /search
  8. Allow: /search-special
  9. Disallow: /notifications
  10. Disallow: /settings
  11. Disallow: /inbox
  12. Disallow: /admin_inbox
  13. Disallow: /*?guide*

  15. User-agent: Baiduspider
  16. Disallow: /appview/
  17. Disallow: /login
  18. Disallow: /logout
  19. Disallow: /resetpassword
  20. Disallow: /terms
  21. Disallow: /search
  22. Allow: /search-special
  23. Disallow: /notifications
  24. Disallow: /settings
  25. Disallow: /inbox
  26. Disallow: /admin_inbox
  27. Disallow: /*?guide*

  29. User-agent: Baiduspider-render
  30. Disallow: /appview/
  31. Disallow: /login
  32. Disallow: /logout
  33. Disallow: /resetpassword
  34. Disallow: /terms
  35. Disallow: /search
  36. Allow: /search-special
  37. Disallow: /notifications
  38. Disallow: /settings
  39. Disallow: /inbox
  40. Disallow: /admin_inbox
  41. Disallow: /*?guide*

  43. User-agent: Baiduspider-image
  44. Disallow: /appview/
  45. Disallow: /login
  46. Disallow: /logout
  47. Disallow: /resetpassword
  48. Disallow: /terms
  49. Disallow: /search
  50. Allow: /search-special
  51. Disallow: /notifications
  52. Disallow: /settings
  53. Disallow: /inbox
  54. Disallow: /admin_inbox
  55. Disallow: /*?guide*

  57. User-agent: Sogou web spider
  58. Disallow: /appview/
  59. Disallow: /login
  60. Disallow: /logout
  61. Disallow: /resetpassword
  62. Disallow: /terms
  63. Disallow: /search
  64. Allow: /tardis/sogou/
  65. Disallow: /notifications
  66. Disallow: /settings
  67. Disallow: /inbox
  68. Disallow: /admin_inbox
  69. Disallow: /*?guide*

  71. User-Agent: *
  72. Disallow: /
復制代碼

淘寶更加嚴格，直接屏蔽了所有搜索引擎。現
在是前后端分離，爬蟲根本無法爬內容，只能爬到標題。

國內搜索引擎再有市場，不給你流量也白扯！
有奶才是娘，我反正只留下了谷歌、必應。

作者: qdkj    時間: 2024-7-30 17:13
實在是坑啊
作者: myboss    時間: 2024-7-30 17:58
qdkj 發表于 2024-7-30 17:13
實在是坑啊

坑有的是整的中小微企業都不愿意建自己公司的官方網站了，建設網站就是不收錄，首頁都不收錄在百這邊至少滴熬3年以上，它才可能收錄。收錄也是排名很低，給用戶展示權重高的大網站（包括跟他合作的、愛企查、知道等），你的網站滴翻2頁才能看到，而且能看到一個網站首頁，已經是萬幸了。

必應、谷歌搜索，一搜你就排在前面，就好像他們知道你這個是官方網站一樣。
難道百不知道嗎？
用戶想找的是官方網站，他們就故意排后面，交3千每年就能企業認證，就排到前面。

以下主體，免費做企業認證。
主體適用對象：（1）政府機關、事業單位、醫院、殯儀館、學校、博物館、景區等公立機構。（2）央企、國企、世界500強和中國500強（500強企業名單，以上一年度《財富》雜志發布的名單為準）等知名企業。
中小微企業，滴交錢。哈哈。
谷歌是只要建站，就很快收錄網站首頁，內頁也有很多收錄的。用戶搜索，就把該給你的流量給予。百是截取各個中小微企業的流量，給別人。
作者: huyuzhe    時間: 2024-7-30 18:03
66666666666666666支持
作者: qdkj    時間: 2024-7-30 18:13
myboss 發表于 2024-7-30 17:58
坑有的是整的中小微企業都不愿意建自己公司的官方網站了，建設網站就是不收錄，首頁都不收錄在百這邊至少 ...

我有個企業站，未備案，一年了收錄個首頁，已經放棄了，作為內部信息發布平臺用
作者: myboss    時間: 2024-7-30 18:22
qdkj 發表于 2024-7-30 18:13
我有個企業站，未備案，一年了收錄個首頁，已經放棄了，作為內部信息發布平臺用 ...

未備案，更不容易被收錄了必須滴備案的。
企業站，最少也滴每年花點SEO的錢，起碼2千元起交3千每年，百就把你該得流量，給你，但是前提還是滴備案
作者: qdkj    時間: 2024-7-30 18:22
myboss 發表于 2024-7-30 18:22
未備案，更不容易被收錄了必須滴備案的。
企業站，最少也滴每年花點SEO的錢，起碼2千元起交3千每年，百就 ...

不想搞，反正也不會有線上客戶，被米拓搞怕了
作者: myboss    時間: 2024-7-30 18:29
qdkj 發表于 2024-7-30 18:22
不想搞，反正也不會有線上客戶，被米拓搞怕了

沒流量，哪里來客戶？
米拓怎么搞你了？
作者: qdkj    時間: 2024-7-30 18:37
myboss 發表于 2024-7-30 18:29
沒流量，哪里來客戶？
米拓怎么搞你了？

米拓的事你不知道啊，批量起訴侵權啊
作者: myboss    時間: 2024-7-30 18:41
qdkj 發表于 2024-7-30 18:37
米拓的事你不知道啊，批量起訴侵權啊

版權不算搞算自己沒有遵守授權協議。
出來混，都滴交點學費的。
用dz就沒有版權糾紛允許商業化運營
作者: qdkj    時間: 2024-7-30 18:46
myboss 發表于 2024-7-30 18:41
版權不算搞算自己沒有遵守授權協議。
出來混，都滴交點學費的。
用dz就沒有版權糾紛允許商業化運營 ...

我測試用的，它們的LOGO都沒改，無差別起訴
作者: myboss    時間: 2024-7-30 18:53
qdkj 發表于 2024-7-30 18:46
我測試用的，它們的LOGO都沒改，無差別起訴

不是備案網站，還能抵賴一下網上建站就是使用了，本地能測試，只要網上能打開，就不是測試了，就屬于網站發布了，沒改logo屬于你沒來的及改。
授權費才2000元，不算貴，當支援開發了
作者: 羅永浩    時間: 2024-7-31 01:37
沒蛋用，又不看你的規則
作者: TaC    時間: 2024-7-31 07:59
這個提議非常明智
作者: TaC    時間: 2024-7-31 08:05
qdkj 發表于 2024-7-30 18:13
我有個企業站，未備案，一年了收錄個首頁，已經放棄了，作為內部信息發布平臺用 ...

如果不備案，為什么選擇國內主機？直接用國外的，便宜，少傷腦子。
網站留下公司聯系地址，電話，及國家工商信息的鏈接，相互對映，就證明公司的真實，合法性了。
可以說，你今天建站，明后天就可能查看網站信息。但不要使用國內引擎
作者: myboss    時間: 2024-7-31 09:14
羅永浩 發表于 2024-7-31 01:37
沒蛋用，又不看你的規則

能防一部分，主要還是想必應給點流量。
設置游客不能瀏覽，就徹底防住了蜘蛛。
作者: 海哥    時間: 2024-7-31 12:45
頂樓主啦..希望樓主多發精品好帖啦.....
作者: 海哥    時間: 2024-7-31 12:47
對頭，有道理。國內這些做大了的企業就是這樣的。不是舔人家國外的企業，國內有的企業確實在格局上面差些東西
作者: myboss    時間: 2024-7-31 13:29
海哥 發表于 2024-7-31 12:47
對頭，有道理。國內這些做大了的企業就是這樣的。不是舔人家國外的企業，國內有的企業確實在格局上面差些東 ...

利用自己瀏覽器、安全軟件市場份額，攔截中小微企業的網站及廣告，恐嚇用戶??明著是保護用戶，其實是為了自己商業利益。
自己可以彈廣告，別人不允許。
搞得中小微企業都搭建APP，不提供網頁服務。以應對瀏覽器攔截網頁，安全軟件屏蔽廣告。
作者: 海哥    時間: 2024-7-31 13:41
myboss 發表于 2024-7-31 13:29
利用自己瀏覽器、安全軟件市場份額，攔截中小微企業的網站及廣告，恐嚇用戶??明著是保護用戶，其實是為了 ...

哈哈，你說的是某60吧。我都給他卸載了。
作者: myboss    時間: 2024-7-31 13:53
海哥 發表于 2024-7-31 13:41
哈哈，你說的是某60吧。我都給他卸載了。

其他瀏覽器也一樣，篡改網站播放器播放源是網站的，廣告換成瀏覽器的。花錢的事情別人來，賺錢的事情自己來。
作者: 海哥    時間: 2024-7-31 13:57
myboss 發表于 2024-7-31 13:53
其他瀏覽器也一樣，篡改網站播放器播放源是網站的，廣告換成瀏覽器的?；ㄥX的事情別人來，賺錢的事情自己 ...

沒法子，哎，
作者: 海哥    時間: 2024-7-31 13:57
myboss 發表于 2024-7-31 13:53
其他瀏覽器也一樣，篡改網站播放器播放源是網站的，廣告換成瀏覽器的?；ㄥX的事情別人來，賺錢的事情自己 ...

我們自己人壞起來比歪果仁更壞
作者: 9527    時間: 2024-8-1 17:36
有道理，搜索引擎是不是也快到了要退出歷史舞臺的時候了？
作者: myboss    時間: 2024-8-1 18:39
9527 發表于 2024-8-1 17:36
有道理，搜索引擎是不是也快到了要退出歷史舞臺的時候了？

只是減少市場份額而已，只要大家都禁止搜索引擎，它才會退出歷史舞臺。
作者: 巡山山大王    時間: 2024-8-1 20:01
來看看
作者: qdkj    時間: 2024-8-3 21:12
TaC 發表于 2024-7-31 08:05
如果不備案，為什么選擇國內主機？直接用國外的，便宜，少傷腦子。
網站留下公司聯系地址，電話，及國家 ...

國內客戶不會用國外的搜索引擎
作者: 470342341    時間: 2024-8-4 20:34
快了  現在都基本上 是“圈內”流量了      都是在app 內 搜 自身的 數據    ！
作者: myboss    時間: 2024-8-5 00:25
qdkj 發表于 2024-8-3 21:12
國內客戶不會用國外的搜索引擎

那就推薦客戶用bing
bing現在個人感覺比百度體驗好。
百度搜索，加gpt了，加載有點緩慢。
很多內容沒bing結果多。
作者: amw111    時間: 2024-8-5 03:58
11111111111
作者: 為愛守候    時間: 2024-8-5 08:12
..........
作者: 巡山山大王    時間: 2024-8-5 08:16
作者: 港城君    時間: 2024-8-5 13:30
qdkj 發表于 2024-7-30 18:37
米拓的事你不知道啊，批量起訴侵權啊

具體是怎么樣？

能簡單說一些情況嗎
作者: 港城君    時間: 2024-8-5 13:32
myboss 發表于 2024-7-31 09:14
能防一部分，主要還是想必應給點流量。
設置游客不能瀏覽，就徹底防住了蜘蛛。 ...

請問：蜘蛛是指國外IP的機器人在自己的論壇注冊新會員嗎？
作者: myboss    時間: 2024-8-5 13:51
港城君 發表于 2024-8-5 13:32
請問：蜘蛛是指國外IP的機器人在自己的論壇注冊新會員嗎？

那是發廣告機，自動注冊+發廣告，不算蜘蛛高級蜘蛛一切都會，會驗證碼，會注冊，會模擬真用戶，只是市面上很少見到操作蜘蛛的是人，人總會有辦法繞過一切障礙。等網站有價值了，自然會有人來搞你。
作者: 港城君    時間: 2024-8-5 17:26
myboss 發表于 2024-8-5 13:51
那是發廣告機，自動注冊+發廣告，不算蜘蛛高級蜘蛛一切都會，會驗證碼，會注冊，會模擬真用戶，只是市面 ...

你這樣說，令我想起，

這段時間一直以來有臺灣的IP，注冊的時候備注：朋友介紹過來的···

其實我論壇還沒上線。
作者: 港城君    時間: 2024-8-5 17:28
myboss 發表于 2024-8-5 13:51
那是發廣告機，自動注冊+發廣告，不算蜘蛛高級蜘蛛一切都會，會驗證碼，會注冊，會模擬真用戶，只是市面 ...

等網站有價值了，自然會有人來搞你。

------------------------------------

這話怎么說？  對方具體怎么搞我？

自己應該如何防備這些？
作者: myboss    時間: 2024-8-5 20:08
港城君 發表于 2024-8-5 17:28
等網站有價值了，自然會有人來搞你。

------------------------------------

ddos、dns等攻擊，阻止你網站用戶量增長，多為競爭對手搞的。
頂級黑客有可能就是服務器linux系統開發工程師，面板、nginx、數據庫 、cms、插件的開發者....故意留漏洞，不公開。鬼市成交，一個漏洞上千萬都有可能。
頂級黑客盜你網站數據防不住。
就跟某大學，網絡工程師不滴很多，被美國盜取數據一樣，當然也不排除這個大學疏忽管理。
各種安全軟件全用上，24小時監控，安全工程師（紅客）24小時待命，隨時組織防御，或許能防御的住，必要的時候，拔服務器網線。這組織配置，花銷不少呢。
作者: myboss    時間: 2024-8-5 20:12
港城君 發表于 2024-8-5 17:26
你這樣說，令我想起，

這段時間一直以來有臺灣的IP，注冊的時候備注：朋友介紹過來的···

注冊機而已來你論壇，宣布爬墻軟件，之后宣傳大法好，詆毀某黨，加入他們。
那些文章都是假的，意識淡薄的人，確實容易相信。
作者: myboss    時間: 2024-8-6 16:21
巡山山大王 發表于 2024-8-5 08:16

https://www.quooo.com  打不開了
作者: 470342341    時間: 2024-8-7 10:44
港城君 發表于 2024-8-5 17:26
你這樣說，令我想起，

這段時間一直以來有臺灣的IP，注冊的時候備注：朋友介紹過來的···

臺灣ip 可以直接屏蔽  都是 非法的
作者: 港城君    時間: 2024-8-7 13:38
myboss 發表于 2024-8-5 20:12
注冊機而已來你論壇，宣布爬墻軟件，之后宣傳大法好，詆毀某黨，加入他們。
那些文章都是假的，意識淡薄 ...

現在新注冊會員，都要審核才能通過

盡量不會讓他們亂來
作者: 港城君    時間: 2024-8-7 13:40
myboss 發表于 2024-8-5 20:08
ddos、dns等攻擊，阻止你網站用戶量增長，多為競爭對手搞的。
頂級黑客有可能就是服務器linux系統開發工 ...

聽你這樣說，我更害怕了。

因為我是電腦小白，加上預算原因，導致論壇一直沒正式上線。

怕上線后，黑客對我論壇下手。唉。
作者: 港城君    時間: 2024-8-7 13:41
470342341 發表于 2024-8-7 10:44
臺灣ip 可以直接屏蔽  都是 非法的

具體怎么屏蔽？

我現在一般都不通過他們的注冊提交請求
作者: myes    時間: 2024-8-7 14:07
國內爬蟲根本不遵守協議  
作者: 470342341    時間: 2024-8-7 15:19
港城君 發表于 2024-8-7 13:41
具體怎么屏蔽？

我現在一般都不通過他們的注冊提交請求

如果使用 cdn  有些可以選擇 攔截 地區 攔截臺灣就可以了
作者: 港城君    時間: 2024-8-7 17:37
470342341 發表于 2024-8-7 15:19
如果使用 cdn  有些可以選擇 攔截 地區 攔截臺灣就可以了

現在我論壇什么都沒有設置

導致現在不敢上線

唉。
作者: myboss    時間: 2024-8-7 18:05
港城君 發表于 2024-8-7 13:40
聽你這樣說，我更害怕了。

因為我是電腦小白，加上預算原因，導致論壇一直沒正式上線。

前期就是練手，多備份，多還原，就可以。
黑客頂多是篡改頁面域名在自己手里，就不怕他改
作者: myboss    時間: 2024-8-7 18:06
myes 發表于 2024-8-7 14:07
國內爬蟲根本不遵守協議

論壇限制權限訪問，內容付費才能觀看.....不怕它們
作者: huyuzhe    時間: 2024-8-8 09:48
再來一遍
作者: myboss    時間: 2024-8-9 10:30
470342341 發表于 2024-8-7 15:19
如果使用 cdn  有些可以選擇 攔截 地區 攔截臺灣就可以了

中國同胞被你攔截了正確做法，是審核頭像、內容，就可以
作者: 470342341    時間: 2024-8-9 16:36
myboss 發表于 2024-8-9 10:30
中國同胞被你攔截了正確做法，是審核頭像、內容，就可以

沒用  小網站 沒真實用戶， 全是 那啥， 站內消息 都是廣告  還有廣播 很麻煩  直接屏蔽了
作者: TaC    時間: 2024-8-15 13:32
qdkj 發表于 2024-8-3 21:12
國內客戶不會用國外的搜索引擎

可以注明一下使用電腦默認瀏覽器或必應。微軟的作用率不會底
作者: myboss    時間: 2024-8-19 13:24
470342341 發表于 2024-8-9 16:36
沒用  小網站 沒真實用戶， 全是 那啥， 站內消息 都是廣告  還有廣播 很麻煩  直接屏蔽了  ...

改注冊地址臺灣同胞，從不光臨我們網站
作者: amw111    時間: 2024-8-21 03:52
1111111111111
作者: 付興森    時間: 2024-9-26 23:22
頂頂頂頂頂頂頂頂頂頂頂頂頂
作者: 風吹故人香    時間: 2024-10-4 06:24

User-Agent: Googlebot
Allow: /
Disallow:
User-Agent: bingbot
Allow: /
Disallow:

User-Agent: *
Disallow: /
自定義區
作者: jy1688    時間: 2024-11-5 14:58
學習一下
作者: jy1688    時間: 2024-11-7 00:18
學習一下
作者: 風吹故人香    時間: 2024-11-14 22:25

User-Agent: Googlebot
Allow: /
Disallow:
User-Agent: bingbot
Allow: /
Disallow:

User-Agent: *
Disallow: /
自定義區
作者: 何振榮    時間: 2024-11-17 19:12
有奶才是娘，我反正只留下了谷歌、必應。
作者: A㊣天天已備案域名2o12?    時間: 2024-11-18 15:06
轉發公眾號了  謝謝提醒
作者: myes    時間: 2024-11-18 15:52
字節跳動的爬蟲不遵守規則 全部一刀切了
作者: 風吹故人香    時間: 2024-12-11 07:32
木木木木木木ssss
作者: 735394006    時間: 2024-12-14 20:30
】禁止國內搜索引擎訪問自己網站
作者: 風吹故人香    時間: 2024-12-24 19:55
蜘蛛蜘蛛蜘蛛蜘蛛蜘蛛蜘蛛蜘蛛
作者: ouliuoo    時間: 2025-1-20 03:36
感謝分享



歡迎光臨 Discuz! 官方交流社區 (http://www.9999xn.com/) Powered by Discuz! W1.0