久久久久av_欧美日韩一区二区在线_国产精品三区四区_日韩中字在线

返回列表 發帖
查看: 1664|回復: 8

[已解決] 求助!關于分類信息修改變量名后蜘蛛抓取鏈接問題

12

主題

25

回帖

49

積分

初學乍練

貢獻
0 點
金幣
10 個
樓主
發表于 2022-8-7 00:21:22 | 只看樓主 |倒序瀏覽 |閱讀模式
求助!關于分類信息修改變量名后蜘蛛抓取鏈接問題
域名/66-sortid-4-a0-2-b3-24-b4-7.html 精簡變量名稱后的鏈接
域名/66-sortid-4-a0-2-b3-24-b4-7-fenlei-41-geshi-8-render-2-xingzhi-2-page-7.html  蜘蛛抓取的鏈接:在上方真是鏈接后增加了一部分以前沒修改變量名時候的舊的變量名。
蜘蛛一直爬這種新變量+已經不存在的舊變量的組合鏈接,怎么讓他抓取正確的鏈接呢(第一個鏈接)?



疑問:是discuz的數據庫啥的  在分類信息的變量名修改過后還會殘留舊變量名在庫里?導致蜘蛛抓取錯誤的鏈接? 還是其他的什么原因啊?
求大神來解答一下 ,萬分感激!
1 貢獻

最佳答案

dm360 發表于 2022-8-8 13:36
那除了301   從根源上無法解決這個問題了嗎?到底是dz本身問題,還是蜘蛛歷史爬行記憶問題呢? ...

蜘蛛爬行記憶問題; 最好是301重定向一下; 不做301 以后蜘蛛應該也會慢慢的改過來,畢竟 已經沒有 舊鏈接的 入口了
回復

使用道具 舉報

14

主題

3415

回帖

5829

積分

應用開發者

貢獻
408 點
金幣
170 個
QQ
沙發
發表于 2022-8-7 08:51:41 | 只看Ta
建議做一下 301重定向呢; 批量將舊鏈接  301跳轉到 新鏈接 就可以了
回復

使用道具 舉報

12

主題

25

回帖

49

積分

初學乍練

貢獻
0 點
金幣
10 個
板凳
 樓主| 發表于 2022-8-7 21:32:03 | 只看Ta
天外飄仙 發表于 2022-8-7 08:51
建議做一下 301重定向呢; 批量將舊鏈接  301跳轉到 新鏈接 就可以了

這個不太好做的,分類信息里有好幾層參數,每一層都有好多個變量,組合起來少則幾千多則幾萬條鏈接。畢竟分類信息篩選是可以自由組合篩選的么。
這幾千上萬的鏈接 ,做301規則太難了,因為規則本身就不好寫。組合方式太復雜了。
回復

使用道具 舉報

14

主題

3415

回帖

5829

積分

應用開發者

貢獻
408 點
金幣
170 個
QQ
地板
發表于 2022-8-8 07:25:39 | 只看Ta
dm360 發表于 2022-8-7 21:32
這個不太好做的,分類信息里有好幾層參數,每一層都有好多個變量,組合起來少則幾千多則幾萬條鏈接。畢竟 ...

規則 要用正則匹配的……
涉及 幾千萬鏈接 都不是問題的……如果你不懂正則的話 就花錢雇人幫你寫吧;
回復

使用道具 舉報

12

主題

25

回帖

49

積分

初學乍練

貢獻
0 點
金幣
10 個
5#
 樓主| 發表于 2022-8-8 13:36:44 | 只看Ta
天外飄仙 發表于 2022-8-8 07:25
規則 要用正則匹配的……
涉及 幾千萬鏈接 都不是問題的……如果你不懂正則的話 就花錢雇人幫你寫吧;
...

那除了301   從根源上無法解決這個問題了嗎?到底是dz本身問題,還是蜘蛛歷史爬行記憶問題呢?
回復

使用道具 舉報

14

主題

3415

回帖

5829

積分

應用開發者

貢獻
408 點
金幣
170 個
QQ
6#
發表于 2022-8-8 15:07:06 | 只看Ta
dm360 發表于 2022-8-8 13:36
那除了301   從根源上無法解決這個問題了嗎?到底是dz本身問題,還是蜘蛛歷史爬行記憶問題呢? ...

蜘蛛爬行記憶問題; 最好是301重定向一下; 不做301 以后蜘蛛應該也會慢慢的改過來,畢竟 已經沒有 舊鏈接的 入口了
回復

使用道具 舉報

12

主題

25

回帖

49

積分

初學乍練

貢獻
0 點
金幣
10 個
7#
 樓主| 發表于 2022-8-8 15:22:46 | 只看Ta
天外飄仙 發表于 2022-8-8 15:07
蜘蛛爬行記憶問題; 最好是301重定向一下; 不做301 以后蜘蛛應該也會慢慢的改過來,畢竟 已經沒有 舊鏈 ...

已經改了好幾個月了 ,蜘蛛還是沒變過來,是所有的蜘蛛,百度 bing sougou 谷歌 等等 都是這樣的,很難不懷疑,難道所有的蜘蛛都有記憶問題?不會自動抓取新的鏈接嗎、。
回復

使用道具 舉報

14

主題

3415

回帖

5829

積分

應用開發者

貢獻
408 點
金幣
170 個
QQ
8#
發表于 2022-8-8 17:07:42 | 只看Ta
dm360 發表于 2022-8-8 15:22
已經改了好幾個月了 ,蜘蛛還是沒變過來,是所有的蜘蛛,百度 bing sougou 谷歌 等等 都是這樣的,很難不 ...

主動 提交一下 新鏈接 給蜘蛛 試試呢
回復

使用道具 舉報

12

主題

25

回帖

49

積分

初學乍練

貢獻
0 點
金幣
10 個
9#
 樓主| 發表于 2022-8-9 01:14:48 | 只看Ta
天外飄仙 發表于 2022-8-8 17:07
主動 提交一下 新鏈接 給蜘蛛 試試呢

試過了 沒有用 連續試了一星期 后面依然是抓取錯誤的組合鏈接。
回復

使用道具 舉報

您需要登錄后才可以回帖 登錄 | 立即注冊

本版積分規則

  • 關注公眾號
  • 有償服務微信
  • 有償服務QQ

手機版|小黑屋|Discuz! 官方交流社區 ( 皖ICP備16010102號 |皖公網安備34010302002376號 )|網站地圖|star

GMT+8, 2025-9-20 13:25 , Processed in 0.073718 second(s), 27 queries .

Powered by Discuz! W1.0 Licensed

Copyright © 2001-2025 Discuz! Team.

關燈 在本版發帖
有償服務QQ
有償服務微信
返回頂部
快速回復 返回頂部 返回列表