域名注冊(cè) 網(wǎng)站制作
您現(xiàn)在的位置:首頁 >> SEO優(yōu)化 >> 內(nèi)容

死鏈對(duì)網(wǎng)站的影響、產(chǎn)生過程、解決辦法匯總

時(shí)間:2015/6/12 13:37:58 點(diǎn)擊:600

摘要:大量死鏈對(duì)搜索引擎來講,有什么影響?1、幾乎很多站都避免不了存在死鏈接,但死鏈率過高,會(huì)影響搜索引擎對(duì)網(wǎng)站的評(píng)分。2、搜索引擎對(duì)每個(gè)網(wǎng)站每天抓取的頻次是限額的,若網(wǎng)站存在大量死鏈,會(huì)浪費(fèi)掉抓取配...

大量死鏈對(duì)搜索引擎來講,有什么影響?

1、幾乎很多站都避免不了存在死鏈接,但死鏈率過高,會(huì)影響搜索引擎對(duì)網(wǎng)站的評(píng)分。

2、搜索引擎對(duì)每個(gè)網(wǎng)站每天抓取的頻次是限額的,若網(wǎng)站存在大量死鏈,會(huì)浪費(fèi)掉抓取配額并影響正常頁面的抓取。

3、過多死鏈對(duì)網(wǎng)站用戶來講也是體驗(yàn)不好的表現(xiàn)。

百度站長工具中有一個(gè)抓取異常,那么這個(gè)工具里面的異常數(shù)據(jù)是如何產(chǎn)生的呢?

1、網(wǎng)站內(nèi)部添加了錯(cuò)誤的內(nèi)部鏈接

編輯失誤或者程序員大意讓頁面產(chǎn)生了不存在頁面的URL。

2、原來正常頁面因?yàn)槌绦蚧蝽撁嬲{(diào)整或改版無法打開

因?yàn)槌绦虻囊粋(gè)改動(dòng),導(dǎo)致了某些正常頁面無法打開。

3、網(wǎng)站短暫無法訪問

因?yàn)?a href="http://m.onedealspecials.com/tags-316.html" target="_blank">服務(wù)器、空間或程序問題導(dǎo)致網(wǎng)站無法訪問,抓取異常中會(huì)出現(xiàn)大量的500錯(cuò)誤頁面。

4、外部鏈接錯(cuò)誤

用戶或者站長在站外發(fā)布了錯(cuò)誤URL,蜘蛛爬取后產(chǎn)生錯(cuò)誤頁面;別的網(wǎng)站復(fù)制或采集了你們含有錯(cuò)誤鏈接的頁面;有些垃圾網(wǎng)站自動(dòng)生成的靜態(tài)搜索結(jié)果頁,如 www.100181.com/desc/3715714444.html 這個(gè)頁面中出現(xiàn)的很多鏈接在html前面有“...”。

5、爬蟲提取了不完整的URL

個(gè)別爬蟲在提取頁面URL的時(shí)候,只提取部分URL或者把正常的URL后面的文字或字符也提取進(jìn)去了。

6、網(wǎng)站改版或管理員刪除頁面

網(wǎng)站改版過程中處理不當(dāng)導(dǎo)致部分老頁面無法訪問,或者網(wǎng)站管理員刪除被黑、廣告、過時(shí)、被灌水頁面。

出現(xiàn)了上述情況,我們?cè)撊绾稳ソ鉀Q

1、修復(fù)錯(cuò)誤頁面 抓取異常中的很多錯(cuò)誤頁面是因?yàn)槌绦騿T大意或者我們程序問題導(dǎo)致的,本應(yīng)該是正常頁面,因?yàn)槭д`導(dǎo)致無法訪問,對(duì)于此類頁面,第一時(shí)間進(jìn)行修復(fù)。

2、提交死鏈接 但必定很多錯(cuò)誤頁面是本不應(yīng)該存在的,那么我們要想辦法獲取此類頁面URL,獲取方式主要有三種:

(1) 百度站長工具--抓取異常--找不到的頁面--復(fù)制數(shù)據(jù) [修正:此處死鏈不需我們提交了,百度站長工具自動(dòng)提交死鏈];

(2) 管理員在刪除頁面的時(shí)候手動(dòng)或者程序自動(dòng)保存被刪頁面URL;

(3) 使用相關(guān)爬蟲軟件,爬取整站獲取死鏈,如Xenu

然后將上述數(shù)據(jù)合并并刪除重復(fù)項(xiàng)(excel表格中能實(shí)現(xiàn)刪重,wps表格更容易操作),然后再復(fù)制所有URL通過HTTP狀態(tài)批量查詢工具查詢下[這個(gè)不錯(cuò)pl.soshoulu.com/webspeed.aspx],剔除掉非404返回碼頁面。

然后整理上面處理好的數(shù)據(jù)粘貼到網(wǎng)站根目錄中的一個(gè)文檔中,再把文檔地址提交到 百度站長工具--網(wǎng)頁抓取--死鏈提交--添加新數(shù)據(jù)--填寫死鏈文件地址。

3、在robots中屏蔽抓取

若大量的錯(cuò)誤URL存在一定的規(guī)律,可以在robots文件中寫一個(gè)規(guī)則禁止蜘蛛程序抓取此類鏈接,但前提一定要照顧好正常頁面,避免屏蔽規(guī)則誤傷正常頁面,比如你的網(wǎng)站全部是靜態(tài)URL,那么如果錯(cuò)誤鏈接中含有?的話,規(guī)則寫成Disallow:/*?*,如果錯(cuò)誤鏈接中有/id...html 的話,規(guī)則寫成Disallow:/*...* 。

robots文件添加完規(guī)則后,一定要去百度站長的 robots工具 進(jìn)行校驗(yàn),將指定的錯(cuò)誤頁面放進(jìn)去,看看是否封禁成功,再把正常的頁面放進(jìn)去看看是否被誤封。

相關(guān)注意事項(xiàng):

1、在百度站長工具中提交死鏈前,一定要確保提交的死鏈數(shù)據(jù)不存在活鏈接,或者存在HTTP狀態(tài)碼非404頁面。一旦存在活鏈,會(huì)顯示提交失敗導(dǎo)致無法刪除。

2、由于很多網(wǎng)站程序問題,很多打不開的頁面返回碼并非404,這是一個(gè)大問題,比如明明是打不開的頁面返回碼是301、200、500,如果是200的話,會(huì)導(dǎo)致網(wǎng)站中出現(xiàn)不同URL獲取相同內(nèi)容。比如我的一個(gè)站,社區(qū)的帖子刪除后,返回碼卻是500,后期發(fā)現(xiàn)了,立馬進(jìn)行了處理。大家盡量找出所有錯(cuò)誤URL格式,.并設(shè)置打開后HTTP狀態(tài)碼為404。

3、把所有的錯(cuò)誤頁面找到后,一定要尋找此類頁面URL相同特征,并且和正常頁面的特征有區(qū)分,寫對(duì)應(yīng)規(guī)則到robots文件中,禁止蜘蛛抓取,就算你已經(jīng)在站長工具中提交了死鏈,也建議robots封禁抓取。

4、robots只能解決蜘蛛不再抓取此類頁面,但解決不了已經(jīng)抓取頁面的快照的刪除問題,若你的網(wǎng)站被黑,刪除了被黑頁面,除了robots封禁被黑頁面外,還應(yīng)該將這些頁面提交死鏈。提交死鏈?zhǔn)莿h除被黑頁面快照的最快辦法。

站長社區(qū) 版主ccutu

轉(zhuǎn)載請(qǐng)保留原文地址: http://m.onedealspecials.com/show-481.html

責(zé)編:王麗 作者:不詳 來源:網(wǎng)絡(luò)