觸屏版
全國(guó)服務(wù)熱線:0571-87205688
在第四次深“度”接觸結(jié)束后,spider工程師表示新浪的死鏈處理工作一直效果不錯(cuò),新浪穩(wěn)座國(guó)家級(jí)門(mén)戶(hù)頭把交椅,誰(shuí)還敢說(shuō)自己網(wǎng)站結(jié)構(gòu)的復(fù)雜程度可以超越新浪。分享一下新浪在死鏈處理和死鏈預(yù)防(重要頁(yè)面因修改而產(chǎn)生死鏈)方面的經(jīng)驗(yàn)。
一、在以下背景下會(huì)較多產(chǎn)生死鏈:
1、時(shí)政新聞的敏感性;
2、來(lái)自監(jiān)管的刪除需求;
3、頻道(編輯)自身刪改的需求;
4、搜索方期望資源方主動(dòng)優(yōu)化和定期清除的需求
二、死鏈分類(lèi):
由于系統(tǒng)架構(gòu)、歷史遺留問(wèn)題、多業(yè)務(wù)系統(tǒng)交叉影響等多方面因素,新浪存在如下三種死鏈:
1、協(xié)議死鏈,服務(wù)器端返回HTTP狀態(tài)碼404;
例如:‘誰(shuí)在偽善’
http://news.sina.com.cn/movie/music/1999-06-15/2965.shtml
2,內(nèi)容死鏈,服務(wù)器端返回HTTP狀態(tài)碼200,無(wú)法設(shè)置為404;
例如:http://news.sina.com.cn/c/2015-04-23/184531753084.shtml
3,頁(yè)面需要用戶(hù)和蜘蛛可以正常訪問(wèn),但由于刪改或誤操作導(dǎo)致反復(fù)上下線形成協(xié)議死鏈或內(nèi)容死鏈。例如:http://news.sina.com.cn/2015-12-05/doc-ifxmhqaa9933763.shtml
上線后又下線,后又上線,甚至反復(fù)多次。由于下線期間存在協(xié)議死鏈或內(nèi)容死鏈的情況,導(dǎo)致百度認(rèn)為該頁(yè)面應(yīng)該被刪除,不被收錄,且即使后續(xù)重新上線也無(wú)法恢復(fù)收錄。對(duì)于這種情況,應(yīng)加以預(yù)防。
三、解決方案:
1、協(xié)議死鏈,這個(gè)最符合HTML標(biāo)準(zhǔn)處理方式,站點(diǎn)方面無(wú)須多做什么,如果需要百度快速處理可以通過(guò)百度站長(zhǎng)平臺(tái)的死鏈提交工具(http://zhanzhang.baidu.com/college/courseinfo?id=267&page=4#h2_article_title18)進(jìn)行主動(dòng)提交
2,無(wú)法設(shè)置協(xié)議死鏈接,僅主體內(nèi)容文本被刪除的內(nèi)容死鏈死鏈,新浪的處理方法是:
1)走事先之制定好的《死鏈標(biāo)準(zhǔn)流程》:用站內(nèi)標(biāo)準(zhǔn)內(nèi)容死鏈模板頁(yè)面(告訴用戶(hù)該頁(yè)無(wú)法找到)覆蓋需要?jiǎng)h除的頁(yè)面,5秒后跳轉(zhuǎn)到統(tǒng)一的全站導(dǎo)航頁(yè),以減少用戶(hù)流失。
2)根據(jù)需要,比如根據(jù)特定關(guān)鍵詞圈定一批最終需要處理為協(xié)議死鏈的敏感頁(yè)面,將這些頁(yè)面鏈接放到一個(gè)文件里,由專(zhuān)人在服務(wù)器端修改成協(xié)議死鏈。通過(guò)百度站長(zhǎng)平臺(tái)工具進(jìn)行死鏈提交
3,針對(duì)反復(fù)上下線導(dǎo)致百度誤判為死鏈的情況,新浪的預(yù)防辦法是:
1)制度上:系統(tǒng)后臺(tái)設(shè)置提醒,提醒編輯上線后除非特殊情況不要下線;
2)功能上:這種情況在專(zhuān)題運(yùn)營(yíng)中最常見(jiàn),且影響比單篇新聞頁(yè)要大,由于我站點(diǎn)運(yùn)營(yíng)規(guī)定是不能刪除頁(yè)面的,因此在系統(tǒng)后臺(tái)將“刪除專(zhuān)題(對(duì)編輯來(lái)說(shuō)就是刪除該專(zhuān)題)”和“將專(zhuān)題調(diào)整為不對(duì)外顯示(對(duì)編輯來(lái)說(shuō)不是刪除,而是暫時(shí)下線,調(diào)整為外網(wǎng)用戶(hù)無(wú)法訪問(wèn),可隨時(shí)再次重新上線)”兩個(gè)功能?chē)?yán)格區(qū)分開(kāi),并提供回收功能。針對(duì)“將專(zhuān)題調(diào)整為不對(duì)外顯示”這種情況,不再將頁(yè)面更新為內(nèi)容死鏈(頁(yè)面無(wú)法找到),以免被百度誤判。專(zhuān)題頁(yè)面仍可訪問(wèn),只是站點(diǎn)不設(shè)置入口、不進(jìn)行推廣,用戶(hù)沒(méi)有訪問(wèn)來(lái)源而已。
評(píng)論(0人參與,0條評(píng)論)
發(fā)布評(píng)論
最新評(píng)論