搜索引擎是如何處理并且刪除重復(fù)網(wǎng)頁(yè)的
編輯
分享
評(píng)論
贊0
因?yàn)榛ヂ?lián)網(wǎng)上有大約22%的內(nèi)容是相同的，一旦你的文章發(fā)表在網(wǎng)上，就有可能會(huì)被轉(zhuǎn)載，而一般判斷幫你的網(wǎng)頁(yè)為轉(zhuǎn)載，那么搜索引擎一般會(huì)從三個(gè)時(shí)間段來(lái)刪除你的網(wǎng)頁(yè)：
(1)抓取頁(yè)面的時(shí)候刪除，這樣可以減少搜索引擎帶寬以及減少存儲(chǔ)數(shù)量;
(2)收錄之后刪除重復(fù)網(wǎng)頁(yè);
(3)用戶檢索時(shí)候進(jìn)行再次刪除;增加準(zhǔn)確性，耗費(fèi)時(shí)間;
內(nèi)容重復(fù)的4種類型：
1.如果2篇文章內(nèi)容和格式上毫無(wú)差別，則這種重復(fù)叫做“完全重復(fù)頁(yè)面”
2.如果2篇文章內(nèi)容相同，但是格式不同，則叫做“內(nèi)容重復(fù)頁(yè)面”
3.如果2篇文章有部分重要的內(nèi)容相同，并且格式相同，則稱為“布局重復(fù)頁(yè)面”
4.如果2篇文章有部分重要的內(nèi)容相同，但是格式不同，則稱為“部分重復(fù)頁(yè)面”
刪除重復(fù)網(wǎng)頁(yè)對(duì)于搜索引擎有很多好處:
1.如果這些重復(fù)網(wǎng)頁(yè)并從搜索引擎數(shù)據(jù)庫(kù)中去掉，就能節(jié)省一部分存儲(chǔ)空間，提高檢索的質(zhì)量。
2.為了提高網(wǎng)頁(yè)的搜集速度，搜索引擎會(huì)對(duì)以往搜集信息的分析，預(yù)先發(fā)現(xiàn)重復(fù)網(wǎng)頁(yè)，在今后的網(wǎng)頁(yè)搜集過(guò)程中就可以避開(kāi)這些網(wǎng)頁(yè)，這就是為什么總轉(zhuǎn)載的網(wǎng)站排名不高的原因了。
3.對(duì)某個(gè)鏡像度較高的網(wǎng)頁(yè)，搜索引擎會(huì)賦予它較高的優(yōu)先級(jí)，當(dāng)用戶搜索時(shí)就會(huì)賦予它較高的權(quán)重。
4. 近似鏡像網(wǎng)頁(yè)的及時(shí)發(fā)現(xiàn)有利于改善搜索引擎系統(tǒng)的服務(wù)質(zhì)量，也就是說(shuō)如果用戶點(diǎn)擊了一個(gè)死鏈接,那么可以將用戶引導(dǎo)到一個(gè)相同頁(yè)面,這樣可以有效的增加用戶的檢索體驗(yàn)。
通用去重算法框架
對(duì)于網(wǎng)頁(yè)去重任務(wù)，具體可以采取的技術(shù)手段五花八門，各有創(chuàng)新和特色，但是如果仔細(xì)研究，其實(shí)大致都差不多。
上圖給出了通用算法框架的流程圖，對(duì)于給定的文檔，首先要通過(guò)一定特抽取手段，從文檔中抽取出一系列能夠表征文檔主題內(nèi)容的特征集合。這一步驟往往有其內(nèi)在要求，即盡可能保留文檔重要信息，刪除無(wú)關(guān)信息。之所以要?jiǎng)h除部分信息，主要是從計(jì)算速度的角度考慮，一般來(lái)說(shuō)，刪除的信息越多，計(jì)算速度會(huì)越快。
這就是為什么你想做的關(guān)鍵字總沒(méi)有排名，反而不想做的關(guān)鍵詞卻能排名靠前的原因之一，搜索引擎把它認(rèn)為不重要的詞語(yǔ)刪除了。
猜你喜歡