觸屏版
全國服務(wù)熱線:0571-87205688
登錄
注冊
客戶中心
關(guān)注云客
對于百度搜索引擎來說,蜘蛛黑洞特指網(wǎng)站通過極低的成本制造出大量參數(shù)過多、內(nèi)容類同但url不同的動態(tài)URL ,就像一個無限循環(huán)的“黑洞“,將spider困住。spider浪費(fèi)了大量資源抓取的卻是無效網(wǎng)頁。
如很多網(wǎng)站都有篩選功能,通過篩選功能產(chǎn)生的網(wǎng)頁經(jīng)常會被搜索引擎大量抓取,而這其中很大一部分是檢索價值低質(zhì)的頁面。如“500-1000之間價格的租房”,首先網(wǎng)站(包括現(xiàn)實(shí)中)上基本沒有相關(guān)資源,其次站內(nèi)用戶和搜索引擎用戶都沒有這種檢索習(xí)慣。這種網(wǎng)頁被搜索引擎大量抓取,只能是占用網(wǎng)站寶貴的抓取配額,那么該如何避免這種情況呢?
我們以北京美團(tuán)網(wǎng)為例,看看美團(tuán)網(wǎng)是如何利用robots巧妙避免這種蜘蛛黑洞的:
對于普通的篩選結(jié)果頁,使用了靜態(tài)鏈接
同樣是條件篩選結(jié)果頁,當(dāng)用戶選擇不同排序條件后,會生成帶有不同參數(shù)的動態(tài)鏈接,而且即使是同一種排序條件(如:都是按銷量降序排列),生成的參數(shù)也都是不同的。
對于美團(tuán)網(wǎng)來說,只讓搜索引擎抓取篩選結(jié)果頁就可以了,而各種帶參數(shù)的結(jié)果排序頁面則通過robots規(guī)則拒絕提供給搜索引擎。在robots.txt的文件用法中有這樣一條規(guī)則:Disallow: /*?* ,即禁止搜索引擎訪問網(wǎng)站中所有的動態(tài)頁面。美團(tuán)網(wǎng)恰是通過這種方式,對spider優(yōu)先展示高質(zhì)量頁面、屏蔽了低質(zhì)量頁面,為spider提供了更友好的網(wǎng)站結(jié)構(gòu),避免了黑洞的形成。
503狀態(tài)碼的使用場景及與404的區(qū)別
網(wǎng)站應(yīng)該拒絕哪些外鏈
一個新網(wǎng)站怎么去做優(yōu)化
網(wǎng)站SEO優(yōu)化過程中為什么網(wǎng)站收錄下降
那些不現(xiàn)實(shí)的SEO期待
讓人撓頭的冷門行業(yè)網(wǎng)站如何做內(nèi)容更新
為什么正常的網(wǎng)站排名全掉了?
淺談seo在互聯(lián)網(wǎng)營銷的幾種優(yōu)勢
網(wǎng)站優(yōu)化我們該避免進(jìn)入哪些誤區(qū)
當(dāng)前網(wǎng)站優(yōu)化該如何保證站內(nèi)的內(nèi)容質(zhì)量
評論(0人參與,0條評論)
發(fā)布評論
最新評論