觸屏版
全國(guó)服務(wù)熱線:0571-87205688
登錄
注冊(cè)
客戶中心
關(guān)注云客
之前在SEO深度解析中有看到過降權(quán)蜘蛛和提權(quán)蜘蛛,即如果抓取你網(wǎng)站的蜘蛛IP是降權(quán)蜘蛛的IP,那你的網(wǎng)站就是被降權(quán)了;反之,抓取你網(wǎng)站的蜘蛛IP為提權(quán)蜘蛛的IP,那你的網(wǎng)站權(quán)重較高。
作者痞子瑞對(duì)此問題也表示不能肯定,然而百度LEE團(tuán)隊(duì)官方曾經(jīng)在百度站長(zhǎng)平臺(tái)公開回答過該問題,并明確的否認(rèn)了。當(dāng)然,百度還不承認(rèn)有百度權(quán)重,然而確實(shí)有,呵呵。
官方的答復(fù)不可不信,也不可全信。今天又看《走進(jìn)搜索引擎》,發(fā)現(xiàn)可能真的有所謂的提權(quán)蜘蛛和降權(quán)蜘蛛。
搜索引擎工作過程中,在抓取環(huán)節(jié),有一個(gè)重要性網(wǎng)頁(yè)優(yōu)先抓取的策略,其實(shí)很好理解,搜索引擎需要抓取的新網(wǎng)頁(yè)和每天重訪的網(wǎng)頁(yè)規(guī)模都是巨大的,為保證更重要的網(wǎng)頁(yè)能夠優(yōu)先抓取,使得在時(shí)效性和權(quán)威性上獲得滿意的效果,就需要對(duì)重要性網(wǎng)頁(yè)進(jìn)行優(yōu)先抓取。(這不就是百度權(quán)重高的網(wǎng)站嗎?)
同時(shí),在抓取環(huán)節(jié),還有一個(gè)抓取提速策略,通過增加同時(shí)工作的爬蟲(即蜘蛛)數(shù)量。在多個(gè)蜘蛛抓取的情況下,需要按照域名來分解任務(wù),使特定的爬蟲抓取特定的域名下的網(wǎng)頁(yè)。
在域名分配的同時(shí),要保證每個(gè)蜘蛛的工作量相等;如默認(rèn)正常網(wǎng)站的規(guī)模為普通水準(zhǔn),抓取工作量一般;而重要性高的網(wǎng)站,通常其網(wǎng)站規(guī)模龐大,內(nèi)容豐富,抓取工作量較大;但是網(wǎng)站被降權(quán)的網(wǎng)站通常使用大量垃圾內(nèi)容作弊來獲取排名,其網(wǎng)站規(guī)模肯定也較大,抓取工作量也較大。
假設(shè):1*重要性網(wǎng)站=2*普通網(wǎng)站=1*作弊網(wǎng)站,那么蜘蛛抓取工作量體系結(jié)構(gòu)類似于:
spider1抓取重要性高的域名A
spider2抓取普通網(wǎng)站B和C
spider3抓取作弊網(wǎng)站的域名D
則spider1為提權(quán)蜘蛛,spider3為降權(quán)蜘蛛。
因?yàn)橹┲氩还庖ト。€要返回抓取的網(wǎng)頁(yè)結(jié)果和新的URL,而URL的重要度會(huì)影響URL的抓取優(yōu)先度,所以高權(quán)重網(wǎng)站上的URL是不能和普通網(wǎng)站、作弊網(wǎng)站上的URL放在一起的,因此為提高蜘蛛的工作效率,同一個(gè)蜘蛛肯定不會(huì)同時(shí)抓取不同重要度的網(wǎng)站。
至于考核蜘蛛(即沙盒蜘蛛)、劣質(zhì)文章蜘蛛等什么亂七八糟的蜘蛛,應(yīng)該是不存在的。
谷歌的沙盒期是會(huì)對(duì)新網(wǎng)站正常抓取,只是不會(huì)放出或者不會(huì)給予好的排名罷了,不關(guān)人家蜘蛛的事情。
至于劣質(zhì)文章蜘蛛,蜘蛛是按照域名來劃分工作,那可能就是降權(quán)了,要不就是想多了。
對(duì)了,如果百度真的存在提權(quán)蜘蛛和降權(quán)蜘蛛的話,谷歌應(yīng)該也有,畢竟搜索引擎工作原理是一樣的。
評(píng)論(0人參與,0條評(píng)論)
發(fā)布評(píng)論
最新評(píng)論