-
觸屏版
-
全國服務(wù)熱線：0571-87205688
- 云客網(wǎng)首頁
-
登錄
- |
-
注冊
- |
-
客戶中心
- |
-
關(guān)注云客
Google爬行緩存代理（crawl caching proxy）
分享
評論
贊0
前兩天人們注意到Google Adsense蜘蛛所抓取的網(wǎng)頁會出現(xiàn)在搜索結(jié)果中。Matt Cutts在他的博客里迅速的做出了回應(yīng)，對這種現(xiàn)象做了進(jìn)一步解釋。
簡單來說，Google在完成大爸爸?jǐn)?shù)據(jù)中心升級后，各種蜘蛛抓取網(wǎng)頁的機(jī)制產(chǎn)生了變化。不是各個蜘蛛直接抓取網(wǎng)頁，而是由一個爬行緩存代理crawl caching proxy抓取網(wǎng)頁，然后不同的蜘蛛從這個緩存中獲取內(nèi)容，從而節(jié)省了帶寬。
Matt Cutts的帖子比較完整的翻譯可以在幻滅和小添的博客里看到。
我要補(bǔ)充的是：第一：Matt Cutts特意指出，這個新的抓取機(jī)制不會讓你的網(wǎng)頁被抓取的更快，也不會對排名有任何影響。這個爬行緩存代理也不影響各個蜘蛛本來應(yīng)該爬行的頻率和時(shí)間表。只不過各個蜘蛛不直接爬行網(wǎng)頁，而是從緩存中獲取。
第二：更引起我注意的是，Matt Cutts說這個爬行緩存代理是大爸爸更新之后才有的。因?yàn)檫\(yùn)行的很順利，在其他人發(fā)現(xiàn)這種現(xiàn)象之前，Matt Cutts自己沒意識到這種新的機(jī)制已經(jīng)運(yùn)行了。這說明Matt Cutts并不能掌握所有各個部門的最新情況，那么還有什么是Matt Cutts也還不知道的呢？
第三：Matt Cutts講這個機(jī)制的目標(biāo)是節(jié)省帶寬，而不是隱藏頁面（cloaked page）檢測。我覺得弦外之音是，利用同樣的技術(shù)，Google完全可以用其他的蜘蛛來檢測隱藏頁面。當(dāng)然也可能是我過度敏感了。
另外，最近很多網(wǎng)站出現(xiàn)被收錄的頁面數(shù)目急劇下降的現(xiàn)象，我懷疑和這個新的頁面抓取方法造成的混亂有關(guān)。很顯然不是排名算法改變導(dǎo)致收錄的網(wǎng)頁數(shù)目下降，而是蜘蛛爬行的問題。
猜你喜歡
評論(0人參與，0條評論)
發(fā)布評論
最新評論