百度蜘蛛是如何爬取的
第一,百度蜘蛛極為活躍,經(jīng)常看看你的服務器日志,你就懷發(fā)現(xiàn)百度蜘蛛抓取的頻率和數(shù)量都非常大。百度蜘蛛幾乎每天都會訪問我的論壇,并且至少抓取幾十個網(wǎng)頁。我的論壇只開通了不到一個月,網(wǎng)頁數(shù)目還沒有完善,但是百度蜘蛛的活動已經(jīng)相當可觀了。大量捕獲是百度的強項,其他任何搜索引擎都沒辦法相比。但是百度中文網(wǎng)頁數(shù)目并不是最大的,百度蜘蛛抓取的頻率和網(wǎng)頁更新情況有關。
第二,我注意了一下蜘蛛似乎更注重頁面內(nèi)的因素。與Google更加重視內(nèi)部,有點爬蟲類的味道,越黑越深,它越是喜歡往里鉆,--不相信你做100個頁面,做得再漂亮,只要鏈接沒有層次,哈哈,不好意思,你最多就孤零零的被收錄可憐的一點點東西。
第三:百度排名算法是以網(wǎng)頁為基礎,比較少關注整個網(wǎng)站的主題。聯(lián)系到上一點,這說明百度排名算法中比較注重內(nèi)部結構缺少完整的語義分析。所以一些目前比較認同的關于site:之間那幾個所謂關系到搜索質量的東西,并不是百度蜘蛛所最敏感的,
第四:充分利用百度的一個最大的優(yōu)勢--大家可能覺得它的優(yōu)勢對我們來說就是難事了嘛:呵呵,的確是可以利用的,百度收錄速度可以用海量來形容,免費推廣網(wǎng)正因為速度快,就給我們留下了可以利用的空間!雖然百度對優(yōu)化并不感冒,但是只要你優(yōu)化方式友好,還是能起到不錯的效果,--我比較認同適量優(yōu)化!
評論(0人參與,0條評論)
發(fā)布評論
最新評論