觸屏版
全國服務(wù)熱線:0571-87205688
登錄
注冊
客戶中心
關(guān)注云客
不清楚我們的網(wǎng)站百度蜘蛛是否來過,不知道我們網(wǎng)站百度蜘蛛是否能來,那你可以利用網(wǎng)站日志來分析蜘蛛是否來過,爬行過哪些頁面,什么時候來過等問題,那么我們應(yīng)該如何去分析網(wǎng)站蜘蛛日志。
在我們分析網(wǎng)站日志的前提是必須要下載ISS日志,一般的情況下,我們都使用ftp,那么ISS日志均為空間商會給你提供下載地址。一般是在weblog文件中,我們可以直接從這一文件中獲取站點(diǎn)的日志文件。一般的情況下,ISS日志是每天生成一次,但是對于網(wǎng)站較大,站點(diǎn)內(nèi)容較多的可以設(shè)置每小時生成一次。
如何分析蜘蛛日志
61.135.168.22 - - [11/Feb/2014:04:02:45 +0800] " seo/3539.html HTTP/1.1" 200 8450 "-" "Baiduspider+(+http://www.baidu.com/search/spider.htm)"
以上的代碼是我從自己的空間下載的一段日志,現(xiàn)在與大家一起來分析一下,這段代碼具體意思如下:
61.135.168.22:來路IP,也就是說這個用戶或者蜘蛛進(jìn)來我們網(wǎng)站的IP是多少。
11/Feb/2014:04:02:45:時間2014年2月11日早上4點(diǎn)02分45秒。
seo/3539.html:蜘蛛訪問的頁面,加上網(wǎng)站的主域名如:http://www.xugongping.com/seo/3539.html
200:表示能夠正常訪問你的網(wǎng)站。
8450:表示此次加載了8450個字節(jié)。
Baiduspider:百度蜘蛛的全名。
以上是網(wǎng)站日志分析的細(xì)節(jié),那么以上的內(nèi)容有兩點(diǎn),是我們需要注意的,同時在分析的過程中也需要記住的。那就是狀態(tài)代碼和程序名的解析。
狀態(tài)代碼
200 - 服務(wù)器成功返回網(wǎng)頁
404 - 請求的網(wǎng)頁不存在
503 - 服務(wù)器暫時不可用
500 - 服務(wù)器出現(xiàn)錯誤
蜘蛛名稱
百度(Baidu)爬蟲名稱(Baiduspider)
谷歌(Google)爬蟲名稱(Googlebot)
雅虎(Yahoo)爬蟲名稱(Yahoo Slurp)
有道(Yodao)蜘蛛名稱(YodaoBot)
搜狗(sogou)蜘蛛名稱(sogou spider)
MSN的蜘蛛名稱:msnbot
如何讓蜘蛛經(jīng)常訪問我們的網(wǎng)站
那么看懂這些數(shù)據(jù)以后,很多朋友可能會很失望,覺得自己的網(wǎng)站蜘蛛訪問的很少甚至沒有訪問記錄,那么你也別擔(dān)心,可能是你網(wǎng)站的一些小問題引起了蜘蛛的不關(guān)注。下面來看看面對蜘蛛不關(guān)注我們的網(wǎng)站,我們應(yīng)該如何操作吧。
定時更新:對于小網(wǎng)站或者博客網(wǎng)站,我們可以定時更新1-3篇少量信息,那么對于論壇門戶這種欄目較多的網(wǎng)站,我們就需要更具自己網(wǎng)站的情況來更新,以便獲得蜘蛛的青睞。
網(wǎng)站地圖:制作蜘蛛網(wǎng)站地圖,當(dāng)蜘蛛在抓取你的頁面,蜘蛛會先抓取你的robots文件,所以網(wǎng)站地圖寫在robots文件里面來引導(dǎo)蜘蛛抓取網(wǎng)站地圖內(nèi)容。
外鏈引導(dǎo):我曾經(jīng)做過一次這樣的實(shí)驗(yàn),新建一個文本頁面的網(wǎng)站,不做任何操作,僅僅在A5論壇發(fā)了一個純文本鏈接,第二天百度收錄了我的那個文本頁面。這一點(diǎn)說明SEO外鏈?zhǔn)强梢砸龑?dǎo)百度蜘蛛來收錄你的網(wǎng)站的。
推薦此文:如果你的條件允許的情況下,你可以將你的內(nèi)容文字推薦到首頁,或者在其他內(nèi)容頁推薦,因?yàn)橐粋€網(wǎng)站首頁的權(quán)重是最高的,所以在首頁推薦的情況下,是非常容易就可以收錄你的文章。
評論(0人參與,0條評論)
發(fā)布評論
最新評論