連通率為零的原因以及解決方案
編輯
分享
評論
贊0
一、何謂連通率既然為率，那么就是一個(gè)統(tǒng)計(jì)相關(guān)概念。我們不妨可以這樣理解一個(gè)網(wǎng)站的連通率：百度蜘蛛在抓取網(wǎng)站頁面的時(shí)候計(jì)算的一個(gè)概率，比如它抓取某網(wǎng)站中的N個(gè)頁面，這N個(gè)頁面都能打開并被蜘蛛成功抓取，這樣的連通率就是N/N=100%，反之蜘蛛抓取N個(gè)頁面有M個(gè)頁面能成功抓取，連通率就是M/N這里先說明幾個(gè)常識：
1、不是網(wǎng)站被某算法懲罰而導(dǎo)致連通率為0，也不是網(wǎng)站流量下降而導(dǎo)致連通率數(shù)值很低;2、連通率代表著百度蜘蛛獲取網(wǎng)站數(shù)據(jù)的情況，如果連通率數(shù)值很低或?yàn)?，那么可能連維持網(wǎng)站的正常收錄等都成問題;3、假如網(wǎng)站被判定連通不了，那么如果讓一個(gè)連通不了的站點(diǎn)在百度中獲取排名，就會(huì)大大影響搜索用戶的體驗(yàn)，于是百度就會(huì)采取對該站點(diǎn)有效引流的索引清除操作，一些站長就會(huì)發(fā)現(xiàn)自己的網(wǎng)站索引量突然大幅度下降，甚至索引被短暫清0了，接著就是網(wǎng)站百度搜索流量大幅度下降，這種突發(fā)性的事件又會(huì)造成站長們的揣測，以為自己的網(wǎng)站被百度懲罰了，其實(shí)站長們先應(yīng)該注意的是站點(diǎn)的連通情況。
二、提取核心詞上述概念中，我們需要注意的幾個(gè)詞有：”百度蜘蛛”; ”在抓取”; ”N個(gè)頁面”; ”M個(gè)頁面”; ”都能打開并被成功抓取”。
三、連通率很低或?yàn)?時(shí)我們抓住上述5個(gè)提取出的核心詞進(jìn)行分析。
(一)百度蜘蛛1、謹(jǐn)防百度蜘蛛訪問被操控或禁止(1)由于百度蜘蛛的抓取量等原因?qū)σ恍┓?wù)器造成壓力，而這些網(wǎng)絡(luò)商或網(wǎng)站運(yùn)營方從某利益角度考慮，無意或有意的屏蔽百度蜘蛛，導(dǎo)致部分或全部百度蜘蛛ip獲取不到網(wǎng)站數(shù)據(jù);(2)一些網(wǎng)站運(yùn)營方或網(wǎng)絡(luò)商對蜘蛛進(jìn)行區(qū)別對待，比如國外蜘蛛ip、山東蜘蛛ip、北京蜘蛛ip等返回不同的數(shù)據(jù)，移花接木的手段層出不窮，而這個(gè)過程很可能造成百度蜘蛛的異常行為或異常狀態(tài)返回;所以我們首先要確保百度蜘蛛的訪問有沒有被操控或禁止。
2、預(yù)防措施(1)完善聯(lián)系方式獲得百度站長工具消息提醒雖然一些網(wǎng)站異常情況會(huì)收到百度站長工具消息提醒，然而我想告訴大家不是所有自己站點(diǎn)異常都可以寄希望于消息提醒的，自己心里要知道連發(fā)郵件都可能出現(xiàn)收不到的情況，更何況各種復(fù)雜的異常情況，因此不要出問題了只會(huì)問“為什么站長工具沒有給我發(fā)消息”。
(2)利用抓取異常和抓取頻次工具觀察抓取情況↓抓取異常工具的網(wǎng)址異常情況↓抓取頻次工具的抓取統(tǒng)計(jì)情況↓每個(gè)工具頁面的右側(cè)下方都有使用說明，如下(3)抓取診斷工具是重中之重為了保證網(wǎng)站對百度蜘蛛的穩(wěn)定訪問性能，日常我們需要養(yǎng)成定期抓取診斷的習(xí)慣，另外抓取診斷不是說光看看狀態(tài)是否“抓取成功”就行了。有下面幾步進(jìn)行：
第一步：下拉選擇分”pc”、 ”移動(dòng)”進(jìn)行抓取，”pc”意味著一般意義上的電腦端訪問診斷，”移動(dòng)”則是如手機(jī)、平板等移動(dòng)設(shè)備端訪問診斷;第二步：網(wǎng)站主要的引流頁，如首頁、詳情頁、內(nèi)容頁、專題頁等都要進(jìn)行抓取，另外可以重點(diǎn)幾個(gè)時(shí)間段(比如網(wǎng)站高峰時(shí)間段)每天定期進(jìn)行測試;第三步：抓取失敗了，點(diǎn)擊”抓取失敗”查看提示信息，如果自己沒有技術(shù)能力解決問題，可以跟空間商進(jìn)行溝通，然后向工具提交報(bào)錯(cuò);第四步：抓取成功后，也不能說就萬事大吉了，還要點(diǎn)擊”抓取成功”進(jìn)去注意：提交網(wǎng)址、抓取網(wǎng)址、抓取UA、網(wǎng)站ip、下載時(shí)長、頭部信息(服務(wù)器返回狀態(tài)碼、gzip等相關(guān)信息)、網(wǎng)頁源碼是否都正常。
特別說明：有很多站長就光注意抓取成功，卻不知網(wǎng)站ip可能并非自己的實(shí)際ip，被網(wǎng)絡(luò)商搞到哪里去了都不知道，還可能每隔一段時(shí)間都變。當(dāng)發(fā)現(xiàn)ip有問題，及時(shí)跟網(wǎng)絡(luò)商溝通，并在網(wǎng)站ip旁點(diǎn)擊“報(bào)錯(cuò)”按鈕，百度會(huì)更新網(wǎng)站ip，但是切記不要ip變化頻繁。此外當(dāng)然還可能出現(xiàn)實(shí)際抓取網(wǎng)址、頭部信息、網(wǎng)頁源碼等都不是自己本來設(shè)置的。
(二)在抓取這是反映百度蜘蛛在抓取時(shí)的狀態(tài)，百度的工具顯示的數(shù)值肯定都是抓取后計(jì)算出來的數(shù)據(jù)，因此任何工具的連通率數(shù)據(jù)必定存在延遲性，另外這個(gè)計(jì)算過程也存在一定可能的錯(cuò)誤，所以我們看到任何工具中關(guān)于連通率的數(shù)據(jù)，不要說“我網(wǎng)站用抓取診斷等工具檢查訪問情況都好好的，為什么連通率還是0”，因此除了上述建議的多抓取診斷測試外，自己可以加些監(jiān)控網(wǎng)站連接狀態(tài)的措施，筆者本人就曾經(jīng)接收了不少關(guān)于網(wǎng)站連接不通的提醒。這時(shí)我會(huì)及時(shí)跟網(wǎng)絡(luò)商溝通，然后及時(shí)用抓取診斷檢查蜘蛛的情況。
(三)N個(gè)頁面與M個(gè)頁面這N、M個(gè)頁面，可能百度蜘蛛很湊巧就趕上高峰的時(shí)候或者一些假死頁面(執(zhí)行時(shí)間較長，超過蜘蛛的耐心)，那么M這個(gè)數(shù)值就會(huì)很低，統(tǒng)計(jì)概率的東西大家都懂的，那么這時(shí)網(wǎng)站的連通率依舊很低或?yàn)?。因此若連通率為0，我們還可以知道自己應(yīng)該注意查看訪問日志，及時(shí)清理死鏈，或者并發(fā)連接數(shù)增大，或者增加內(nèi)存等等。
(四)都能打開并被成功抓取這里主要注意DNS和空間的穩(wěn)定性。
1、DNS的問題。當(dāng)心dns服務(wù)器不穩(wěn)導(dǎo)致站點(diǎn)被屏近期百度站長平臺收到多個(gè)反饋，稱網(wǎng)站從百度網(wǎng)頁搜索消失，site查詢發(fā)現(xiàn)連通率為0。
經(jīng)追查發(fā)現(xiàn)這些網(wǎng)站都使用godaddy的DNS服務(wù)器 *.DOMAINCONTROL.COM，此系列DNS服務(wù)器存在穩(wěn)定性問題，Baiduspider經(jīng)常解析不到ip，在Baiduspider看來，網(wǎng)站是死站點(diǎn)。
此前我們也發(fā)現(xiàn)過多起小dns服務(wù)商屏蔽Baiduspider解析請求或者國外dns服務(wù)器不穩(wěn)定的案例。
建議站長盡可能使用國內(nèi)大型服務(wù)商提供的DNS服務(wù)，如dnspod等，以保證站點(diǎn)的穩(wěn)定解析。
筆者提醒大家注意的是現(xiàn)在不少云類ns服務(wù)器，這個(gè)過程中由于處理機(jī)制問題，包括回源障礙等等，較容易造成這個(gè)問題。另外國內(nèi)大型服務(wù)商提供，比如你使用了dnspod，并不代表你的dns就應(yīng)該是ok的。有的站長存在著對大型服務(wù)商的錯(cuò)誤認(rèn)識，如 “新網(wǎng)的dns就是不可靠的，我都用百度云加速”。我們要明白廉價(jià)的東西質(zhì)量都有一定局限性，所以需要自己檢查dns解析情況，具體上網(wǎng)找找相關(guān)資料或平臺，看看dns解析出的ip以及解析延遲情況等等。
2、空間的穩(wěn)定性很多人都會(huì)用超級ping了，這個(gè)不多說了。但是我還要告訴大家有下面兩點(diǎn)需要注意：
A、不良的網(wǎng)絡(luò)商會(huì)對不同用戶ip進(jìn)行不同處理，自己可以用vpn等工具觀察下不同地區(qū)ip段的網(wǎng)站訪問情況與返回內(nèi)容;
B、空間的資源不足，內(nèi)存、并發(fā)連接等等，當(dāng)訪問量很少的時(shí)候，自己察覺不出，需要提高訪問量，增加連接時(shí)間。因此使用一些監(jiān)控工具時(shí)，發(fā)現(xiàn)監(jiān)控工具訪問測試量巨大，或者被人刷流量時(shí)，你應(yīng)該慶幸，而不是著急拒絕，因?yàn)槟憧梢粤私獾阶约旱目臻g承壓能力。
四、連通率問題處理完畢后如果你的網(wǎng)站索引由于連通率而非懲罰原因被清理了，處理完畢問題，可以在抓取頻次工具中提交增加抓取頻次的請求，將抓取頻次增加到一定額度(建議自己查看工具中對抓取頻次的說明后再根據(jù)網(wǎng)站實(shí)際情況調(diào)整)，然后增加自己的網(wǎng)站數(shù)據(jù)更新頻率與質(zhì)量，加強(qiáng)與百度的數(shù)據(jù)溝通(如url提交、sitemap等等)，很快就能恢復(fù)。相關(guān)工具展示如下(每個(gè)工具頁面的右側(cè)下方都有相關(guān)說明鏈接，可以點(diǎn)擊去了解使用注意事項(xiàng))：
1、抓取頻次中的頻次調(diào)整工具：
2、url提交工具：
3、Sitemap工具中的定期更新、實(shí)時(shí)推送工具：
4、Ping工具：
猜你喜歡