91麻豆精品在线观看_一级做性色a爰片久久毛片免费_zzijzzij亚洲日本少妇jizjiz_国产日产欧美欧韩在线_日本高清在线www3344

 Baiduspider抓取過程中涉及的網(wǎng)絡(luò)協(xié)議  剛才提到百度搜索引擎會(huì)設(shè)計(jì)復(fù)雜的抓取策略,其實(shí)搜索引擎與資源提供者之間存在相互依賴的關(guān)系,其中搜索引擎需要站長(zhǎng)為其提供資源,否則搜索引擎就無法滿足用戶檢索需求;而站長(zhǎng)需要通過搜索引擎將自己的 內(nèi)容推廣出去獲取更多的受眾.spider抓取系統(tǒng)直接涉及互聯(lián)網(wǎng)資源提供者的利益,為了使搜素引擎與站長(zhǎng)能夠達(dá)到雙贏,在抓取過程中雙方必須遵守一定的 規(guī)范,以便于雙方的數(shù)據(jù)處理及對(duì)接.這種過程中遵守的規(guī)范也就是日常中我們所說的一些網(wǎng)絡(luò)協(xié)議.

  以下簡(jiǎn)單列舉:

  http協(xié)議:超文本傳輸協(xié)議,是互聯(lián)網(wǎng)上應(yīng)用最為廣泛的一種網(wǎng)絡(luò)協(xié)議,客戶端和服務(wù)器端請(qǐng)求和應(yīng)答的標(biāo)準(zhǔn).客戶端一般情況是指終端用戶,服務(wù)器端即指網(wǎng) 站.終端用戶通過瀏覽器、蜘蛛等向服務(wù)器指定端口發(fā)送http請(qǐng)求.發(fā)送http請(qǐng)求會(huì)返回對(duì)應(yīng)的httpheader信息,可以看到包括是否成功、服務(wù) 器類型、網(wǎng)頁(yè)最近更新時(shí)間等內(nèi)容.

  https協(xié)議:實(shí)際是加密版http,一種更加安全的數(shù)據(jù)傳輸協(xié)議.

  UA屬性:UA即user-agent,是http協(xié)議中的一個(gè)屬性,代表了終端的身份,向服務(wù)器端表明我是誰來干嘛,進(jìn)而服務(wù)器端可以根據(jù)不同的身份來做出不同的反饋結(jié)果.

  robots協(xié)議:robots.txt是搜索引擎訪問一個(gè)網(wǎng)站時(shí)要訪問的第一個(gè)文件,用以來確定哪些是被允許抓取的哪些是被禁止抓取的. robots.txt必須放在網(wǎng)站根目錄下,且文件名要小寫.詳細(xì)的robots.txt寫法可參考 http://www.robotstxt.org .百度嚴(yán)格按照robots協(xié)議執(zhí)行,另外,同樣支持網(wǎng)頁(yè)內(nèi)容中添加的名為robots的meta標(biāo) 簽,index、follow、nofollow等指令.

  Baiduspider抓取頻次原則及調(diào)整方法  Baiduspider根據(jù)上述網(wǎng)站設(shè)置的協(xié)議對(duì)站點(diǎn)頁(yè)面進(jìn)行抓取,但是不可能做到對(duì)所有站點(diǎn)一視同仁,會(huì)綜合考慮站點(diǎn)實(shí)際情況確定一個(gè)抓取配額,每天定量抓取站點(diǎn)內(nèi)容,即我們常說的抓取頻次.那么百度搜索引擎是根據(jù)什么指標(biāo)來確定對(duì)一個(gè)網(wǎng)站的抓取頻次的呢,主要指標(biāo)有四個(gè):

  1,網(wǎng)站更新頻率:更新快多來,更新慢少來,直接影響B(tài)aiduspider的來訪頻率  2,網(wǎng)站更新質(zhì)量:更新頻率提高了,僅僅是吸引了Baiduspier的注意,Baiduspider對(duì)質(zhì)量是有嚴(yán)格要求的,如果網(wǎng)站每天更新出的大量?jī)?nèi)容都被Baiduspider判定為低質(zhì)頁(yè)面,依然沒有意義.

  3,連通度:網(wǎng)站應(yīng)該安全穩(wěn)定、對(duì)Baiduspider保持暢通,經(jīng)常給Baiduspider吃閉門羹可不是好事情  4,站點(diǎn)評(píng)價(jià):百度搜索引擎對(duì)每個(gè)站點(diǎn)都會(huì)有一個(gè)評(píng)價(jià),且這個(gè)評(píng)價(jià)會(huì)根據(jù)站點(diǎn)情況不斷變化,是百度搜索引擎對(duì)站點(diǎn)的一個(gè)基礎(chǔ)打分(絕非外界所說的百度權(quán)重),是百度內(nèi)部一個(gè)非常機(jī)密的數(shù)據(jù).站點(diǎn)評(píng)級(jí)從不獨(dú)立使用,會(huì)配合其它因子和閾值一起共同影響對(duì)網(wǎng)站的抓取和排序.

  抓取頻次間接決定著網(wǎng)站有多少頁(yè)面有可能被建庫(kù)收錄,如此重要的數(shù)值如果不符合站長(zhǎng)預(yù)期該如何調(diào)整呢?百度站長(zhǎng)平臺(tái)提供了抓取頻次工具(http://zhanzhang.baidu.com/pressure/index),并已完成多次升級(jí).該工具除了提供抓取統(tǒng)計(jì)數(shù)據(jù)外,還提供"頻次調(diào)整"功能,站長(zhǎng)根據(jù)實(shí)際情況向百度站長(zhǎng)平臺(tái)提出希望Baiduspider增加來訪或減少來訪的請(qǐng)求,工具會(huì)根據(jù)站長(zhǎng)的意愿和實(shí)際情況進(jìn)行調(diào)整.