91麻豆精品在线观看_一级做性色a爰片久久毛片免费_zzijzzij亚洲日本少妇jizjiz_国产日产欧美欧韩在线_日本高清在线www3344

蜘蛛陷阱是阻止蜘蛛程序爬行網(wǎng)站的障礙物，通常是那些顯示網(wǎng)頁(yè)的技術(shù)方法，目前很多瀏覽器在

設(shè)計(jì)的時(shí)候考慮過(guò)這些因素，所以可能網(wǎng)頁(yè)界面看起來(lái)非常正常，但這些蜘蛛陷阱會(huì)對(duì)蜘蛛程序造

成障礙。

如果消除這些蜘蛛陷阱，可以使蜘蛛程序收錄更多的網(wǎng)頁(yè)。蜘蛛陷阱也是以前常常使用的黑帽方式

之一，就是用一些動(dòng)態(tài)網(wǎng)站代碼中，寫(xiě)一個(gè)無(wú)線循環(huán)的頁(yè)面，使得蜘蛛爬進(jìn)去后在這個(gè)無(wú)窮循環(huán)中

輪回收錄，這樣雖然會(huì)使得網(wǎng)站疾速進(jìn)步排名，但也會(huì)隨時(shí)給我們網(wǎng)站帶來(lái)k站的影響，所以?xún)?yōu)越

SEO建議大家最好不要使用。特別是搜索引擎頻繁調(diào)整算法的時(shí)期。

搜索引擎蜘蛛抓取結(jié)構(gòu)原理

在此優(yōu)越SEO也簡(jiǎn)單為大家介紹幾種易導(dǎo)致蜘蛛陷阱的建站技術(shù)：

1、Flash動(dòng)畫(huà)

有得網(wǎng)站喜歡在首頁(yè)放一個(gè)Flash動(dòng)畫(huà)片頭、用戶訪問(wèn)網(wǎng)站看完片頭后被轉(zhuǎn)向得真正得HTML版本得文

字網(wǎng)站首頁(yè)。但搜索引擎不能讀取Flash、一般也沒(méi)辦法從FlashIntro跟蹤到HTML版本頁(yè)面。如果

Flash效果是必需得、至少也需要在首頁(yè)加上一個(gè)通往HTML版本得鏈接。這個(gè)鏈接應(yīng)該是在Flash文

件之外得HTML代碼中、搜索引擎跟蹤這個(gè)鏈接可以抓取后面得HTML版本頁(yè)面。

2、Session ID

有些網(wǎng)站使用Session ID跟蹤用戶訪問(wèn)、每個(gè)用戶訪問(wèn)網(wǎng)站時(shí)都會(huì)生成獨(dú)特唯一得SessionID、加在

URL中。搜索引擎蜘蛛的每一次訪問(wèn)也會(huì)被當(dāng)成一個(gè)新得用戶、URL中會(huì)加上一個(gè)不同得SessionID，

這樣搜索引擎蜘蛛每次來(lái)訪問(wèn)時(shí)所得到得同一個(gè)頁(yè)面得URL將不一樣、后面帶著一個(gè)不一樣得

SessionID。這也是最常見(jiàn)得蜘蛛陷進(jìn)之一。這樣就會(huì)產(chǎn)生了同一個(gè)頁(yè)面但URL不同的情況，但這種

方法會(huì)產(chǎn)生復(fù)制內(nèi)容頁(yè)面，造成了高度重復(fù)的內(nèi)容頁(yè)。

3、框架結(jié)構(gòu)

對(duì)搜索引擎來(lái)說(shuō)、方位一個(gè)使用框架得網(wǎng)址所專(zhuān)區(qū)得HTML只包含其他HTML文件得代碼、并不包含任

何文字信息、搜索引擎根本無(wú)法判斷這個(gè)網(wǎng)址得內(nèi)容是什么。雖然蜘蛛可以跟蹤框架中所調(diào)用得其

他HTML文件、但是這些文件經(jīng)常是不完整得頁(yè)面、比如沒(méi)有導(dǎo)航只是正文。搜索引擎也無(wú)法判斷框

架中的頁(yè)面內(nèi)容應(yīng)該數(shù)屬于主框架、還是屬于框架調(diào)用文件。

4、動(dòng)態(tài)URL

動(dòng)態(tài)URL指得是數(shù)據(jù)庫(kù)驅(qū)動(dòng)得網(wǎng)址所生成得、帶有問(wèn)號(hào)、等號(hào)及參數(shù)得網(wǎng)址。一般來(lái)說(shuō)動(dòng)態(tài)URL不利

于搜索引擎蜘蛛爬行、應(yīng)該盡量避免。有的url會(huì)造成蜘蛛的死循環(huán)。

5、JS鏈接

由于Javascript可以創(chuàng)造出很多吸引人得視覺(jué)效果、有些網(wǎng)址喜歡使用Javascript腳本生成導(dǎo)航系

統(tǒng)。這也是比較嚴(yán)重得蜘蛛陷阱之一。雖然搜索引擎都在嘗試解析JS腳本、不過(guò)我們不能寄希望于

搜索引擎自己去克服困難、而要讓搜索引擎跟蹤爬行鏈接得工作盡量簡(jiǎn)單容易。

6、要求登錄

有些網(wǎng)站內(nèi)容放在需要用戶登錄之后才能看到得會(huì)員區(qū)域、這部分內(nèi)容搜索引擎無(wú)法看到。蜘蛛不

能填寫(xiě)用戶名、密碼、也不會(huì)注冊(cè)。

7、強(qiáng)制使用Cookies

有些網(wǎng)站為了實(shí)現(xiàn)某種功能、如記住用戶登錄信息、跟蹤用戶訪問(wèn)路徑等、強(qiáng)制用戶使用Cookies、

用戶瀏覽器如果沒(méi)有啟用Cookies、頁(yè)面顯示不正常。搜索引擎蜘蛛就相當(dāng)于一個(gè)禁用Cookies得瀏

覽器、強(qiáng)制使用Cookies只能造成搜索引擎蜘蛛無(wú)法正常訪問(wèn)。