網(wǎng)站的優(yōu)化是一個系統(tǒng)工程,有很多東西都必須實驗研究和總結。對于一些稍大規(guī)模的網(wǎng)站,一些簡單的seo細節(jié)就能對整體產生影響,有時也會直接影響網(wǎng)站的收錄、轉化甚至盈利。所以對于上規(guī)模的網(wǎng)站而言,一些seo細節(jié)是不得不提,不得不重視的。今天和大家總結關于robots的幾點知識,希望能讓大家受益。
robots文件的使用很多站長都熟悉,但在細節(jié)上未必在意,也未必精通。它包含的許多知識點搜索引擎并沒有給出詳盡的說明或者使用方法。在經(jīng)過大量總結和參看資料的基礎上,本文和大家總結操作robots文件時應該注意的細節(jié)。
第一、user-agent的數(shù)量
一般網(wǎng)站的文件中不要出現(xiàn)多個user-agent記錄,一般都是一個為宜,但是如果一個都不出現(xiàn),也是被允許的。
第二、spider蜘蛛大小寫
搜索引擎蜘蛛在查看robots的時候會忽略大小寫,但是為了保險,也有網(wǎng)站分別寫了兩個不同的百度蜘蛛,比如淘寶。
第三、allow與disallow順序
順序的問題會導致抓取的錯誤,如果把allow放置后邊,有時候就會出現(xiàn)想要收錄的內容不被收錄,舉例說明:
想要搜索引擎唯一收錄a文件夾下的,那么則要這么寫:
Allow:/a/
Disallow:/a/
如果順序寫反,第一個匹配成功之后,就不會被收錄。
第四、記得反斜杠
反斜杠代表的意思是根目錄,所以Disallow:/代筆的意思就是禁止收錄一切頁面和文件夾的內容。這個反斜杠很重要,少了反斜杠就代表允許搜索引擎收錄全部頁面。
第五、#表示注釋
在中,#開頭均被視為注釋,這和unix中的慣例是一樣的。不要一不小心把通配符寫錯了。
第六、不要出現(xiàn)空格
有些robots文件中前邊會不注意加一個空格,這樣的問題應該盡量避免,否則一些機器人就不理解意思。
好了,篇幅有限,本文就先寫這六個方面吧,下文還有目錄大小寫、meta累加取值、采納限制性最強的參數(shù)等方面的介紹,都是十分有用處的細節(jié),雖然優(yōu)化的主要方向,但是它確實必需重視的一個方向,如果寫的有問題,對整個網(wǎng)站的收錄都會造成影響。我們不應該隨波逐流,別人怎么寫我們就怎么寫。而是理解其中的含義,寫出符合自己網(wǎng)站的robots文件。
評論(0人參與,0條評論)
發(fā)布評論
最新評論