91麻豆精品在线观看_一级做性色a爰片久久毛片免费_zzijzzij亚洲日本少妇jizjiz_国产日产欧美欧韩在线_日本高清在线www3344

一個(gè)完整的網(wǎng)站,301重定向、404頁(yè)面自定義和robots.txt文件都是必有的,沒(méi)有為什么,301是為了集權(quán);404是在網(wǎng)站出現(xiàn)死鏈的時(shí)候引導(dǎo)蜘蛛以及增加用戶體驗(yàn);那robots.txt文件是做什么的呢?它有什么作用呢?

  一、robots文件是什么?

  robots.txt文件是存放在網(wǎng)站根目錄下面的一個(gè)TXT文本文檔.它是網(wǎng)站和蜘蛛之間的一個(gè)協(xié)議.

  二、robots文件有什么作用?

  如果你網(wǎng)站根目錄有robots.txt這樣一個(gè)文件,那蜘蛛在爬行你網(wǎng)站的時(shí)候就會(huì)首先訪問(wèn)這個(gè)文件(robots文件一般都要存放在根目錄,蜘蛛第一個(gè)訪問(wèn)的文件,因此這個(gè)文件是很重要的).robots文件的作用是告訴搜索引擎蜘蛛,網(wǎng)站的哪些文件夾可以抓取,哪些文件夾不能抓取,從而確保我們網(wǎng)站的隱私內(nèi)容不會(huì)被收錄.

  三、robots文件怎么寫(xiě)?

  1.定義搜索引擎

  用User-agent:來(lái)定義搜索引擎,其中*表示所有

  百度蜘蛛名字:Baiduspider,谷歌蜘蛛名字:Googlebot.

  User-agent:*表示定義所有蜘蛛

  User-agent: Baiduspider表示自定義百度蜘蛛,

  User-agent: Googlebot表示自定義谷歌蜘蛛

  大家可以參考百度或者淘寶的robots.txt,他么就是這樣寫(xiě)的,而我們小站只需要自定義所有搜索引擎蜘蛛即可.

  2.禁止訪問(wèn)和允許訪問(wèn)

  User-agent: *

  Disallow: /

  表示禁止所有搜索引擎訪問(wèn);

  User-agent: *

  Allow: /

  表示允許所有搜索引擎訪問(wèn).

  PS:在:后面/前面有一個(gè)英文狀態(tài)下的空格,空格必須有,必須是英文狀態(tài)下的

  3.禁止搜索引擎訪問(wèn)網(wǎng)站中的某些目錄

  假設(shè)a是我網(wǎng)站根目錄的一個(gè)文件夾,寫(xiě)法分別如下:

  User-agent: *

  Disallow: /a

  禁止搜索引擎訪問(wèn)a文件夾及a文件夾下面的所有文件

  User-agent: *

  Disallow: /a/

  禁止搜索引擎訪問(wèn)a文件夾下面的所有文件,但是a文件夾是允許被訪問(wèn)的(這里闡述不太清楚,具體大家可以去百度站長(zhǎng)平臺(tái)測(cè)試)

  4、禁止搜索引擎訪問(wèn)某一類文件

  $表示結(jié)尾,如果要禁止搜索引擎訪問(wèn)css結(jié)尾的文件,寫(xiě)法如下:

  User-agent: *

  Disallow: /*.css$

  如果要禁止搜索引擎訪問(wèn)js結(jié)尾的文件,寫(xiě)法如下:

  User-agent: *

  Disallow: /*.js$

  *號(hào)表示所有,$表示結(jié)尾,上面兩個(gè)舉例則表示所有css或者js結(jié)尾的文件

  5.禁止訪問(wèn)網(wǎng)站中的動(dòng)態(tài)頁(yè)面

  禁止訪問(wèn)網(wǎng)站中的動(dòng)態(tài)頁(yè)面,寫(xiě)法如下:

  User-agent: *

  Disallow: /*?*

  ?表示動(dòng)態(tài)路徑,*號(hào)表示所有.

  6.禁止訪問(wèn)某個(gè)字母開(kāi)頭的文件

  為了隱藏我們網(wǎng)站的一些目錄,如后臺(tái)地址等,假如shenshan這個(gè)文件夾是我網(wǎng)站的后臺(tái)地址,我不想讓別人通過(guò)robots.txt文件看到它,可以這樣寫(xiě)

  User-agent: *

  Disallow: /sh*

  這就表示所有sh開(kāi)頭的目錄都不能訪問(wèn)

  7.允許訪問(wèn)首頁(yè)

  只允許搜索引擎蜘蛛訪問(wèn)我們網(wǎng)站首頁(yè),寫(xiě)法如下: