觸屏版
全國服務熱線:0571-87205688
登錄
注冊
客戶中心
關(guān)注云客
Robots協(xié)議(也稱為爬蟲協(xié)議、機器人協(xié)議等)的全稱是“網(wǎng)絡爬蟲排除標準”(Robots Exclusion Protocol),網(wǎng)站通過Robots協(xié)議告訴搜索引擎哪些頁面可以抓取,哪些頁面不能抓取。
robots.txt文件是一個文本文件,使用任何一個常見的文本編輯器,比如Windows系統(tǒng)自帶的Notepad,就可以創(chuàng)建和編輯它。robots.txt是一個協(xié)議,而不是一個命令。robots.txt是搜索引擎中訪問網(wǎng)站的時候要查看的第一個文件。robots.txt文件告訴蜘蛛程序在服務器上什么文件是可以被查看的。
當一個搜索蜘蛛訪問一個站點時,它會首先檢查該站點根目錄下是否存在robots.txt,如果存在,搜索機器人就會按照該文件中的內(nèi)容來確定訪問的范圍;如果該文件不存在,所有的搜索蜘蛛將能夠訪問網(wǎng)站上所有沒有被口令保護的頁面。百度官方建議,僅當您的網(wǎng)站包含不希望被搜索引擎收錄的內(nèi)容時,才需要使用robots.txt文件。如果您希望搜索引擎收錄網(wǎng)站上所有內(nèi)容,請勿建立robots.txt文件。
如果其他網(wǎng)站鏈接了您robots.txt文件中設置的禁止收錄的網(wǎng)頁,那么這些網(wǎng)頁仍然可能會出現(xiàn)在百度的搜索結(jié)果中,但您的網(wǎng)頁上的內(nèi)容不會被抓取、建入索引和顯示,百度搜索結(jié)果中展示的僅是其他網(wǎng)站對您相關(guān)網(wǎng)頁的描述。
robots.txt必須放置在一個站點的根目錄下,文件名必須全部小寫。
評論(0人參與,0條評論)
發(fā)布評論
最新評論