robots.txt
作者:聚擎
瀏覽:816次
發(fā)布時間:2017-06-03




搜索引擎通過一種程序robot(又稱spider),自動訪問互聯(lián)網上的網頁并獲取網頁信 息。您可以在您的網站中創(chuàng)建一個純文本文件robots.txt,在這個文件中聲明該網站中不想被robot 訪問的部分,這樣,該網站的部分或全部內容就可以不被搜索引擎收錄了,或者指定搜 索引擎只收錄指定的內容。