Robots協(xié)議
作者:零啟老師
瀏覽:636次
發(fā)布時(shí)間:2018-03-13




例1. 禁止所有搜索引擎訪問(wèn)網(wǎng)站的任何部分
User-agent: *
Disallow: /
例2. 允許所有的robot訪問(wèn) (或者也可以建一個(gè)空文件 “/robots.txt” file)
User-agent: *
Allow: /
例3. 僅禁止Baiduspider訪問(wèn)您的網(wǎng)站
User-agent: Baiduspider
Disallow: /
例4. 僅允許Baiduspider訪問(wèn)您的網(wǎng)站
User-agent: Baiduspider
Allow: /
User-agent: *
Disallow: /