蜘蛛程序陷阱
作者:gaoxiaokepu
瀏覽:864次
發(fā)布時間:2017-10-26




蜘蛛陷阱指的是由于網(wǎng)站內(nèi)容結(jié)構(gòu)的某種特征,使搜索引擎陷入無限循環(huán),無法停止爬行,最典型的蜘蛛陷阱是某些頁面上的萬年歷,搜索引擎可以一直單擊下一個月陷入無限循環(huán)。
蜘蛛程序陷阱是阻止蜘蛛程序爬些網(wǎng)頁顯示的技術(shù)方法,這些手段能很好地配合瀏覽器,但對蜘蛛程序就構(gòu)成了阻礙,蜘蛛陷阱包括Javascript下拉菜單以及有些種類的重定向。