出現(xiàn)這種情況是你服務器有緩存相關機制,返回304代碼是請求的網(wǎng)頁與上次比沒有更新。意思是蜘蛛來到你的網(wǎng)站,你網(wǎng)站沒有更新內(nèi)容,并且與上次一樣,就會返回304代碼。如果每次蜘蛛來你的網(wǎng)站都有新的內(nèi)容出現(xiàn),就會返回200代碼。因為304代碼是記錄網(wǎng)站內(nèi)容是否有更新。如果返回的304太多,表示網(wǎng)站沒有更新,蜘蛛也就不會經(jīng)常光顧,影響收錄。下面三個步驟進行:
1、內(nèi)容是否更新?把蜘蛛來的時候訪問的url記錄看下規(guī)律,算出蜘蛛每隔多久來一次網(wǎng)站,針對這個在返回大量304的url對應的頁面添加一個整站最新信息,然后在蜘蛛下一次快到來的時候生成下這些url,讓蜘蛛每次來都能夠有新的內(nèi)容,而不是獲取304認為與上次訪問的頁面內(nèi)容無區(qū)別;
2、如果網(wǎng)站訪問量實際上用不著緩存機制,那么可以去掉(比如有些喜歡用etag實現(xiàn)304,但很多大型站都沒有用它);
3、看看空間商或網(wǎng)站目錄中的緩存文件夾下內(nèi)容是否更新,刪除下原來緩存。
評論(0人參與,0條評論)
發(fā)布評論
最新評論