搜索蜘蛛spider和普通用戶的區(qū)別
編輯
分享
評論
贊0
主流的搜索引擎都聲稱自己的spider對網(wǎng)站的抓取行為和普通用戶的訪問行為沒有太大的區(qū)別。
站在用戶的立場來理解這句話是沒有問題的，但是站在站長和SEO的角度這句話就不太正確了。
在網(wǎng)頁上其實有很多東西普通用戶是看不到的也分不清楚的，但是spider卻是可以看到的，網(wǎng)頁上也有很多東西普通用戶可以看到，但是spider卻是視而不見的。
如何看待網(wǎng)頁，spider和普通用戶是有一些區(qū)別的，具體表現(xiàn)在以下方面：
1、 網(wǎng)頁中的隱藏內(nèi)容，是否被掛了黑鏈等這些spider是無法分辨得出來的。網(wǎng)站中的圖片文件也是spider無法分辨的，更不能讀取JS，Iframe，Ajax和Flash中的內(nèi)容，普通用戶卻是相關(guān)的，這些普通用戶都是可以看到的。
2、 Spider沒有Referer，對網(wǎng)站的抓取全部都是直接訪問的，而普通用戶出來直接訪問的用戶外一般都是由Referer的。
3、 Spider對網(wǎng)站的訪問是不存在Cookie的，但是普通用戶訪問網(wǎng)站是會產(chǎn)生cookie記錄的。
4、 Spider不會主動注冊登入網(wǎng)站，但是普通的用戶卻是可以的，原則上spider不會抓取和分析網(wǎng)站robots中限制的內(nèi)容，但是普通的用戶是可以正常訪問的。
5、 Spider對于有動態(tài)的參數(shù)URL可以能會陷入死循環(huán)，但是普通的用戶是不會的。
6、 Spider對列表中前幾頁的新內(nèi)容可能抓取不好，但是普通用戶對感興趣的內(nèi)容是可以瀏覽的
7、 Spider只是機械的判斷文章的原偽度，但是普通用戶可以通過多角度來對一篇文章進行判斷甄別?！ ×私饬藄pider和普通用戶的區(qū)別，我們在日常的優(yōu)化過程中，在不影響用戶體驗，不使用作弊手法的情況下，迎合搜索引擎spider的習慣，最大可能的提高網(wǎng)站在搜索引擎中的表現(xiàn)。而誤導(dǎo)spider，鉆spider空子的做法雖可能短期從搜索引擎中獲得搜索流量但不會長久，還是不可取得。以用戶為中心，最大可能的滿足用戶的需求才是正道。
猜你喜歡