假百度蜘蛛？CDN及虛擬主機(jī)用戶(hù)須慎重辨明
來(lái)源:SEO優(yōu)化 2012-06-01
對(duì)于真假百度蜘蛛,相信SEO及站長(zhǎng)們已經(jīng)有明確的手段去辨別了。百度也在官方通告了如何去判別偽裝成百度蜘蛛的抓取,詳情請(qǐng)參考這篇文章:
假蜘蛛對(duì)我們網(wǎng)站的危害是巨大的,具體有:
1.占用網(wǎng)站帶寬,導(dǎo)致網(wǎng)站流量上升,增加額外開(kāi)銷(xiāo)
2.在有限帶寬的前提下,阻礙了正常蜘蛛的抓取
3.誤導(dǎo)了我們?cè)趯?duì)網(wǎng)站開(kāi)展SEO工作時(shí)的思路
4.部分偽裝成假蜘蛛的采集工具剽竊了我們的工作
我們看到,網(wǎng)上有很多人在分享如何“捉住”假蜘蛛的文章,但這些文章只是千篇一律的描述了“捉住”假蜘蛛的過(guò)程及操作方法。卻沒(méi)有分享從如何真正的判別蜘蛛的真?zhèn)巍?/p>
作者本人最近在對(duì)一個(gè)電商網(wǎng)站進(jìn)行SEO優(yōu)化時(shí),就碰到了這樣一個(gè)案例,險(xiǎn)些導(dǎo)致將真蜘蛛錯(cuò)當(dāng)假蜘蛛來(lái)處理。
一、發(fā)現(xiàn)“假蜘蛛”
SEO優(yōu)化要依靠大量的分析和數(shù)據(jù)來(lái)實(shí)現(xiàn),其中日志分析是重中之重,在日志中我們可以看到很多平時(shí)統(tǒng)計(jì)工具無(wú)法看到的數(shù)據(jù)和事實(shí)。
每周三我都要對(duì)該電子商務(wù)網(wǎng)站進(jìn)行周日志的分析,以便來(lái)統(tǒng)計(jì)上一周的優(yōu)化效果,在本周進(jìn)行對(duì)網(wǎng)站日志進(jìn)行分析查看時(shí),我發(fā)現(xiàn)了幾個(gè)不屬于認(rèn)識(shí)中的“蜘蛛IP”,如圖:
我們知道,百度蜘蛛一般來(lái)自于202.181.108.* 和123.125.71.*這兩個(gè)IP段(順便科普一下,這兩個(gè)IP段的百度蜘蛛沒(méi)有所謂高權(quán)重和降權(quán)之分)。顯然這三個(gè)IP在“常識(shí)”中,不屬于百度蜘蛛所屬的IP段。
為了確保不誤殺百度蜘蛛,筆者用nslookup ip命令反解了此IP,得到以下信息:
這個(gè)時(shí)候,基本已經(jīng)可以確定該IP不屬于百度蜘蛛的IP段,是一個(gè)“假蜘蛛”,我們需要屏蔽該IP釋放那些被占用的帶寬。
二,誤會(huì)“假蜘蛛”
就在要對(duì)以上提到的三個(gè)IP進(jìn)行屏蔽的時(shí)候,筆者突然想到,這個(gè)電商網(wǎng)站在上周通知我他們要使用安全寶服務(wù),需要將DNS解析到安全寶的服務(wù)器上,而安全寶則會(huì)根據(jù)用戶(hù)的訪(fǎng)問(wèn)情況,選擇距離最近的一個(gè)節(jié)點(diǎn)進(jìn)行CDN加速。
在我之前的例行SEO檢查中,發(fā)現(xiàn)網(wǎng)站IP被解析到了陜西的一個(gè)IP上,而這個(gè)網(wǎng)站IP和這次我從網(wǎng)站日志中發(fā)現(xiàn)的三個(gè)“假蜘蛛”IP屬于同一IP段。
為了驗(yàn)證這個(gè)推測(cè),我又重新仔細(xì)查看了網(wǎng)站日志,發(fā)現(xiàn)谷歌蜘蛛和搜狗蜘蛛也來(lái)自于之前三個(gè)IP(之前對(duì)網(wǎng)站日志進(jìn)行了拆分,只查看百度的情況,因?yàn)榫W(wǎng)站是針對(duì)百度做SEO的)。
這下子總算清楚了,這些所屬I(mǎi)P的蜘蛛不是假蜘蛛,而是貨真價(jià)實(shí)的百度蜘蛛、谷歌蜘蛛和其他搜索引擎的蜘蛛。只不過(guò)因?yàn)樗麄兺ㄟ^(guò)了一次CDN節(jié)點(diǎn),所以造成了他們的來(lái)源IP是一致的。
三,虛擬主機(jī)如何產(chǎn)生“假蜘蛛”
由此筆者突然想到,之前在閱讀相關(guān)文章的時(shí)候,經(jīng)常會(huì)看到有站長(zhǎng)抱怨發(fā)現(xiàn)假蜘蛛,來(lái)自XX機(jī)房(就那么一兩家機(jī)房)。
這是一件很奇怪的事情,莫非采集工具和假蜘蛛都產(chǎn)自這個(gè)機(jī)房?事實(shí)自然不是那樣的,而是:
1.很大一部分發(fā)現(xiàn)假蜘蛛的站長(zhǎng),所使用的是某主機(jī)供應(yīng)商提供的集群主機(jī),或類(lèi)似性質(zhì)的虛擬主機(jī)。
2.集群性質(zhì)的虛擬主機(jī),同CDN的道理是相同的,即將客戶(hù)的空間和站點(diǎn)資料同步到同一個(gè)群組的所有服務(wù)器上。
3.蜘蛛的來(lái)源不同,一些是直接訪(fǎng)問(wèn)站點(diǎn)的,另一些是通過(guò)一些外鏈訪(fǎng)問(wèn)站點(diǎn)的。而這些通過(guò)外鏈訪(fǎng)問(wèn)站點(diǎn)的蜘蛛,會(huì)就近通過(guò)CDN節(jié)點(diǎn)訪(fǎng)問(wèn)。
4.CDN節(jié)點(diǎn)每家公司都不一樣,但大致分為地域大區(qū)(不是省)和電信、網(wǎng)通這樣的方式劃分。
5.那些通過(guò)CDN節(jié)點(diǎn)訪(fǎng)問(wèn)網(wǎng)站的蜘蛛,來(lái)源IP自然不是從北京總部出發(fā)時(shí)的IP。
最終事情得到了很好的解決,該電商網(wǎng)站自?xún)?yōu)化以來(lái)效果一直良好,雖然采用了CDN,但事實(shí)證明CDN對(duì)搜索引擎而言沒(méi)有任何障礙,反而有利于網(wǎng)站速度和提高用戶(hù)體驗(yàn)。
這個(gè)SEO案例也同時(shí)告訴我們,網(wǎng)上的SEO教程是會(huì)過(guò)時(shí)的,隨著互聯(lián)網(wǎng)的進(jìn)步,我們SEO也要學(xué)會(huì)理智的去對(duì)待一些教程和分享,要有質(zhì)疑和勇于實(shí)踐的精神,同時(shí)對(duì)互聯(lián)網(wǎng)的一些基本的技術(shù)知識(shí)要有所了解。
本文由蘭州SEO-楊帆AimarYang原創(chuàng),轉(zhuǎn)載請(qǐng)保留鏈接:www.easthv.cc/blog/lanzhouseo/fake-baiduspider-cdn/
文章編輯: 365webcall在線(xiàn)客服軟件(www.365webcall.com)
我的評(píng)論
| 登錄賬號(hào)： | 密碼： | 快速注冊(cè) | 找回密碼 |  |
