搜索引擎蜘蛛的抓取策略
來(lái)源:SEO優(yōu)化 2012-07-12
這篇文章主要講解搜索引擎的蜘蛛爬蟲(chóng)的工作原理,包括它的四種抓取策略。
首先呢,搜索引擎的蜘蛛抓取網(wǎng)頁(yè)是有著一定的規(guī)律,不會(huì)去隨便抓取網(wǎng)頁(yè),并且呢,蜘蛛是通過(guò)超連接來(lái)抓取網(wǎng)頁(yè)的,我們剛剛說(shuō)了,搜索引擎有四種抓取網(wǎng)頁(yè)的策略,下邊我們一一講解。
深度優(yōu)先
所謂深度優(yōu)先,就是蜘蛛在一個(gè)頁(yè)面中發(fā)現(xiàn)第一個(gè)超鏈接,然后爬取這個(gè)頁(yè)面,當(dāng)爬到第二個(gè)頁(yè)面后,在第二個(gè)頁(yè)面發(fā)現(xiàn)的第一個(gè)超鏈接,然后再順著往下爬,如下圖:
深度優(yōu)先,導(dǎo)致蜘蛛抓取的網(wǎng)頁(yè)的質(zhì)量,越來(lái)越低,并且在傳遞網(wǎng)站權(quán)重上,也有著根本的問(wèn)題。
寬度優(yōu)先
在深度優(yōu)先上,搜索引擎有著根本的問(wèn)題,那么在之后,搜索引擎又推出了蜘蛛抓取的第二個(gè)策略,也就是寬度優(yōu)先,寬度優(yōu)先指的是,蜘蛛會(huì)先把這個(gè)頁(yè)面所有的鏈接都爬一次,然后在順著這些鏈接往下爬,如下圖:
但是寬度優(yōu)先也存在著問(wèn)題,那就是蜘蛛抓取的效率和質(zhì)量問(wèn)題。
先寬后深 – 權(quán)重優(yōu)先
現(xiàn)在搜索引擎是寬度和深度優(yōu)先的結(jié)合,蜘蛛在抓取一個(gè)網(wǎng)頁(yè)的時(shí)候,會(huì)先把這個(gè)頁(yè)面所有的鏈接都抓取一次,然后再根據(jù)這些ULR的權(quán)重來(lái)判定,那個(gè)URL的權(quán)重高,那么就采用深度優(yōu)先,那個(gè)URL權(quán)重低,就采用寬度優(yōu)先或者不抓取。
重訪抓取策略
重訪抓取策略,是最后的一個(gè),搜索引擎蜘蛛在抓取完這個(gè)網(wǎng)頁(yè)之后,然后根據(jù)這個(gè)頁(yè)面的權(quán)重、包括它的更新頻率、更新質(zhì)量、外鏈的數(shù)量等等來(lái)判定,那么對(duì)于權(quán)重高的頁(yè)面,蜘蛛會(huì)在相隔較短的時(shí)間段在回來(lái)重新抓取,比如新浪網(wǎng),權(quán)重很高,搜索引擎蜘蛛都是按照秒來(lái)重新抓取的。而對(duì)于一些權(quán)重較低的頁(yè)面,比如長(zhǎng)期不更新的頁(yè)面,那么蜘蛛會(huì)隔好長(zhǎng)時(shí)間在來(lái)抓取一次,比如我們常常搜索的百度大更新,蜘蛛就是對(duì)于一些網(wǎng)頁(yè)權(quán)重較低的頁(yè)面進(jìn)行一次全部的抓取,一般情況,百度大更新,一個(gè)月一次。
本文來(lái)源 / 轉(zhuǎn)載留下版權(quán)
感謝 史占強(qiáng) 的投稿
文章編輯: 365webcall網(wǎng)上客服工具(www.365webcall.com)
我的評(píng)論
| 登錄賬號(hào)： | 密碼： | 快速注冊(cè) | 找回密碼 |  |
