相信SEO工作者對(duì)網(wǎng)絡(luò)爬蟲都不陌生,都知道這是一種虛擬的蟲子,是搜索引擎獲取信息的程序。因此深入地了解網(wǎng)絡(luò)爬蟲,對(duì)SEO工作的幫助是很有幫助的。網(wǎng)站推廣工作者告訴大家,網(wǎng)絡(luò)爬蟲有多種不同的分類,各有特點(diǎn)。接下來(lái)他就為大家簡(jiǎn)單介紹一下。
1、通用網(wǎng)絡(luò)爬蟲
通用網(wǎng)絡(luò)爬蟲,又稱為“全網(wǎng)爬蟲”,從一些種子網(wǎng)站開始爬行,逐步擴(kuò)展到整個(gè)互聯(lián)網(wǎng)。通用網(wǎng)絡(luò)爬蟲策略,就是深度優(yōu)先策略和廣度優(yōu)先策略。
2、聚焦網(wǎng)絡(luò)爬蟲
聚焦網(wǎng)絡(luò)爬蟲,又稱為“主題網(wǎng)絡(luò)爬蟲”,預(yù)先選擇一個(gè)(或幾個(gè))相關(guān)主題,僅爬行并抓取這一類的相關(guān)頁(yè)面。聚焦網(wǎng)絡(luò)爬蟲策略,聚焦網(wǎng)絡(luò)爬蟲增加了鏈接和內(nèi)容評(píng)價(jià)模塊,所以其爬行策略的關(guān)鍵是評(píng)價(jià)頁(yè)面的鏈接和內(nèi)容后再進(jìn)行爬行。
3、增量式網(wǎng)絡(luò)爬蟲
增量式網(wǎng)絡(luò)爬蟲,是指對(duì)已經(jīng)收錄的頁(yè)面進(jìn)行更新、爬行新頁(yè)面和發(fā)生變化的頁(yè)面。增量式網(wǎng)絡(luò)爬蟲策略,包括廣度優(yōu)先策略和Page Rank優(yōu)先策略等。
4、Deep Web爬蟲
搜索引擎蜘蛛可以爬行并抓取的頁(yè)面稱之為“表層網(wǎng)頁(yè)”,某些不能通過(guò)靜態(tài)鏈接獲得的頁(yè)面稱之為“深層網(wǎng)頁(yè)”,Deep Web爬蟲就是抓取深層網(wǎng)頁(yè)的爬蟲體系。
相信通過(guò)網(wǎng)站推廣工作者對(duì)網(wǎng)絡(luò)爬蟲的分類的介紹,大家一定對(duì)網(wǎng)絡(luò)爬蟲更加了解了。
標(biāo)簽:九江
鹽城
林芝
東營(yíng)
烏魯木齊