很多剛開始做SEO的朋友經常問到的一個問題就是,搜索引擎到底是怎樣抓取文章內容的,它的收錄原則大概是怎樣,首先聲明:一下方法均為本人經驗總結,并非官方給出的抓取原則。下面我來簡單說一下:
![](/d/20211019/3f445a97621eef856c5f79850e06cefa.gif)
1、抓取:
這一步是搜索引擎錄入數據的工作,它是怎樣進行的呢?例如百度,百度每天會分配大量蜘蛛程序在浩瀚無邊的互聯網世界中爬行抓取,作為一個新站的站長,你必須要清楚的是,如果網站剛剛建立,百度如何知道你的網站呢,所以這就有了引蜘蛛的說法,我們在建站初期要多發(fā)點連接或者和別人的網站交換連接,這樣做的主要目的就是引蜘蛛過來抓取我們的網站內容。
當蜘蛛程序抓取到內容后它不進行任何處理先是存儲到一個臨時的索引庫里面,也就是說這部完成以后的內容是亂七八糟,什么內容都有的,不過蜘蛛程序還是會進行合理分類的,方便下一步的過濾工作。
![](/d/20211019/ff72af19b32b8201a7d04e6a02752706.gif)
2、過濾:
當第一步完成以后,蜘蛛程序就會開始進行過濾工作,當然這些步驟實際情況下可能是同時進行的,我們只是來分解它的原理而已。搜索引擎會根據抓取到內容的優(yōu)劣程度進行篩選,去除劣質沒用的留下精華有用的,這就是過濾工作,當然這些工作的處理過程都是比較快的,因為數據處理時效是搜索引擎主要研究的問題。
![](/d/20211019/535993b12d31d7808aad79dc29ffb07a.gif)
3、存儲:
然后搜索引擎就會將優(yōu)質的內容以某種算法索引存儲在自己的硬盤空間中方便后期用戶的所以調用,也就是說到這里數據才是真真的收錄到搜索引擎的數據存儲空間中。
![](/d/20211019/e399ef7a510cf788d9716ec7af19daeb.gif)
4、展示:
當用戶搜索某個關鍵詞時,搜索引擎會根據某種算法來所以數據庫里面的內容展現給客戶,這種展現索引速度非???,大家可以看到,如果我們在百度隨便搜一個詞它能迅速展現出億計的搜索結果,這也是搜索引擎的核心技術,它擁有非??焖俚臋z索能力。
![](/d/20211019/21e6a13883f1a12bf934a21095b904ae.gif)
5、排名:
其實這一步很第四步是同時進行的,搜索引擎在給用戶展現的同時已經對數據做出了排名,至于這個排名在搜索引擎內部是如何計算的屬于內部機密,誰也不知道,我門只能是猜測它。做為搜索引擎公司來講,它的核心技術就是抓取 篩選 檢索 排名 展示 執(zhí)行這些步驟需要的時間越短就證明它的技術越強大。
![](/d/20211019/adcfc00fd9dc291f864a5e441ed28259.gif)
注意事項:
綜上所述,我們應該理解為,搜索引擎公司就是在研究如何能快速的為用戶提供想要的內容。