好看的小说君子以泽,重生之毒妃梅果小说,玄幻小说排行榜完本

主頁 > 知識(shí)庫 > 百度蜘蛛抓取時(shí)返回304狀態(tài)碼的問題分析

百度蜘蛛抓取時(shí)返回304狀態(tài)碼的問題分析

最近遇到一個(gè)網(wǎng)站被百度蜘蛛抓取首頁后大量返回304狀態(tài)碼的問題，以前遇到過301和302，就是沒了解過304，剛好可以對(duì)這個(gè)情況進(jìn)行一下分析和觀察，以便比較深入的了解該問題的出現(xiàn)以及應(yīng)對(duì)之策。

百度百科對(duì)304狀態(tài)碼是這么解釋的：如果客戶端發(fā)送了一個(gè)帶條件的 GET 請(qǐng)求且該請(qǐng)求已被允許，而文檔的內(nèi)容（自上次訪問以來或者根據(jù)請(qǐng)求的條件）并沒有改變，則服務(wù)器應(yīng)當(dāng)返回這個(gè)304狀態(tài)碼。簡(jiǎn)單的表達(dá)就是：客戶端已經(jīng)執(zhí) 行了GET，但文件未變化，也就是我們所理解的頁面沒更新。
GET /index.html - 80 - 220.181.135.120 Sosospider+(+http://help.soso.com/webspider.htm) 304 0 0
GET /index.html - 80 - 123.129.209.113 Mozilla/5.0+(compatible;+Baiduspider/2.0;++http://www.baidu.com/search/spider.html) 304 0 0
但網(wǎng)站每天都有較多內(nèi)容的更新，怎么會(huì)返回未更新的狀態(tài)碼呢，查看了網(wǎng)站進(jìn)幾天的網(wǎng)站IIS日志，發(fā)現(xiàn)這幾天對(duì)首頁的抓取都是返回的304狀態(tài)碼，一般情況下大概會(huì)是一下幾種可能：
1、服務(wù)器緩存緣故
設(shè)置緩存的作用一般都是為了加速網(wǎng)站的提前加載，就像我們?cè)跒g覽器上訪問網(wǎng)站的時(shí)候也比較容易出現(xiàn)緩存問題，當(dāng)你打開一個(gè)網(wǎng)站之后，如果該網(wǎng)站有更新或者有變化，直接點(diǎn)擊首頁會(huì)發(fā)現(xiàn)還是之前訪問的頁面，而ctrl+F5重新加載后才會(huì)顯示新的頁面，這其實(shí)就是緩存的緣故。另外，有的時(shí)候和一些較大的網(wǎng)站換友情鏈接也會(huì)遇到，對(duì)方加了友鏈之后首頁不會(huì)馬上顯示，會(huì)因?yàn)榫彺娑枰^一段時(shí)間才能顯示。
2、網(wǎng)站結(jié)構(gòu)問題
如果網(wǎng)站結(jié)構(gòu)不能有效的讓蜘蛛順利爬行，也就是說雖然蜘蛛有抓取，但由于網(wǎng)站結(jié)構(gòu)問題導(dǎo)致蜘蛛前后兩次抓取內(nèi)容相同，或者說蜘蛛每次抓取首頁都只抓了那塊固定的內(nèi)容，那么就勢(shì)必導(dǎo)致蜘蛛對(duì)首頁的抓取返回304狀態(tài)碼。
3、網(wǎng)站速度問題
谷歌就針對(duì)網(wǎng)站的加載時(shí)間更新過算法，把網(wǎng)站加載時(shí)間納入了排名因素，就算搜索引擎排名不重視這點(diǎn)，對(duì)于用戶體驗(yàn)也是有很大影響，誰也不會(huì)愿意多花時(shí)間在一個(gè)需要加載幾十秒甚至幾分鐘的網(wǎng)站上面。而對(duì)于搜索蜘蛛也是如此，網(wǎng)站的加載速度也會(huì)影響蜘蛛的正常抓取，一般情況下網(wǎng)站都是從上往下的加載，而有的時(shí)候由于速度因素導(dǎo)致網(wǎng)站只加載了頭部，后面部分而沒有及時(shí)顯示出來，也可能導(dǎo)致蜘蛛只抓取了頭部部分內(nèi)容，而由于一般網(wǎng)站的頭部都是相同的，也就容易出現(xiàn)了抓取返回沒更新的狀態(tài)碼。
另外，網(wǎng)絡(luò)線路的互通也是一個(gè)因素。
4、網(wǎng)站內(nèi)容問題
網(wǎng)上查找了下關(guān)于304狀態(tài)碼的一些內(nèi)容，不少人都認(rèn)為是網(wǎng)站內(nèi)容長(zhǎng)期采集或是偽原創(chuàng)也能導(dǎo)致蜘蛛返回該狀態(tài)碼，因?yàn)榫W(wǎng)站內(nèi)容采集或偽原創(chuàng)的確會(huì)降低網(wǎng)站質(zhì)量，導(dǎo)致百度不收錄等情況，搜索蜘蛛也會(huì)認(rèn)為網(wǎng)站內(nèi)容不具備收錄的意義，那么也就不會(huì)抓取新的內(nèi)容而返回沒有更新的狀態(tài)。
5、重視該狀態(tài)碼
既然304狀態(tài)碼是表示未更新的情況，那么經(jīng)常出現(xiàn)就需要引起重視，同時(shí)也需要觀察出現(xiàn)該狀態(tài)碼的同時(shí)網(wǎng)站各方面數(shù)據(jù)的變化和趨勢(shì)，以便對(duì)該狀態(tài)碼的影響有較好的了解。
暫時(shí)網(wǎng)站出現(xiàn)304狀態(tài)碼之后經(jīng)過百度更新收錄有所減少，前幾天有過斷斷續(xù)續(xù)的網(wǎng)站無法訪問的情況，第二天網(wǎng)站首頁就被K掉，在更換服務(wù)器之后恢復(fù)網(wǎng)站正常訪問，次日首頁再次恢復(fù)，目前仍需要觀察和分析，才能更好掌握該狀態(tài)碼。

標(biāo)簽：克拉瑪依莆田大興安嶺揚(yáng)州玉林鹽城黔南濟(jì)源

巨人網(wǎng)絡(luò)通訊聲明：本文標(biāo)題《百度蜘蛛抓取時(shí)返回304狀態(tài)碼的問題分析》，本文關(guān)鍵詞百度,蜘蛛,抓取,時(shí),返回,；如發(fā)現(xiàn)本文內(nèi)容存在版權(quán)問題，煩請(qǐng)?zhí)峁┫嚓P(guān)信息告之我們，我們將及時(shí)溝通與處理。本站內(nèi)容系統(tǒng)采集于網(wǎng)絡(luò)，涉及言論、版權(quán)與本站無關(guān)。

濮阳杆衣贸易有限公司

百度蜘蛛抓取時(shí)返回304狀態(tài)碼的問題分析