網(wǎng)站日志是什么，引用百度百科的定義“網(wǎng)站日志是記錄web服務(wù)器接收處理請(qǐng)求以及運(yùn)行時(shí)錯(cuò)誤等各種原始信息的以·log結(jié)尾的文件，確切的講，應(yīng)該是服務(wù)器日志。”通過(guò)這個(gè)定義可以了解到網(wǎng)站日志記錄了最全的網(wǎng)站運(yùn)行信息，主要包括訪客信息(比如訪客ip、用什么瀏覽器、操作系統(tǒng)、訪問(wèn)時(shí)間等等)、蜘蛛對(duì)網(wǎng)站的抓取情況(抓取了哪些目錄、都有哪些蜘蛛等等)、運(yùn)行錯(cuò)誤信息(主要是看一些http狀態(tài)碼)。
那這么多信息，我們需要重點(diǎn)關(guān)注的有哪幾個(gè)點(diǎn)呢?
一、蜘蛛抓取情況
1、都有哪些蜘蛛來(lái)訪問(wèn)
看一下主流的蜘蛛是否有訪問(wèn)網(wǎng)站，如果沒有的話，可能是被網(wǎng)站屏蔽了，可以檢查下網(wǎng)站的robots文件設(shè)置。
2、抓取了哪些目錄
統(tǒng)計(jì)蜘蛛對(duì)網(wǎng)站目錄的抓取情況，網(wǎng)站各層級(jí)目錄是否抓取正常，一些需要重點(diǎn)推廣的目錄是否有抓取，如果沒有抓取的話則需要對(duì)網(wǎng)站內(nèi)鏈進(jìn)行調(diào)整或者增加外鏈，提升欄目權(quán)重，引導(dǎo)蜘蛛抓取。另外，蜘蛛可能會(huì)抓取一些無(wú)意義的目錄，比如我們不希望搜索引擎了解的信息，這時(shí)候就可以把這些目錄屏蔽掉。
3、抓取了哪些頁(yè)面
統(tǒng)計(jì)蜘蛛對(duì)網(wǎng)站頁(yè)面的抓取情況，通過(guò)一段時(shí)間的觀察你會(huì)發(fā)現(xiàn)蜘蛛經(jīng)常抓取的一些頁(yè)面，分析蜘蛛為什么喜歡這些頁(yè)面，這些頁(yè)面跟其它頁(yè)面相比有什么不同，有沒有其它頁(yè)面可以借鑒的地方。此外，還可以通過(guò)分析頁(yè)面抓取情況，了解到網(wǎng)站的一些問(wèn)題，比如重復(fù)頁(yè)面問(wèn)題、url規(guī)范化問(wèn)題等等。
4、蜘蛛訪問(wèn)次數(shù)、停留時(shí)間、抓取量
蜘蛛頻繁訪問(wèn)網(wǎng)站，說(shuō)明喜歡網(wǎng)站，經(jīng)常來(lái)看看網(wǎng)站內(nèi)容是否有更新，對(duì)網(wǎng)站來(lái)說(shuō)是一件好事。如果十天半個(gè)月才來(lái)一次，那網(wǎng)站內(nèi)容可能得更新勤快點(diǎn)了，另外還要多增加一些外鏈，引導(dǎo)蜘蛛訪問(wèn)網(wǎng)站。停留時(shí)間長(zhǎng)短可以反映蜘蛛對(duì)網(wǎng)站的喜歡程度，需要注意的一點(diǎn)是，如果停留時(shí)間長(zhǎng)，但是抓取量低的就有問(wèn)題了，可能是蜘蛛對(duì)網(wǎng)站內(nèi)容抓取困難，或者網(wǎng)站內(nèi)容質(zhì)量偏低導(dǎo)致的。這三個(gè)指標(biāo)要綜合起來(lái)看，才會(huì)得到比較有價(jià)值的信息。
二、http狀態(tài)碼
主要關(guān)注的有404、500、302之類的。404就不用說(shuō)了，最好定期整理死鏈接，并提交到站長(zhǎng)平臺(tái)。如果經(jīng)常出現(xiàn)500，可能是服務(wù)器的問(wèn)題，比如內(nèi)容太多，服務(wù)器無(wú)法滿足需求，超負(fù)荷運(yùn)轉(zhuǎn)了，就會(huì)出現(xiàn)超時(shí)、無(wú)法訪問(wèn)的情況。302是暫時(shí)重定向，這個(gè)要具體看下是什么問(wèn)題，搜索引擎比較喜歡301，如果可以的話就做成301的。
三、網(wǎng)站安全情況
通過(guò)日志分析，還可以及時(shí)了解到網(wǎng)站是否安全，像作者本人優(yōu)化的一個(gè)站點(diǎn)，是通過(guò)日志分析才發(fā)現(xiàn)被掛了黑鏈的。分析日志的時(shí)候如果發(fā)現(xiàn)一些不存在的目錄，或者一些奇怪的頁(yè)面，就要仔細(xì)去分析一下，很可能就是有問(wèn)題的。
以上就是作者本人在網(wǎng)站日志分析方面的一些心得體會(huì)，希望能夠幫助到大家。網(wǎng)站日志分析是需要長(zhǎng)期堅(jiān)持的工作，一朝一夕可能發(fā)現(xiàn)不了問(wèn)題，貴在堅(jiān)持。
題外話：網(wǎng)站日志分析肯定少不了日志分析工具，該如何選擇日志分析工具呢，個(gè)人認(rèn)為主要還是得用著順手的，一些主流的日志分析工具基本都可以滿足需求，工具不分好壞，各有千秋，我就比較喜歡金花跟光年一塊用，各取所長(zhǎng)嘛。
