2月6日消息 近日，國外SEO從業(yè)者Eli Schwartz分享了他使用Splunk的幾個(gè)心得。以下為Eli Schwarz（下文中的“我”）分享的經(jīng)驗(yàn)：
想必每個(gè)對SEO技術(shù)感興趣的站長都希望能夠從更深層次了解網(wǎng)站架構(gòu)、以及谷歌搜索引擎的排名規(guī)則等。從我這些年研究SEO技術(shù)的經(jīng)驗(yàn)來看，深入分析網(wǎng)站訪問日志能夠讓我更了解搜索引擎是如何“看待”網(wǎng)站的，而在眾多網(wǎng)站分析工具中，Splunk無疑是最讓我放心、也是最實(shí)用的一款。
注：Splunk是機(jī)器數(shù)據(jù)的引擎?？捎糜谑占⑺饕屠盟袘?yīng)用程序、服務(wù)器和設(shè)備(物理、虛擬和云中)生成的快速移動型計(jì)算機(jī)數(shù)據(jù) 。
1、監(jiān)測網(wǎng)站URL是否已被谷歌爬蟲抓?。ò俣戎┲搿⒀呕⑴老x亦可監(jiān)測）
當(dāng)網(wǎng)站生成了一個(gè)新的頁面，站長們最關(guān)心的自然是頁面的收錄問題。如果以快照作為指標(biāo)，或許得在谷歌爬蟲抓取后的幾天（甚至幾個(gè)星期）才能確定是否已被收錄。要快點(diǎn)兒的話，可以直接在搜索引擎中搜索相關(guān)頁面的標(biāo)題。
而最行之有效的便是查看網(wǎng)站日志，便可確定網(wǎng)頁是否已被谷歌爬蟲抓取。這就該用到Splunk了。
具體步驟：
1、首先選擇要查詢的時(shí)間段。時(shí)間段越短，響應(yīng)速度自然越快，所以盡可能縮短查詢的時(shí)間差。
2、在查詢框中輸入以下查詢語句：
Index = {the name of your index} url stub AND googlebot
比如：如果你索引名是“Primary”，URL是“free-trial.html”，則查詢語句為：
Index=primary free-trial.html AND googlebot
1、查看日志
2、查找404頁面
404頁面是一種很招人煩的東西，98%的訪客在看到404頁面時(shí)，往往都會直接關(guān)閉頁面。這樣一來，你的網(wǎng)站不僅損失了一次展示內(nèi)容或產(chǎn)品的幾乎，用戶還默默的在心里給了你個(gè)差評。你：以后還來我們網(wǎng)站嗎？用戶：呵呵。
對于404頁面，你可以選擇使用ScreamingFrog之類的工具來查找修復(fù)。但是在失效頁面數(shù)量太多的情況下，你就該事實(shí)日志解析了。通過日志解析，你可以找出那些最多人訪問的404頁面，有選擇的來修復(fù)頁面、或是做跳轉(zhuǎn)。
設(shè)置Splunk來查找404頁面：
1、首先選擇查找時(shí)間差，我通常將其設(shè)為30天，你們可以按需隨意設(shè)置。
2、在查詢框中輸入以下查詢語句：
Index = {the name of your index} status = 404 | top limit = 50 uri
限制數(shù)量可自行確定，我比較喜歡定為50條URL。查詢語句執(zhí)行完成后，點(diǎn)擊Statistics選項(xiàng)，便可在列表中找出訪客最多的404頁面?zhèn)儭?/p>
2、查找404頁面
3、查找設(shè)置過302跳轉(zhuǎn)的頁面
不同于301跳轉(zhuǎn)，302跳轉(zhuǎn)屬于暫時(shí)重定向。不過在很多鏈接價(jià)值測試中，302都能通過測試，而且也有排名。但由于前些年，不少黑帽SEO通過這項(xiàng)技術(shù)來獲取排名，如今很多搜索引擎都加大了對其的打擊力度。因而302跳轉(zhuǎn)只能用于那些只需做暫時(shí)跳轉(zhuǎn)的頁面。
通過Splunk查找302跳轉(zhuǎn)頁面的步驟：
1、同樣也是先選擇查找時(shí)間段，可按需設(shè)置，我喜歡將其設(shè)為30天。
2、輸入如下查詢語句：
Index = {the name of your index} status = 302 | top limit = 50 uri
跟查找404頁面一樣，可按需設(shè)置。
3、查找302跳轉(zhuǎn)頁面
4、統(tǒng)計(jì)每天被谷歌搜索引擎抓取的頁面
如果你有用過谷歌管理員工具，那么你對谷歌抓取URL的展示頁面一定不陌生。但這些數(shù)據(jù)是否準(zhǔn)確，你得查看網(wǎng)站日志才能確定。
使用Splunk查詢每日抓取的URL步驟：
1、同樣也是選取時(shí)間，我還是喜歡設(shè)為30天（如果數(shù)據(jù)較多可以7天為單位）。
2、輸入查詢語句：
index ={name of your index} googlebot | timechart count by day
查詢語句執(zhí)行完后，點(diǎn)擊Statistics選項(xiàng)，則會看到谷歌爬蟲每天抓取的頁面數(shù)據(jù)。也可點(diǎn)擊“visualization”選項(xiàng)查看變化詳情。
4、谷歌爬蟲每日抓取頁面
5、統(tǒng)計(jì)谷歌移動端爬蟲每日抓取頁面
隨著移動互聯(lián)網(wǎng)的發(fā)展，移動搜索也愈發(fā)重要。如果想知道谷歌移動爬蟲每天抓取的URL數(shù)量，就無法使用谷歌管理員工具了。那么，就只能通過網(wǎng)站訪問日志來查看該數(shù)據(jù)。
下面以iPhone為例，使用Splunk查詢：
1、同樣也是選取時(shí)間，我還是喜歡設(shè)為30天（如果數(shù)據(jù)較多可以7天為單位）。
2、輸入以下查詢語句：
index ={name of your index} googlebot AND iphone | timechart count by day
語句執(zhí)行完畢后，點(diǎn)擊Statistics選項(xiàng)，便可得出所需數(shù)據(jù)，與PC端一樣，也可以在“visualization”選項(xiàng)中查看更多詳情。
5、谷歌移動爬蟲每日抓取頁面
6、找出浪費(fèi)爬蟲抓取量的垃圾頁面
站長們都知道，搜索引擎對每個(gè)網(wǎng)站的抓取數(shù)量都有一定的限制，網(wǎng)站的PR或權(quán)重不同，抓取“限額”也各異。所以，如果網(wǎng)站中的垃圾頁面被抓取，那么高質(zhì)頁面則可能會失去被抓取的機(jī)會。
如果不清楚谷歌爬蟲的爬行路徑，則無法知曉谷歌抓取限額的利用率。這時(shí)候，就需要使用Splunk來檢測了。
步驟如下：
1、選擇時(shí)間段，可隨意選取，最好選擇多個(gè)進(jìn)行對比。
2、輸入以下查詢語句：
index={name of your index} googlebot uri_stem=”*”| top limit=20 uri
限制數(shù)量可隨意選取，但20條是比較好管理的。與之前一樣，執(zhí)行完語句后，點(diǎn)擊statistic選項(xiàng)，而后便可在列表中找出你覺得應(yīng)該移除的頁面，在robots.txt文件中將其屏蔽。
6、篩選需屏蔽頁面
7、500錯誤頁面
當(dāng)服務(wù)器無法完成HTTP請求時(shí)，則會返回500錯誤頁面。很多時(shí)候，500錯誤對SEO工作都存在一定的負(fù)面影響。其實(shí)，在500錯誤影響到搜索排名時(shí)，谷歌便會通過管理員工具向站長發(fā)送請求中斷信息，不過這類信息通常要24小時(shí)后才能接收到。
除了影響搜索引擎排名外，500錯誤頁面也會降低網(wǎng)站的用戶體驗(yàn)度。而加入Splunk工具的Enterprise計(jì)劃則可實(shí)時(shí)監(jiān)控500錯誤。
步驟如下：
1、搜索如下查詢語句：
index={name of your index} AND “status=5*”
2、點(diǎn)擊“Save As”然后在下拉菜單中選擇“Alert”。
3、命名Alert。
4、將Alert的狀態(tài)改為“Real Time”。
5、點(diǎn)擊“Next”。
6、在下個(gè)頁面，會出現(xiàn)“Send Email”選項(xiàng)。
7、在輸入框中輸入郵件，然后點(diǎn)擊“Save”。
7、實(shí)時(shí)監(jiān)控500頁面
總結(jié)
Splunk可以用于多種SEO工作，可以給工作帶來很大的便利性。如果還沒用過的站長們，不妨嘗試下哦！
