為什么要禁抓自己的網(wǎng)頁(yè)呢?這似乎有點(diǎn)讓人不理解，因?yàn)閷?duì)于自己的網(wǎng)站來(lái)說(shuō)，顯然是讓百度搜查引擎抓取的越多就會(huì)越好，因?yàn)橛兄嗟臋C(jī)會(huì)揭露到互聯(lián)網(wǎng)上?？墒鞘聦?shí)上一個(gè)網(wǎng)站通常有很多的內(nèi)頁(yè)不應(yīng)該被百度抓取，因?yàn)檫@些網(wǎng)站頁(yè)面不僅不利于自身的優(yōu)化，甚至還會(huì)帶來(lái)反作用。

　　那么通常哪些網(wǎng)站頁(yè)面不應(yīng)該被百度抓取呢?比如網(wǎng)站內(nèi)部存在著一定的重復(fù)性?xún)?nèi)容，比如一些遵照條件查詢(xún)獲得的結(jié)果頁(yè)面，這一點(diǎn)在很多商城類(lèi)網(wǎng)站表示的異常突出，比如一個(gè)產(chǎn)品因?yàn)轭伾?、大小和型?hào)的差異，就會(huì)出現(xiàn)很多種類(lèi)似的頁(yè)面，這種頁(yè)面能夠?qū)τ脩?hù)來(lái)說(shuō)具有一定的體驗(yàn)度，可是對(duì)于搜查引擎，卻輕易因?yàn)樘峁┑闹貜?fù)內(nèi)容太多，而被懲處或者降權(quán)。

　　另外網(wǎng)站中還存在著很多注冊(cè)頁(yè)面、備份的頁(yè)面以及測(cè)試頁(yè)面等，這些頁(yè)面僅僅是為了讓用戶(hù)能夠更好的操作網(wǎng)站，以及自己對(duì)網(wǎng)站的操作管理。而這些頁(yè)面由于內(nèi)容相對(duì)單調(diào)，并不適合百度對(duì)內(nèi)容質(zhì)量的要求，因此要盡可能的規(guī)避被百度收錄和抓取。下面就來(lái)具體談?wù)勅绾我?guī)避百度抓取內(nèi)容頁(yè)的方法。

　　第一，運(yùn)用Flash技術(shù)來(lái)展現(xiàn)那些不想被百度收錄的內(nèi)容

　　通過(guò)這種方法不僅能夠讓用戶(hù)獲得更好的用戶(hù)體驗(yàn)，同時(shí)百度也不能夠抓取這些內(nèi)容，從而實(shí)現(xiàn)更好的服務(wù)于用戶(hù)，同時(shí)也不會(huì)影響到自己的內(nèi)容再百度中揭露。

　　第二，采用robots腳本技術(shù)來(lái)屏蔽相應(yīng)的內(nèi)容

　　目前搜查引擎行業(yè)協(xié)會(huì)規(guī)定了對(duì)于Robots描述的內(nèi)容和鏈接賦予遏制抓取，因此對(duì)于網(wǎng)站上存在著隱私內(nèi)容，以及管理頁(yè)面和測(cè)試頁(yè)面等內(nèi)容，都可以設(shè)置到這個(gè)腳本文件中，這不僅能夠?qū)Ρ揪W(wǎng)站提供很好的維護(hù)，同時(shí)也能夠讓那些看起來(lái)是垃圾的內(nèi)容，規(guī)避被百度抓取后，反而對(duì)本網(wǎng)站形成巨大的負(fù)面作用。

　　第三，使用nofollow屬性標(biāo)簽來(lái)摒棄頁(yè)面中那些不想被收錄的內(nèi)容

　　這種方法使用比較常見(jiàn)，而且能夠針對(duì)網(wǎng)頁(yè)中某一個(gè)區(qū)域或者一段文字進(jìn)行屏蔽，從而提升自己網(wǎng)站內(nèi)容的優(yōu)化效果。采用這種技術(shù)只需要對(duì)需要屏蔽的內(nèi)容將nofollow屬性設(shè)置為T(mén)rue，就能夠屏蔽這些內(nèi)容。比如對(duì)于網(wǎng)站上存在著一些精彩的內(nèi)容，可是這些內(nèi)容還包括了錨文本鏈接，那么為了防范這些錨文本外鏈偷走本站的權(quán)重，就可以對(duì)這些錨文本鏈接設(shè)置nofollow屬性，這樣就能夠享受到這些內(nèi)容帶給網(wǎng)站的流量，同時(shí)也能夠規(guī)避網(wǎng)站權(quán)重被分流的危急。

　　第四，使用Meta Noindex和follow標(biāo)簽

　　使用這種方式既能夠?qū)崿F(xiàn)防止被百度收錄，同時(shí)還能夠?qū)崿F(xiàn)權(quán)重的傳遞，當(dāng)然具體怎么操作還需要看站長(zhǎng)們的須要，不過(guò)采用這種方式來(lái)屏蔽內(nèi)容，往往會(huì)浪費(fèi)百度蜘蛛的抓取時(shí)間，從而影響優(yōu)化體驗(yàn)，也就是說(shuō)不到萬(wàn)不得已時(shí)不需要采用這種模式。

　　對(duì)于有些站長(zhǎng)采用的表單模式和Javascript技術(shù)來(lái)進(jìn)行屏蔽，目前已經(jīng)不能夠完成這項(xiàng)使命了，因?yàn)殡S著百度蜘蛛智能化水平的提升，采用這些技術(shù)編篡的內(nèi)容已經(jīng)能夠被抓取，而且從不久的將來(lái)，F(xiàn)lash里面的內(nèi)容一旦能夠被抓取，如果想要屏蔽網(wǎng)站內(nèi)容，這個(gè)方法也要規(guī)避使用。謝謝閱讀，希望能幫到大家，請(qǐng)繼續(xù)關(guān)注腳本之家，我們會(huì)努力分享更多優(yōu)秀的文章。