User-agent: *
Disallow: /

3. 禁止所有搜索引擎訪問網(wǎng)站中所有的動態(tài)頁面

User-agent: *
Disallow: /*?*

4. 禁止網(wǎng)站上的程序文件被搜索引擎蜘蛛索引，這樣可以節(jié)省服務器資源。

一般網(wǎng)站中不需要蜘蛛抓取的文件有：后臺管理文件、程序腳本、附件、數(shù)據(jù)庫文件、編碼文件、樣式表文件、模板文件、導航圖片和背景圖片等等。

User-agent: *
Disallow: /admin/   后臺管理文件
Disallow: /require/   程序文件
Disallow: /attachment/  附件
Disallow: /images/     圖片
Disallow: /data/       數(shù)據(jù)庫文件
Disallow: /template/   模板文件
Disallow: /css/       樣式表文件
Disallow: /lang/      編碼文件
Disallow: /script/    腳本文件
注：每個網(wǎng)站的文件夾名字可能會不一樣