User-agent: *
Disallow: /

3. 禁止所有搜索引擎訪問(wèn)網(wǎng)站中所有的動(dòng)態(tài)頁(yè)面

User-agent: *
Disallow: /*?*

4. 禁止網(wǎng)站上的程序文件被搜索引擎蜘蛛索引，這樣可以節(jié)省服務(wù)器資源。

一般網(wǎng)站中不需要蜘蛛抓取的文件有：后臺(tái)管理文件、程序腳本、附件、數(shù)據(jù)庫(kù)文件、編碼文件、樣式表文件、模板文件、導(dǎo)航圖片和背景圖片等等。

User-agent: *
Disallow: /admin/   后臺(tái)管理文件
Disallow: /require/   程序文件
Disallow: /attachment/  附件
Disallow: /images/     圖片
Disallow: /data/       數(shù)據(jù)庫(kù)文件
Disallow: /template/   模板文件
Disallow: /css/       樣式表文件
Disallow: /lang/      編碼文件
Disallow: /script/    腳本文件
注：每個(gè)網(wǎng)站的文件夾名字可能會(huì)不一樣