|
對應(yīng)user-agent |
| 無線搜索 | Baiduspider-mobile |
| 圖片搜索 | Baiduspider-image |
| 視頻搜索 | Baiduspider-video |
| 新聞搜索 | Baiduspider-news |
| 百度搜藏 | Baiduspider-favo |
| 百度聯(lián)盟 | Baiduspider-cpro |
| 百度推廣 | Baiduspider-sfkr |
| 網(wǎng)頁以及其他搜索 | Baiduspider |
$ host 123.125.66.120
120.66.125.123.in-addr.arpa domain name pointer baiduspider-123-125-66-120.crawl.baidu.com.
您可以根據(jù)各產(chǎn)品不同的user-agent設(shè)置不同的抓取規(guī)則，如果您想完全禁止百度所有的產(chǎn)品收錄，可以直接對Baiduspider設(shè)置禁止抓取。
以下robots實現(xiàn)禁止所有來自百度的抓取：
User-agent: Baiduspider
Disallow: /
以下robots實現(xiàn)僅禁止來自百度視頻搜索的抓取：
User-agent: Baiduspider-video
Disallow: /
以下robots實現(xiàn)禁止所有來自百度的抓取但允許圖片搜索抓取/image/目錄：
User-agent: Baiduspider
Disallow: /
User-agent: Baiduspider-image
Allow: /image/
標(biāo)簽：朝陽 錦州 辛集 濱州 赤峰 漳州 秦皇島 北京
巨人網(wǎng)絡(luò)通訊聲明：本文標(biāo)題《SEO Baiduspider常見問題解答》，本文關(guān)鍵詞 SEO,Baiduspider,常見,問題解答,；如發(fā)現(xiàn)本文內(nèi)容存在版權(quán)問題，煩請?zhí)峁┫嚓P(guān)信息告之我們，我們將及時溝通與處理。本站內(nèi)容系統(tǒng)采集于網(wǎng)絡(luò)，涉及言論、版權(quán)與本站無關(guān)。
