校园春色亚洲色图_亚洲视频分类_中文字幕精品一区二区精品_麻豆一区区三区四区产品精品蜜桃

主頁 > 知識庫 > 搜索引擎喜歡UTF-8編碼robots.txt

搜索引擎喜歡UTF-8編碼robots.txt

熱門標簽:重慶市豐都縣地圖標注 電話外呼系統機器人網頁版 自動外呼系統多少錢一個月 美國地圖標注的人民幣 廣州ai電話電銷機器人怎么樣 中國地圖標注省名簡稱 湖州三五防封電銷卡 許昌防封卡外呼系統公司 蘋果地圖標注注冊

所以請問,你網站根目錄下的robots.txt文件是UTF-8編碼嗎?如果不是,建議你修改為該編碼。

Google Groups成員指出包括Google在內的大部分常用搜索引擎更寵愛UTF-8編碼的robots.txt文件。

相關文章:有道關于robots.txt的解釋

Robots.txt這個文件相信大家都不模式吧,是搜索引擎中訪問網站的時候要查看的第一個文件。Robots.txt文件告訴蜘蛛程序在服務器上什么文件是可以被查看的。

當一個搜索蜘蛛訪問一個站點時,它會首先檢查該站點根目錄下是否存在robots.txt,如果存在,搜索機器人就會按照該文件中的內容來確定訪問的范圍;如果該文件不存在,所有的搜索蜘蛛將能夠訪問網站上所有沒有被口令保護的頁面。

robots.txt必須放置在一個站點的根目錄下,而且文件名必須全部小寫。

語法:最簡單的 robots.txt 文件使用兩條規則:

• User-Agent: 適用下列規則的漫游器
• Disallow: 要攔截的網頁

Robots.txt是一種存放于網站根目錄下的ASCII編碼的文本文件,Robots.txt的文件名應統一為小寫,即robots.txt。

Robots.txt協議并不是一個規范,而只是約定俗成的,所以并不能保證網站的隱私。注意Robots.txt是用字符串比較來確定是否獲取URL,所以目錄末尾有和沒有斜杠“/”這兩種表示是不同的URL,也不能用”Disallow: .gif”這樣的通配符。

因為robots.txt是一個純文本文件,所以很多站長在設置網站的這個文件時,隨便把系統中過的文本編輯器拿來就寫了,然后上傳到自己的網站根目錄,以為這樣就萬事大吉了,其實,你只做了一半因為你的馬虎。

已經被無數站長證實的事實是:搜索引擎更喜歡UTF-8編碼的robots.txt文件。Google Groups成員Phil Payne也是為此做出聲明說:在常用的HTML文件編碼類型中,Google和其他的搜索引擎都更偏愛UTF-8編碼的robots.txt文件。甚至有的文件編碼形式都已經被Google直接忽略掉了。

所以請問,你網站根目錄下的robots.txt文件是UTF-8編碼嗎?如果不是,建議你修改為該編碼。

標簽:寧夏 銅仁 長白山 寧夏 玉溪 張掖 拉薩 朔州

巨人網絡通訊聲明:本文標題《搜索引擎喜歡UTF-8編碼robots.txt》,本文關鍵詞  搜索引擎,喜歡,UTF-8,編碼,;如發現本文內容存在版權問題,煩請提供相關信息告之我們,我們將及時溝通與處理。本站內容系統采集于網絡,涉及言論、版權與本站無關。
  • 相關文章
  • 下面列出與本文章《搜索引擎喜歡UTF-8編碼robots.txt》相關的同類信息!
  • 本頁收集關于搜索引擎喜歡UTF-8編碼robots.txt的相關信息資訊供網民參考!
  • 推薦文章
    主站蜘蛛池模板: 盱眙县| 波密县| 卢氏县| 陆良县| 桂东县| 通渭县| 沛县| 增城市| 石城县| 惠来县| 新巴尔虎左旗| 蓬溪县| 珠海市| 侯马市| 三门峡市| 乌拉特中旗| 中牟县| 娱乐| 鞍山市| 钦州市| 辽阳市| 海口市| 许昌县| 卢氏县| 中西区| 玉溪市| 金溪县| 临高县| 合川市| 榆林市| 金门县| 新绛县| 宿松县| 屏南县| 平果县| 沽源县| 淄博市| 滦平县| 昭觉县| 东乡县| 霸州市|