什么是robots.txt文件

• robots.txt（統一小寫(xiě)）是一種存放于網(wǎng)站根目錄下的文本文件，它通常告訴網(wǎng)絡(luò )搜索引擎的漫游器（又稱(chēng)網(wǎng)絡(luò )蜘蛛），此網(wǎng)站中的哪些內容是不應被搜索引擎蜘蛛獲取的，哪些是可以被（蜘蛛）獲取的。
• 因為一些系統中的URL是大小寫(xiě)敏感的，所以robots.txt的文件名應統一為小寫(xiě)。robots.txt應放置于網(wǎng)站的根目錄下。
• 如果想單獨定義搜索引擎的漫游器訪(fǎng)問(wèn)子目錄時(shí)的行為，那么可以將自定的設置合并到根目錄下的robots.txt，或者使用robots元數據。
• robots.txt協(xié)議并不是一個(gè)規范，而只是約定俗成的，所以并不能保證網(wǎng)站的隱私。注意robots.txt是用字符串比較來(lái)確定是否獲取URL，所以目錄末尾有與沒(méi)有斜杠“／”表示的是不同的URL。robots.txt允許使用類(lèi)似"Disallow: *.gif"這樣的通配符。
• Robots協(xié)議是國際互聯(lián)網(wǎng)界通行的道德規范，基于以下原則建立：1、搜索技術(shù)應服務(wù)于人類(lèi)，同時(shí)尊重信息提供者的意愿，并維護其隱私權；2、網(wǎng)站有義務(wù)保護其使用者的個(gè)人信息和隱私不被侵犯。

robots.txt文件內容

• 搜索引擎蜘蛛的是否可訪(fǎng)問(wèn)性或者說(shuō)可爬行性。
• 搜索引擎蜘蛛針對目錄或者文件的可訪(fǎng)問(wèn)性。
• 網(wǎng)站站點(diǎn)地圖sitemap路徑定義。
• 搜索引擎蜘蛛爬行的時(shí)間間隔限制。

關(guān)于robots.txt文件生成器

• 通過(guò)web界面設置好要配置的數據， 點(diǎn)擊生成器的生成即可在最下方的文本輸入框獲得robots.txt的文件內容。
• 現在，你創(chuàng )建一個(gè)空白的文本文件，命名為：“robots.txt”，然后把上面的內容，復制并粘貼到“robots.txt”中去。
• 把“robots.txt”放在你網(wǎng)站的根目錄，訪(fǎng)問(wèn)robots.txt，確保他能讓訪(fǎng)問(wèn)者（如搜索引擎）訪(fǎng)問(wèn)到。