robots.txtファイルとは

• robots.txt（全て小文字）は、ウェブサイトのルートディレクトリに配置されるテキストファイルで、一般的には、検索エンジンのクローラ（別名：ウェブスパイダー）に、このサイトのどのコンテンツが検索エンジンに取得されべきでないか、取得可能かを教えます。
• システムによってはURLが大小文字を區別するため、robots.txtは小文字で統一すべきです。robots.txtはウェブサイトのルートディレクトリに配置してください。
• 検索エンジンのクローラーがサブディレクトリにアクセスする際の動(dòng)作を獨立して定義したい場(chǎng)合、カスタム設定をルートディレクトリのrobots.txtに統合するか、robotsメタデータを使用することができます。
• robots.txtは規範ではなく慣習に基づくもので、サイトのプライバシーを保証しません。robots.txtはURLの取得を判定するため、ディレクトリの最後にスラッシュ「／」があれば無(wú)、なければ別のURLとみなされます。robots.txtは「Disallow: *.gif」といったワイルドカードを使用可能です。
• ロボット協(xié)定は、以下の原則に基づいた國際インターネット界の倫理規範です：1. 検索技術(shù)は人類(lèi)に貢獻し、情報提供者の意志とプライバシーを尊重し、保護します。2. ウェブサイトはユーザーの個(gè)人情報とプライバシーを侵害されないように守る義務(wù)があります。

robots.txt ファイルの內容：

• 検索エンジンのスパイダーの可視性または可爬行性です。
• 検索エンジンのスパイダーは、カテゴリーやファイルのアクセス性に対応しています。
• サイトのサイトマップ（sitemap）のパス定義。
• 検索エンジンスパイダーのクロール時(shí)間間隔制限。

robots.txtファイル作成ツール

• ウェブインターフェースで設定したデータを， 生成器をクリックすると、下のテキスト入力欄にrobots.txtの內容が取得できます。
• 現在、空のテキストファイルを作成し、「robots.txt」と名付けます。その後、上記の內容をコピーして「robots.txt」に貼り付けます。
• robots.txtをウェブサイトのルートディレクトリに配置し、robots.txtにアクセスして、訪(fǎng)問(wèn)者（例：検索エンジン）がアクセスできることを確認してください。