Robots.txt バリデーター
現在の robots.txt ファイルを検証し、クローラーの制限とアクセシビリティページを確認してください。
Googlebot
Enter the URL in the format: https://example.com/
Enter the URL in the format: https://example.com/
Robots.txt チェッカーは、robots.txt がサイト上の特定の URL からの Google クローラをブロックするかどうかを表示します。たとえば、このツールを使用して、Google 検索でブロックしたいコンテンツの URL を Googlebot クローラがクロールできるかどうかを確認できます。
Web サイトのルートディレクトリに robots.txt ファイルがない場合、検索エンジンのクローラーはそのファイルを見つけることができません。その結果、サイト全体をクロールできると見なされてしまいます。
Google では、500 KB (KB) の robots.txt ファイルのサイズ制限を設けています。最大ファイルサイズを超えるコンテンツは無視されます。ロボットのサイズを小さくすることができます。
Robots.txt はウェブサイトには必要ありません。ボットがサイトにアクセスしたのにサイトがない場合でも、通常どおりサイトをクロールしてページのインデックスを作成します。Robots.txt は、スキャン対象をより細かく制御したい場合にのみ必要です。