Robots.txtチェッカー
任意のウェブサイトのrobots.txtを取得・分析。ユーザーエージェントごとのルール表示、サイトマップURLの発見、URLブロックのテストが可能。無料・アカウント不要。
Enter a domain without protocol (e.g., example.com). Fetched via CORS proxy.
About Robots.txt Checker
任意のウェブサイトのrobots.txtを分析し、検索エンジンがサイトをどのようにクロールするよう指示されているかを理解します。ユーザーエージェントごとのルール抽出、サイトマップ参照の発見、ブロックルールに対するURLパスのテストをすべてブラウザ上で行えます。
robots.txtの解析
任意のrobots.txtからすべてのルールを抽出：User-agentディレクティブ、Allow/Disallowルール、Crawl-delay、Sitemap URL。エージェントごとに構造化されたテーブルで表示。
URLのルールテスト
特定のURLパスがrobots.txtのルールでブロックされるかどうかを確認。どのルールが一致するか、パスが許可または禁止されているかを確認できます。
サイトマップの発見
robots.txtファイルからすべてのSitemapディレクティブを自動的に抽出。サイトのSEO設定を監査する際にサイトマップURLを見逃しません。
生の表示とサマリー
完全な生のrobots.txtを構造化された統計情報（ルール総数、検出されたユーザーエージェント、サイトマップ参照）とともに表示。生のコンテンツをコピーしてさらなる分析に使用できます。