Robots.txt 生成ツール

ウェブサイト用の robots.txt ファイルを生成します。どのボットが何をクロールするかを制御し、クロール遅延を設定し、サイトマップをリンクします。無料・プライベート。

⚙️ Settings

📄 Output

📝 What goes in robots.txt?

  • User-agent: Which crawler the rule applies to (* = all)
  • Allow/Disallow: Paths the crawler can or cannot access
  • Crawl-delay: Seconds to wait between requests
  • Sitemap: URL of your XML sitemap

All processing in-browser · No data sent to any server

About Robots.txt Generator

ウェブサイト用の robots.txt ファイルを生成します。検索エンジンがクロールできるページを制御します。クロール遅延、サイトマップURL、ボットごとのルールを設定できます。すべてブラウザ内で完結 — データが外部に送信されることはありません。

ビジュアルビルダー

構文を書かずに許可/拒否ルールを追加。ディレクティブを追加するたびにrobots.txtが構築されていくのを確認できます。

ボットごとのルール

Googlebot、Bingbot、一般的なクローラーに異なるルールを設定。AIスクレイパーを選択的にブロックできます。

プリセット付き

WordPress、ECサイト、カスタムプリセットから開始。サイトに合わせて調整できます。

組み込みの検証

ダウンロード前に構文をチェック。壊れたrobots.txtファイルはありません — 常に検証済みの出力を提供します。

📋 Common Use Cases

クローラーをブロック

admin、login、プライベートエリアなどの機密ディレクトリを検索エンジンがインデックスしないように拒否します。

アクセスを許可

インデックスさせたいページやリソースへのクローラーのアクセスを明示的に許可します。

クロール管理

クロール遅延を設定して、過剰な検索エンジンボットによるサーバー負荷を軽減します。

サイトマップの発見

XMLサイトマップのURLを追加して、検索エンジンがページを発見しクロールできるようにします。

🪜 How to Use This Tool

  1. ユーザーエージェントを設定
    ルールを適用するクローラーを選択するか、* を使用してすべてのボットに適用します。
  2. 許可/拒否ルールを追加
    クローラーがアクセスできるパスとできないパスを指定します。
  3. クロール遅延とサイトマップを設定
    必要に応じてクロール遅延を設定し、サイトマップのURLを追加します。
  4. 生成してダウンロード
    robots.txt ファイルをコピーまたはダウンロードして、サイトのルートにアップロードします。

📚 Related Guides

Frequently Asked Questions

これらのSEOツールは無料ですか？▼
はい。すべてのSEOツールは完全に無料です。登録は不要です。
メタタグはGoogleで機能しますか？▼
はい。メタタグ生成ツールは、Google、Facebook、Twitter、その他のプラットフォームで認識される標準のOpen Graph、Twitter Card、HTMLメタタグを作成します。
スキーママークアップは有効ですか？▼
はい。スキーマ生成ツールは、Schema.orgの仕様に従った有効なJSON-LDを生成します。Article、FAQ、Product、LocalBusinessなどのタイプに対応しています。