完全無料
robots.txt ジェネレーター
Webサイト用のrobots.txtを瞬時に生成します。ユーザーエージェントルール、許可/拒否パス、クロール遅延、サイトマップURLを設定できます。無料のリアルタイムrobots.txtジェネレーター。
Webサイト用のrobots.txtを瞬時に生成します。ユーザーエージェントルール、許可/拒否パス、クロール遅延、サイトマップURLを設定できます。無料のリアルタイムrobots.txtジェネレーター。
robots.txt は、Web サイトのルートにあるプレーン テキスト ファイルで、クローラーに訪問する可能性のあるパスと避けるべきパスを通知します。この形式は 1994 年に遡り、事実上すべての検索エンジンと正常に動作するクローラーによってサポートされています。このファイルは勧告であり、悪意のあるクローラーはこれを無視しますが、正規のクローラー (Google、Bing など) はその指示を確実に遵守します。
一般的な用途: 管理領域 (/wp-admin/、/admin/) からのクローラーのブロック、重複コンテンツを生成するファセット検索 URL パラメーターの除外、ステージングまたは開発パスのインデックス作成の防止、サイトマップの場所の宣言、特定のユーザー エージェントを許可しながら他のユーザー エージェントをブロックする。ファイルは各クロール セッションの開始時に読み取られます。
このジェネレーターは、フォーム入力から構文的に正しい robots.txt を構築します。一般的なパターン (すべてを許可、すべてをブロック、特定のパスをブロック) はテンプレートです。カスタム ルールはユーザー エージェントごとに追加できます。出力はサイト ルートの /robots.txt に保存されます。
robots.txt を手書きすると間違いが発生しやすくなります。構文の間違い (大文字と小文字の区別、正確なパスの一致、ルールの順序付け) によって、暗黙のうちに誤った動作が発生します。ブロックするつもりだったパスがクロールされたままになったり、インデックスを付けたかったパスが除外されたりします。正しい構文を生成するジェネレーターは、これらの落とし穴を回避します。
robots.txt には、他の SEO ツールとの微妙な相互作用もあります。 robots.txt でパスを禁止しても、そのパスが検索結果に表示されなくなるわけではありません (Google は URL をクロールせずにインデックスを作成する場合があります)。 meta noindex では、最初にページがクロールされる必要があります。どの目的にどのツールを使用するかが重要であることを理解すること。ジェネレーターがあなたを導いてくれるでしょう。
テンプレートを選択し、カスタマイズし、デプロイします。
形式: ユーザーエージェント: <名前> の後に許可/禁止ディレクティブが続きます。 * すべてのボットに一致します。特定の名前 (Googlebot、Bingbot) は、特定のクローラーをターゲットにします。複数のユーザー エージェント ブロックはルールをスタックできます。
禁止: <path> は、指定されたプレフィックスで始まるパスをブロックします。禁止: / はサイト全体をブロックします。禁止: /admin/ は、/admin/ の下にあるものをすべてブロックします。末尾のスラッシュは重要です。禁止: /admin (スラッシュなし) も /administrator と一致します。
クロール遅延 (秒単位) は、より遅いクロールを要求します。サイトマップ (絶対 URL) は、サイトマップの場所を宣言します。 # はコメント行を開始します。