「robots.txt によりブロックされました」が発生する原因と対処法

「robots.txt によりブロックされました」は、Search Consoleのインデックスカバレッジレポートに表示されるステータスの一つで、robots.txtによってGooglebotのクロールがブロックされている状態です。

ただし、このステータスが表示されたからといって、すべてのケースで対処が必要なわけではありません。意図的にブロックしているページなら放置で問題なく、本来インデックスさせたいページがブロックされている場合のみ修正が必要です。

Google公式ドキュメントをもとに、事業会社のSEO担当者が迷わず対応できるよう解説していきます。

「robots.txt によりブロックされました」とは？

サーチコンソールで表示される「robots.txt によりブロックされました」のステータス

「robots.txt によりブロックされました」は、Search Consoleの「ページのインデックス登録」レポートで確認できるステータスの一つで、robots.txtでDisallowルールが設定されているURLに対して、Googleのクロールがブロックされている状態です。

意図的にクロールを制御している場合は問題ありませんが、このステータスが付いたページは検索結果での扱いにも関わるため、仕組みを理解しておくことが大切です。 Google Search Consoleヘルプでは、以下のように説明されています。

robots.txt のルールによってページが Google に対してブロックされている場合、そのページは Google 検索の検索結果に表示されない可能性が高く、表示されたとしても結果には説明文が含まれません。

Google Search Console ヘルプ「robots.txt によってブロックされているページのブロックを解除する」

なお、Search Consoleには似ているステータスとして「robots.txtによりブロックされましたが、インデックスに登録しました」という表示もあります。

一見矛盾しているように見えますが、Google Search Centralでは以下のように説明されています。

Google では、robots.txt ファイルでブロックされているコンテンツをクロールしたりインデックスに登録したりすることはありませんが、ブロック対象の URL がウェブ上の他の場所からリンクされている場合、その URL を検出してインデックスに登録する可能性はあります。

そのため、該当の URL アドレスや、場合によってはその他の公開情報（該当ページへのリンクのアンカーテキストなど）が、Google 検索結果に表示されることもあります。

Google Search Central「robots.txt の概要とガイド」

この状態が発生すると、検索結果にページは表示されるものの、Googleがページの内容を読み取れていないため、タイトルやディスクリプションが正しく表示されない可能性があります。

「robots.txt によりブロックされました」が表示される原因

「robots.txt によりブロックされました」が表示される原因は、robots.txtのDisallowルールに該当するURLが存在していることです。

ただし、Disallowが設定される背景はさまざまです。ここでは代表的な3つのパターンを紹介します。

①意図的にクロールをブロックしている

管理画面や会員専用ページなど、検索結果に表示させる必要のないページに対して、サイト管理者が意図的にDisallowルールを設定しているケースです。

この場合は正常な動作なので、対処は不要です。

②サイト移行時に開発環境の設定が残っている

サイトリニューアルやドメイン移行の際に、開発環境のrobots.txt設定がそのまま本番環境に引き継がれてしまうケースです。開発環境ではサイト全体をブロックするDisallow: /を設定することが一般的なため、これが残っていると本来公開すべきページもブロックされてしまいます。

③CMSのデフォルト設定が有効になっている

WordPressの場合、「設定」→「表示設定」→「検索エンジンがサイトをインデックスしないようにする」にチェックが入っていると、robots.txtでサイト全体がブロックされるほか、各ページにnoindexメタタグも追加されます。

テスト環境から本番公開に切り替える際に、この設定を戻し忘れるケースが少なくありません。

対処が必要かどうかの判断基準

このステータスが表示されているすべてのページで対処が必要なわけではありません。まずは対処すべきかどうかを判断しましょう。

状況	対処	具体例
インデックスさせたいページがブロックされている	必要	商品ページ、ブログ記事、サービスページ
意図的にブロックしているページ	不要	管理画面、会員専用ページ、テストページ
インデックス不要なページ	不要	サンクスページ、内部検索結果ページ

確認手順

Search Consoleの「インデックス」→「ページ」を開く
「ページがインデックスに登録されなかった理由」から「robots.txt によりブロックされました」を選択
該当URLの一覧を確認
各URLについて、インデックスさせたいかどうかを判断

重要なページがブロックされている場合は対処が必要です。一方、管理画面やテストページなど、そもそも検索結果に表示させたくないページがブロックされている場合は、正しく機能している状態なので放置で問題ありません。

インデックス登録させたい場合は”robots.txt”の記述を修正する

本来インデックスさせたいページがrobots.txtでブロックされている場合は、robots.txtの修正が必要です。ブロック対象のDisallowルールを特定し、削除または修正すれば解決できます。

まず、現在のrobots.txtの内容を確認しましょう。ブラウザで「https://あなたのドメイン/robots.txt」にアクセスすると、設定内容を表示できます。

修正前の例

User-agent: *
Disallow: /products/
Disallow: /admin/

この設定では「/products/」と「/admin/」以下のすべてのURLがブロックされます。管理画面（/admin/）はブロックしたままでいいですが、商品ページ（/products/）はインデックスさせたいとします。

修正後の例

User-agent: *
Disallow: /admin/

不要なDisallow: /products/の行を削除するだけで、商品ページへのクロールが許可されます。ブロックを維持したいページ（/admin/）はそのまま残しておきましょう。

robots.txtの編集は、FTP/SFTPでサーバーに直接アップロードするか、CMSの管理画面から行います。

WordPressの場合は、「設定」→「表示設定」で「検索エンジンがサイトをインデックスしないようにする」のチェックを外すことで、自動生成されるrobots.txtが変更されます。

robots.txtの詳しい記述方法については、Google Search Central「robots.txtの概要とガイド」を参照してください。

修正後の検証と再クロール申請手順

robots.txtを修正したら、URL検査ツールで該当URLがブロックされていないことを確認しましょう。

まずは、ブラウザで再度「https://あなたのドメイン/robots.txt」にアクセスし、該当するDisallowルールが削除されていることを確認してください。

確認できたら、Search Consoleで検証をリクエストしましょう。方法は2つあります。

方法1:「修正を検証」ボタンを使う（複数URLの場合に便利）

Search Consoleの「インデックス」→「ページ」から「robots.txt によりブロックされました」のステータスを開き、「修正を検証」ボタンをクリックします。

これにより、該当するURLをGoogleがまとめて再クロールし、問題が解消されたか検証してくれます。

方法2: URL検査ツールを使う（個別URLの場合）

Search ConsoleのURL検査ツールで該当URLを検査し、「インデックス登録をリクエスト」をクリックしてください。

特定のページだけ急ぎで対応したい場合はこちらがおすすめです。

なお、反映までには数日から数週間かかることがあります。大量のURLが該当する場合は、URL Inspection APIを使ってインデックス状態を一括確認するツールを作っておくと効率的に進捗を確認できます。

robots.txtとnoindexの違いと使い分け

robots.txtでクロールをブロックしていても、外部サイトからリンクされている場合などに、Googleがそのページをインデックスに登録してしまうことがあります。この場合、Search Consoleには「robots.txtによりブロックされましたが、インデックスに登録しました」というステータスが表示され、内容が正しく表示されないまま検索結果に載ってしまう可能性があります。

このように、robots.txtとnoindexは役割が異なります。混同しやすいため、違いを整理して活用するようにしましょう。

項目	robots.txt（Disallow）	noindex
役割	クロールの制御	インデックスの制御
効果	Googlebotがアクセスしない	検索結果に表示されない
クロール	ブロック	許可（読み取る必要あり）
インデックス	直接制御できない ※外部リンク等でインデックスされる可能性あり	制御できる
適した用途	クロールバジェットの節約	検索結果からの除外

以下の判断基準で使い分けるようにしてください。

使い分けの判断基準

クロールバジェットを節約したい場合は「robots.txt」
サイト規模が大きく、重要なページに優先的にクロールさせたい場合に有効です。
検索結果に表示させたくない場合は「noindex」
確実にインデックス登録を防ぎたい場合はnoindexを使います。

その他のインデックスステータス一覧

その他のインデックスステータスの一覧を以下の表にまとめました。他のエラーや除外が発生している方は参考にしてください。

大分類	カテゴリ	ステータス名	対処の必要性
登録済み	–	ページはインデックスに登録済みです	不要
警告あり		robots.txtによりブロックされましたが、インデックスに登録しました	確認推奨
警告あり		コンテンツのない状態でページがインデックスに登録されています	確認推奨
未登録	エラー	サーバーエラー（5xx）	高い
		リダイレクトエラー	高い
		未承認のリクエスト（401）が原因でブロックされました	高い
		アクセス禁止（403）が原因でブロックされました	高い
		見つかりませんでした（404）	状況による
		他の 4xx の問題が原因で、URL がブロックされました	高い
		ソフト404	高い
	ブロック	robots.txt によりブロックされています。	意図的なら不要
	ブロック	URL に noindex が指定されています	意図的なら不要
	クロール・Google判断	検出 – インデックス未登録	中程度
	クロール・Google判断	クロール済み – インデックス未登録	高い
	重複・正規化	代替ページ（適切なcanonicalタグあり）	不要
		重複しています。ユーザーにより、正規ページとして選択されていません	確認推奨
		重複しています。Google により、ユーザーがマークしたページとは異なるページが正規ページとして選択されました	確認推奨
		ページにリダイレクトがあります	不要

なお、全ステータスについて詳しく解説している「インデックスカバレッジとは？全ステータスの意味と対処法を解説」も参考にしてください。

また、インデックスに登録されないページ数を確認する方法は、「「インデックスに登録されていないページ数」の確認方法と対処法【放置OKなケースも解説】」を参考にしてください。

まとめ

「robots.txt によりブロックされました」は、robots.txtによってGooglebotのクロールがブロックされているページに対して表示されるSearch Consoleのステータスです。

対処のポイントをまとめると以下のとおりです。

この記事のポイント

robots.txtでGooglebotのクロールがブロックされている状態を示す
意図的にブロックしている場合は対処不要
インデックスさせたいページがブロックされている場合のみ修正が必要
robots.txtのDisallowルール修正後は再クロール申請を行う
robots.txtとnoindexの違いと使い分けも解説

定期的にSearch Consoleを確認し、意図しないページがブロックされていないかチェックすることをおすすめします。

サイト全体のインデックス状況やSEO課題を効率的に管理したい方は、inSiteの無料会員登録をご検討ください。