robots.txtとnoindexの違い｜検索に出したいページの設定確認

実測例：公開記事と送信完了ページで指定を変える

2026年9月29日の当サイトのGET確認では、公開記事83件にHTMLのnoindexとX-Robots-Tagのnoindexは見つかりませんでした。一方、/contact-thanks.php は200で開き、HTMLに noindex,follow がありました。これは問い合わせ完了の案内を検索の入口にしないための指定です。フォーム送信は行わず、ページを直接取得した結果です。

表は横にスクロールできます。

自分のサイトでは、ページのソースだけでなくNetworkのResponse Headersも確認します。noindexを消してもHTTPヘッダー側に残っていれば、HTMLの修正だけでは完了しません。逆に検索除外が目的のページへ、検索記事と同じ設定を一括適用しないようにします。

ここで確認したのは配信側の設定です。Googleが指定を処理したか、検索に登録したかは未確認です。公開URLの確認結果（JSON・2026年9月29日）と照合すると、公開可能・検索に出したい・登録済みの三つを分けて記録できます。

目的ごとに必要な状態を決める

表は横にスクロールできます。

Googleの説明では、noindexを認識するためにクローラーがページを取得できる必要があります。robots.txtのDisallowだけで、すでに知られたURLが検索結果から必ず消えるわけではありません。

公開記事の設定を3か所で点検する

まず対象ページのHTMLでrobotsのmetaタグを確認します。次にページ本体のHTTPレスポンスヘッダーにX-Robots-Tagがないか見ます。最後にドメイン直下のrobots.txtを確認し、対象パスへ適用されるルールを調べます。HTMLだけ見て「noindexはない」と結論づけない手順です。

WordPressなら設定画面、SEOプラグインのページ別設定、サーバー側の設定など、指定元が複数ある場合があります。設定を直しても別の場所から同じ指定が出ることがあるため、保存画面ではなく実際の公開レスポンスで確認します。

設定が矛盾したときは変更範囲を限定する

例として、/guide/ を検索から除外したいのに、Disallowとnoindexの両方を設定していた場合を考えます。公開情報であり、Googleにnoindexを読ませる方針なら、対象URLの取得を妨げるルールの見直しが必要です。一方、機密資料なら公開範囲自体を見直します。

逆に公開記事へ誤ってnoindexが出ているなら、その指定元を修正します。サイト全体のrobots.txtを空にする、すべての制限を外すといった変更は不要です。変更前のファイルや設定値を控え、対象記事と、引き続き非公開であるべきページの両方を確認します。

修正後は公開URLを基準に確かめる

URL検査の公開テストで取得とインデックス可否の情報を見て、意図した状態になったかを書き留めます。キャッシュや配信経路によって古い指定が残っていないかも確認します。検索に出したい記事は本文、正規URL、内部リンクも整えてから申請します。

レポートに過去の状態が残る間は、修正日時と最終クロール日時を比べます。除外したいページが正しく除外されているなら、それ自体は修正すべきエラーではありません。サイト全体の未登録件数をゼロにすることを目的にしないでください。

よくある組み合わせの誤り

• robots.txtでブロックしたページにnoindexを付ける：robots.txtでクロールを止めると、Googleはページの中のnoindexを読めません。検索結果から外したいページは、クロールを許可したうえでnoindexを付けます。
• 公開前の設定が残っている：WordPressの「検索エンジンがサイトをインデックスしないようにする」設定を、公開後も入れたままにしていることがあります。公開した日に確認します。
• テスト環境の設定を本番に持ち込む：テスト環境用のnoindexやrobots.txtを、本番にそのまま反映してしまうことがあります。反映の前に、設定ファイルの違いを確認します。

設定を変える前の確認表

表は横にスクロールできます。

公式資料と確認日

以下の公式資料を2026年9月28日に確認しました。実測または実装確認と明記した節以外の記入例は、当サイトが作成した説明用の例です。管理画面の名称や利用できる設定は環境により異なります。

• Google：noindexによる除外
• Google：Robots metaタグとHTTPヘッダー