短.benoindex とは、検索エンジンにページをインデックスしないよう指示するメタタグまたは HTTP ヘッダーです。 <meta name="robots" content="noindex"> を HTML に記述するか、X-Robots-Tag: noindex を HTTP レスポンスヘッダーに設定します。
noindex を設定すべきページの代表例は、テストページ / ステージング環境、管理画面 / ログインページ、検索結果ページ (サイト内検索)、重複コンテンツ (印刷用ページなど)、サンキューページ (フォーム送信後の確認ページ) です。
noindex と robots.txt の違いは実務上重要です。 robots.txt はクローラーのアクセス自体をブロックしますが、外部サイトからリンクされている場合、Google はページの内容を見ずに URL だけをインデックスすることがあります。 noindex はクローラーがページにアクセスした上で「インデックスしない」と判断するため、確実にインデックスから除外できます。
よくある間違いとして、robots.txt でクロールをブロックしつつ noindex も設定するケースがあります。この場合、クローラーがページにアクセスできないため noindex タグを読み取れず、結果としてインデックスから除外されない可能性があります。 noindex を使う場合は、robots.txt でのブロックを解除する必要があります。
短縮 URL のリダイレクトページ自体には noindex を設定するのが適切です。短縮 URL がインデックスされると、リダイレクト先との重複コンテンツ問題が発生するためです。