ひとことで言うと
robots.txt とは、サイトのルートに置くテキストファイルで、検索エンジンのクローラーに「どのURLをクロールしてよいか・してはいけないか」を伝えるためのものです。`User-agent: *` の次に `Disallow: /` と書けば全クローラーに全ページのクロールを禁止する意図を示せます。
重要な点として、robots.txt はあくまで「お願い」であり、クローラーに対する法的な強制力はありません。善意あるクローラー（Googlebot など）は従いますが、悪意あるボットはこのファイルを無視してクロールします。また Disallow に書いてもURLを直接知っている人間がアクセスすることは防げません。
- 相手がログインなしで開ける状態か確認する
- PCとスマホで最低1回ずつ表示を確認する
- 内部情報・個人情報・不要な外部送信が残っていないか見る
- レビュー期限と修正時の差し替え方を決めておく
HTML共有で関係する場面
ギガサイト便などでAI生成ページをプレビューURLとして共有する場合、そのURLが検索エンジンにインデックスされてほしくないケースがほとんどです。共有サービスが提供するドメインで `robots.txt` が `Disallow: /` になっていれば、Googlebotはプレビューページをクロールしません。これにより社内向けのドラフトページが誤って検索結果に表示されるリスクを下げられます。
独自ドメインで公開したAI生成サイトで「特定のページは検索にのせたくない」という場合は、そのページのURLパスを `Disallow` に追加するか、ページの `<head>` 内に `<meta name="robots" content="noindex">` を入れる方法が使えます。後者はファイルを配置せずに個別ページ単位で制御できるため、AI生成サイトへの組み込みがしやすいです。
よくある誤解
「robots.txt に書けば誰もアクセスできなくなる」というのは最大の誤解です。robots.txt はクローラー向けのガイドであり、人間のブラウザアクセスには一切影響しません。URLを知っていれば誰でもアクセスできます。アクセス制限が必要な場合はパスワード認証やIPアドレス制限などの実装が必要です。
「robots.txt で Disallow にすればGoogleの検索結果から消える」も誤解です。すでにインデックスされているページは robots.txt を Disallow にしても検索結果に残ることがあります。消したい場合は Google Search Console の「削除」ツールを使うか、ページ自体を削除した上で `noindex` メタタグの履歴をGoogleに認識させる必要があります。
安全に使うための注意点
robots.txt の Disallow ルールを確認する手間を省こうとして `robots.txt` が存在しないサービスを使った場合、クローラーはサイト全体をクロール対象と見なします。共有URLを発行する前に、共有サービスのドメインの `https://サービスドメイン/robots.txt` を開いて内容を確認しておきましょう。
AI生成ページに外部からリンクされると、robots.txt に関わらず Googleがリンクをたどってクロールする場合があります。本当に非公開にしたいページは、robots.txt や noindex だけでなく、パスワード保護や認証付き共有URLを使うことを検討してください。ギガサイト便などの認証機能付きサービスを活用すれば、URLを知っていてもパスワードなしではアクセスできない設計が実現できます。
よくある質問
共有サービスのプレビューURLがGoogle検索に出てきてしまいました。robots.txt での対処は有効ですか？
サービス側のrobots.txtが適切に設定されていれば今後のクロールは止まりますが、既にインデックスされたページはすぐには消えません。Google Search Console でインデックス削除をリクエストするか、該当URLに noindex を設定してクロールを待つ方が確実です。
AI生成HTMLにrobots.txtの設定を直接書くことはできますか？
robots.txtはサーバーのルートに置くテキストファイルであり、HTMLの中には書けません。ただし個別ページのクロール制御なら、HTMLのheadタグ内にmeta name="robots" content="noindex, nofollow" を追加することで代替できます。
プレビューURLに robots.txt の Disallow が設定されていれば、共有期間中に検索されることはありませんか？
善意あるクローラーはクロールしませんが、完全な保証ではありません。誰かがURLをSNSで公開した場合や、クローラーが外部リンクからURLを取得した場合にインデックスされる可能性があります。機密情報の共有には必ず認証付きURLを使用してください。