---
title: "robots.txtとは？HTML共有・AI生成サイトでの意味をやさしく解説"
description: "robots.txtの基本的な仕組みをHTML共有・AI生成サイト公開の文脈で解説します。検索エンジンへのインデックス制御とアクセス制御の混同を避けるための正確な理解を提供します。"
image: "https://giga-site.com/og-image.png"
canonical: "https://giga-site.com/articles/what-is-robots-txt-html-share"
markdown: "https://giga-site.com/articles/what-is-robots-txt-html-share/index.md"
category: "用語解説"
publishedAt: "2026-06-25"
updatedAt: "2026-06-25"
readingMinutes: 5
---
# robots.txtとは？HTML共有・AI生成サイトでの意味をやさしく解説
AIで作ったページを特定の相手だけに見せたいとき、「Googleに検索されたくない」という要望が出ることがあります。その際によく言及されるのが robots.txt です。何を制御できて何はできないのかを正確に理解しておくと、情報漏洩のリスク認識が変わります。
> Source HTML: https://giga-site.com/articles/what-is-robots-txt-html-share
> Article index: https://giga-site.com/articles/index.md
## ひとことで言うと
robots.txt とは、サイトのルートに置くテキストファイルで、検索エンジンのクローラーに「どのURLをクロールしてよいか・してはいけないか」を伝えるためのものです。`User-agent: *` の次に `Disallow: /` と書けば全クローラーに全ページのクロールを禁止する意図を示せます。
重要な点として、robots.txt はあくまで「お願い」であり、クローラーに対する法的な強制力はありません。善意あるクローラー（Googlebot など）は従いますが、悪意あるボットはこのファイルを無視してクロールします。また Disallow に書いてもURLを直接知っている人間がアクセスすることは防げません。
- 相手がログインなしで開ける状態か確認する
- PCとスマホで最低1回ずつ表示を確認する
- 内部情報・個人情報・不要な外部送信が残っていないか見る
- レビュー期限と修正時の差し替え方を決めておく
## HTML共有で関係する場面
ギガサイト便などでAI生成ページをプレビューURLとして共有する場合、そのURLが検索エンジンにインデックスされてほしくないケースがほとんどです。共有サービスが提供するドメインで `robots.txt` が `Disallow: /` になっていれば、Googlebotはプレビューページをクロールしません。これにより社内向けのドラフトページが誤って検索結果に表示されるリスクを下げられます。
独自ドメインで公開したAI生成サイトで「特定のページは検索にのせたくない」という場合は、そのページのURLパスを `Disallow` に追加するか、ページの `` 内に `` を入れる方法が使えます。後者はファイルを配置せずに個別ページ単位で制御できるため、AI生成サイトへの組み込みがしやすいです。
## よくある誤解
「robots.txt に書けば誰もアクセスできなくなる」というのは最大の誤解です。robots.txt はクローラー向けのガイドであり、人間のブラウザアクセスには一切影響しません。URLを知っていれば誰でもアクセスできます。アクセス制限が必要な場合はパスワード認証やIPアドレス制限などの実装が必要です。
「robots.txt で Disallow にすればGoogleの検索結果から消える」も誤解です。すでにインデックスされているページは robots.txt を Disallow にしても検索結果に残ることがあります。消したい場合は Google Search Console の「削除」ツールを使うか、ページ自体を削除した上で `noindex` メタタグの履歴をGoogleに認識させる必要があります。
## 安全に使うための注意点
robots.txt の Disallow ルールを確認する手間を省こうとして `robots.txt` が存在しないサービスを使った場合、クローラーはサイト全体をクロール対象と見なします。共有URLを発行する前に、共有サービスのドメインの `https://サービスドメイン/robots.txt` を開いて内容を確認しておきましょう。
AI生成ページに外部からリンクされると、robots.txt に関わらず Googleがリンクをたどってクロールする場合があります。本当に非公開にしたいページは、robots.txt や noindex だけでなく、パスワード保護や認証付き共有URLを使うことを検討してください。ギガサイト便などの認証機能付きサービスを活用すれば、URLを知っていてもパスワードなしではアクセスできない設計が実現できます。
## よくある質問
### 共有サービスのプレビューURLがGoogle検索に出てきてしまいました。robots.txt での対処は有効ですか？
サービス側のrobots.txtが適切に設定されていれば今後のクロールは止まりますが、既にインデックスされたページはすぐには消えません。Google Search Console でインデックス削除をリクエストするか、該当URLに noindex を設定してクロールを待つ方が確実です。
### AI生成HTMLにrobots.txtの設定を直接書くことはできますか？
robots.txtはサーバーのルートに置くテキストファイルであり、HTMLの中には書けません。ただし個別ページのクロール制御なら、HTMLのheadタグ内にmeta name="robots" content="noindex, nofollow" を追加することで代替できます。
### プレビューURLに robots.txt の Disallow が設定されていれば、共有期間中に検索されることはありませんか？
善意あるクローラーはクロールしませんが、完全な保証ではありません。誰かがURLをSNSで公開した場合や、クローラーが外部リンクからURLを取得した場合にインデックスされる可能性があります。機密情報の共有には必ず認証付きURLを使用してください。
## 関連記事
- [TXTレコードとは？HTML共有・AI生成サイトでの意味をやさしく解説](https://giga-site.com/articles/what-is-txt-record-html-share/index.md)
- [SRI（Subresource Integrity）とは？HTML共有・AI生成サイトでの意味をやさしく解説](https://giga-site.com/articles/what-is-sri-html-share/index.md)
- [Referrer-Policyとは？HTML共有・AI生成サイトでの意味をやさしく解説](https://giga-site.com/articles/what-is-referrer-policy-html-share/index.md)
- [Permissions-Policyとは？HTML共有・AI生成サイトでの意味をやさしく解説](https://giga-site.com/articles/what-is-permissions-policy-html-share/index.md)
- [Same-Origin Policyとは？HTML共有・AI生成サイトでの意味をやさしく解説](https://giga-site.com/articles/what-is-same-origin-policy-html-share/index.md)
- [sandbox付きiframeとは？HTML共有・AI生成サイトでの意味をやさしく解説](https://giga-site.com/articles/what-is-sandbox-iframe-html-share/index.md)
```json
{
"@context": "https://schema.org",
"@type": "Article",
"headline": "robots.txtとは？HTML共有・AI生成サイトでの意味をやさしく解説",
"description": "robots.txtの基本的な仕組みをHTML共有・AI生成サイト公開の文脈で解説します。検索エンジンへのインデックス制御とアクセス制御の混同を避けるための正確な理解を提供します。",
"datePublished": "2026-06-25",
"dateModified": "2026-06-25",
"mainEntityOfPage": "https://giga-site.com/articles/what-is-robots-txt-html-share",
"url": "https://giga-site.com/articles/what-is-robots-txt-html-share",
"inLanguage": "ja",
"image": "https://giga-site.com/og-image.png",
"articleSection": "用語解説",
"author": {
"@type": "Organization",
"name": "ギガサイト便"
},
"publisher": {
"@type": "Organization",
"name": "ギガサイト便"
},
"mainEntity": [
{
"@type": "Question",
"name": "共有サービスのプレビューURLがGoogle検索に出てきてしまいました。robots.txt での対処は有効ですか？",
"acceptedAnswer": {
"@type": "Answer",
"text": "サービス側のrobots.txtが適切に設定されていれば今後のクロールは止まりますが、既にインデックスされたページはすぐには消えません。Google Search Console でインデックス削除をリクエストするか、該当URLに noindex を設定してクロールを待つ方が確実です。"
}
},
{
"@type": "Question",
"name": "AI生成HTMLにrobots.txtの設定を直接書くことはできますか？",
"acceptedAnswer": {
"@type": "Answer",
"text": "robots.txtはサーバーのルートに置くテキストファイルであり、HTMLの中には書けません。ただし個別ページのクロール制御なら、HTMLのheadタグ内にmeta name=\"robots\" content=\"noindex, nofollow\" を追加することで代替できます。"
}
},
{
"@type": "Question",
"name": "プレビューURLに robots.txt の Disallow が設定されていれば、共有期間中に検索されることはありませんか？",
"acceptedAnswer": {
"@type": "Answer",
"text": "善意あるクローラーはクロールしませんが、完全な保証ではありません。誰かがURLをSNSで公開した場合や、クローラーが外部リンクからURLを取得した場合にインデックスされる可能性があります。機密情報の共有には必ず認証付きURLを使用してください。"
}
}
]
}
```