# 主要 AI クローラーを明示的に Allow する。
#
# なぜ要るか: Cloudflare の Managed robots.txt が ON になっていると、ゾーン側が
# GPTBot / Google-Extended / meta-externalagent などを Disallow に書き換えてしまう。
# 2026-08-07 の全サイト点検で qdan.co.jp が実際にその状態だった（意図せず）。
# 明示的に自分のグループを持っておくと、再 ON されても上書きされにくい。
#
# ⚠️ robots.txt の仕様上、ユーザーエージェント固有のグループは `User-agent: *` より優先される。
#    このグループに Disallow を書き写さないと、AI ボットにだけ塞いだ URL が開く。
#    下の `User-agent: *` と規則を必ず一致させること。
User-agent: GPTBot
User-agent: ChatGPT-User
User-agent: OAI-SearchBot
User-agent: ClaudeBot
User-agent: Claude-Web
# Claude-User / Perplexity-User は「利用者が URL を貼って読ませたとき」に走る取得系。
# 学習クロール（ClaudeBot / PerplexityBot）とは別UAなので、片方だけ許可しても届かない。
User-agent: Claude-User
User-agent: Google-Extended
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: Applebot-Extended
User-agent: CCBot
User-agent: meta-externalagent
User-agent: Amazonbot
Allow: /
# Cloudflare の内部エンドポイント。コンテンツではないのでクロールさせない。
# /cdn-cgi/scripts/ は意図的に許可（レンダリングに必要なスクリプトが置かれるため）。
Disallow: /cdn-cgi/l/
Disallow: /cdn-cgi/trace
Disallow: /cdn-cgi/rum

# AdMob の app-ads.txt クローラー。Google が明示グループを置くよう指示している
# （support.google.com/admob/answer/9776740 の「robots.txt が Google クローラーをブロック」）。
# 今は `User-agent: *` に落ちて /app-ads.txt は開いているが、明示しておけば
# Managed robots.txt が再 ON されてもここだけは残る。Disallow は * と揃える
# （このファイル冒頭の⚠️と同じ理由。UA固有グループは * より優先されるため）。
User-agent: Google-adstxt
Allow: /
Disallow: /cdn-cgi/l/
Disallow: /cdn-cgi/trace
Disallow: /cdn-cgi/rum

# その他全クローラー
User-agent: *
Allow: /
# Cloudflare の内部エンドポイント。コンテンツではないのでクロールさせない。
# /cdn-cgi/scripts/ は意図的に許可（レンダリングに必要なスクリプトが置かれるため）。
#
# ⚠️ /cdn-cgi/l/ は必須。ゾーンの Email Address Obfuscation（Scrape Shield）が
#    フッターの mailto:contact@qdan.co.jp を <a href="/cdn-cgi/l/email-protection#…">
#    に書き換えるため、クローラーがそれを辿って 404 を踏む
#    （2026-08-08 の Search Console 404 に実際に載っていた）。
Disallow: /cdn-cgi/l/
Disallow: /cdn-cgi/trace
Disallow: /cdn-cgi/rum

Sitemap: https://dokopa.com/sitemap-index.xml