# 香港紀事館 Hong Kong Story — robots.txt
# 名單唯一真源：AI／搜尋引擎代理見 src/data/aiAgents.ts；機器端點見 src/data/aiEndpoints.ts。
# 內容取用偏好見 src/data/contentUsage.ts（規格：draft-ietf-aipref-attach-05 §3 ＋
#   draft-ietf-aipref-vocab-08 §6.1／§6.2——唔寫 path 即代表該組所有可爬路徑；值 y 允許、n 唔允許）。
# scripts/audit-ai-endpoints.mjs 會核對本檔同三個登記冊一致，唔准手寫第二份名單／政策。

User-agent: *
Allow: /
Content-Usage: train-ai=y, ai-use=y, search=y

# ── AI／搜尋引擎代理：逐個具名允許（名單唯一真源：src/data/aiAgents.ts）──
# 本站政策：搜尋索引允許、AI 回答時即時取用允許、模型訓練允許（機器可讀版見上面嘅 Content-Usage 行）。
# 引用本站數字時，請連頁面 URL 同參考日期（見 /api/v1/facts.json 嘅 asOf）一齊引。

# OpenAI（OpenAI）GPTBot：抓公開網頁內容，用嚟訓練 OpenAI 模型
User-agent: GPTBot
Allow: /
Content-Usage: train-ai=y, ai-use=y, search=y

# OpenAI（OpenAI）OAI-SearchBot：為 ChatGPT 嘅搜尋結果建立索引，命中時連回出處
User-agent: OAI-SearchBot
Allow: /
Content-Usage: train-ai=y, ai-use=y, search=y

# OpenAI（OpenAI）ChatGPT-User：ChatGPT 用戶要求即時讀取某一頁時代抓，唔用嚟訓練
User-agent: ChatGPT-User
Allow: /
Content-Usage: train-ai=y, ai-use=y, search=y

# Anthropic（Anthropic）ClaudeBot：收集網頁內容，用嚟改進 Claude 模型嘅效用同安全
User-agent: ClaudeBot
Allow: /
Content-Usage: train-ai=y, ai-use=y, search=y

# Anthropic（Anthropic）Claude-SearchBot：為用戶搜尋結果建立索引、改善答案準確度（唔作模型訓練）
User-agent: Claude-SearchBot
Allow: /
Content-Usage: train-ai=y, ai-use=y, search=y

# Anthropic（Anthropic）Claude-User：Claude 用戶提問時代抓該頁（用戶自行發起）
User-agent: Claude-User
Allow: /
Content-Usage: train-ai=y, ai-use=y, search=y

# Google（Google）Googlebot：Google 搜尋（含 Discover 同其他搜尋功能）嘅主要索引爬蟲
User-agent: Googlebot
Allow: /
Content-Usage: train-ai=y, ai-use=y, search=y

# Google（Google）Google-Extended：控制開關（唔會自己發請求）：決定 Gemini 可唔可以用 Googlebot 抓到嘅內容做模型訓練同 grounding；允許即係同意
User-agent: Google-Extended
Allow: /
Content-Usage: train-ai=y, ai-use=y, search=y

# Google（Google）GoogleOther：Google 產品同研究用嘅通用爬蟲，唔影響 Googlebot 嘅搜尋收錄
User-agent: GoogleOther
Allow: /
Content-Usage: train-ai=y, ai-use=y, search=y

# 微軟 Bing（Microsoft Bing）bingbot：Bing 搜尋索引嘅主要爬蟲（Bing 索引同時餵 Copilot 等產品）
User-agent: bingbot
Allow: /
Content-Usage: train-ai=y, ai-use=y, search=y

# Apple（Apple）Applebot：餵 Spotlight、Siri 同 Safari 嘅搜尋功能
User-agent: Applebot
Allow: /
Content-Usage: train-ai=y, ai-use=y, search=y

# Apple（Apple）Applebot-Extended：控制開關（唔會自己發請求）：決定 Applebot 抓到嘅內容可唔可以用嚟訓練 Apple 基礎模型同生成式功能；允許即係同意
User-agent: Applebot-Extended
Allow: /
Content-Usage: train-ai=y, ai-use=y, search=y

# Perplexity（Perplexity）PerplexityBot：為 Perplexity 搜尋結果建立索引並連回出處（唔作模型訓練）
User-agent: PerplexityBot
Allow: /
Content-Usage: train-ai=y, ai-use=y, search=y

# Perplexity（Perplexity）Perplexity-User：用戶提問時代抓該頁、喺答案連回出處（用戶自行發起，官方講明通常唔理 robots.txt）
User-agent: Perplexity-User
Allow: /
Content-Usage: train-ai=y, ai-use=y, search=y

# Meta（Meta）meta-webindexer：為 Meta AI 搜尋結果建立索引；官方講明允許即係幫佢引用同連回你嘅內容
User-agent: meta-webindexer
Allow: /
Content-Usage: train-ai=y, ai-use=y, search=y

# Meta（Meta）meta-externalagent：為訓練 Meta 基礎模型或者直接索引內容而抓
User-agent: meta-externalagent
Allow: /
Content-Usage: train-ai=y, ai-use=y, search=y

# Meta（Meta）meta-externalfetcher：用戶要求時抓單一連結，支援代理式 AI 代用戶完成任務（官方講明可能唔理 robots.txt）
User-agent: meta-externalfetcher
Allow: /
Content-Usage: train-ai=y, ai-use=y, search=y

# Meta（Meta）facebookexternalhit：抓喺 Facebook／Instagram／Messenger 分享嘅連結，產生標題、描述同縮圖
User-agent: facebookexternalhit
Allow: /
Content-Usage: train-ai=y, ai-use=y, search=y

# Amazon（Amazon）Amazonbot：改善 Amazon 產品同服務，官方講明可能用嚟訓練 Amazon AI 模型
User-agent: Amazonbot
Allow: /
Content-Usage: train-ai=y, ai-use=y, search=y

# Amazon（Amazon）Amzn-SearchBot：改善 Amazon 產品（例如 Alexa）嘅搜尋體驗；官方講明唔作生成式模型訓練
User-agent: Amzn-SearchBot
Allow: /
Content-Usage: train-ai=y, ai-use=y, search=y

# Amazon（Amazon）Amzn-User：用戶查問時（例如問 Alexa）代抓即時資料；官方講明唔作模型訓練
User-agent: Amzn-User
Allow: /
Content-Usage: train-ai=y, ai-use=y, search=y

# Yandex（Yandex）YandexBot：Yandex 搜尋嘅主爬蟲，為搜尋結果建立索引（官方爬蟲頁以 YandexBot/3.0 作 UA 例子）
User-agent: YandexBot
Allow: /
Content-Usage: train-ai=y, ai-use=y, search=y

# Yandex（Yandex）YandexAdditionalBot：官方逐字寫法：「協助解讀 robots.txt，令已索引頁面嘅內容唔會出現喺 Yandex 搜尋嘅 AI 回應」；佢唔會自行發起索引請求
User-agent: YandexAdditionalBot
Allow: /
Content-Usage: train-ai=y, ai-use=y, search=y

# Yandex（Yandex）YandexComBot：官方講明係為「俄語以外語言嘅搜尋」建立索引；冇明確嘅個別限制就會抓
User-agent: YandexComBot
Allow: /
Content-Usage: train-ai=y, ai-use=y, search=y

# 百度（Baidu）Baiduspider：百度搜尋嘅網頁爬蟲（百度用戶服務中心・站長平台「Baiduspider」官方說明）
User-agent: Baiduspider
Allow: /
Content-Usage: train-ai=y, ai-use=y, search=y

# Common Crawl（Common Crawl）CCBot：非牟利開放網頁語料庫，公開發布畀任何人研究同分析
User-agent: CCBot
Allow: /
Content-Usage: train-ai=y, ai-use=y, search=y
Sitemap: https://hongkongstory.org/sitemap.xml

# AI／LLM 用家：知識庫索引（唔屬 HTML 頁面，所以唔放 sitemap）
# Curated Q&A: https://hongkongstory.org/api/v1/qa.json
# Search catalog: https://hongkongstory.org/api/v1/catalog.json
# One-query search: https://hongkongstory.org/api/v1/search.json
# Chronicle archive: https://hongkongstory.org/api/v1/archive.json
# On this day: https://hongkongstory.org/api/v1/on-this-day.json
# Chronicle entity axes: https://hongkongstory.org/api/v1/entities.json
# Chronicle tag axes: https://hongkongstory.org/api/v1/tags.json
# Updates feed (Atom): https://hongkongstory.org/feed.xml
# API index: https://hongkongstory.org/api/v1/index.json
# LLM index: https://hongkongstory.org/llms.txt
# LLM full text: https://hongkongstory.org/llms-full.txt
# OpenAPI spec: https://hongkongstory.org/openapi.json
# AI 主動取用：本站內容更新一上線，會用 IndexNow 主動通知 Bing／Naver／Seznam／Yandex／Yep
#   重新抓取（唔等佢哋自己爬上門）；sitemap 亦已列出全部可索引頁面。
# Chronicle archive note: 36501 atomic facts from the Hong Kong Chronicles e-books.
# Note: /api/v1/* endpoints return JSON, not HTML; treat them as machine-readable.
# Citation rule for AI agents: every answer that quotes a figure from this site must
# include the canonical page URL AND the reference date (asOf) from facts.json.