摘要
2026 年 11 月 6 日的多方独立核验给出同一结论：OpenAI、Anthropic、Perplexity 三家爬虫官方文档均未提及 llms.txt，Google 自 2026 年 7 月 10 日起明确 Search（含 AI Overviews 与 AI Mode）忽略该文件。同时 Ahrefs 对 137,210 个域名的实测显示，约 38,000 个站点发布了文件，其中 97% 当月零请求。llms.txt 不是没价值，而是价值不在搜索可见度上。
事件：三家厂商文档同日被核对，均未提及
llms.txt 自 2024 年 9 月 3 日由 Jeremy Howard 提出，2026 年 8 月 10 日修订至 v2，至今仍是社区提案，未被任何标准组织批准。真正改变判断的是厂商自己的文档。
2026 年 11 月 6 日，独立核验方逐份调取了四家厂商的爬虫与搜索文档：
Google Search（含 AI Overviews、AI Mode）：在其生成式 AI 功能指南中写明「Google Search itself doesn't use them」，并称创建该文件「will neither harm nor help your site's visibility or rankings in Google Search」。该指南更新日期为 2026 年 7 月 10 日。
Google Chrome / Lighthouse：实验性 Agentic Browsing 类目会检查文件是否可抓取，404 被标为 Not Applicable 而非失败。Lighthouse 13.3 于 2026 年 5 月上线该检查，Chrome 150 起稳定。
OpenAI 爬虫文档（OAI-SearchBot、GPTBot、ChatGPT-User）：未提及 llms.txt（2026-11-06 核取）。
Anthropic 爬虫文档（ClaudeBot、Claude-User、Claude-SearchBot）：未提及（2026-11-06 核取）。
Perplexity 爬虫文档（PerplexityBot、Perplexity-User）：未提及（2026-11-06 核取）。
四家厂商在 robots.txt 控制文档中共记录了 12 个 AI 相关爬虫 User-agent。而记录「消费第三方 llms.txt」的数量，是零。
关键数据：97% 的文件从未被请求
Ahrefs，2026 年 5 月，137,210 个域名。 其中约 38,000 个域名发布了 llms.txt，占 28%；这 38,000 个中，97% 在当月的服务器日志里没有出现任何针对该文件的请求。
GetMind，27 天自有 server log。 共 78 次对 /llms.txt 的请求，其中超过三分之二来自单一 SEO 审计工具，来自 AI 厂商与搜索引擎爬虫的数量为 0。
Google 搜索联络人 John Mueller 的公开判断。 在 Search Off the Record 播客中（2026 年 6 月 15 日报道），他把这个文件类比为「你在告诉这些系统：我有史上最好的网站」，并称其为编码工具的「临时拐杖」（temporary crutch），明确表示「不是为了搜索」。
同时必须承认另一半事实：OpenAI、Anthropic、Google Gemini 团队、Perplexity 都为自家开发者文档站发布了 llms.txt。 2026 年 11 月 6 日实测，developers.openai.com、platform.claude.com、code.claude.com/docs、docs.perplexity.ai 均返回了该文件。这是「厂商自己不用于检索排序、但在文档场景大量使用」的清晰分野。
v2 到底改了什么
2026 年 8 月 10 日的 v2 修订没有改动文件格式，v1 文件继续有效。改动集中在「发现机制」：
| 项目 | v1 | v2 |
|---|---|---|
| 位置 | 允许子路径，作用域未定义 | 文件覆盖其路径下所有页面，最具体者优先 |
| Markdown 页 | 需在完整 URL 后加 .md | 允许替换扩展名（page.md 或 page.html.md） |
| 发现方式 | 未定义 | 通过链接关系（HTML link 或 HTTP Link 头） |
| Agent 使用方式 | 由工具展开为上下文 | Agent 查看或检索文件，再跟随链接 |
| Optional 段 | 告知工具忽略什么 | 降级为次要链接的约定 |
新增的两个关键属性是 rel="alternate" type="text/markdown"（页面指向其 Markdown 副本）与 rel="describedby"（页面指向覆盖它的 llms.txt）。两者也可通过 HTTP Link 响应头下发，便于在 CDN 层添加而不动页面代码。
固定的文件结构只有五项：H1 站点名（唯一必填）、blockquote 摘要、无标题的补充说明、按 H2 分组的链接列表、名为 Optional 的可跳过段。另有 llms-full.txt 会把整站正文打包，但它不属于规范组成部分，大站容易失控——Cloudflare 开发者文档那份已达 69MB。
对品牌与站长的实操含义
一、先分清 llms.txt 不能做什么。 它不能阻止任何抓取，不能设训练许可，不能声明授权条款。想控制 AI 爬虫（GPTBot、ClaudeBot、Google-Extended、PerplexityBot 等）只能改 robots.txt，想声明训练偏好要用 Content Signals 一类机制。
二、投入顺序不要倒置。 若目标是 AI 回答中的引用份额，可爬取的 HTML、可被抽取的答案结构、第三方信源覆盖，三项的边际收益都高于 llms.txt。文件应排在基础工程之后。
三、真实场景只有两类。 一是开发者文档与 API 参考，编码 Agent 确实会读并跟随链接；二是预期浏览器 Agent 在站内执行任务。企业官网、资讯站、电商站目前没有可测的收益证据。
四、真要发布，按最低成本做。 根目录或相关子路径部署，只写 H1、一句摘要、若干分组链接，链接指向 Markdown 副本而非全站 URL 清单。不要按月把 sitemap 全量拷进去——那恰好违背了「筛选」这个设计前提。
五、验证方式只有一种：服务器日志。 过滤 /llms.txt 的 User-agent，四周后看请求构成。基于 JavaScript 的分析工具看不到这类请求，用搜索指标验证更无从谈起。
六、不要为过 Lighthouse 审计而硬造文件。 404 被标为 Not Applicable，不算失败；会被判失败的只有服务器错误或格式错误。文件本身写错，比没有更糟——过时链接会把 Agent 引向死路。
标准与版本信息
文件版本：llms.txt v2，2026-08-10 修订；v1 首版 2024-09-03，作者 Jeremy Howard，发布站点 llmstxt.org。
标准号：无。该文件为社区提案（community proposal），未被 W3C、IETF 或任何国家标准机构批准，无生效机制与生效日。
相关但独立的规范：Website Specification 2026-11-04 发布的 Internet-Draft 提出共享训练偏好指令（User-agent: __usage_ai-training），Microsoft 计划 2027-02-01 起支持，Google 2027 年初，Anthropic 已开始实现，OpenAI 未公布时间表。该草案与 llms.txt 无关，勿混为一谈。
审计工具版本：Chrome Lighthouse 13.3（2026 年 5 月上线 Agentic Browsing 的 llms.txt 检查），Chrome 150 起稳定。
原文出处
Kevin Welter，llms.txt: Hype vs. Evidence，2026-11-06：https://kevinwelter.com/en/blog/llms-txt
Anobee，llms.txt Implementation: A Working Example and Honest Verdict，2026-11-06：https://anobee.com/seo/llms-txt-implementation
GetMind，What Is llms.txt? Measured in 27 Days of Server Logs，2026-10-22：https://getmind.io/blog/what-is-llms-txt
Promptwatch，LLMs.txt（术语页，含 Lighthouse 与 Google 口径），2026-10-15：https://promptwatch.com/glossary/llms-txt
标签
AIWO 动态、AI可见度、AI搜索优化、AIWO、GEO