摘要
2026 年 11 月 4 日，BlackSEOAnalyzer 用普通 HTTP 客户端抓取 Tranco 前 2,500 域名的 robots.txt、/llms.txt、/llms-full.txt 与首页，得到一份可下载 CSV 的逐站数据。在 1,071 个可用站点中，32.4% 至少点名一个 AI 爬虫，23.7% 对至少一个 AI 爬虫做了整站封禁；训练类爬虫被封比例约为 OpenAI 检索爬虫的 3 倍（GPTBot 15.6% vs OAI-SearchBot 4.6%）。llms.txt 实际部署率 7.8%（2,500 域名口径），在有首页的 1,254 站中为 15.5%。作者同日发布更正，撤掉了初版里"屏蔽 ChatGPT-User 会导致粘贴链接失败"等无文档依据的结论。
事件
研究在 2026-11-04 完成抓取：每个域名发 4 个 HTTPS 请求（/robots.txt、/llms.txt、/llms-full.txt、/），使用自定义 UA Mozilla/5.0 (compatible; bseoa-study/1.0)，跟随跳转但不渲染页面，全程约 6 分钟，脚本为两个短 Python 文件。
分母处理是该研究最值得借鉴的部分：2,500 个域名中只有 1,254 个对普通客户端返回了可用 HTML 首页，其中 1,071 个发布 robots.txt。robots.txt 的统计口径用 1,071，llms.txt 用 1,254——大量域名是 CDN、API 主机和广告服务器，若不分母，与其他研究的数字根本无法对比。
作者同日给出更正清单，承认初版存在若干错误（例如把"屏蔽 ChatGPT-User 会让粘链接失败"写成结论，而 OpenAI 文档不支持该说法），修订后的版本才是本文引用的数据。
关键数据
爬虫封禁比例（分母 1,071 个站点）
| 爬虫 | 用途 | 点名站点 | 整站封禁 | 封禁占比 |
|---|---|---|---|---|
| CCBot | Common Crawl 训练语料 | 209 | 168 | 15.7% |
| GPTBot | OpenAI 训练 | 251 | 167 | 15.6% |
| Bytespider | 字节跳动 | 189 | 162 | 15.1% |
| ClaudeBot | Anthropic 训练 | 234 | 156 | 14.6% |
| Google-Extended | Gemini 训练退出令牌 | 213 | 136 | 12.7% |
| meta-externalagent | Meta 训练 | 153 | 128 | 12.0% |
| Applebot-Extended | Apple Intelligence 训练 | 155 | 121 | 11.3% |
| anthropic-ai | 旧令牌（现行文档已不列） | 157 | 118 | 11.0% |
| PerplexityBot | Perplexity 检索索引 | 186 | 97 | 9.1% |
| ChatGPT-User | 用户触发的抓取 | 158 | 73 | 6.8% |
| Claude-User | 用户触发的抓取 | 100 | 61 | 5.7% |
| Claude-SearchBot | Anthropic 检索索引 | 104 | 57 | 5.3% |
| OAI-SearchBot | ChatGPT 检索索引 | 133 | 49 | 4.6% |
结构发现
总量：32.4% 的站点至少点名一个 AI 爬虫，23.7% 至少整站封禁一个；
意图拆分：21.6% 封训练爬虫，9.4% 封检索索引爬虫，8.7% 封用户触发型抓取器；
45 个站点同时封掉 OpenAI 三个令牌（GPTBot / OAI-SearchBot / ChatGPT-User）；123 个站点封了训练爬虫但未封检索或用户触发型；
长列表像抄的：47 个站点只封 1 个爬虫，35 个站点封 12 个，28 个站点封 20 个以上，多为新闻与电商站（amazon、cnn、msn、theverge、cnet 等）。
llms.txt 与首页可读性
| 项目 | 数量 | 占比 |
|---|---|---|
| /llms.txt 以 Markdown 标题开头 | 194 | 7.8%（2,500）/15.5%（1,254） |
| /llms-full.txt 为非 HTML 且 ≥100 字节 | 36 | 1.4%（2,500）/2.9%（1,254） |
| robots.txt 中提及 llms.txt | 27 | 2.5%（1,071） |
| 首页可见文本近乎为空（thin） | 182 | 14.5%（1,253） |
按排名带分布，llms.txt 部署率：前 100 名 16.3%、101–500 名 22.7%、501–1,000 名 20.8%、1,001–2,500 名 12.4%；thin 首页占比则随排名下降（前 100 名 32.7% 降至 11.7%）。
厂商文档口径（同文引用）
| 抓取器 | 厂商说法 |
|---|---|
| ChatGPT-User | 由用户发起，"robots.txt 规则可能不适用" |
| Perplexity-User | "由用户请求，通常忽略 robots.txt 规则" |
| Claude-User | Anthropic 称尊重 robots.txt 的"不要抓取"信号 |
口径与局限
单次抓取（2026-11-04），不含时间序列；
UA 为自定义客户端，真实 AI 爬虫可能收到不同响应，未被验证；
"thin 首页"只能证明文本缺失，多数无法判定原因是 CSR、挑战页还是内容本身少。
对品牌与站长的实操含义
1. 按意图分 UA 决策，别再一刀切。 训练爬虫（GPTBot、ClaudeBot、CCBot、Google-Extended）封掉不影响你在 AI 搜索答案里的曝光；检索爬虫（OAI-SearchBot、Claude-SearchBot、PerplexityBot）封掉就会掉曝光。数据显示站点普遍反着做：训练类被封比例约为检索类的 3 倍，但仍有 49 个站点把 OAI-SearchBot 整站封死。
2. 用户触发型抓取，robots.txt 管不住。 OpenAI 与 Perplexity 的文档都明说可能不适用、通常忽略；Anthropic 说尊重。要真正拦住，得在 CDN / WAF / 源站做 UA 校验加行为限流，并在日志里复核。
3. 清掉僵尸令牌。 anthropic-ai 这个旧令牌仍被 157 个站点点名、118 个封禁，而 Anthropic 现行文档已不列它——这类规则只是维护负债。
4. llms.txt 不是爬虫开关。 头部 2,500 站里只有 7.8% 部署，且它不具备封禁能力。想控抓取写 robots.txt；llms.txt 的意义在给 AI 代理、编码类 agent 一份可读的目录。
5. 自查两件事。 一是 UA 规则是否与"要不要被 AI 引用"的商业目标一致；二是首页是否为纯客户端渲染——14.5% 的样本首页近乎无文本，而主流 AI 爬虫不执行 JS，等于内容对它们不存在。
规范/标准号与时间
规范/标准号：未披露（第三方独立实测研究，非标准文件）；robots.txt 语义参照 IETF RFC 9309
发布日期：2026-11-04（同日发布更正版）
生效日：不适用
原文出处
https://www.blackseoanalyzer.com/en/blog/ai-crawler-blocking-llms-txt-top-2500-sites-2026
标签：AIWO、AI可见度、AI搜索优化、GEO