导语：30家全球头部新闻出版商（含 CNN、纽约时报、BBC、华尔街日报）里，约 75% 在 2023 年中至 2024 年间用 robots.txt 封了至少一类生成式 AI 爬虫；封禁后 6 周内，周访问量平均下降约 7%（SimilarWeb ATT -0.074，1% 水平显著），而且跌幅出现在真人浏览面板里，不是"机器人流量被剔除"的假象。封禁没换来内容保护，只换来了品牌从 AI 答案里消失。这是反例，不是正面收益案例。
背景：内容被拿去作答，名字却不一定被点到
主体是一个群体样本：30 家大型新闻出版商。研究者从 6,315 个同时出现在 SimilarWeb 与 Revelio Labs 雇主招聘数据里的域名中筛出这 30 个新闻域名，再在部分分析里扩展到 Comscore 流量 Top 500 的新闻站。样本体量不小——按 SimilarWeb 数据，CNN 与纽约时报 2023 年各约 67~68 亿次访问，BBC 58.3 亿次，华尔街日报 9.4 亿次；核心样本的日均访问量中位数约 44.8 万，上限超过 2,000 万。
行业是新闻出版 / 数字媒体，商业模式高度依赖"被人看见"：广告库存、订阅转化、品牌直接访问，全都建立在有人读到内容这件事上。
2022 年 11 月 ChatGPT 上线后，出版商面对的画面很别扭：自己花成本采写的稿子被模型读走、被摘要成答案，而答案里不一定会点名来源。从 2023 年年中开始，行业里最普遍的反应就是去 robots.txt 里加一条 Disallow——这是给搜索引擎时代留下的"抓取偏好"协议，如今被拿来当 AI 的门锁。
结果这一刀砍在哪儿，先给结论：砍在了自己被引用的通道上。
动作：一份封禁清单，和一套严格的计量设计
这个案例值得抄的地方，不在"封得多狠"，而在它把"封禁代价"测清楚了。动作链条拆成六步：
1）先定位每站"第一次封禁"的准确时点。 研究者用 HTTP Archive 的 robots.txt 历史快照回溯，逐站找到首个封禁事件，而不是拿一个行业统一日期糊上去。这一步决定后面能不能做出干净的因果估计。
2）封禁清单覆盖主流爬虫，且分属不同职能。 名单包括 OpenAI 的 GPTBot、ChatGPT-User；Anthropic 的 ClaudeBot、Claude-User；Perplexity 的 PerplexityBot；Google 的 Google-Extended；字节的 ByteSpider。其中有的抓训练语料，有的服务用户触发的实时检索与浏览，有的只管模型训练、不影响搜索收录——这层区别后面成了复盘的关键。
3）节奏是分批走的。 2023 年年中起步，OpenAI 系先被拦，Anthropic、Perplexity 等随后。到封禁潮峰值，Top 500 新闻站的封禁率超过 60%，同期 Top 零售域名封禁率低于 10%——新闻业是这场"封禁运动"里最积极的行业。
4）计量用交错双重差分（staggered DiD）。 按 Callaway 与 Sant'Anna（2021）的方法，把"某周开始封禁的站"与"尚未封禁的站""始终不封禁的站"做对照，窗口取封禁前 12 周、封禁后 6 周，观察对数周访问量的走势。封禁前的系数在三套数据里都与 0 无统计差异，平行趋势假设成立。
5）三套流量口径交叉验证，专门排除"假跌"。 SimilarWeb 提供 2019-01 至 2026-02 的日级全站访问估算；Semrush 提供桌面+移动的渠道级拆分（直接、自然搜索、外链、社交）；Comscore 提供美国家庭级浏览面板（2022—2024，仅保留每年至少 4 个月活跃的样本户）。三套数据同向为负，才算真。此外还跑了 Synthetic DiD、双向固定效应两组稳健性检验，以及三组安慰剂检验（重排封禁时点、给从未封禁者编造封禁日、用最终封禁者的封禁前数据当对照）——每组 50 次随机抽样里，没有一次效应比基准更负。
6）确认"改的只是 AI 爬虫指令"。 24 家封禁出版商中，19 家同期没有其他 robots.txt 改动，另外 5 家只做了与搜索引擎爬虫无关的微调。也就是说，跌幅不能推给"顺手把 Googlebot 也拦了"。
结果：三套数据、三个幅度、同一个方向
| 指标 | 封禁前 | 封禁后 | 口径 / 来源 |
|---|---|---|---|
| 周访问量（SimilarWeb 日域级） | 封禁前 12 周系数与 0 无差异 | ATT -0.074（约 -7%），1% 水平显著，95%CI -0.141~-0.007 | 交错 DiD，封禁后 6 周窗口；第三方数据测算 |
| 周访问量（Semrush 渠道级） | 同上 | ATT -0.069（约 -7%），10% 水平显著，CI -0.145~0.007 | 同上；Semrush 为本轮修订新增的第三套数据 |
| 周访问量（Comscore 家庭面板） | 同上 | ATT -0.065（约 -6.3%），CI -0.150~0.021，不显著（面板样本更小） | 家庭级真人浏览行为，非服务器端估算 |
| 初版口径（2026-01 媒体报） | — | 大型出版商月访问量 -23.1% | 2025-12 初版、月度窗口；4 月修订改为周度口径 -7%，两版并列，差异源于窗口与新增数据集 |
| 封禁普及率 | — | 30 家核心样本中约 75% 至少封一个主要 AI 爬虫；Top 500 新闻站 >60%，Top 零售 <10% | HTTP Archive robots.txt 快照 |
| 效应分层（按 Semrush 流量排名） | — | Top 50：-0.069（10% 显著）；51~100：-0.034（不显著）；101~500：点估计转正 | 大站承担了主要代价，小站基本无感 |
| 封禁的"保护效果" | — | Top 50 封禁 ChatGPT 实时检索机器人的新闻站中，70.6% 仍出现在 AI 引用数据集里 | BuzzStream 2026-03-19 研究（第三方审计，经 PPC Land 转述）；口径为"封禁后是否仍被引用" |
| 内容形式对冲（相对 Top 100 零售站，2022-11 后） | — | 交互元素 +68.1%，广告与定位技术 +50.1%，框架与布局组件 +70.2%，文章/分节标签数量 -31.2% | HTTP Archive 页面构成数据，以零售站为基准扣除通用趋势 |
| 响应式图片与流量走势相关性 | — | r = 0.37（p = 0.045）；视频/多媒体 r = 0.27（p = 0.14） | 同上；仅相关，非因果 |
| 编辑岗位占比 | — | 未下降，TWFE 估计 ATT 7.578（1% 水平显著） | Revelio Labs 招聘数据（编辑类 vs 非编辑类岗位） |
一句要点：跌幅集中在"直接访问"，不是"自然搜索外链"。 论文给出的主渠道是品牌曝光减少——出版商被封禁后，模型不再把它列为答案来源，原本会在 AI 回答里看到这个牌子的消费者，看到的是竞品，或者什么都没看到；于是品牌记忆变弱，直接访问下滑。次级渠道是 AI 引用点击的损失，作者判断在 2024 年 5 月之前这块还太小，不是主因。2024 年 5 月 Google 上线 AI Overviews、8 月核心算法更新之后，直接访问与自然搜索才同步下滑——这段被作者刻意排除在主分析之外，以免两个效应混在一起。
另外值得注意的是"抓取与回引严重不对等"这条行业背景：据 Cloudflare 数据（经 PPC Land 转述），Anthropic 每向出版商回引 1 次页面访问，抓取约 38,000 个页面。这解释了出版商为什么愤怒，但不改变结论——愤怒不构成收益。
复盘：3 条能抄的动作 + 1 条必须避的坑
可抄 1：robots.txt 按"职能"分级，而不是一刀切全封。
爬虫不是一个东西：GPTBot 是抓训练语料，ChatGPT-User / OAI-SearchBot 是用户触发时的实时抓取与检索，ClaudeBot 与 Claude-User 同理分工，PerplexityBot 服务检索应答，而 Google-Extended 只管 Gemini 的训练、不影响 Google 搜索收录。想保住"被 AI 点名"的入口，就先放行检索类、单独处理训练类；反过来一刀切，等于把自己的答案位一起关掉。这条是本案最值钱的技术细节，也是最容易被整站 Disallow 抹掉的。
可抄 2：把"AI 引用数据集"纳入基线监控，并且留足对照窗口。
本案的方法论可以直接搬进企业侧：给每类改动（封禁、改版、llms.txt、站点重构）留"前 12 周 / 后 6 周"的对照窗，同时看三套口径（站点流量、渠道拆分、真人面板/行为数据）。企业没有学术数据源，但 GSC、GA4、第三方 AI 引用监测（Profound、Semrush 一类）能拼出等价结构。只看 GSC 会漏掉品牌词直接访问的慢性流失。
可抄 3：流量下滑期，投资"模型难复刻"的形态。
同一批数据里，出版商没有靠增产文章止血（文章量反而 -31.2%），而是把钱挪到交互元素（+68.1%）、多媒体与响应式图片。响应式图片使用更多的站，流量走势相对更好（r=0.37）。对内容站的可操作翻译是：结构化表格、可交互测算器、原创图与视频、带独家数据的图解——这些是模型摘要替代不了的部分。
避坑 1：别把 robots.txt 当版权锁或内容保护工具。
它拦的是"被抓"，不拦"被引用"，更不拦"被转述"。它还是自愿协议，爬虫可以直接不遵守；真要靠它执行，得上网络层（如 Cloudflare 的 WAF 规则）。最扎心的一条证据是那 70.6%：封了实时检索机器人，多数站点照样出现在 AI 引用里——内容照旧被 AI 讲，品牌却从答案里消失，等于白丢曝光。反过来说，如果目标是"少被白嫖"，正确的谈判筹码是先保住自己被引用的位置，再谈授权与补偿，而不是先把自己从答案里删掉。
数据来源与性质
- 主来源：Hangcheng Zhao（Rutgers Business School）与 Ron Berman（The Wharton School, University of Pennsylvania），《Strategic Response of News Publishers to Generative AI》，SSRN 工作论文（abstract_id=5992774），第 4 版 2026-04-15 发布、2026-04-21 修订；arXiv 编号 2512.24968。性质：学术工作论文，非同行评审版；部分二手文章称其"经同行评审"，此说不成立，本文按工作论文标注。
- 数据源：SimilarWeb、Semrush、Comscore、HTTP Archive、Internet Archive Wayback Machine、Revelio Labs；稿件未见企业自述数据，未经任何服务商加工。
- 二手报道：PPC Land《Blocking AI crawlers cost news publishers 7% of traffic, study finds》（2026-04）；《国际出版周报》2026-05-06 中文报道（记者繁星）；BuzzStream 2026-03-19 关于"封禁后仍被引用"的研究经 PPC Land 转述。
- 口径冲突（两版并列，不取单边）：初版（2025-12，2026-01 报道）称大出版商月访问量下降 23.1%；修订版（2026-04）称封禁后 6 周周访问量下降约 7%。差异来自度量窗口（月 vs 周）与方法更新（新增 Semrush 数据集）。
- 案例周期：2022 年 11 月（ChatGPT 上线）至 2024 年 5 月（Google AI Overviews 上线前）；封禁事件集中于 2023 年中至 2023 年下半年，效应窗口为封禁后 6 周。
- 局限性（原论文与第三方均指出）：ATT 是群体平均效应，不含单一出版商的收入或订阅数据；Comscore 面板不显著；2024 年 5 月之后的效应未纳入主模型；样本为新闻业，向 B2B、电商等行业的可迁移性需自行复测。
- 未披露：各站具体封禁条数与生效日期清单、单站流量与订阅损益、AI 引用点击的绝对值。
标签：AI优化案例、GEO、AIVO、AIWO、新闻出版
（内容由AI生成，仅供参考）