关闭

Tryaivo™技术

AIWO实测:96%的AI爬虫封禁不在robots.txt

2026-11-15 05:08:55 浏览:

事件

BeSeenByAI 发布《The State of AI Visibility 2026》实测报告。样本为 SEO 从业者所服务的客户站——按报告说法,这些站为 Google 而建、排名不差,但 AI 仍然读不到。报告把 AI 可见性的技术底座拆成五层:内容可见性、爬虫可达性、响应速度、结构化身份、内容可用性。

关键数据

检查项失败率样本
存在 JS 渲染缺口(AI 看到的内容少于访客)70%1,123 站
丢失 10% 以上正文约 1/31,123 站
丢失 50% 以上正文约 1/101,123 站
至少屏蔽 1 个 AI 爬虫11.6%1,597 份报告 / 185 个
封禁发生在服务器层(robots.txt 不可见)96%+365 个拦截站
屏蔽 ClaudeBot约 1/10被封最多的爬虫
首字节 >1 秒29.5%264 站现场数据
平均 TTFB870ms(C 级)264 站
TTFB <200ms(A+)9.1%264 站
零 JSON-LD18.7%—
缺 sameAs 身份链接68.9%—
缺 Organization schema53%—
页面过于营销化、AI 不愿引用37.9%测试页样本
主张无证据支撑9.3%测试页样本

被封时的实际返回(464 次实机探测):403 占 53%(明示拦截,好查也好解)、超时占 23%(防火墙静默丢包,站主毫无感知)、429 占 19%(首次请求就返回、且不带 Retry-After,是伪装成限流的拒绝)。PerplexityBot 拿到的 429 明显少于 ClaudeBot 与 GPTBot——WAF 规则通常只照着 OpenAI 和 Anthropic 的爬虫写,Perplexity 反而绕过去撞上 403 或超时。

对品牌与站长的实操含义

  • AI 爬虫不执行 JS。内容靠前端渲染的站,AI 拿到的是半成品页面。把关键正文改成服务端渲染或静态输出,先保证原始 HTML 里有字。报告特别点名 AI 建站平台(Lovable 114 站、Base44 106 站)的站点近乎对 AI 空白。

  • 封禁去服务器层查,不要只看 robots.txt。用各爬虫的 UA 实测一遍响应码:403、超时、429 都要分别记录;429 若不带 Retry-After 基本可判定为误拦。

  • ClaudeBot 是当前被误伤最多的一只。若同时想被引用又被训练,应按爬虫拆分策略——保留搜索型(OAI-SearchBot、Claude-SearchBot、Googlebot),单独处置训练型(GPTBot、ClaudeBot、Google-Extended),不要一把封死。

  • TTFB 过 1 秒就进慢档。爬虫按规模抓取,不会等你;上边缘缓存/CDN 是最直接的解法。

  • 结构化身份比结构化内容更缺。title、H1、可索引性这类基础项大多没问题,缺的是 Organization schema、sameAs 外链身份、作者信号——这是"能不能被确认为可信来源"的门槛。

  • 营销语会被当噪声。37.9% 的测试页因过于营销化被判不可引用,9.3% 有主张无证据。给结论配数字、配出处。

结论

AI 可见性不是从提示词监测开始的,是从"AI 能不能拿到、看清、确认你是谁"开始的。这份实测的价值在于把五个基础项的失败率全部量化:70% 渲染缺口、11.6% 爬虫拦截(96% 藏在服务器层)、29.5% 响应超 1 秒、约 1/5 无结构化数据。这些都不是内容策略问题,是工程问题,改起来也最快。

规范/标准信息

  • 规范/标准号:未披露(行业实测报告,非标准文件)

  • 发布/采集日期:报告正文未标注精确发布日期;本次采集 2026-11-15

  • 生效日期:不适用

出处

  • BeSeenByAI《The State of AI Visibility 2026》:https://www.beseenby.ai/research/state-of-ai-visibility-2026