时代周刊为AI机器人定制广告版网站

近日，有开发者发现《时代周刊》网站正在向AI爬虫提供与人类读者完全不同的内容版本。当普通浏览器访问时，用户会看到完整的HTML页面，包含设计、图片和脚本；而当AI代理如ClaudeBot或PerplexityBot请求同一URL时，服务器返回的却是精简的Markdown格式文本，体积仅为原始页面的二十三分之一。

这一发现源自一位技术爱好者的测试。他使用同一台机器反复抓取《时代周刊》的一篇健康类文章，仅更改User-Agent字段——即浏览器或爬虫在请求时发送的标识字符串。结果清晰显示，Chrome、Safari和Googlebot均收到约303KB的HTML内容，而ClaudeBot、PerplexityBot和OAI-SearchBot则收到约13KB的Markdown文本。更值得注意的是，GPTBot和ChatGPT-User这两个OpenAI用于训练和实时抓取的代理，竟然被服务器以406状态码拒绝访问。

这种差异并非简单的统一策略，而是《时代周刊》针对不同AI代理进行精细区分的体现。OAI-SearchBot作为ChatGPT搜索索引的数据来源，被允许访问Markdown版本，而GPTBot则被排除在外。这表明媒体机构正在根据AI产品的用途——是用于搜索增强还是模型训练——来决定是否开放内容。

Markdown页面的响应头中隐藏着更多细节。响应头包含content-type: text/markdown、cache-control: no-store，以及一系列以x-mobian-开头的自定义字段。Mobian是一家广告技术供应商，这些字段揭示了AI内容分发的商业化模式。每次请求都会生成一个全新的UUID作为广告印象标识，配合no-store缓存策略，意味着每一次AI抓取都被记录为一次独立的广告曝光。

更引人注目的是x-mobian-tokens字段，它显示每次请求消耗的Token数量。这表明广告计费单位已从传统的页面浏览量转变为AI模型处理的Token数。在《时代周刊》的“2025年最佳发明”列表页中，Markdown版本内嵌入了完整的赞助内容——一个关于Ally银行的FAQ模块，包含银行介绍、常见问题解答以及跟踪链接。这些内容在人类读者看到的页面上并不存在，只针对AI爬虫展示。

这种做法的商业逻辑显而易见：当AI模型抓取媒体内容用于回答问题或生成摘要时，品牌赞助信息可以随之进入AI的输出结果。广告主不再需要向人类读者展示广告，而是通过向AI喂送内容来影响其知识库。Mobian等供应商正在搭建这一新兴的“AI广告”基础设施，以Token为单位计量内容消费。

对于开发者而言，这一案例揭示了AI内容生态中的新动向：网站运营商正在为AI代理创建专门的页面版本，既控制内容访问权限，又嵌入商业追踪机制。未来，如何平衡内容开放与商业变现，如何定义AI抓取中的广告曝光，将成为媒体行业和技术社区共同面对的课题。