Patreon从请求转向主动封禁AI爬虫

Patreon，这个为创作者提供会员订阅服务的平台，正在升级其对抗AI爬虫的策略。该公司于周四宣布，正在与互联网基础设施提供商Cloudflare合作，直接封禁那些未经许可抓取其内容用于训练AI模型的机器人。这一转变标志着Patreon从“请求”模式正式进入“封禁”模式，反映出AI爬虫行为日益复杂化后的必要应对。

Patreon表示，自2023年首次采取措施阻止AI爬虫以来，AI训练数据的抓取技术已经变得更加复杂和隐蔽。过去，Patreon主要依靠robots.txt文件——一种标准的网站协议，用于告知爬虫哪些内容可以访问——来请求AI爬虫不要抓取创作者的作品。然而，这种依赖爬虫“自觉遵守”的方式显然不够有效。在测试新功能时，Patreon发现单个AI训练爬虫每周的访问尝试从“数千次”直接降到了“零次”，这充分说明此前这些爬虫一直在无视robots.txt的指令，持续进行数据抓取。

“同意不应该取决于爬虫是否选择遵守规则，”Patreon在一篇博文中这样解释其更严格的措施。这句话点明了问题的核心：在缺乏强制力的情况下，仅仅依靠“请求”无法真正保护创作者的利益。Patreon的付费墙长期以来将大部分创作者内容锁定在爬虫的触及范围之外，但最近推出的新发现工具——如重新设计的首页信息流和类似推文的“Quips”——可能会将更多内容暴露给爬虫，从而加剧了风险。

Patreon并非孤例。越来越多的在线出版商和内容创作者正在意识到AI如何吞噬他们的作品，以使其AI模型变得更聪明。Cloudflare为此提供了多种工具，允许网站发布者限制AI机器人，包括一个名为“按爬取付费”（Pay Per Crawl）的市场，让网站可以对AI爬虫的数据抓取行为收费。本月初，Cloudflare还更改了其政策，在托管广告的页面上，默认封禁那些既用于索引又用于训练AI模型的“混合用途”爬虫。

Patreon表示，它正在扩展与Cloudflare的现有合作，使用后者的AI爬虫控制技术来更新自己的AI政策和执行工具。关键区别在于，Patreon现在不再仅仅通过robots.txt文件请求AI爬虫不要抓取内容，而是主动封禁AI训练机器人。不过，Patreon也明确表示，它将允许那些用于索引页面和组织信息、并能将用户引导回Patreon的爬虫继续工作。这表明Patreon并非反对所有爬虫，而是针对那些未经许可将创作者内容用于AI模型训练的爬虫。

“随着AI代理变得越来越强大和流行，创作者应该对其作品如何被AI公司使用拥有有意义的发言权，”Patreon的产品负责人Drew Rowny在公告中评论道。“在互联网的大部分地方，创作者为了触及和扩大受众，不得不接受AI对其作品的训练。Patreon有不同的愿景：创作者应该能够扩大他们的受众，同时控制他们的作品如何被使用。”这一声明清晰地传达了Patreon的核心立场：在AI时代，保护创作者的数据主权和内容控制权，与帮助创作者成长同样重要。