Cloudflare新政推动AI公司为内容付费

Cloudflare近日发布了一项重要政策更新，旨在重新定义网络爬虫在AI时代的访问规则。该公司宣布，自2026年9月15日起，其默认设置将屏蔽那些同时用于传统搜索（如Google搜索）和AI代理及训练的“混合用途”爬虫，除非网站所有者手动调整设置。这一变化适用于新客户、现有客户的新站点以及所有现有的免费用户，标志着互联网内容访问生态的重大转折。

Cloudflare指出，大多数网站所有者希望其内容能通过搜索和AI服务被发现，但他们也强烈希望保护自己的知识产权不被无偿使用。当前，许多AI公司通过爬虫抓取网页内容用于模型训练和代理服务，而Cloudflare的新政策旨在推动这些公司明确区分不同用途的爬虫行为。该公司首席执行官Matthew Prince在公告中表示：“既然互联网上的大部分流量已是非人类流量，我们必须更进一步、更快行动，以便一个可持续的生态系统能够出现。”他指的是最近机器人流量首次超过人类流量的里程碑，这一变化原本预计要到明年才会发生。

Cloudflare特别点名了“全球最大的搜索引擎”（明显指Google），称其因为让客户难以在不被用于AI的情况下保持可发现性，因此比其他AI公司多获取了“约2倍的信息”。Google此前曾反驳这一说法，指出其提供了名为Google Extended的机器人，允许网站所有者选择不将其内容用于训练和AI产品（如Gemini应用和Vertex API），且不影响站点在Google搜索中的收录。然而，Google的旗舰爬虫Googlebot仍会为搜索功能（包括AI概览和AI模式）抓取内容。

Cloudflare的新政策不仅限于屏蔽，还配套推出了系列工具。该公司此前推出了“按爬取付费”（Pay Per Crawl）市场，允许网站向AI爬虫收费。如今，这一模式正在演变为“按使用付费”（Pay Per Use），使出版商能在其内容产生价值时向AI公司收费，而不仅仅是内容被获取时。Cloudflare表示，这些工具和合作伙伴关系为网站所有者提供了更高的可见性和商业机会，同时也惠及那些拥有明确、透明意图的AI公司。

这一政策对AI行业影响深远。许多AI模型提供商依赖网络爬虫来获取训练数据，而Cloudflare作为全球最大的CDN和网络安全服务商之一，其默认设置改变可能迫使AI公司重新设计爬虫架构。例如，OpenAI、Anthropic等公司可能需要为训练和代理服务分别部署独立的爬虫，并遵守更严格的访问规则。Cloudflare希望这一变化能鼓励混合用途爬虫将搜索行为与代理使用和训练分离，从而构建更透明、可持续的互联网内容生态。

从技术角度看，Cloudflare的做法为网站所有者提供了更精细的控制权。通过调整Cloudflare设置，他们可以允许传统搜索爬虫（如Googlebot）继续抓取，同时阻止用于AI训练的爬虫。这有助于平衡内容发现与知识产权保护。Matthew Prince表示：“我们希望这些默认变更能鼓励混合用途爬虫将搜索与代理使用和训练分开。”未来，随着AI代理服务的普及，这种分层访问机制可能成为行业标准。