赛博菩萨 Cloudflare，AI 爬虫最严厉的父亲

52 0 0

文章摘要

Cloudflare近期宣布了一项针对AI爬虫的新政策，将默认设置从允许改为屏蔽混合用途的AI爬虫。这一举措标志着互联网基础设施层首次对AI数据获取方式进行系统性规范。新政策将AI爬虫细分为搜索、代理和训练三类，并实行最严规则优先原则，打破了以往搜索引擎与AI训练数据捆绑采集的局面，赋予网站主更精细的数据控制权。

在防御AI爬虫的基础上，Cloudflare正试图从网络保安转型为内容交易的收银员。其推出的按使用付费模式，旨在根据内容在AI系统中产生的实际价值向AI公司收费，从而建立一个以自身为枢纽的内容交易市场。然而，这种模式引发了对其角色中立性的质疑，因为其同时扮演规则制定者、执行者和市场参与者的多重身份，本质上是在构建一个新型的内容税收站。

尽管新政策和付费模式得到了大型出版商的支持，但对普通个人创作者和小微内容主的实际收益却十分有限。大型机构拥有谈判筹码，而小创作者若屏蔽爬虫可能面临曝光度锐减的风险，且现有的付费合作伙伴多为小型AI公司，难以弥补因AI搜索导致的流量和广告收入大幅流失。此外，由于AI公司可将数据采集重心转向非保护站点，单一基础设施公司的政策无法彻底解决内容权益分配问题。

这一系列变革揭示了互联网流量变现规则的深层演变。互联网的收费站正在从传统的搜索引擎向底层的基础设施转移。虽然规范数据获取有助于将无序掠夺纳入明确分类与许可的框架，但规则重塑的背后，依然是掌握底层网络枢纽的中间商在谋求新的商业利益与行业主导权。