Cloudflare挑战谷歌：AI终于要为互联网内容付费了吗？

本文来自：游云庭，题图来自：AI生成

随着人工智能产业的快速发展，其引发的矛盾也日益突出，AI在训练阶段使用了互联网上的海量版权材料，却未向版权人付费。最近全球顶尖的互联网基础设施企业Cloudflare公司推出了一套新方案，希望帮助网站建立AI内容授权与收费机制。而他们最大的绊脚石，则是互联网头号搜索引擎和AI巨无霸谷歌，今天就和大家聊下这个事情。

一、Cloudflare如何帮网站向AI公司收费？ 

先说下Cloudflare是干什么的？Cloudflare是互联网流量的一层底层关卡，它有能力在内容到达源服务器之前，就决定谁能进、谁不能进。很多朋友访问海外网站时会遇到一个五秒等待页面，那就是Cloudflare在替网站过滤网络攻击。Cloudflare以CDN（内容分发网络）和网络安全服务起家。目前全球超过20%的网络流量经过Cloudflare的基础设施处理，其中包括36%的全球最高访问量网站。

Cloudflare推新政策时机很微妙，其公布的数据显示，目前全球互联网流量中，机器人流量已经首次超过人工流量，其中AI机器人占比快速增长。与此同时，OpenAI、Anthropic等公司商业模式逐渐成熟，外界普遍预期未来一两年内将进入资本市场。

而随着人工智能产业商业模式的确立，其和版权人的矛盾却日益突出。主要矛盾在于，AI在训练阶段使用了全球几乎所有可获取的版权材料，却未向版权人付费。此外，AI若想进一步发展，需使用版权人创作的新内容，如何为这部分新内容付费成为矛盾焦点。

7月1日，Cloudflare宣布将AI爬虫正式分为三类：搜索类（Search）、训练类（Training）和智能体类（Agent，即代替用户在线执行任务的自动化程序）。每一类爬虫必须明确声明身份，配合使用独立的访问令牌和可验证的IP段，让网站主可以精细管理：哪类爬虫能进、哪类要付费、哪类直接封杀。通过匿名方式或伪造身份爬取的服务商，将可能被Cloudflare在全网范围内拦截。该方案的核心在于，迫使AI产业心甘情愿或不得不付费。

二、为什么谷歌被针对了？

但Cloudflare这套新政策要确立，首先得跨越一座叫谷歌的大山。

为什么是谷歌？因为Cloudflare方案的核心是把AI机器人的功能分拆成搜索、训练和代理三类，而谷歌则是混合用途机器人（Mixed-use Crawler）的代表，Google的AI机器人既承担搜索，也承担AI概览（AI Overview）等AI搜索功能，因此网站难以只允许搜索、拒绝AI概览。而对网站来说，要么接受谷歌的爬虫，要么屏蔽，没有第三种选择，所以说，谷歌的这个混合用途机器人有点霸道。

但其实本来谷歌建立的搜索商业模式还算合理：谷歌作为搜索引擎给网站引流，网站获得了流量，而谷歌则收到了广告费。但人工智能兴起后，谷歌的搜索模式受到了OpenAI和Perplexity等人工智能公司的冲击，尤其是搜索即时增强功能（RAG模式）的人工智能搜索，可以向用户直接展现搜索答案，比传统搜索功能更强大。

为保住市场留住用户，谷歌也推出了自己的RAG模式，AI概览功能，直接给用户答案，不是引流。但AI概览功能也导致用户停留在谷歌，被谷歌索引或抓取信息网站的访问率大减。而且为了强推AI概览功能，谷歌规定，被其索引的网站要么接受谷歌的爬虫，抓取的信息要么屏蔽，没有第三种选择。

网站所有人，也就是版权人对此很不满意，还不得不从。因为如果不接受谷歌的政策，屏蔽其爬虫，搜索引擎带来的流量也没有了，但接受的话，谷歌的AI概览功能对网站的替代性太强，多家媒体报告称，AI概览上线后点击率和跳转流量明显下降。因此，有网站因此起诉谷歌垄断，利用自身的市场支配地位逼迫网站二选一。

三、为什么两家公司并非你死我活？

实际上这个事情根子上还是商业模式的问题，谷歌没有找到一个公平的商业模式，使用网站内容，但是要向网站返还商业上合理的利益，但这个不仅仅是谷歌的问题，而是整个人工智能产业的问题，所以现在Cloudflare，他作为全球20%流量的入口，推了这样一个方案，要求人工智能就其使用网站的内容进行训练付费。

当然，Cloudflare和谷歌的这场博弈并不会一开始就演变成你死我活的斗争。Cloudflare的新规则采取了非常克制的推进方式。按其计划，2026年9月15日以后，新接入Cloudflare的网站默认采用新的AI机器人分类策略，而此前已经接入的网站并不会被强制修改配置，管理员仍然可以自行决定是否调整。这种渐进推进，一方面降低了对互联网生态的冲击，另一方面也给谷歌留下了缓冲和调整空间。

不过Cloudflare这次政策能否成功，并不完全取决于谷歌。真正拥有决定权的，其实是全球数以百万计的网站背后的版权人。如果头部出版商网站大规模跟进，比如美联社、时代周刊、大西洋月刊等大型媒体已经明确支持Cloudflare的新规，如果这个形成潮流，AI公司将不得不正视这套框架，要么付费、要么被屏蔽。

但谷歌也不是吃素的，他们虽然忌惮反垄断法，不会硬顶，但也可以采取软磨硬扛的策略：一方面通过掺沙子，丢石头，挖墙脚，直接签约头部内容网站，分化对手，绕开Cloudflare的规则框架；另一方面利用搜索流量的不可替代性静观中小网站的反应，想办法继续维持现有格局，如果中小网站不敢轻举妄动，这套规则的实际约束力就会大打折扣。

四、Cloudflare方案和著作权集体管理方案的区别在哪？

同样为了解决AI训练素材的合规问题，此前我国著作权集体管理组织曾提出：以集体管理组织的名义，就人工智能训练向AI公司收取法定许可费。即训练行为属于法定许可范畴，AI服务商需向版权人付费，由著作权集体管理组织作为版权人代表收取该费用，并向版权人进行分配。同时还配套以权利人的选择退出机制和AI公司对训练内容的强制披露制度。

但著作权集体管理的方案是法定许可，需要立法先行，而立法流程时间较长，相比之下，Cloudflare的方案实际上更灵活，操作方便，把训练许可权完全交给了生产内容的互联网网站，站长可以选择允许或者不允许AI公司使用其内容用于搜索或者训练，如果许可训练的，就可以从Cloudflare的授权机制里获得相应的许可费。这也是笔者认为Cloudflare方案值得关注的真正原因。

而Cloudflare的方案如果能走通，国内CDN服务商如又拍云、七牛云等以内容网站为主要服务对象的厂商也会跟进，国内的内容网站作为版权人也可以通过此方案获取授权收入。

最后，AI大模型依靠互联网内容快速成长，但随着替代效应越来越明显，版权诉讼越来越多，AI公司继续免费获取高质量内容的时代正在结束。虽然Cloudflare这次推出的新政策，最终未必能够完全建立AI内容收费体系，但这个政策将对全球人工智能生态和内容生态产生重大影响。AI公司为高质量内容支付成本，很可能只是时间问题。关键在于是按自己的规则付费，还是按Cloudflare或者著作权集体管理组织制定的规则付费。

本文作者：游云庭，知识产权律师。Email: yytbest@gmail.com，本文仅代表作者观点。