Cloudflare以“内容归你，规则由你”理念赋能智能体互联网

Cloudflare正凭借“内容归你，规则由你（Your Content, Your Rules）”的核心理念推动自主智能体互联网的繁荣发展。随着AI代理和爬虫流量的激增，网站所有者对于如何保护自身内容免受未经授权使用的诉求日益迫切，而Cloudflare提供的工具正是为了实现这一控制权。 Cloudflare推出的内容信号政策是赋予网站所有者控制权的核心举措之一。该政策在传统的robots.txt协议基础上进行了升级，增加了三个新的内容用途分类：search（用于构建搜索索引）、ai-input（用于输入AI模型）、ai-train（用于训练或微调AI模型）。网站所有者可以通过简单的指令，如Content-Signal： search=yes， ai-train=no，明确告知访问者其内容可以被如何使用。例如，这一政策允许网站允许搜索引擎抓取内容，但禁止将其用于AI训练，为内容创作者提供了前所未有的精细控制权。 为应对不遵守规则的AI爬虫，Cloudflare还开发了技术性对抗措施。其AI Labyrinth功能利用蜜罐技术，通过生成由AI创建的无限虚假页面迷宫来消耗恶意爬虫的计算资源和带宽，使其陷入无意义的内容循环。此外，Cloudflare也提供一键阻止已知AI爬虫的托管规则，覆盖包括ClaudeBot、GPTBot、Google-CloudVertexBot等在内的主流AI代理。 Cloudflare的“内容归你，规则由你”策略不仅在于提供防御工具，还在于构建一个公平的交易市场。其Pay Per Crawl平台旨在为内容创作者和AI厂商提供一个撮合交易的场景，试图建立一种多方共赢的新模式。Cloudflare预计，到2029年底，互联网上的机器人流量将超过人类流量，而该公司的这些举措正是为了在这个新时代建立一套新的道路规则，保护网站所有者的权益。