Cloudflare 推出新举措: 助力网站抵御 AI 爬虫

IT之家7月1日消息，互联网安全和性能优化公司Cloudflare宣布了一系列新措施，旨在帮助网站抵御AI爬虫的无限制抓取，同时探索一种新的商业模式，以保障互联网内容创作者的利益。

据IT之家了解，根据Cloudflare的最新政策，每一个与该公司签约以管理其网站流量的新域名客户将被询问是否允许AI爬虫访问其网站，还是选择完全屏蔽这些爬虫。此前，Cloudflare已于2024年推出了一款免费工具，用于阻止AI爬虫，但此次更新后，用户无需手动调整设置即可默认屏蔽AI爬虫。目前，包括康泰纳仕（CondéNast）、《时代》杂志（TIME）和美联社（TheAssociatedPress）在内的多家大型出版商已经选择屏蔽AI爬虫。

Cloudflare首席执行官马修・普林斯（MatthewPrince）指出，出版商正面临一场“生存危机”，因为用户不再点击聊天机器人提供的原始链接。如果用户不访问这些网站，网站就无法获得维持运营所需的广告收入。普林斯在一份声明中表示：“原创内容是互联网成为过去一个世纪最伟大发明之一的关键，创作者必须继续创作。AI爬虫无限制地抓取内容，我们的目标是将权力重新交还给创作者，同时帮助AI公司继续创新。这关乎通过一种新的模式，保障一个自由且充满活力的互联网的未来。”

此外，Cloudflare还启动了一项名为“按爬取付费”的私人测试项目，该项目允许网站所有者向AI爬虫收取访问内容的费用。Cloudflare解释称：“每次AI爬虫请求内容时，它们要么通过请求头展示支付意愿以获得成功访问（HTTP200响应代码），要么收到一个402付款所需响应，其中包含定价信息。”该公司将记录这些交易并提供底层技术基础设施。出版商可以选择允许某些爬虫免费访问其内容，同时也可以为其网站上的其他爬虫设定统一的按请求收费价格。

Cloudflare表示，“按爬取付费”目前仍处于早期阶段，预计未来会不断演变。公司还支持开发其他市场平台和收费方式，例如允许出版商根据内容类型设置动态定价。