Cloudflare 推出 AI 爬虫精细控制，区分搜索、训练和代理
摘要
Cloudflare 为所有客户提供精细的 AI 爬虫控制，网站所有者可分别管理搜索、训练和代理爬虫，而非统一拦截。自 2026 年 9 月 15 日起，广告支持页面将默认拦截训练和代理爬虫。
背景解释
此前 Cloudflare 对 AI 爬虫采取一刀切拦截，新方案赋予网站更灵活的选择权，平衡内容保护与搜索引擎可见性。此举回应了内容创作者对 AI 训练数据使用的担忧，同时避免影响正常搜索流量。
原文译文
以下为抓取到的原文内容译文，已统一为站内阅读格式。
广告
Cloudflare 用针对搜索、训练和代理爬虫的精细控制取代了全面 AI 机器人拦截
Matthias Bastian[查看 Matthias Bastian 的 LinkedIn 资料](https://www.linkedin.com/in/matthias-bastian-128b71b1/ "查看 Matthias Bastian 的 LinkedIn 资料")
2026年7月6日
询问本文……搜索
主题
Cloudflare 为所有客户提供新工具，以控制 AI 机器人如何访问其网站。
自 2024 年 7 月起，Cloudflare 客户可以一键阻止所有 AI 爬虫。现在，网站所有者不再使用全面拦截，而是可以在三个类别之间进行选择。搜索涵盖搜索引擎索引。训练涵盖用于 AI 模型训练的数据收集。代理涵盖代表用户行动的机器人，例如 ChatGPT。
Cloudflare 仪表板中的新 AI 机器人控制允许网站所有者分别管理搜索、训练和代理机器人的访问权限。| 图片：Cloudflare
从 2026 年 9 月 15 日起，在带有广告的页面上，训练和代理机器人默认将被阻止，因为广告表明网站希望吸引人类访客。搜索爬虫仍将被允许。像 Googlebot 这样既搜索又训练的多用途爬虫将按照最严格的规则处理。新选项也适用于免费计划用户。
广告
Cloudflare 正在推动机器人运营商按目的拆分其爬虫。Cloudflare 首席执行官 Matthew Prince 此前曾指责 Google将其搜索爬虫与 AI 爬虫捆绑在一起。2026 年 6 月，Prince 指出，机器人流量首次超过了互联网上的人类流量，这一里程碑他原本预计要到 2027 年底才会出现。
广告
新的机器人数据库为企业提供更精细的控制
对于企业客户，Cloudflare 还推出了BotBase，这是一个内置于仪表板中的可搜索数据库，包含所有已知机器人。它显示每个机器人如何分类以及如何使用内容，无论是仅链接到页面还是完整复制页面。
Cloudflare 也在更改已验证机器人的规则。以前，所有已验证机器人都会自动通过。未来，机器人的类别将决定其是否获得访问权限。仅凭“已验证”标签将不再足够：机器人运营商需要证明他们诚实地表明身份，并且不滥用授予的访问权限。
广告
无炒作 AI 新闻 – 人工精选
订阅 THE DECODER 以无广告阅读、每周 AI 通讯、每年六次独家“AI Radar”前沿报告、完整档案访问以及评论区的访问权限。
来源：Cloudflare
BETA-TEST
×
开始新搜索
×\|
发送
wpDiscuz
插入
BETA-TEST
×
开始新搜索
×\|
发送
wpDiscuz
插入
׋›
来源地区
Europe
热度分
73
分类
全球快讯
语言
en