Cloudflare：全球 34.1% 流量来自机器人，AI 爬虫增速 8 倍

据 Cloudflare Radar 于 6 月 4 日收集的即时数据表明，全球 HTTP 流量中 34.1% 来自机器人，65.9% 来自真人；Cloudflare 统计指出，自动化流量的增长速度约为人类流量的 8 倍。AI 爬虫在所有机器人流量中约占 22%，是仅次于搜索引擎爬虫的第二大类别。

AI 爬虫市场份额分布：Meta-ExternalAgent 超越 GPTBot

（来源：Cloudflare Radar）

Cloudflare 数据中各主要 AI 爬虫的占比：

Meta-ExternalAgent：约 16.3%，已超越 GPTBot 排名第一

ClaudeBot：约 11.6%

Applebot：单月激增 140%，从约 2.97% 跳升至 7.15%，Cloudflare 将此定性为 Apple Intelligence 加大数据抓取力度的信号

GPTBot：已被 Meta-ExternalAgent 超越（具体占比浮动）

Cloudflare 说明，不同报告数字会有浮动，上述数据应视为趋势方向，而非精确排名。

登录尝试与整体流量结构

Cloudflare 数据显示，网站登录尝试中 94% 来自机器人。移动设备占全球流量 55.4%，桌面端占 44.6%。Cloudflare 说明，34.1% 的机器人流量并不等同于恶意流量，其中涵盖搜索引擎蜘蛛、网络监控工具、API 集成服务，以及 AI 爬虫等多种类型。AI 爬虫中，训练型爬虫（即抓取数据用于长期模型训练）占逾 51.5%，其余为即时型爬虫（用于即时回答用户查询）。

常见问题

Cloudflare 统计的 34.1% 机器人流量包含哪些类型？

根据 Cloudflare Radar 数据，34.1% 的机器人流量涵盖搜索引擎爬虫、AI 训练爬虫、网络监控工具、API 集成服务以及恶意攻击程序等多种类型。AI 爬虫约占机器人流量的 22%，是第二大类别。

Applebot 单月增长 140% 代表什么？

Cloudflare 数据显示，Applebot 在单月内从约 2.97% 增加至 7.15%，增幅达 140%。Cloudflare 将此定性为 Apple Intelligence 加大网页数据抓取力度的信号。

Cloudflare CEO Matthew Prince 的 2027 年预测是确认的事实吗？

不。Matthew Prince 的“机器人流量在 2027 年超越真人”是个人公开预测，Cloudflare 原文中明确说明“这是预测，不是已成事实”。目前确认的数据是 34.1% 的机器人流量占比，以及自动化流量增速约为人类流量的 8 倍。