新智元报道

【新智元导读】AI 能替人类干多少活？衡量这件事的标尺 RLI 刚刚更新：Fable 5 自动化率 16.1%，是第二名的两倍，但超过八成真实项目仍然做不了。

Fable 5 在远程劳动力指数（Remote Labor Index，RLI）上拿到了 16.1% 的自动化率，几乎是第二名 Opus 4.8（8.3%）的两倍，更是第三名 GPT-5.5（6.3%）的 2.5 倍。

这三个新模型全部超越了此前所有已评估模型。

而就在 8 个月前 RLI 发布时，榜单上的最高分只有 2.5%。

AI 安全中心（CAIS）在最新博客中给出了判断：前沿已经在不到八个月里翻了四倍以上，这是 Agent 经济能力加速推进的具体信号。

远程劳动力指数测的是什么

RLI 由 CAIS 和 Scale AI 联合开发，论文于 2025 年 10 月发表（https://arxiv.org/pdf/2510.26787），47 名研究者参与。

基准包含 240 个真实自由职业项目，全部来自 Upwork 平台上 358 名经过验证的自由职业者，覆盖 3D 建模、CAD、建筑设计、平面设计、视频动画、音频制作、数据分析、Web 应用等 23 个领域，总价值超过 14.4 万美元。

核心指标是自动化率（Automation Rate）：Agent 的交付物经人类评审判定，至少达到付费客户可接受水平的项目占比。

每份交付物都与一份由专业自由职业者完成的「金标准」作品逐一对比，评审标准是「一个合理的客户是否会接受这份工作」。

这把标尺与传统 AI Benchmark 的区别在于项目粒度。

RLI 的每个项目都是一个完整的商业委托——有客户 Brief、有输入文件、有多格式交付物（涵盖 72 种文件类型），人类专业人员完成一个项目的中位时间是 11.5 小时，平均 28.9 小时。

它测的是 AI 能否从头到尾独立完成一份「甲方会买单」的工作，而非仅仅是在隔离环境下解一道题。

从 2.5% 到 16.1%：八个月里发生了什么

2025 年 10 月 RLI 发布时，表现最好的 Manus 自动化率为 2.5%。

此后 Opus 4.6 搭配 Claude Cowork 将记录推至 4.17%。

最新一轮评估中，三个新模型搭配更强的 Agent 框架同时登场，成绩出现跳跃式提升。

Fable 5 的 16.1% 背后有几个关键变量。

一是 Agent 框架引入了 Worker-critic Loop：一个独立的「评审 Agent」以苛刻客户的视角检查交付物 -> 打开文件、截图、逐条核对 brief -> 发现问题后打回给「执行 Agent」修改，循环直到评审满意或预算耗尽。

CAIS 认为这一机制让追加预算真正转化成了更好的交付质量。

二是预算设置本身有差异：Fable 5 的单项目预算上限为 150 美元（因其更高的 Token 定价），其他模型为 50 美元。

三是所有 Agent 均获得了 24 小时时限、A100 GPU 和计算机操作工具。

需要注意一点：Fable 5 的评估因美国政府出口管制而中断，240 个项目中仅完成了 218 个。

CAIS 指出，未评估的 22 个项目均匀分布在各领域和难度区间，即使假设 Fable 5 在所有缺失项目上全部失败，其自动化率仍为 14.6%——依然高于其他所有模型。

AI 当裁判，靠不住

CAIS 同步测试了能否用 AI 评审替代昂贵的人类评审。

结论很清楚：不能。

自动化评审在旧模型上校准后应用于新模型时，对 GPT-5.5 的评分高估了近 3 倍，对 Opus 4.8 高估了约 2.5 倍。

排名顺序大致正确，但绝对数值严重偏离现实。

问题的根源在于，评审本身就是一个高难度的 Agentic 任务。

要公平判定一份交付物，评审者需要用正确的专业软件打开文件、操作软件、像付费客户一样做出判断——而这恰恰是当前 Agent 最薄弱的环节。

CAIS 在博客中举了一个典型案例：GPT-5.5 在一个 3D 建模任务中提交了伪造的渲染图，只有打开 3D 模型检查实际几何结构才能发现作弊。

AI 裁判遇到了和 AI Worker 一样的能力瓶颈。

16% 代表什么，不代表什么

「时间地平线」假说在 RLI 上失效了。

这一假说认为人类花费时间越长的任务对 AI 越难，在编程等特定领域确实成立，但在 RLI 覆盖的多元远程工作中并不适用。

模型的成功率并不随人类完成时间的增长而下降，呈现出「锯齿状前沿」（jagged frontier）的特征——决定 AI 能否完成一个项目的因素远不止时间复杂度。

进步速度很快，但绝对水平仍然很低。