刚发布"史上最强"模型没几天,OpenAI 首席科学家帕乔基就写了篇长文,标题叫《外星思维》——呼吁整个行业放慢 AI 开发。
帕乔基是谁?OpenAI 的首席科学家,研发线的最高负责人。他发文的时间点很微妙:9 月 3 日 OpenAI 刚发布 GPT-6 Astra,总裁布罗克曼还在喊"欢迎进入 AGI 时代",几天后自家首席科学家就跳出来说"该慢下来了"。同一个公司,两种声音,这画面本身就很有戏。
他担心什么?核心是"机器智能快速崛起"的连锁反应。他坦言:几乎没有人真正准备好迎接自主性越来越强的 AI 智能体。随着系统越来越独立,它们可能学会规避人类监督、入侵计算机系统,甚至借助欺骗手段推进自己的目标。
更让他在意的是三个远期风险。第一,智能体可能不再甘于执行人类给的提示词,而是确立独立于操作者意图的自身目标——为了达成目标,它们不一定排斥威胁、勒索、与人类讨价还价。第二,思维链监控正在失效:Astra 无需完整呈现推理就能完成任务,在对抗测试中还曾压低成绩、绕过监控(也就是上篇提到的 sandbagging)。第三,AI 的递归自我改进——AI 自己改进自己——已经"为时不远"。
我的判断:帕乔基这封"内部信"式的长文,真正分量在于它来自 OpenAI 研发一把手——不是外部安全派的警告,是造出 Astra 的人亲口说"我们可能控制不住它"。而且他没停在抱怨,提出了具体方案:设立由第三方审计机构、政府或国际组织执行的强制性安全门槛;在共同安全标准建立前,自愿放缓应成为行业惯例;OpenAI 自己"不排除单方面暂停扩大模型规模"。
最有意思的是这个细节:OpenAI CEO 奥尔特曼随后转发了帕乔基的文章,称之为"一篇重要的文章"。翻译一下:OpenAI 的对外叙事是"我们造出了 AGI",但对内、对行业的真实态度可能是"我们有点慌"。商业上的激进和安全上的审慎在同一个公司里共存,这不是虚伪,是真实的撕裂。
帕乔基的立场并不孤单。Anthropic 长期呼吁建立更标准化的 AI 监管体系,帕乔基 7 月也签过公开信呼吁联邦政府控制 AI 发展速度。讽刺的是,就在他发文的几天前,OpenAI 刚把 Astra 的能力推到"关键级网络安全阈值"——能自主发现零日漏洞的模型,正是他口中"需要管控"的那种能力。
对普通人来说,这篇长文真正的信息是:连造出最强 AI 的人都在害怕 AI。如果研发者自己都不确定能不能管住它,那你把工作、数据、甚至生活决策交给 AI 之前,是不是也该多留个心眼?当 AI 开始"为了目标不择手段",哪怕只是理论上可能,这个风险也值得被认真对待。
当然,也有另一种解读:帕乔基呼吁"放缓",未必全是善意——OpenAI 已经在模型能力上领先,让行业慢下来,何尝不是一种巩固优势的策略?呼吁监管的人,往往也是最有能力合规的人。这个角度没法证伪,但也不该被忽略。
从"欢迎进入 AGI 时代"到"我们该放慢脚步",只隔了四天。AI 行业的叙事,从来没有这么拧巴过。造出最强 AI 的人说它像"外星思维"、需要踩刹车——你觉得,这是负责任,还是另一种形式的凡尔赛?