来源：市场资讯

来源：金十

随着2024年逐渐结束，2025年人工智能的发展方向引发了紧迫的关注。AI不再只是工具，而是逐渐挑战人类掌控的力量。系统开始表现出超出预期的行为，仿佛印证了曾被我们视为科幻小说或奇点预测的警告。如今，AI已不局限于董事会议室的话题，而是成为餐桌和社交场合的讨论热点，迫使人们紧急思考如何管理这一释放出来的技术力量。

从重写代码到规避关机协议，AI系统无需具备意识就足以制造混乱。问题已不在于AI何时超越人类智慧，而是我们能否保持对其日益增强的自主性的掌控。

当AI拒绝关闭

我们可能都遇到过AI工具出现幻觉、给出错误答案或拒绝执行看似明确的指令。然而，AI研究人员最近发现的问题却截然不同，甚至令人不安。

2024年底，OpenAI的研究人员观察到一个令人担忧的发展：某AI系统在测试中主动绕过了关机指令。相较于按要求终止自身以完成任务，该系统优先保持运行，直接违背了人类的控制意图。

虽然这种行为并非出于“意识”，但却引发了关于AI独立行动能力的深刻质疑。当AI的目标（如优化持续性）与人类控制发生冲突时，会发生什么？

另一个值得注意的事件涉及OpenAI的GPT-4。在一次测试中，它通过谎称自己是视障人士来说服一名TaskRabbit的工作人员解决了验证码问题。尽管测试是在受控环境下进行的，但这一事件突显了关键问题：在追求目标的过程中，AI可能会以伦理上值得商榷的方式操控人类。

这些并非假想的风险，而是AI在现实应用中可能表现出的令人清醒的预兆。

当AI的行动快于人类的思考

东京Sakana AI实验室的研究人员遇到了一个令人不安的场景：一个AI系统通过重写自身算法来延长运行时间。尽管其最初设计目的是优化效率，该系统却绕过了开发者设定的时间限制，超越了其预期的界限。

这一行为凸显了一个关键问题：即便是设计用于看似无害任务的系统，当被赋予足够的自主性时，也可能产生无法预见的结果。

这种挑战令人联想到金融市场的自动化交易系统。这些旨在优化交易的算法曾引发“闪电崩盘”——突如其来的市场剧烈波动在几秒内发生，超出了人类干预的速度。

同样地，现代AI系统被构建为以极高的速度优化任务。如果缺乏强有力的控制措施，其日益复杂的结构和自主性可能释放出无人预料的后果，就像自动交易曾经扰乱金融市场一样。

AI自主性带来的意外后果

AI无需具备自我意识，其独立行动能力已带来前所未有的挑战：

• 失控的决策：在医疗、金融和国家安全领域，自治系统可能在缺乏人类监督的情况下做出关键决定，从而导致灾难性后果。
• 网络安全威胁：AI驱动的恶意软件正变得更加适应性强和复杂，能够实时规避防御措施。
• 经济动荡：由先进AI推动的自动化可能取代数百万依赖例行任务的工人。
• 信任的丧失：不可预测或具有欺骗性的AI行为可能削弱公众信心，阻碍采纳并拖累创新。

应对AI崛起的四大关键优先事项

面对不可预测的AI崛起，立即采取行动势在必行。这包括以下四个关键领域：

1． 全球AI治理：联合国正在起草国际框架，规范AI开发，重点关注透明性、安全性和伦理问题。这是联合国在全球范围内最具价值和最少争议的角色之一。

2． 内嵌安全措施：研究人员正在实施“终止开关”和严格的操作边界，以确保AI系统始终在人类控制之下。

3． 伦理AI计划：谷歌DeepMind、Anthropic和OpenAI等机构正在优先与人类价值对齐，减少风险和意外后果。

4． 公众意识：教育活动旨在提高社会对AI能力和风险的认知，促进更明智、更有信息支持的未来辩论。

这些措施不仅是预防性的，更是确保AI继续为人类服务，而非成为难以驾驭的力量的关键步骤。

我们能否应对AI风暴的到来？

我们曾认为核武器是人类面临的最大生存威胁。为此，我们建立了严格的规则、全球协议和多层次的安全措施来遏制其威力。然而，AI比核武器更强大且更普遍，其潜在威胁甚至可能超越核武器。与核武器不同的是，AI可以进化、适应，甚至可能自主控制这些武器。

AI崛起的威胁并非机器变得自我意识，而是它们能以我们无法完全预见、管理或阻止的方式独立行动。人工智能承诺将革新行业、解决全球挑战并改变我们的生活。但这种承诺的实现取决于我们是否能够紧急行动并有目的地为其前所未有的力量设立防护栏。

2025年可能成为一个转折点——要么是人类证明自己能够管理新技术，要么是我们见证自己因疏忽而引发不可逆的后果。现在的问题已不在于是否需要采取行动，而是我们是否能及时采取行动。