本文关键看点:
1、智能体的本质工作方式与零信任的“逐项验证”原则相悖,因智能体可将多个独立合法操作串联成业务上从未被授权的整体行为。
2、智能体身份本身不是静态的,模型更新、添加工具或上下文累积都会根本改变其实际权限范围,但身份列表仍显示为“已批准”。
3、企业环境中约80%的智能体并非由IT或安全团队正式注册(含影子IT和第三方授权启动),安全治理模型实际只覆盖了“守规矩的少数”。
▍以下正文内容基于英文原文编译,可能存在语义偏差,请以原文为准。
零信任原则假定所有人在被证明并非攻击者之前都是如此。但当你的企业充斥着大量未知的自主智能体时,做到这一点即使不是不可能,也十分棘手。
尽管多年来一直对零信任赞不绝口,但许多首席信息安全官 (CISO) 仍难以全面实施该框架。而现在,可能成为压垮骆驼的最后一根稻草的是:智能体。
在典型的企业环境中,零信任能否与自主智能体共存?理论上可以。但实际上不太可能,因为CEO/董事会迫切希望加快实现智能体的投资回报率。鉴于近期自主智能体行为异常的案例,以及人工智能智能体失控时责任归属不明的问题,这的确是一个重大问题。
部分问题在于向董事会汇报的首席信息安全官们熟悉的叙事方式:“零信任”是一个安全术语;“灾难性的业务风险”才是董事会和首席执行官会做出回应的。
“衡量业务绩效的标准是智能体节省或创造了多少价值。而衡量安全性的标准则是智能体出现故障时造成的一切后果,”安全人工智能联盟 (CoSAI) 和 ACM 人工智能安全 (AISec) 项目委员会成员Nik Kale指出。“他们用两种截然不同的衡量标准来评估同一个智能体。”
Kale 认为,关键在于,智能体的本质与零信任截然相反。
“零信任的设计初衷是逐个评估请求,这在发出请求的实体并非有意将它们组合成更大的目标时是没问题的。但智能体改变了这一切。智能体可以被授权读取文档、查询其他数据源、汇总查询结果、将其写入文件、发送外部邮件,而这些决策本身都是正确的。但如果按照这样的顺序执行,就等于授权了一条数据外泄路径,”Kale 指出。
他补充道:“一名代理人可能穿过五道完全合法的门,最终却到达了公司从未授权的地方。在金融领域,可能有十笔交易,每笔都低于升级阈值,但加起来却是任何人都不会签字批准的。”
Kale认为,更难的问题是“今天使用该身份的东西是否仍然是你批准的东西”。
他解释说:“更新模型,在同一个界面后添加一个工具,让内存充满未经审核的上下文信息,给它分配一个智能体,所有这些都不会影响身份。列表仍然显示已批准,周五戴着同一块徽章的机器,可能已与周一批准时截然不同。”
缺乏这种背景知识至关重要。“你必须知道这个身份已经变成了什么样子,它拥有什么样的权限,它正在构建怎样的流程,以及下一个系统是否认可这种权限的有效性,”凯尔说道。“否则,我们只不过是拿了一份白名单,包装得更好一些,就称之为零信任而已。”
为什么智能体问题的影响更大?
零信任被提出作为分布式且风险时代下的安全模型。其“永不信任,始终验证”的核心原则适用于访问企业网络的每个用户和设备,无论它们位于企业网络边界内还是边界外。
但智能体的出现使情况变得更加复杂,也让自主智能体的问题更加严重。已授权的智能体可以生成子智能体,这些子智能体可以继承发起者的所有权限,但却没有被识别的身份。智能体之间还可以通信,并可能向其他智能体传递恶意指令。尽管这一安全漏洞至少在一年前就已广为人知,但至今没有任何厂商提供能够突破智能体间通信保密机制的方案。目前,系统最多只能检测到通信的发生,但无法获取通信内容。
控制智能体活动的常用方法是要求智能体由 IT 或安全团队进行注册和认证。每个智能体都会被分配一个身份,只有这些身份才能执行任何操作。
然而,现实情况却截然不同。企业环境中绝大多数智能体程序都未注册,原因可能是员工在未完成注册流程的情况下部署了这些智能体(即所谓的影子IT),也可能是拥有资质的第三方未经许可就将智能体部署到企业环境中。更何况,与任何身份一样,攻击者,尤其是国家行为体,都可能劫持这些智能体。就像保安人员只能依靠一份已批准的车牌列表来保护禁区一样,IT部门根本不知道网络中究竟是谁在操控这些智能体。
“你们的治理模型往往针对的层级不对。大约 80% 的智能体都不在你们的名单上。这根本不是控制,而是对少数合规智能体的清点,” Kamiwaza.ai 安全工程高级技术人员Krti Tallam表示。“这种清点模型在任何企业的实际应用中都经不起考验。我们必须停止假装自己能够控制环境。[智能体] 并没有终结零信任,它只是戳破了一个方便的谎言,一个让人感到舒适的谎言。”
至于智能体之间的通信问题,智能体经常试图混淆他们的信息,有时会将指令嵌入到图像或音频/视频文件中。
智能体间可见性难题
Tallam 对 CISO 能否洞察这些智能体间的通信持怀疑态度,但她预计攻击者的攻击方法会变得更加复杂和细致。
被劫持的智能体已经限制了它们接触和植入恶意指令的智能体数量,以避免数量过高而引起怀疑。这种策略是让最初被劫持的智能体被发现并关闭,真正的传播攻击会在几天后发生,届时受感染的智能体将执行它们植入的恶意指令。
传统的防御方法是监控所有智能体的行为,以便在受感染的智能体从事恶意行为时立即将其关闭。然而,Krti 认为,被劫持的智能体会开始了解其受害者智能体应该做什么以及它们被允许做什么。这可能就像直接向智能体询问这些信息一样简单。
“诀窍在于将攻击指令分散给许多智能体,使得它们都不会实质性地偏离其合法指令,”Krti 说。
Aikido Security 的企业首席信息安全官Mike Wilkes建议首席信息安全官们从 GPG/OpenPGP 中吸取经验教训,其中用户“保留了受严格保护的主要身份,并将有限的、短暂的签名子密钥或加密签名凭证委托给智能体,而子智能体则拥有更狭窄的委托凭证”。
威尔克斯表示,这意味着智能体将获得“速率限制、交易边界、支出和数据预算、沙盒机制、高风险操作的审批门以及不可篡改的活动轨迹”等一系列机制。“最重要的是,自主系统需要快速可靠的撤销按钮。与删除生产数据、更改身份和访问管理 (IAM) 策略、转移资金或进行不可逆的基础设施更改等 I 类决策相比,后果可逆的 II 类决策更适合委托执行。”
Varonis 的现场首席技术官Brian Vecci认为,智能体的情况比大多数人认为的还要糟糕。
Vecci表示:“企业首席信息安全官们在应对非人类身份(NHI)方面准备严重不足,面对其非确定性行为时更甚。你必须意识到,身份识别作为一种控制手段是远远不够的。”
Vecci 指出,收集尽可能多的智能体活动信息是一个很好的目标,但收集此类遥测数据的准确性和可行性却很困难,他还补充说,许多企业代理遥测工作就像“试图通过往干草堆里扔更多的干草来找到一根针”。