新京报讯(记者张璐)6月9日,记者从中国科学院自动化研究所获悉,科研人员结合行为实验与神经影像分析,首次证实多模态大语言模型(MLLMs)能够自发形成与人类高度相似的物体概念表征系统。相关研究成果发表于《自然·机器智能》。
人类能够对自然界中的物体进行概念化,这一认知能力长期以来被视为人类智能的核心。当我们看到狗、汽车或苹果时,不仅能识别它们的物理特征,比如尺寸、颜色、形状等,还能理解其功能、情感价值和文化意义,这种多维度的概念表征构成了人类认知的基石。
随着ChatGPT等大语言模型(LLMs)的发展,一个根本性问题浮出水面:这些大模型能否从语言和多模态数据中发展出类似人类的物体概念表征?
近日,中国科学院自动化研究所神经计算与脑机交互(NeuBCI)课题组与中国科学院脑科学与智能技术卓越创新中心的联合团队结合行为实验与神经影像分析,首次证实多模态大语言模型能够自发形成与人类高度相似的物体概念表征系统。这项研究不仅为人工智能认知科学开辟了新路径,更为构建类人认知结构的人工智能系统提供了理论框架。
论文通讯作者何晖光研究员说,传统人工智能研究聚焦于物体识别准确率,却鲜少探讨模型是否真正“理解”物体含义。“当前AI能区分猫狗图片,但这种‘识别’与人类‘理解’猫狗的本质区别仍有待揭示。”团队从认知神经科学经典理论出发,设计了一套融合计算建模、行为实验与脑科学的创新范式。通过分析470万次行为判断数据,团队首次构建了AI大模型的“概念地图”。
研究人员从海量大模型行为数据中提取出66个“心智维度”,并为这些维度赋予了语义标签。研究发现,这些维度是高度可解释的,且与大脑类别选择区域的神经活动模式显著相关。
研究还揭示了人类在做决策时更倾向于结合视觉特征和语义信息进行判断,而大模型则倾向于依赖语义标签和抽象概念。研究表明,大语言模型内部存在着类似人类对现实世界概念的理解。
编辑 白爽
校对 柳宝庆