朱登轩 张勤

当前，人工智能技术在知识生成、信息处理与认知辅助等方面的应用不断深化，显著提升决策效率，但同时也有输出内容可靠性不足、责任主体模糊、价值引导失准等突出问题。人工智能系统本质上仍是一种缺乏理解能力与责任意识的工具，其固有的“幻觉”现象反映出技术逻辑与真实认知之间的本质差异。知识的有效性、权威性与责任主体密不可分，而AI（人工智能）的广泛应用正在挑战这一基本共识，甚至对公众认知和社会信任体系构成潜在风险。为此，应明确AI的技术工具属性，突出人类在知识生成与价值判断中的主体地位，并从技术治理、责任机制、伦理规范与公众素养等维度系统推进治理体系建设，推动人工智能在合规、可控、可信的轨道上发展，更好地支撑国家创新体系与现代社会科学文化繁荣。

AI知识服务的认知风险与核心挑战

一是人工智能技术存在“幻觉”等固有缺陷，知识产出可靠性存疑。人工智能的推理运算本质上遵循计算主义的理论框架，其运行基于统计模式识别与参数优化。这导致“AI幻觉”现象频发，即模型基于概率生成机制，输出形式上流畅、实则违背事实或逻辑的内容。该现象是机器系统本身固有的结构性缺陷，因其运行基于符号的句法操作和概率关联，而非对意义及概念性知识的把握。AI系统所呈现出的所谓“理性”，究其本质是一种缺乏理解与意义的形式化演算。其输出虽然常常展现出形式层面的严密甚至精巧，却不具备认知主体意义上的理解，无法将符号与世界关联起来，因此始终无法触及意义的维度。这种计算主义的处理方式与人类基于事实的认知逻辑存在根本差异，揭示了人工智能计算主义作为一种技术性幻觉的内在局限。

二是责任归属机制存在真空，伦理主体缺位易引发治理困境。人工智能系统并不具有责任意识，其运作机制仅表现为基于算法的逻辑操作，这导致责任与归责主体之间出现空白。知识的生产与传播必然负载着伦理价值，知识有效性与权威性始终无法脱离责任主体而独立存在。每一个断言的作出，都意味着对其潜在后果的自觉承诺，然而算法系统无法为其判断承担认知和伦理责任。将AI提升为“协同主体”的论述，是对主体性概念的模糊，也存在为规避技术责任提供伦理上开脱的风险。协同性视角模糊了知识生产责任的根本归属问题。这一责任真空必须由人类行动者承接，但在系统设计、数据供给、使用授权等复杂链条中，尚缺乏清晰、可追溯的责任认定与分担机制。

三是效率导向易导致认知异化，虚幻主体建构削弱人类批判性思维。人工智能在处理海量数据时所展现出的极高效率与其内在的复杂黑箱特性相结合，不可避免地引发认知偏差，使人们误认为其具备类似人类的理解与判断能力。这种效率导向的认知模式所建构的，并非真正具有反思性与自主性的认知主体，而更多源于人类对自身认知局限的技术性焦虑、对效率无限追求的崇拜。效率本身应作为一种工具性价值而存在，但在AI应用中，效率被赋予新的目的性，甚至被抬升为评判真理性的标准。一个结论是否可接受，首先取决于它是否由高效算法所生成，而非它是否经得起逻辑的审慎考察、伦理的深入追问及人类长期经验积累的检验。算法输出的“高效性”与“可行性”在实践层面压倒人类所追求的“合理性”与“合目的性”，易导致公众产生“权威错觉”，不假思索地采信其内容，逐渐弱化自主思考与批判性验证的习惯。

四是价值判断依赖人类预设，难以应对规范性议题并存在偏见固化风险。知识生产并不存在于价值真空中，其选题设定、方法选择、解释模式与应用方向均始终伴随着价值判断与伦理考量。然而，价值问题本质上属于应然范畴，而人工智能的运作逻辑则建立在实然基础之上。在AI系统中，价值判断仅作为一种未被明确纳入推理流程的潜在因素。技术物并非价值中立，其设计和使用过程必然嵌入某种价值倾向。AI系统的输出依赖训练数据，而数据本身作为人类社会活动的历史沉淀，天然携带着固有的价值偏见与文化预设。然而，人工智能系统无法自觉识别或批判这些隐含的价值内容。AI虽可在算法驱动下优化某一给定价值目标，但关于何种价值应当优先、冲突时如何权衡等根本性问题，仍完全依赖于人类主体的判断。其知识体系可能复制甚至放大训练数据中的错误与偏见。

系统治理与风险防范的综合对策

一是明确技术工具定位，强化人类主体性的核心地位。必须明确，人工智能并非具备自主性的认知主体，而是人类用以扩展认知的技术工具。在知识生产过程中，权威性根本上仍源于人类主体。人工智能所生成的内容属于技术产物，缺乏真正的意向性、反思能力与自主价值判断。知识生产的权威性与有效性根植于人类主体性。因此，在任何协同过程中，人类仍承担最终的解释、判断与责任角色。应通过政策引导与学术共识，强调人类在认知突破、价值判断、伦理责任与具身认知方面的不可替代性，确保所生成的知识是与真实世界、现实规律和人文价值持续对话的实践成果，而非封闭自洽的系统运算。

二是构建贯穿全流程的责任伦理框架，填补监管真空。真正须为人工智能系统负责的，从来不是工具本身，而是开发、使用、部署并授权其运行的人类主体。必须构建权责利分明的法律与责任框架，明确模型开发者、数据提供者、平台运营者、终端使用者等在知识生产链条中的法律义务和责任。建议研究出台专门的管理办法，鼓励企业建立全流程内控合规机制。对医疗、司法、新闻、教育等高可靠性要求的领域，应实施更严格的应用准入、强制披露AI的参与程度和模型局限性，并实行人工强制审核校验制度，确保人类掌握最终控制权。

三是推动技术“可信化”发展，从源头抑制“幻觉”与偏见。鼓励和支持技术研发朝着更透明、更可控、更可靠的方向演进。设立科研专项，集中力量攻克可解释AI、模型事实一致性校验、幻觉抑制等关键技术。推行“数据—模型—输出”全链路治理，建立强化数据清洗、标注和偏见检测机制。强制要求对关键领域模型进行第三方安全与可靠性评估认证。推广数字水印、内容溯源等技术，确保AI生成内容可识别、可追踪，为责任追溯和内容验证提供技术基础。

四是加强社会引导与素养培育，构建理性健康的人机协同生态。技术的真正意义在于扩展人类能力，服务于人的意义追寻与整体福祉。应发起全民数字素养与AI素养提升行动，帮助公民理解AI基本原理与局限性，重点培养批判性思维、信息鉴别能力和负责任使用的伦理观念。在教育体系中增设相关通识课程，在社会层面通过多种渠道进行科普。倡导“人机协同”而非“人机替代”的文化导向，鼓励探索人机优势互补的最佳实践，确保人类在认知过程中的主导位置，防范认知惰性和主体性弱化的风险。唯有明确这一界限，方能在智能时代更有效地驾驭技术工具，使其真正助力人类文明的持续繁荣。

（作者分别为南京航空航天大学国家安全与应急管理研究中心助理研究员，南京航空航天大学二级教授、博士生导师）