近日,西安建筑科技大学管理学院智能管理与决策团队在人工智能虚假信息识别与治理研究领域取得重要进展:首次揭示了AI虚假信息的质量调节效应,为相关职能部门推进数字安全和网络生态治理提供了关键技术支撑。
眼下,随着生成式人工智能技术的普及,虚假信息的生产与传播模式正发生深刻变革。相较于传统人工编造的谣言,AI生成的虚假信息语言更流畅、结构更完整,迷惑性显著增强,给相关识别与治理工作带来全新挑战。近年来,学界一直在探索借助AI技术开展事实核查与虚假信息检测,但从实际应用效果来看,这类技术的识别能力仍存在稳定性不足、可靠性欠佳的问题。
针对这一现实问题,该研究团队将研究视角从“如何使用AI识别虚假信息”转向“AI在语言理解与生成层面存在哪些内在局限”。研究从心理语言学和计算语言学的交叉视角出发,系统分析了AI真实内容、AI虚假内容与人类文本在语言特征上的差异,并进一步探讨哪些语言信号可能有助于提升虚假信息的识别能力。
据介绍,该团队综合运用心理语言学分析、语言毒性与错误检测、语法依存结构和词性组合分析,并结合零样本提示实验与误判样本分析,开展了多维度实证研究。首次提出并验证了“AI虚假内容的质量调节效应”,即随着生成内容质量的提高,AI文本在创造性、表达规范性和整体可读性上逐渐逼近人类写作,同时其可被检测的语言差异却不断减弱。
研究结果不仅揭示了单纯依赖语言特征或大型模型进行虚假信息检测所面临的潜在风险,也为理解AI生成文本的认知加工机制提供了新的证据支持,为AI虚假信息研究提供了更具解释力的理论框架。相关研究成果于近日发表在Nature子刊《Nature Communications》杂志上。
“该研究为政府监管部门、互联网平台及相关管理机构在制定AI信息治理策略、优化AI虚假检测技术和完善风险预警体系方面提供了重要参考。”论文作者张新生教授表示,团队未来将深入研究多模态AI虚假信息的治理,为推动人工智能安全应用与社会治理现代化提供更坚实的科学依据。
西安报业全媒体记者 任娜 通讯员 肖雯雯