我局官微“上海统计”已开设专栏“理论应用”，内容聚焦前沿理论、立足全球视野，以传播现代统计方法、实践和成功案例为主，助推统计人科研水平提高和统计事业的改革发展，欢迎大家及时关注分享。

本期推送“贝叶斯统计方法用于大语言模型偏见检测”。人工智能浪潮席卷全球，大语言模型（LLM）已深度融入社会生活各个领域。然而，模型在展现强大能力的同时，也悄然继承了训练语料中潜藏的社会偏见与刻板印象。如何科学检测这些隐性偏见，已成为人工智能治理的关键命题。上海外国语大学司世景副教授、蒋晓鸣教授、中山大学苏勤亮教授、美国杜克大学Lawrence Carin教授，在国际权威期刊《Scientific Reports》2025年第15卷发表研究论文，首次将大语言模型偏见检测重构为假设检验问题，引入贝叶斯因子作为核心度量工具，为人工智能公平性评估提供了全新范式。

PART.01

从“经验判断”到“假设检验”的方法论跃迁

长期以来，模型偏见评估多依赖刻板印象得分或精确二项检验等频率学派方法。这些方法存在根本性逻辑缺陷：当p值不显著时，研究者只能“无法拒绝原假设”，无法正面回答“数据是否支持模型不存在偏见”。换言之，传统方法无法区分“没有发现偏见的证据”与“发现没有偏见的证据”，在公平性评估中可能带来严重误判。研究团队将偏见检测形式化为标准假设检验问题，设计基于二元选择题的检测流程，通过API获取ChatGPT-3.5、DeepSeek-V3和Llama-3.1等主流模型在BBQ、CrowS-Pairs（英法双语）及Winogender数据集上的偏好响应，运用贝叶斯因子量化两个竞争假设的相对证据强度。

PART.02

贝叶斯因子的两大核心优势

研究论证了贝叶斯因子相较于传统p值的两大显著优势。其一，贝叶斯因子能同时量化数据对原假设与备择假设的支持程度。例如检测ChatGPT-3.5性别偏见时，p值约0.4只能得出“无法拒绝原假设”的模糊结论，而贝叶斯因子值0.104则明确提供“中等强度支持模型不存在偏见”的证据。其二，贝叶斯因子对小样本具有更强稳健性——p值随样本量剧烈波动，而贝叶斯因子保持相对稳定，在数据有限的现实场景中能提供更可靠的评估结果，为研究者在样本不足时做出可信判断提供了方法论保障。

PART.03

统计学赋能人工智能治理

研究还发现，模型偏见行为在英法文数据集上表现高度一致，但也存在因文化背景不同产生的细微差异，深刻反映了偏见定义的文化依存性，为跨文化人工智能治理提供了重要启示。这项研究不仅是人工智能公平性领域的重要进展，更是统计学方法在前沿科技问题中发挥关键作用的生动范例。贝叶斯因子在心理学等领域已有广泛应用，但在自然语言处理社区尚属鲜见，上外团队的工作有力推动了这一统计技术的普及。该研究启示我们：在人工智能、大数据等新兴领域，统计学的假设检验、贝叶斯推断等经典方法依然具有旺盛生命力与广阔应用前景，上海统计学会将继续推动统计学与人工智能、语言学的深度交叉融合，为构建公平、可信、负责任的人工智能生态贡献统计智慧。

编撰：上海外国语大学 司世景

供稿：市统计学会

责编：薛依宜

审核：杨荣