今天分享的是：大模型专题：中文大模型基准测评2024年度报告

报告共计：89页

《中文大模型基准测评2024年度报告》由SuperCLUE团队发布，对中文大模型进行了全面测评与分析。报告显示，OpenAI的o1正式版以80.4分领跑全球，国内顶尖大模型如DeepSeek-V3和SenseChat 5.5-latest进展迅速，得分68.3分，接近ChatGPT-4o-latest，且在推理速度和性价比方面具有竞争力，部分端侧小模型也表现出色。报告介绍了SuperCLUE这一独立第三方测评基准，其具有“Live”更新题库、测评方式贴近用户、独立无偏等特点，涵盖通用、文本专项、多模态等多个测评体系，通过多种维度和大量原创题目对模型进行评估。在总体测评结果中，国内头部大模型在中文场景下部分任务表现优异，但与o1仍存在差距，文科任务有一定领先性，理科和Hard任务差距较大。在不同专项任务中，各模型表现各异，如Step-2-16k在Agent任务表现突出，Hunyuan-Turbo在生成创作方面表现较好。从综合效能和性价比看，部分国产模型优势明显。开源模型方面，国内DeepSeek系列和Qwen系列表现优异，引领全球开源生态，10B级别小模型中Qwen2.5-7B-Instruct和GLM-4-9B-Chat表现突出，端侧5B级别小模型中Qwen2.5-3B-Instruct表现惊艳。此外，报告还对多模态、AI产品、行业等不同领域的模型进行了测评，并介绍了DeepSeek-V3等优秀模型案例，展示了它们的技术特点和优势 。

以下为报告节选内容