6月27日,腾讯混元宣布开源首个混合推理MoE模型Hunyuan-A13B,总参数80B,激活参数仅13B。这一创新模型在性能表现上令人瞩目,效果比肩同等架构领先开源模型,同时推理速度更快,性价比更高,为开发者带来了更具优势的选择,显著降低了获取优质模型能力的门槛。
即日起,开发者便可在Github和Huggingface等开源社区便捷地获取该模型。与此同时,模型API也在腾讯云官网正式上线,全面支持快速接入部署,极大地便利了开发者将其应用于各类项目中。
值得一提的是,Hunyuan-A13B是业界首个13B级别的MoE开源混合推理模型。基于先进的模型架构,它展现出了极为强大的通用能力,在多个业内权威数据测试集上成绩斐然,尤其在Agent工具调用和长文处理能力方面表现突出。在实际应用场景中,该模型为用户提供了灵活的思考模式选择。快思考模式能够提供简洁、高效的输出,适用于那些追求速度和最小计算开销的简单任务;而慢思考模式则涉及更深层次、更全面的推理步骤,比如反思和回溯等过程,对于复杂任务的处理更为擅长。这种独特的融合推理模式对计算资源分配进行了优化,用户能够通过“think/no_think”轻松切换思考模式,从而在效率和特定任务准确性之间找到最佳平衡。
对于当下热门的大模型Agent能力,腾讯混元构建了一套多Agent数据合成框架。该框架接入了MCP、沙箱、大语言模型模拟等多样的环境,并借助强化学习,让Agent在多种环境中进行自主探索与学习,进一步增强了Hunyuan-A13B的性能表现。在长文处理方面,Hunyuan-A13B支持256K原生上下文窗口,在多个长文数据集中脱颖而出,取得了优异的成绩。
Hunyuan-A13B模型对个人开发者十分友好,在较为严格的条件下,仅需1张中低端GPU卡即可完成部署。目前,它已成功融入开源主流推理框架生态,能够无损支持多种量化格式。在相同输入输出规模的情况下,整体吞吐能力是前沿开源模型的2倍以上。
Hunyuan-A13B集成了腾讯混元在模型预训练、后训练等多个环节的创新技术,这些技术协同作用,显著增强了模型的推理性能、灵活性和推理效率。在预训练环节,Hunyuan-A13B训练了20Ttokens的语料,涵盖多个领域,高质量的语料为提升模型通用能力奠定了坚实基础。此外,腾讯混元团队通过系统性分析、建模与验证,构建了适用于MoE架构的ScalingLaw联合公式。这一成果不仅完善了MoE架构的ScalingLaw理论体系,更为MoE架构设计提供了可量化的工程化指导,有力地提升了模型预训练的效果。在后训练环节,Hunyuan-A13B采用多阶段的训练方式,有效提升了模型的推理能力,同时兼顾了模型在创作、理解、Agent等方面的通用能力。
不仅如此,腾讯混元还在此次开源中推出了两个新数据集——ArtifactsBench和C3-Bench,旨在填补行业内相关评估标准的空白。其中,ArtifactsBench用于弥合大语言模型代码生成评估中的视觉与交互鸿沟,构建了一个包含1825个任务的新基准,涵盖从网页开发、数据可视化到交互式游戏等九大领域,并按难度分级,能够全面评估模型的能力;C3-Bench则针对Agent场景模型面临的三个关键挑战,即规划复杂的工具关系、处理关键的隐藏信息以及动态路径决策,设计了1024条测试数据,有助于精准发现模型能力的不足之处。