百度成功点亮自研万卡集群 国产算力迈上新台阶
创始人
2025-02-06 03:01:52
0

百度智能云方面表示,未来一年,将是各种AI原生应用爆发的黄金时期。自研芯片和万卡集群的建成带来了强大的算力支持,同时有效提升百度和客户的资源整体利用率,降低大模型训练成本,为整个行业提供了新的思路和方向。

突破万卡集群建设瓶颈

据了解,百度智能云此次点亮的昆仑芯三代万卡集群,采用了先进的昆仑芯P800芯片,该芯片在性能和能效比上均实现了显著提升。据百度官方介绍,万卡集群以超大规模并行计算能力著称,能够实现极大幅度的效率提升。其训练周期不仅适用于千亿参数模型,更能够支持更复杂的任务和多模态数据,为视频生成类应用的开发提供了强大的动力。

从技术细节上来看,万卡集群的建设过程中面临了诸多挑战,如硬件扩展性瓶颈、芯片及集群功耗、模型分布式训练优化等。然而,百度通过升级百舸AI异构计算平台4.0,成功解决了这些问题。

其中,百舸平台不仅突破了卡间互联的拓扑限制,避免了通信带宽成为瓶颈,带宽有效性达到90%以上。同时,还通过创新性散热方案解决了万卡集群的能效与散热问题。此外,百舸平台还优化了模型的分布式训练,采用高效并行化任务切分策略,训练主流开源模型的集群MFU提升至58%。

百度智能云方面表示,随着国产大模型的兴起,万卡集群已从单纯算力供给逐渐向“有效”算力供给过渡,通过模型优化、并行策略、有效训练率提升、动态资源分配等手段,智能调度任务将训练、微调、推理任务混合部署,最大化提升集群综合利用率,降低单位算力成本,从而真正发挥算力效能。

广州艾媒数聚信息咨询股份有限公司总经理张毅向《证券日报》记者表示,从产业赋能的角度来看,万卡集群的超大规模并行计算能力可以极大地提升模型训练效率,缩短产品迭代周期,这对于需要频繁迭代和优化的AI原生应用来说至关重要。同时,万卡集群还能够支持多任务并发能力,通过动态资源切分,单集群可同时训练多个轻量化模型,进一步提高了集群的综合利用率。

国产算力加速推进

随着人工智能的迅速发展,算力的需求正在以几何级数增长,然而算力紧张和高成本一直是限制行业进一步发展的主要瓶颈。“算力尤其是AI算力已经不再是一个单纯的技术问题,它关系到国家经济、科技创新、军事安全等多个领域的综合竞争力。随着AI技术的迅猛发展,算力的提升变得尤为关键。”光大证券研报指出。

为进一步加强国产算力能力,我国政策正大力引导国产芯片的采购。如上海的“算力浦江”智算行动实施方案(2024—2025年),2025年要实现新建智算中心的国产算力芯片使用占比超过50%;《北京市算力基础设施建设实施方案(2024—2027年)》则提出,2027年要具备100%自主可控智算中心建设能力。

同时,为进一步打破算力瓶颈,除百度以外,已有多家厂商及机构着手向万卡集群领域拓展业务。根据《智算产业发展研究报告(2024)》显示,在中国,超万卡集群的智算中心已达十余个。中国电信在上海与北京两大万卡集群已成功投产运营;中国移动位于呼和浩特、哈尔滨、贵阳的万卡级别的智算中心已经先后投产运行;字节跳动在2023年就已建立起超过1万张卡的Ampere架构GPU(A100/A800)集群,此后还在建设大规模Hopper架构(H100/H800)集群;此外,小米也正计划建设一座GPU万卡集群。

中国工程院院士、清华大学计算机系教授郑纬民表示,当下构建国产自主万卡系统充满挑战,但“至关重要”。他指出,国内企业在芯片设计、制造等领域的不断突破,将为国产算力产品的普及和应用提供有力支持。

“万卡集群通过通信优化与容错机制显著减少了算力的浪费,实现了训练成本指数级下降。”张毅表示,随着国产大模型的兴起,万卡集群逐渐从“单任务算力消耗”向“集群效能最大化”过渡,最大化提升集群综合利用率,降低单位算力成本。

工信部信息通信经济专家委员会委员盘和林告诉《证券日报》记者,国产算力市场将迎来更加广阔的发展前景,随着技术的不断进步和应用场景的不断拓展,国产AI算力产品将在更多领域发挥重要作用。对于国产AI算力企业来说,未来需要继续加大在技术研发和市场推广方面的投入力度,努力提升产品性能和用户体验。同时,还需要积极与国内外企业展开合作与交流,共同推动国产AI算力市场的健康发展。

(编辑 才山丹)

相关内容

热门资讯

原创 苹... 有不少朋友疑惑苹果iPhone 16 Pro和16 Pro Max有什么区别?该选择哪一款更好?各自...
2025年值得入手的2款智能手... 在科技飞速发展的今天,智能手表已成为我们生活中不可或缺的伙伴。无论是健康监测、信息提醒,还是时尚搭配...
第五轮学科评估对比:西安交大突... 在之前的文章中,我们已经提及西安交通大学第五轮学科评估的表现可圈可点,新晋的3个A+学科:机械工程、...
原创 2... 从去年华为用上了麒麟芯片开始,华为的市场份额就蹭蹭的往上涨,当时抢购的人特别多,一时间还买不到现货,...
steam官网无法访问?这个办... 对于广大游戏爱好者而言,Steam平台无疑是获取最新游戏资讯、购买游戏、与全球玩家互动的重要阵地。然...
解决FaceTime无法使用的... FaceTime是苹果公司推出的一款视频通话应用,广泛应用于iPhone、iPad和Mac等设备上。...
vivo手机5g开关在哪里打开 vivo手机5G开关的打开方式可能因手机型号、系统版本及运营商网络支持情况的不同而有所差异。但总体来...
2024年OPPO手机全攻略:... 手机已不仅仅是通讯工具,它更是我们记录生活、享受娱乐、提升工作效率的重要伙伴。随着科技的飞速发展,O...
原创 最... 近日,有关华为nova 13系列手机的消息开始多了起来,之前透露的消息暴露,华为nova 13 Pr...
2024信号“最可靠”的四款手... 大家好!今天我要和大家聊聊2024年信号“最可靠”的四款手机,它们分别是华为Pura 70 Pro+...