近年来，生成式AI大模型逐渐演化出了两大分支：语言模型和世界模型。世界模型从数字世界走向物理世界，语言模型则深耕数字世界，从单一的文本模态走向包含图片、视频在内的多模态。其中，大语言模型通过大规模数据训练以达到准确学习和理解人类语言，彻底改变了计算机理解和生成人类语言的方式。近期，中国公域AIoT开拓者特斯联针对大语言模型在多层云边网络中的部署挑战，提出了一种两阶段的多层多节点调度算法。该研究成果已被通信领域权威国际会议INFOCOM （CCF-A） 收录。

用于优化人工智能和大语言模型部署的综合多层网络框架

近年来，大语言模型因其在理解和响应指令方面的高级能力而受到越来越多的关注，然而，面对日益增长的AI计算需求，大语言模型的性能仍然受到网络容量的严重限制，只有提高调度效率，才能够更好地解决大模型语言在资源受限环境中的部署挑战。

为此，在《Multi-Tier Multi-Node Scheduling of LLM for Collaborative AI Computing》论文中，特斯联首席科学家、香港科技大学（广州）信息枢纽物联网学域教授，杨旸博士及其课题组针对传统调度方法的不足，提出了两阶段的多层多节点大语言模型调度算法。

该调度算法通过两阶段的调度框架，优化了多层云边网络中的大语言模型推理。首先，层间大语言模型自动解耦和分割阶段采用整数线性规划来有效地分配模型大小和计算需求。随后，层内大语言模型任务调度算法利用图神经网络评估资源利用率和网络条件，以确定每个层内的最佳调度节点。

特斯联研究数据显示，两阶段的多层多节点大语言模型调度算法的吞吐量比传统调度方法提高了9.1%-26.3%，能够在多层网络中实现大语言模型的高效部署，并显著提高系统性能。

相关人士表示，该解决方案的提出，为高效利用分布式资源提供了理论基础和技术支持，有效解决了资源利用率低、通信开销大的问题，为更大规模、更复杂的AI模型部署和更低时延的协作式AI计算奠定了基础，，或将推动大语言模型的进一步发展。