随着大模型应用从“能不能用”迈入“如何长期、稳定、规模化运行”的新阶段,模型API(应用程序接口)服务的真实表现、稳定性与调用效率正成为产业关注的核心议题。1月29日,人工智能算力基础设施创新企业清程极智推出一站式大模型API评测与智能路由平台AIPing。
据清程极智联合创始人、AI Ping产品负责人师天麾介绍,该平台聚焦大模型服务使用环节,围绕模型服务评测、统一接入与智能路由等核心能力,构建起覆盖“评测—接入—路由—优化”的完整链路。平台以真实业务场景为导向,对不同厂商、不同模型API的延迟、稳定性、吞吐与性价比等关键指标进行长期、持续观测。目前,AIPing已覆盖30余家中国大模型API服务商,在统一标准与方法论下对模型服务能力进行对比分析,为企业在复杂的模型与服务选择中提供更加理性的决策参考。
中国工程院院士、清华大学教授郑纬民在会上提出,当前人工智能基础设施的核心任务正在发生变化。过去,主要服务于大模型的训练与推理,解决“如何生产智能”的问题;随着模型生态不断丰富和智能体广泛应用,行业正在进入以“智能流通”为核心的新阶段,更加关注模型能力如何在真实业务中高效、稳定地被使用。
郑纬民表示,实现智能流通的关键在于智能路由能力建设,其中既包括在多模型环境下为不同任务选择最合适模型的“模型路由”,也包括在同一模型的多种API 服务提供者之间进行性能与成本优化调度的“服务路由”,两类路由能力协同发展,将形成完整的AI任务分发网络,决定人工智能系统的最终效率和使用成本。
会上,清程极智联合20余家大模型API服务商,共同启动《智能、可持续大模型API服务生态计划》。该计划未来将围绕模型服务能力评估、评测方法论建设、行业交流与成果发布等方向持续推进,推动模型API服务从“可用”向“好用、易用、高性价比”演进。
来源:北京日报客户端
记者:孙奇茹