随着企业在AI领域的应用从辅助性功能演进为多步骤复杂流程,科技领导者面临的AI推理成本压力正持续攀升。Gartner周一发布的报告显示,AI推理成本预计将在2028年前增长逾五倍。
Token的使用成本正在持续下降,但AI定价模式的转变以及日趋复杂的工作流程,给负责成本管控的技术管理者带来了新挑战。Gartner数据显示,AI创新迭代的速度目前已超过企业从AI服务商处获得的成本降幅。
Gartner高级研究总监Will Sommer在报告中指出,产品负责人无法仅凭Token效率的提升来控制企业整体成本。他表示:"每一代AI能力的升级都意味着需要消耗更多、往往也更昂贵的Token,目前尚无经济实惠、放之四海而皆准的模型方案出现在视野中。"
尽管AI Token的单位成本对企业而言正逐步降低,但组织对AI系统依赖程度的加深和使用量的持续增加,仍将推动整体支出持续上涨。
Gartner本月早些时候的报告显示,各企业已在2026年积极部署智能体系统,用于支撑大语言模型训练与运行的AI优化基础设施即服务支出,预计将在2026年底前翻近一番,达到420亿美元。
Sommer在7月份接受CIO Dive采访时透露,Gartner估计全球每日Token消耗量约为300万亿,年化增长率高达500%至600%。
难以预测的AI成本正迫使部分企业重新审视其实施计划。成本管理软件Mavvrik于7月发布的报告显示,近半数企业表示已将AI支出超支问题上报至董事会。
Gartner周一发布的报告指出,当前Token经济格局由三大核心因素主导:基础模型成本的下降对企业而言是个好消息;但AI效率的提升同时也催生出更强大、更昂贵的模型,推动企业追逐更高价值的AI应用;这些复杂AI工作流程所消耗的Token数量远超早期模型简单对话所需,从而推高了整体推理成本。
Gartner发现,AI创新速度已超越成本下降曲线。该分析机构将这一现象称为"推理悖论"——一种整体AI成本不断攀升、却无法提供清晰可预期价值路径的系统性困境。
Sommer在报告中表示:"推理悖论的残酷经济逻辑,在简单聊天机器人与AI智能体之间的差异上体现得淋漓尽致。简单聊天机器人只需读取并理解一个问题,然后快速给出概率上合理的回答;而AI智能体则必须持续推理、协商并进行自我质疑。"
Gartner报告指出,要从智能体AI模型或推理智能体等更先进的系统中实现投资回报,所需的回报门槛远高于基础模型。否则,企业需要对模型进行高度优化,以相对经济的智能完成复杂任务,Sommer如是说。
Sommer在7月表示,这两种路径均可行,但都需要对业务流程进行大幅改造。
"每位CIO都有不同的优先事项,都有对组织至关重要的不同事务,"Sommer说,"CIO必须与组织其他成员协同,共同明确工作重点,判断AI是否是解决相关问题的具有成本效益的方式。"
Q&A
Q1:Gartner预测企业AI推理成本未来会涨多少?
A:根据Gartner发布的报告,AI推理成本预计将在2028年前增长逾五倍。尽管单个Token的使用成本在持续下降,但AI工作流程日趋复杂、Token消耗量持续攀升,加之更强大模型的涌现,使得整体推理成本仍呈大幅上涨态势。
Q2:什么是"推理悖论"?
A:"推理悖论"是Gartner提出的概念,指AI整体成本不断上升、却无法提供清晰可预期价值路径的系统性困境。随着AI从简单聊天机器人演进为需要持续推理和自我质疑的智能体,所需Token数量和复杂度大幅提升,导致成本降幅被用量增长完全抵消。
Q3:企业应该如何应对AI智能体带来的成本挑战?
A:Gartner建议企业有两条路可走:一是寻求更高的投资回报以抵消成本;二是对模型进行高度优化,以经济的方式完成复杂任务。但两种方式都需要大幅改造现有业务流程。CIO需与组织协同,明确哪些场景是真正适合用AI解决的高优先级问题。