随着 AI 被大规模部署至真实生产环境，AI 基础设施的重心正从训练转向推理：2023 年，训练还占 AI 算力需求的一半以上；到 2026 年，格局翻转，AI 推理消耗了约 2/3 的算力。

庞大的推理需求，叠加日益成熟的开源模型，最终催生出一个全新的 AI 基础设施品类：推理云服务（neocloud ）。过去一个多月，超 55 亿美元资金涌入这一赛道。

Fireworks 是其中表现最亮眼的玩家之一。

7 月 16 日，这家总部位于旧金山湾区的推理云服务公司宣布完成 15 亿美元 D 轮融资，投后估值 175 亿美元，英伟达（NVIDIA）参投。当前，Fireworks 的年化收入已超 10 亿美元，日均处理超过 40 万亿 Token，高于谷歌（Google）和 OpenAI 各自公布的开发者接口（API）吞吐量。

什么是推理云服务？

推理云服务的核心逻辑，是把 AI 模型的运行从模型厂商和云厂商手中摘出来，做成一门独立生意：公司租算力、通过软件优化推理效率，替客户跑开源或私有定制模型，再按 Token 用量收费。

早在 2019 年前后，已经出现过一批探索模型托管业务的公司，消费级模型 API 交易平台 Replicate、企业级模型部署平台 OctoAI（2024 年被英伟达收购）等都是这一时期的产物。直到过去一年，推理需求集中释放，整个行业随之进入爆发期。

以 Fireworks 为例，它在英伟达和超微半导体（AMD）的图形处理器（GPU）上搭建了一套自研推理引擎，对接 400 多个模型，其中绝大部分是开源模型。

在平台上，企业可以用私有数据微调开源模型，或运行私有模型，并对权重和数据资产有绝对掌控权；要是不想被单一厂商绑定，Fireworks 也允许客户为不同任务指定不同模型。

推理性能方面，Fireworks 宣称，借助两大自研组件，可将推理延迟降至通用方案的三分之一，输出速度也大大提升。其中，FireAttention 是针对 Transformer 架构注意力机制重写的 CUDA 内核；FireOptimizer 可从包括硬件型号、内核选项等在内的超 10 万种参数组合中，为每个客户的工作负载自动搜索最优配置。

图 | DeepSeek V3 在 13 家推理服务商上的输出速度对比（来源：Artificial Analysis）

底层算力则来自多云调度。Fireworks 在 8 家主要云服务商上构建了统一抽象层，哪家 GPU 价格更低、供给更充足，就把工作负载调度到哪。今年年初，公司还收购了游戏服务器编排公司 Hathora，将其跨云低延迟调度技术整合进算力编排层。

踩中推理与开源崛起的双重拐点

Fireworks 成立于 2022 年 9 月，比 ChatGPT 发布还早两个月。那时，行业所有目光都还聚焦在训练上：拥有更多 GPU、训练出更强模型的公司，就能拿到更多融资。

创始人林乔（Lin Qiao）在当时做出了超前的判断，她认为，训练的规模取决于少数研究团队，推理的规模取决于所有使用者，理论上限是全球人口。

这一判断与她此前的工作履历密切相关。2015 年，林乔加入 Meta，主导将 PyTorch 重建为支撑该公司全部 AI 工作负载的深度学习框架。2022 年离职时，Meta 基于 PyTorch 完成的推理调用日均已超 5 万亿次。

这个数字让她比大多数人更早意识到，当 AI 真正走向大规模应用，推理才是最终的算力主战场。

图 | 林乔（来源：Fireworks）

三年过去，林乔的判断变成了现实。德勤（Deloitte）在 2026 年 TMT 预测报告中指出，2025 年，推理占 AI 算力比例已从 2023 年的约 1/3 升至 1/2，2026 年将进一步跃升至 2/3。高盛研究部门则预测，到 2030 年，全球 Token 消耗量将是 2026 年的 24 倍，届时月均消耗将达到 120 千万亿 Tokens。

需求侧的转变只是推理云市场得以存在的前提。在闭源性能强大、占据主导地位的时代，模型和推理被厂商锁定，不存在第三方的生存空间。直到开源模型崛起，Fireworks 才有机会将推理云服务做成一门介于算力层和模型层之间的独立生意。

2025 年初是一个公认的拐点：DeepSeek R1 的发布让所有人意识到，开源模型能以远低于行业平均水平的训练成本，追上顶级闭源模型的性能。

这直接改变了企业端的心态，他们为闭源模型支付溢价的意愿正在下降，纷纷开始寻找性能接近但价格低得多的开源方案。而按林乔的说法，Fireworks 标出的价格是同等质量闭源模型的 1/5 到 1/10。

资本市场正在对这套叙事给出积极的反应。最近一个多月，超 55 亿美元投资密集涌入推理云服务赛道。

6 月底，聚焦跨云部署软件层的 Baseten 完成 15 亿美元 F 轮融资，估值达到 130 亿美元；曾经主打自研硬件路线的 Groq，6 月又完成 6.5 亿美元融资，并将业务重心转向推理云服务；主攻语音代理和跨模态推理的 Together AI 7 月初宣布完成 8 亿美元 C 轮融资，估值 83 亿美元，英伟达参投。

7 月 8 日，SambaNova 宣布完成 10 亿美元 F 轮融资，估值达到 110 亿美元。与 Groq 类似，SambaNova 选择自研芯片+推理服务的重资产路线，其 SN50 芯片专为智能体推理设计，预计将于今年下半年出货。

而在中国，我们更熟知的硅基流动也在同期宣布完成超 20 亿元人民币 B 轮融资，随后向港交所主板递交了上市申请。

推理云正在分走模型厂商的蛋糕

虽然都是“云”，但推理云的最直接竞争对手并不是目前几家主流的云厂商。

原因在于，云厂商主要卖的是算力，推理云服务商卖的是 Token，二者甚至可以是互补关系。今年 3 月，Fireworks 就与微软达成合作，以第一方供应商身份接入其 AI 开发平台 Foundry，Azure 用户可在系统内直接调用 Fireworks 的推理服务。

同样在卖 Token 的闭源模型厂商才是推理云真正的对手。

开闭源方案各自占据了相对明确的应用场景：当企业需要更强的通用能力且不介意成本时，闭源模型依然是首选；但当企业已经明确具体业务场景且对成本敏感时，开源加推理云服务的组合就有了压倒性的性价比优势。

不过如今，第二类需求正在快速扩大，最具代表性的案例是 AI 编程软件 Cursor 的 API 迁移路径。Cursor 早期高度依赖 OpenAI 等闭源接口，后来逐步转为在 Fireworks 上训练和运行自研模型，它的调用一度贡献了 Fireworks 一半的营收。

虽然和闭源模型抢饭吃是客观现实，但能不能抢走，取决于推理云服务行业的经济结构。

第三方数据显示，Fireworks 的毛利率约为 50%，远低于典型软件公司 70% 以上的水平。原因不难理解，这门生意的本质是转售 GPU 算力，成本侧压力较大。

其次，所有中介生意都会面临价格战的问题，推理云也不例外。谷歌、OpenAI、Anthropic、字节跳动等厂商最近都在陆续下调不同层级模型的 API 价格；而且，当推理云还在租算力，其他 AI 厂商已经开始下场自研推理芯片，直接从硬件层面优化推理负载，进一步降低远期推理成本。这些都会削弱 Fireworks 等公司现有的价格优势。

问题由此指向一个更根本的层面：在价格之外，推理云的竞争优势到底还剩下什么？

如果是推理引擎、跨云调度、微调工具链等软件优化能力，这确实可以随着规模扩大不断加深，形成真正的技术壁垒。

但如果核心竞争力源于规模效应：算力买得多、买得便宜、跑得起足够大的集群，那么在资本厚度和硬件掌控力上，任何初创公司都无法与 AI 大厂长期抗衡。

软件对通用 GPU 的效率压榨终归有个限度。现在这些推理云公司，如果不做推理芯片等专有硬件，大概率无法独立走下去。

因此，除了已经造出芯片的 SambaNova 和 Groq，Fireworks 等纯软件玩家的结局或许是与云厂商深度绑定，或被收编，成为云生态中的专业化组件。消费级市场可能会留下部分小体量公司（如 Replicate），为独立开发者提供个性化服务。

AI 中间层的无限可能

不管这些公司走到哪一步，它们的出现已经释放出一个关键信号：过往被算力和模型主导的 AI 基础设施格局中，正在分化出一个新的中间层。

过去几年，AI 行业的注意力集中在单一模型的性能上，并以其为准绳，但开源生态的崛起正在撬动这一主张：AI 产品的表现，不再等同于模型本身的能力。

部署、优化、定制……每一个中间环节都会影响输出结果。AI 的竞争逻辑因此从单一维度走向多维度。

未来，微调服务、模型编排、评估测试、数据治理，都可能加入推理云所在的中间层，跑出全新的商业模式。

参考内容：

https://www.cnbc.com/2026/07/16/fireworks-nvidia-cloud-ai-startup-value.html

https://fireworks.ai/

https://www.deloitte.com/us/en/insights/industry/technology/technology-media-and-telecom-predictions.html

https://www.goldmansachs.com/insights/articles/ai-agents-forecast-to-boost-tech-cash-flow-as-usage-soars

运营/排版：何晨龙

注：封面由 AI 辅助生成