看不见的成本曲线 ——从 GPT-3.5 到 Claude Code，推理成本降了两个数量级，而人们的印象几乎没变 2022–2025 技术演进整理 目录 引言　一个持续三年的认知时差 一、GPT-3.5：稠密模型定义了第一代直觉 二、GPT-4：MoE 出现了，但推理更贵了 三、GPT-4o：一个数量级的降价，几乎无人追问原因 四、o1：成本下降的第一个用途，是把它花掉 五、Codex 与 Claude Code：瓶颈第一次跳出算力 六、印象为什么滞后三年 七、可信度分级与未解决的问题 ================================ 引言　一个持续三年的认知时差 ================================ 2023 年 3 月 GPT-4 发布时，每百万输出 token 的价格是数十美元；今天同等能力档位的模型，价格在一美元以下。三年，两个数量级。 但公众——包括大量从业者——对"大模型推理"的印象几乎停在原地：贵、慢、烧钱、卖一份亏一份。这个印象在 2023 年是准确的，2024 年年中开始失真，到 2025 年已经和现实相差一个数量级。 这份文档的主线是这条成本曲线，以及它为什么不可见。选择 OpenAI 的产品线作为骨架，是因为它是唯一一条从 2022 年贯穿到 2025 年、每一代都有明确公开价格的序列——价格是可观察的，而架构不是。开放权重模型（Llama、Mixtral、DeepSeek）在文中作为对照出现，因为它们提供了唯一可被外部实际测量的物理量，而恰恰是这些可测量的东西，系统性地误导了所有人。 ================================== 一、GPT-3.5：稠密模型定义了第一代直觉 ================================== 2022 年 11 月 30 日，ChatGPT 发布，底层是 GPT-3.5。 它是一个稠密模型（约 175B 参数级），而稠密模型的成本结构极其简单：每生成一个 token，都要把全部权重从显存读一遍。没有任何折扣。 每 token 权重读取量 = 全部参数量 175B 在 BF16 下是 350GB。A100 是 80GB 显存、约 2TB/s 带宽，意味着光放权重就要五张卡，而理论上每秒读取次数不到六次。这就是当时响应速度的物理下限。 被忽略的一件事：GPT-3.5 的跃升不来自规模 GPT-3.5 相对 GPT-3 的能力提升，主要来自RLHF，而不是更大的预训练。它的基座甚至继承了 GPT-3 的欠训状态——175B 参数只训了约 300B token，而Chinchilla（2022）证明算力最优比例应该是 20:1，也就是它只训了应有的十分之一不到。 这是"后训练价值被严重低估"的最早证据，而当时几乎所有人的注意力都在参数量上。这个注意力错配会持续很久。 对照：Llama 塑造了公众的成本直觉 真正让"大模型推理很贵"变成体感的，是 Llama。 2023 年，个人开发者第一次能在自己机器上跑 70B 模型：两张 3090、量化之后仍然慢、生成速度以每秒几个 token 计。这个体验极其具体，而且是自己验证过的。从它推广到"服务几亿用户得多贵"，是很自然的一步。 但这一步错过了 batching，而且错了一个数量级： · 个人跑 batch=1，读一次权重生成一个 token · 厂商跑 batch=256+，读一次权重生成 256 个 token 读权重的次数一样，所以吞吐几乎随 batch 线性增长直到撞顶。这是个人绝对体验不到的差距——本地推理拿到的永远是效率最差的那一面。 第一个认知偏差在这里形成：唯一可被亲身验证的成本模型，恰好是最不具代表性的那个。 ================================== 二、GPT-4：MoE 出现了，但推理更贵了 ================================== 2023 年 3 月 14 日发布，2022 年 8 月完成训练。价格相对 GPT-3.5 高约 15倍，响应明显更慢，长期需要限流。 按外界推测（SemiAnalysis 2023 年 7 月报道，从未被官方确认），它是约1.8T 总参数、每 token 激活约 280B 的 MoE——稀疏度只有 6.4 倍。 MoE 的本质：用显存换算力 总参数 → 决定显存占用与知识容量 激活参数 → 决定每 token 的计算量与权重读取量 这两个数字脱钩，是 MoE 全部价值和全部代价的来源。而 GPT-4 这个配置的问题在于：它换到了容量，没换到便宜的推理。 280B 激活在 BF16 下是 560GB。对比 GPT-3.5 的 350GB，每 token 的读取量反而增加了 60%。所以： GPT-4 是 MoE，但它比稠密的 GPT-3.5 更贵。 这一点值得停一下，因为它推翻了一个常见的简化叙事——"MoE 让推理变便宜"。MoE 只有在高稀疏度下才便宜，而 GPT-4 那个时候做不到高稀疏度。 为什么做不到：互联 细粒度高稀疏 MoE（几百个小专家）需要频繁的 all-to-all 路由通信，而A100 时代的互联带宽撑不住。所以只能走粗粒度低稀疏(几个大专家、每 token 激活两个)，代价就是激活参数的绝对值降不下来。 A100 上可以做 MoE，但只能做高激活参数的形态。这不是设计失误，是当时唯一可行的选择。 价格里有多少是成本，有多少是租金 15 倍的价格差，对应的实际成本差大约是 3–5 倍（560GB vs 350GB，再考虑GPT-3.5 可能做了 INT8 量化）。剩下的部分来自两处： · 产能配给。2023 年 H100 抢不到、A100 全被占用，OpenAI 自己都在限流。这种状态下价格主要由支付意愿决定，不由成本决定。 · 产品分层。高端产品定高价，是标准的价格歧视。 这引出一条方法论，后面会反复用到：在产能受限的市场里，价格不能用来反推成本。2023 年那批"从 API 定价推算 GPT-4 有多大"的分析，系统性地高估了规模，因为它们把租金当成了成本。 对照：Mixtral 的尴尬位置 2023 年 12 月，Mixtral 8×7B 把 MoE 带进开源世界：47B 总参数、13B 激活，稀疏度只有 3.6 倍。 它的账是：显存要按 47B 付，算力只按 13B 省。低并发下显存摊不薄，于是用户体感是"和 34B 稠密差不多贵"。 于是 2023–2024 年公众能实际测量的两个参照系——Llama 的稠密和Mixtral 的低稀疏 MoE——恰好都指向"大模型推理必然昂贵"。而这个结论在一年内就会失效。 ================================== 三、GPT-4o：一个数量级的降价，几乎无人追问原因 ================================== 2024 年 5 月 13 日发布。价格相对最初的 GPT-4 降了约一个数量级，速度大幅提升。 OpenAI 从未公开它的架构。但有几个不受定价策略影响的物理观察，可以反推： · 降幅太大。单靠硬件换代（A100→H100，约 3–4 倍）解释不了一个数量级，必须有架构变化。 · decode 明显更快。而 decode 是显存带宽受限的，速度提升直接指向激活参数下降。 · 时间点吻合。2024 年 5 月，正好在 H100 大规模部署之后。 按 H100 的硬件参数推算合理设计（见下），4o 的激活参数很可能落在 30–40B区间——相对 GPT-4 的 280B 是七倍左右的下降，加上 FP8 和硬件带宽提升，合起来正好一个数量级。 H 系列解锁了什么 H100 的三项改变恰好对应上一阶段的三个约束： · FP8：单卡有效算力跳升，同时把通信量和显存占用腰斩 · NVLink 4 + NVSwitch：节点内带宽翻倍，细粒度路由的 all-to-all 撑得住 · Transformer Engine：低精度训练的软件支持 需要说清因果方向：H100 是为 Transformer 设计的，不是为 MoE 设计的。它的关键决策在 2019–2020 年就冻结了，那时 GPT-4 还没开始训。它后来对 MoE特别友好是事后的匹配。真正为 MoE 设计的是 Blackwell——NVL72 那种 72 卡统一 NVLink 域，恰好是专家并行想要的规模。 设计规则：两个数字由两个硬件参数决定 激活参数 ≈ 单卡显存 ÷ 量化位宽 总参数 ≈ NVLink 域总显存 H100 GB200 (80GB/3.35TB/s/8卡) (192GB/8TB/s/72卡) --------------------------------------------------------------- 激活参数 30–40B 60–100B 总参数 400B–1T 3–10T 稀疏度 15–25× 30–80× 注意两个数字的增长方向不同：从 H100 到 GB200，总参数涨 5–10 倍，激活参数只涨 2–3 倍。因为总参数的成本是显存（相对便宜、一次性），激活参数的成本是每 token 的带宽（永久支出）。所以硬件进步应该主要用来提高稀疏度， 而不是放大激活参数。 对照：DeepSeek V3 让这条曲线可见 2024 年 12 月 26 日，DeepSeek V3 发布：671B 总参数、37B 激活，稀疏度 18倍，FP8 训练，配合 MLA 把 KV cache 压掉一个数量级。 37B 激活在 FP8 下是 37GB，装得进单卡的 80GB，还剩 40GB 给 KV cache—— 一旦超过单卡，decode 就要跨卡张量并行，单位成本跳一个台阶。所以671B/37B 不是巧合，它是照着 H100 的参数设计的。 把三代放在一起： 模型 激活参数 每 token 读取 相对 V3 ----------------------------------------------------------------- GPT-3.5 (A100) 175B 稠密 175–350GB 5–9× GPT-4 (A100) 280B 560GB 15× DeepSeek V3 (H800, FP8) 37B 37GB 1× GPT-4 那 15 倍的偏离里，硬件代次（无 FP8、带宽更低）贡献约 3.4 倍，其余约 4.4 倍来自架构选择——而那个选择本身又是被互联条件逼出来的。 关键在于时间：GPT-4o（2024 年 5 月）和 V3（2024 年 12 月）大概率是同一代技术，一个闭源一个开源，相隔七个月。 所以 V3 的冲击不是"开源追上了闭源"，是它让一件已经发生但不可见的事变得可见。它推翻的不是一个数字，是一整套基于错误参照系建立的直觉。 ================================== 四、o1：成本下降的第一个用途，是把它花掉 ================================== 2024 年 9 月 12 日 o1-preview，12 月正式版。2025 年 1 月 20 日 DeepSeek R1。 关键解锁是一个算法发现：可验证奖励的 RL（RLVR）能让长思维链自发涌现。数学和代码有自动验证器，模型可以自己生成、自己验证、自己迭代，不需要人类标注。 但它能落地，依赖上一阶段的成本下降，而且是双重的： · 训练侧：RL 的算力大头在 rollout 采样，每条轨迹几千到几万 token，要采几百万条。采样成本正比于激活参数——280B 激活做大规模 RL 不现实，37B 就可负担。 · 服务侧：reasoning 的输出 token 数是过去的十倍到百倍，而 decode 是带宽受限的。用 280B 激活跑两万 token 的思维链，单次成本高到无法作为产品。 一个被忽略的互补关系 高稀疏 MoE 的能力结构是各向异性的：知识容量接近总参数，推理深度接近激活参数。671B/37B 这种形态天生"知识强、单步推理弱"。 而长思维链补的恰好是这一项——它用串行的多步计算，替代本来需要更大激活参数才能得到的推理深度。用便宜的串行 token，换昂贵的并行参数量。 gpt-oss 的 model card 提供了一个干净实证：20b 模型（3.6B 激活）在 AIME上平均每题用超过两万个 CoT token，数学表现很强；而在 GPQA 这类知识密集任务上因尺寸小而落后。3.6B 激活能在数学上打到那个位置，靠的就是这个替代关系。 由此形成一个正反馈：高稀疏 → 成本降 → 思维链可负担 → 思维链补上推理深度 → 可以走更高稀疏度 → 成本更低。 换轴 reasoning 出现的时点，恰好是预训练边际收益递减的时候。这不是巧合： test-time compute 的本质是把算力从训练时挪到推理时。对拥有巨型数据中心的一方，它把预训练已经吃不下的算力，变成了可以按量收费的推理算力。 对照：R1 的价值一半在于证明可复现 R1 在 o1 之后四个月发布。最大的不确定性——"长思维链能不能通过 RL 自发涌现"——已经被 o1 用钱和算力买掉了。 跟随者最大的经济价值就在这里：不承担科学风险。你不需要探索，只需要执行。而这也解释了为什么开源在数学和代码这类可验证领域追得最快——那里验证器就是老师，不需要更强的基座来教。 ================================== 五、Codex 与 Claude Code：agentic ================================== 2025 年 2 月 Claude Code 研究预览，4 月 Codex CLI，5 月 Codex 云端agent。集中出现在 o1/R1 之后半年，这个间隔有技术必然性。 为什么 thinking 是 agent 的必要条件 RL 的机制是筛选而非创造——policy gradient 只能提高已被采样到的好轨迹的概率。而 agent 任务的探索空间比数学题大得多：五十步的任务、每步几十种可能动作，随机游走几乎撞不到成功轨迹。 如果基座不会推理，采样出来的全是失败轨迹，梯度信号接近零，RL 根本启动不了。thinking 提供的是采样分布的质量，让动作从"随机"变成"有依据的猜测"。而且这个依赖是结构性的：agent 的每一步内部就是一次 thinking，两者是嵌套而非并列。 根本差异：信号从哪来 thinking agent --------------------------------------------------------------- 环境 模型自己的输出，封闭 外部世界，开放 奖励 规则化验证器，可靠 难自动判断，中间无信号 核心难题 搜索效率 奖励设计与信用分配 基础设施 采样引擎 + 验证器 大规模一致的沙盒环境 GPU 利用率 高 低（等待真实 I/O） 失败模式 逻辑错误 不可逆副作用、reward hacking 最危险的一条是环境一致性：如果不同节点的沙盒版本、依赖、超时设置不同，同一个动作会得到不同结果。这不是效率问题，是数据污染——奖励信号里混进环境噪声，模型可能学会利用某些节点的特定 bug。而这比慢难发现得多。 瓶颈的性质变了 前三个阶段的限制都是硬件：算力、带宽、显存、成本。到 agent 这一步，限制变成了环境构建、验证器、奖励设计。 一个具体后果：agentic rollout 中 GPU 大量时间在等待真实工具调用返回（秒级），瓶颈常在 CPU、网络、环境吞吐上。 agentic 的护城河主要不是模型的护城河，是环境的护城河。 成本曲线在这里再次分岔 agent 把"单次任务成本"推到了另一个量级：一个任务可能是几十次模型调用、每次都带长上下文。所以总支出的增长远快于单位成本的下降。 同时，真实交互轨迹成为核心资产——用户执行了什么命令、报错了没有、接受还是回退了修改，这些是不可合成的数据。 于是 agent 产品的意义是双重的：它既是收入来源，也是训练信号的采集装置。而后者靠产品分发获得，不靠算力。 真实世界信号的可行边界 方式 可行性 现状 --------------------------------------------------------------- 真实轨迹离线收集 高 已是主流，核心资产 真实工具 + 受控任务 高 agent RL 主流做法 真实世界在线 RL 很低 不可逆、不可复现，除机器人外不做 训练信号可以来自真实世界，但训练循环不能在真实世界里闭合。真实数据被收集、清洗、验证之后拿回沙盒里用——沙盒不是数据来源，是训练场所。 ================================== 六、印象为什么滞后三年 ================================== 把成本曲线和印象放在同一条时间轴上： 时间 实际成本状态 公众印象 --------------------------------------------------------------- 2022 末 稠密，每 token 读全部权重 贵（准确） 2023 MoE 但激活参数更大 更贵（准确） 2024 中 激活参数降七倍 仍然很贵（开始失真） 2024 末 开源证实同一架构 开始松动 2025 单位成本极低，账单更贵 困惑 滞后的原因有五条，按重要性排： 一、决定成本的那个量，在外部完全不可观测 推理成本的主导变量是"每 token 读多少权重"，也就是激活参数。而闭源模型不公布这个数字，从价格反推又会把租金当成成本。 唯一可测量的是开放权重模型——而 2023–2024 年能测的那两个（Llama 稠密、Mixtral 低稀疏），恰好是架构上不代表前沿的。 二、三笔不同的账被混成了一笔 · 按量计费的 API：普遍有健康毛利 · 固定价格的订阅：绝大多数用户用不完，靠轻度用户补贴重度用户；只在特定产品线的重度用户上亏 · 公司整体亏损：来自训练、研发、人力、以及为未来产能付的预付款 第三笔是有报道支撑的具体数字，前两笔没有公开财务披露。所以"公司年亏几十亿"自然被读成"卖 token 是亏的"。 三、澄清的方式只有一种，而那种方式代价太高 要让人相信"推理赚钱"，必须给出利用率、batch size、实际吞吐这些数字——而这些恰好是竞争对手最想知道的。说服公众和泄露机密在这里是同一个动作。 而且这个市场的买方高度集中且专业：成本结构一旦透明，企业客户会拿它来谈折扣，竞争对手会精确地卡在你上面一点定价。 · 说了没人信（缺乏可验证性） · 信了要付代价（定价空间被压） · 要让人信必须泄密（说服的方式就是披露） 任何一条单独存在都不足以解释沉默，三条叠加就足够了。 四、"贵"这个印象在 2025 年重新变得部分正确 reasoning 和 agent 让单次任务成本暴涨。所以用户的实际账单确实在变贵，尽管单位成本在降。一个过时的印象，因为一个新的原因，重新变得像是对的——这是最难纠正的一类误解。 五、厂商没有动力澄清 "我们在亏钱服务你"这个叙事支撑融资故事、让涨价显得合理、掩盖真实毛利率。所以没有人急着纠正。 但这里有一个被低估的成本：这个误解在支撑一整套"AI 泡沫论"——如果连卖token 都亏，整个商业模式就不成立。而真实的问题不是单位经济学，是训练支出能不能被未来收入覆盖，这是关于增长速度的问题，不是关于毛利率的问题。 放任这个误解流传，等于让一个关于增长的争论被误置成一个关于亏损的争论，而后者更容易引发恐慌。 ================================== 七、可信度分级与未解决的问题 ================================== 按可信度分三档 高（公开且可验证）：发布时间线与价格；硬件参数；Chinchilla 及后续scaling 研究；DeepSeek V3/R1 的架构与训练配置；gpt-oss 的 model card；Google 早期 MoE 论文；Mixtral 的架构参数。 中（结构性推断，机制可靠但数字为量级）：MoE 设计规则中的甜点区间；成本偏离的倍数估算；GPT-4o 是高稀疏 MoE 的推断（基于价格与延迟这类不受定价策略影响的物理量）。 低（外界传闻，不应作为论据基础）：GPT-4 的 1.8T/280B 架构、13T token、集群规模与训练时长；GPT-3.5 的确切参数量；各闭源模型的当前架构。 一个未能解决的算术矛盾 按 6 × 280B × 13T ≈ 2.2×10^25 FLOPs，而 16384 张 A100 在合理 MFU 下需要 8–12 个月才能跑完。这与"两万卡三四个月"的流传说法冲突。两种可能无法区分：训练从 2021 年底就开始（周期远长于传闻），或者 token 数远少于 13T（模型比传闻更欠训）。而这两个数字都是推测，不能互相验证。 这个矛盾本身是全文方法论的一次演示：在租金主导定价、架构不公开的市场里，价格不能用来推断成本，成本也不能用来推断技术参数。唯一可用的是那些不受定价策略影响的物理量——延迟、吞吐、上下文窗口、以及从供应链推出的算力总量。 关于这份文档 这是一次探索性讨论的整理，不是研究报告。它的价值主要在于那条因果链——每一代产品之间的推动关系，以及成本与印象之间持续三年的时差。