E251｜推理芯片之战：聊聊Groq、Cerebras与OpenAI三大路径与Bill Dally的设计哲学
这期讨论从一个看似朴素的问题开始：为什么训练大模型常被理解为算力竞赛，到了云端推理，芯片设计者却反复谈起带宽？Mark 与子阳正在创业做推理芯片，前者有硬件和系统架构背景，后者做过 Amazon Trainium 的软件栈。他们把 Groq、Cerebras 和 OpenAI 的方案当作研究对象，也用这些路线说明自己会如何取舍。
讨论对象是云端推理。手机或小型设备还受尺寸和单机价格限制；云端系统则把成本拆到每一个生成的 token 上。
生成一个 token 时，模型在等什么
一次语言模型请求至少有两种计算形态。用户把提示词输入模型后，prefill 阶段要处理已经给定的文本；许多 token 已知，可以并行计算。GPU 在这种场景下能一次读取模型权重，再做大量计算，算力有机会充分利用。
真正逐词输出的 decode 阶段不同。下一个 token 必须以前一个 token 的结果为条件，因此无法把同一请求的许多生成步同时算完。嘉宾用一个直观的说法解释它的代价：模型每生成一个 token，都要再次从存储介质读取整套权重。此时，读取数据的带宽比峰值计算能力更容易成为限制。
GPU 的应对方式是批处理。系统把大量用户的请求放到同一个批次中，一次完成每个请求的下一步生成，让芯片不至于只为一个 token 空转。这提高了总体吞吐，却意味着单个用户也要跟随批次节奏。推理芯片希望改善的，正是这种高吞吐与低单用户延迟之间的张力。
存储位置决定了第一轮取舍
DRAM
容量大、成本低，但与计算单元的距离更远，数据往返较慢。
HBM
把 DRAM 紧邻计算芯片封装，容量和带宽都较高；代价是昂贵的存储与紧张的供给。
SRAM
可以做进计算芯片，连线最短、带宽很高；同样的容量需要更多芯片面积。
两位嘉宾把 SRAM 看作云端 decode 的重要候选项，因为它把权重放到了离计算更近的位置。它并不能解决所有问题：SRAM 每存一个 bit 需要的晶体管更多，单颗芯片容不下一个大模型；于是问题从单颗芯片的存储容量，转成如何用许多芯片一起存放和计算。
这也是他们自己方案的基本形态：把模型权重分布到大量带 SRAM 的芯片上，让隐藏状态经过芯片网络，沿途完成计算。这个构想是否兑现，不只取决于某颗芯片的带宽，还取决于网络拓扑、跨芯片传输和系统调度能否避免新的等待。嘉宾谈到的速度与成本提升是对理想系统的推演，不是已经交付的产品数据。
Groq 与 Cerebras：同样追求带宽，难题放在不同位置
在嘉宾的叙述中，Groq 的核心是静态编译与确定性。编译器在运行前安排计算和通信，芯片在每个时钟周期做什么都尽量预先确定。SRAM 的可预测读写时间也配合这条路线，目标是压低调度摩擦和延迟。
MoE 让这种安排遇到新的问题。MoE 模型会在运行时为每个 token 选出少数专家，选择结果无法完全写进事先的编译计划；而专家又分散在不同芯片上。系统可以预留更多资源来覆盖不确定性，但嘉宾认为这会带来部分芯片空转，折损成本优势。他们并未把这当作静态调度的否定，而是把它视为当代模型结构带来的新条件。
Cerebras 的路线则从物理距离入手。晶圆级设计把大量核心放在一整片晶圆内，原本需要跨越许多独立芯片的通信，可以更多在晶圆内部完成。好处是连线距离和带宽条件改善；难处是制造。一片晶圆上的部分核心失效时，产品必须能绕过缺陷。即便如此，整片晶圆没有达到可接受的缺陷条件就可能无法交付，单位制造成本会显著上升，软件和机柜也要为这一形态重新设计。
| 路线 | 嘉宾强调的收益 | 相应的代价或条件 |
|---|---|---|
| Groq | 静态调度、确定性和低延迟 | MoE 的动态专家路由会增加资源安排难度 |
| Cerebras | 晶圆内部的高带宽与短通信距离 | 良率、容错、系统软件和制造成本 |
| 嘉宾的 SRAM 设想 | 把存储紧贴计算，追求带宽的单位成本 | 需要大规模芯片网络，并只承担模型的一部分工作 |
评价不能停在单颗芯片
嘉宾给出的评价框架非常具体：看由芯片构成的系统，单用户每秒可以生成多少 token；再看每个 token 的价格。算力利用率、访存利用率、编译器和互联都不是脱离用户的独立终点，它们会影响速度或单位成本。
数据中心的总成本包含资本开支和运营开支。前者包括芯片、服务器和机房等采购投入，后者包括运行期间的电力、散热等能源消耗。把一个计划运行数年的系统能产出的 token 总量，与这两部分成本放在一起，才是嘉宾所说的经济账。晶圆良率问题抬高的是硬件成本；带宽是否充分利用，又会决定这些投入能否真正转化为 token。
能源价格和供给会改变排序。节目里，嘉宾以中美数据中心为例，认为美国更受新增电力供给限制，因而更关注每瓦电能产出多少 token；在他们所处的中国市场，客户对每个 token 的价格可能更敏感。功耗仍在总成本中，只是不同地点的稀缺资源不同。
快可以留给模型内部使用
普通对话里，人未必能读完每秒上百个 token，所以更快的生成速度不必表现为回答从一分钟缩短到一秒。思维链中的 token 由模型自己消化，Agent 产生的 token 也常交给其他 Agent。嘉宾的推演是：如果外部期限不变，较高的单用户生成速度可以让模型在同一时间内完成更多内部推理步骤，或者让 Agent 试验更多行动。
这个逻辑在时间敏感任务中更直观。明天的市场判断如果两天后才产生，答案失去用途；需要在一分钟内完成的任务，也不能用更长的思考时间交换质量。速度提供的是一段固定期限内的推理预算，并不自动保证结果更好。
模型变化决定专用硬件该瞄准哪里
芯片从定义到交付需要很长时间，嘉宾因此不愿把架构押在变化最快的算法环节上。他们观察到 Transformer 的注意力机制仍频繁变化，而 FFN 在采用 MoE 后相对稳定，因而更愿意让专用硬件承担非注意力部分，把其他工作交给 GPU 或其他芯片。图像和视频生成常用的扩散模型则更偏计算密集，在他们看来可能属于另一种硬件范式。
这个选择也解释了为什么芯片设计必须从系统反推。先问的是未来要服务的模型、用户与服务器规模，再确定芯片间互联、单颗芯片的存储和计算比例，最后才落到计算核心、指令集、RTL 编码与物理实现。软件栈站在用户接触的一端：硬件比例一旦确定，编译器能优化什么、用户怎样部署模型，也跟着被限定。
OpenAI Teren 选择了另一种平衡
节目在录制后补录了 OpenAI 与博通发布 Teren 的讨论。两位嘉宾基于公开资料，将它理解为偏通用的推理芯片：Prefill、Decode、Attention 和 FFN 都希望在同一颗芯片内运行，并用 HBM4 提供高带宽。他们还注意到，方案把不同单元放进同一颗芯片，在执行某一类任务时可以关闭或降低另一部分单元的功耗。
这条路线和 SRAM 系统级异构的差异，不是简单的高低之分。嘉宾认为，OpenAI 对电力效率格外敏感，所以可以用更昂贵的存储和更大的通用性，换取单位电力产出的 token。SRAM 的优势是带宽的单位成本，但容量有限；长上下文带来的 KV Cache 会随用户数和上下文长度变动，嘉宾因此不把它视为优先放进 SRAM 的对象。
关于 Teren 的技术细节与取舍，本文转述的是两位嘉宾根据公开材料作出的解读。节目并未提供独立测试来比较各条路线的最终产品表现。
Bill Dally 留下的不是某一张芯片图纸
Mark 读博士时的导师是 Bill Dally。对他影响最大的是一种找问题的方式：寻找系统中最难、影响最大的限制，判断为了改善它可以舍弃什么。GPU 是这套方法在特定时代产生的结果，并不构成方法本身。
局部性是这套方法的基础。时间局部性指刚用过的数据在短时间内可能再次被使用；空间局部性指访问一段数据后，邻近数据也可能很快被访问。CPU 的 cache 借助这两种规律减少远距离读取。Mark 认为，自回归 decode 削弱了算法层面的局部性，因而希望通过把权重放在更近的 SRAM 里，用硬件的物理位置补回这一点。
研究与创业也由此分开。研究可以尽量用设计分析和验证获取知识，流片前往往已经能看见大部分技术瓶颈。创业还必须把剩余的工程变成现实：供电、散热、封装、测试、供应链和量产，任何一项都可能决定产品能否交付。推理芯片的竞争因此不只是更换一种存储器，而是对模型、软件、制造和能源约束的一次系统设计。