AI进入生产阶段之后，智能、算力、芯片会走向哪里？
ai-products ai-research hardware chips
这期节目是明浩在北京参加第七届 AICC 2026 人工智能计算大会后做的一次现场整理。他听完上午主会场的主题演讲，又在下午的分论坛间穿梭，试图把一个问题拆开：当 AI 不再主要停留在聊天和内容生成，开始承担连续任务，模型、算力、芯片和软件生态分别要补上什么。
节目没有把这些报告归结为某一条必然的产业路径。IDC 的需求预测、学者提出的机器记忆智能、可靠性测评框架，以及厂商和研究机构的系统、器件、软件方案，讨论的是同一转变里的不同环节。报告中的规模、性能和适配数据也分别属于预测、研究团队的实验结果或产品发布时的口径。
从单轮问答转向多步骤执行后，调用次数、单次上下文和多智能体协作会同时抬高 Token 消耗。
模型分数不足以说明系统可用性；工具调用、权限、异常恢复、成本和结果都需要评估。
前沿模型研发需要大规模、低延迟和稳定运行；商业推理面对的是高并发与资源利用率。
器件创新要减少数据搬移，异构芯片还需要共享的软件栈来减少重复适配。
从聊天到执行，Token 消耗为何变成乘法
IDC 在会上把 Agent 拆成两部分：模型决定推理、多模态、工具调用等能力边界，执行编排系统则把输出接入上下文管理、模型路由、外部工具、状态与记忆、执行控制、安全、可观测性和评测。前者不只比较准确率与推理能力，也要看延迟和 Token 成本；后者决定一个任务能否被组织成可运行、可治理并可恢复的过程。
这套划分也对应 IDC 给出的智能体阶段：先是生成、识别和预测等功能型 AI，随后是能处理邮件、日程和文档的个人 Agent；再往后才是完成单一业务流程的 Agent、跨角色和跨系统协同的多 Agent，以及在人工监督下持续运行的闭环。节目转述 IDC 的判断时，将当下的位置放在从个人 Agent 走向单流程 Agent 的过程中；法律、咨询、会计等专业服务，以及软件开发、测试和工程交付，是它认为相对先成熟的场景。教育、医疗、金融、能源、制造和零售并未被说成已经达到同样成熟度。
IDC 的报告《2026年中国人工智能计算力发展评估报告》把这种变化量化为长期预测：到 2031 年，AI 在宽口径下累计创造的全球经济价值预计为 22.5 万亿美元；到 2030 年，全球活跃 Agent 数量预计达到 22.16 亿。节目将这两项数字都作为报告的预测，而非已经发生的产业产出。
更直接的压力落在 Token 上。IDC 对 2026 至 2030 年全球 Token 消耗的复合增长率给出 4822.6% 的估计。它的解释不是单一模型变大，而是三个量同时上升：任务执行次数从 2026 年的 2800 亿次增至 2030 年的 415 万亿次；任务从简单调用转为复杂流程，单任务消耗可从数十 Token 增至数十万 Token；一个用户任务还会拆成多个智能体并行或串行处理的子任务。后两项会延长上下文传递与结果汇总的链路。
供需缺口是绝对量，不等于满足度持续下降。节目转述的 IDC 预测中，算力满足度从 2026 年的约 74% 在 2027 年降至约 71%，2028 年回到约 75%，到 2029、2030 年约为 76%、77%。与此同时，因需求总量继续增长，供需缺口的金额预计从 2024 年的 389 亿美元扩大到 2030 年的 3809 亿美元。两组指标的口径不同：前者是供给相对需求的比例，后者是未被满足需求的绝对金额。
因此，节目并没有把更多服务器视为唯一答案。IDC 的报告还把产能和电力列为约束；主持人则把企业加大投入、增加推理投入和更快调价视为需求压力正在传导的迹象。它们能说明报告所观察到的紧张趋势，但不能由此推出某个具体年份一定会出现或消除短缺。
模型能力之外：有限资源、可靠运行与评测边界
同济大学党委书记郑庆华在演讲中提出，下一步机器智能不能只靠扩大数据和算力，还要在知识与资源有限、环境持续变化时学习和推理。他把这条研究方向称为机器记忆智能：将数据驱动与知识引导结合，借鉴人脑的记忆和联想机制，以较少样本支撑更强的推理。
郑庆华用人脑作参照，列举了约 860 亿个神经元、20 至 23 瓦功耗和平均约 4% 神经元同步激活等说法，意在说明稀疏激活、记忆联想和抗干扰恢复值得被计算系统借鉴。这个类比对应他指出的几项大模型限制：高算力和高数据依赖、抽象能力不足、黑箱式不可解释、学习新任务时可能覆盖旧知识，以及小样本复杂推理的不足。它提出的是研究路径，不是对现有模型已经具备这些能力的描述。
工信部电子五所软件与系统研究院高级副院长蒋培航则把焦点放在落地后的检验。单个模型在基准测试中得分高，并不能说明由芯片、整机、网络、框架、模型、数据和应用组成的系统能在真实业务里稳定完成任务。多步骤、高并发的执行还会把工具调用、权限使用、异常处置和恢复带进评测范围。
| 评测维度 | 传统侧重 | 面向 Agent 的侧重 |
|---|---|---|
| 对象 | 单一模型 | 系统级智能体 |
| 方式 | 一次性的静态测试 | 动态、持续、即时的测试 |
| 边界 | 模型本身 | 覆盖整个技术栈 |
| 粒度 | 结果与得分 | 全流程运行轨迹 |
| 标尺 | 能力分数 | 能力、推理成本与总拥有成本 |
按这套思路，可靠性既要看芯片的算力、带宽、能效和稳定度，也要看集群通信与故障恢复、框架的算子兼容和调度、模型的准确性与鲁棒性、数据的质量和溯源，以及应用是否形成闭环、能否安全退出。节目提到，电子五所与北京智源研究院、浪潮信息等二十多家产业链单位在会上发布了面向 Agent 时代的可靠 AI 评测体系；该体系将场景构建、风险评估和能力优化纳入全链路评测，以供选型、技术演进和行业应用参考。
算力系统的两种任务：冲前沿，也承接高并发
浪潮信息首席 AI 战略官刘军的报告把智算系统分成能力型与容量型两条路径。能力型算力面向前沿模型研发，追求足够大的有效计算域、低延迟和长周期稳定运行；当推理和规划从数小时拉长到数天时，任一次计算、通信或软件故障都可能中断整个任务。报告给出的技术方向是用超节点把更多服务器组织成更大的计算机。
容量型算力面对的是商业推理和终端的海量并发。这里的问题不是单个模型能否达到最高能力，而是资源能否按负载调度、让不同芯片承担各自擅长的工作，并尽量减少闲置。刘军将这种多元算力协同的推理系统比作智能生产工厂；节目保留这个比喻，是为了区分它与前沿训练的优化目标，而不是把二者看成可以互相替代的同一类机器。
面向能力型场景。节目转述其在 Kimi K3 联合发布时给出的 Token 生成时延为 5.85 毫秒，并称该超节点服务器面向十万亿参数规模的模型。
面向容量型场景。发布口径称，在同等投资下，其 Token 产能可提高 10 倍；比较指标是 Token 产能，而不是模型能力或业务收入。
把计算放到数据旁边
清华大学教授吴华强讨论的是存算一体芯片。传统 CPU、GPU 架构中，数据需要频繁在处理器和存储器之间搬运；他的判断是，这种数据传输已成为数据中心性能和能效的重要瓶颈。存算一体将计算与存储放入同一阵列单元，让数据在所在位置参与计算，以减少搬移。
吴华强把忆阻器和物理模拟计算视为这一路径的基础，并认为成熟制程也可能获得性能跃迁。节目转述其团队已经从 130 纳米推进至 28、22 纳米工艺，并在 28 纳米条件下做过同制程比较：算力从 150 TOPS 提升至 600 TOPS，约为四倍。这是该团队报告的研发结果，不能直接推广为所有存算一体芯片在任何任务上的性能比例。
报告把低功耗常亮终端、本地快速处理的车载系统和物联网边缘推理列为可能场景。它们共同依赖一个前提：减少数据搬移带来的能耗和延迟，确实能够匹配具体设备、模型与部署环境的要求。节目所呈现的重点并非某项应用已经解决，而是器件层也在寻找不同于单纯缩小制程的路线。
芯片并非接入即可使用，软件适配仍是门槛
北京智源人工智能研究院副院长兼总工程师林咏华提出，AI 负载不会收敛到一种形态，计算架构也不会只剩下一种。即使芯片可以采购，模型框架、编译器、算子库和开发者习惯仍会决定它是否能投入实际工作。节目以 CUDA 为例说明这种生态惯性：挑战不只在硬件性能，也在多年来积累的软件接口和工具链。
她介绍的 FlagOS 是一个开源软件生态，目标是让不同芯片共享一套软件能力。节目将它分为三层：框架与插件层对接主流模型框架和开发者接口；算子层提供八百多个开源算子；底层编译层支持多种 AI 芯片架构。这里的共享并不抹去硬件差异，而是试图把每次迁移模型时重复编写适配代码的成本降下来。
在大会演示中，林咏华称，一个模型可在一天内适配并运行在多达 12 款不同的 AI 芯片上。节目还转述了 FlagOS 当时已有一百多家生态伙伴、覆盖五十多个国家算力的进展。这些是演讲中给出的项目状态与能力口径，后续能否持续取决于芯片支持、算子维护和开发者采用，而不是由一次适配演示单独决定。
作者概括：这场会议把生产阶段的 AI 看成一套需要连续交付的系统。需求侧的 Agent 会放大调用量；模型侧要在有限资源和变化环境中保持可用；供给侧则要同时处理集群稳定性、器件效率和软件兼容。任何一层不能完成任务，模型的能力都难以转化为稳定的业务结果。
明浩的整理最终没有把重点放在某一款芯片或某一个模型的胜负上。AICC 2026 的几组报告反复回到同一件具体的事：当 AI 接管的是持续运行的流程，系统需要在延迟、成本、能耗、权限、异常和适配差异之中把任务做完。不同报告提出的答案仍处在预测、研究或产品实践的不同阶段，留待部署结果检验。