这期节目没有嘉宾。漫齐在开场就叠了甲：这个话题最合适的方式是请一位真正做过蒸馏的一线从业者来聊，但正如晚点文章开头写的，"所有人都会去关注这件事，但大家不会公开去谈论"，所以很难请到人。于是晚点编辑部自己上场，把最近一段时间从不同公司的从业者和研究员那里获得的信息整理出来。
主持人洪浩先抛出一个朴素的理解：蒸馏可以理解为一个抄答案的过程——自己的模型回答很差，就去问 Claude，Claude 给出精妙的推理过程和结果，把这个答案直接教给自己的模型，问题多了、答案多了，模型也就变聪明了。漫齐立刻纠正："他肯定不是我们原初意义理解的那种抄答案"。蒸馏是一个训练过程，主要用于后训练和中训练：你要用算力，要把数据放进模型里训练，是一个比较高难度的获得答案的过程，需要方法、技巧、智慧和劳动在里面。洪浩最终总结成一句话："它是有门槛的抄作业"。
漫齐还讲了一个行业里的乌龙：有一家公司做了蒸馏，结果发现蒸出来的其实是自己的东西——"它其实蒸出来的是自己的，就是自己在蒸自己"。
典型的"为了变强的蒸馏"流程是：先有一堆问题，去问一个很强的模型（比如 Claude），得到很多回答；提问和回答构成一堆数据对，再用这些数据训练自己的学生模型，让学生模型的输出行为去接近教师模型的输出行为，让两者的差异越来越小。
但漫齐提醒，从教师模型那里榨取的东西一直在变化。有了 OpenAI o1、DeepSeek R1 这类推理模型之后，输出不再只是题目和回答，中间还有推理过程；等 Agent 越来越发达，这个范围进一步扩展成完整的智能体任务过程。这就是文章里没有特别展开、播客里补充的"智能体的轨迹蒸馏"：要榨取的不再是静态的题目、推理过程和答案，而是一个智能体在一个环境里完整做完一个任务的整个过程。
环境是让 Agent 真正把任务跑起来的一整套条件和系统。以编程任务为例：给它一个代码库、终端和必要的工具（代码编辑器、编译器、测试工具），再设置任务和单元测试，看程序跑对了没有。更强的教师模型可以用来造题目（先有真实题目，再改写扩增）、造环境（长模型本身有 coding 能力），以及造轨迹——让 Claude 在自己造的环境里把任务完整做一遍，获得整个过程的数据，再让自家学生模型在行为上接近它。
这里有一个常见误区需要澄清："并不是说在训练一个模型的过程中，只要你用到了另一个更强的模型的数据和输出，它就是一个典型的蒸馏"。如果只是用最强模型来评估自家模型在环境里的表现，那更像用最强模型的数据帮助自己做智能体强化学习，而不是蒸馏。但无论哪种用法，只要用到了更强闭源模型的输出来优化自己的模型，在领先的闭源方看来就都违反了用户协议。
Anthropic、OpenAI、Google DeepMind 的用户协议已经写明，模型吐出的内容不能被拿来训练竞品——更宽泛地说，"你不能利用我的服务去提升和优化你自己和我竞争的模型"。范围很宽，所以哪怕有些行为在技术上不是蒸馏，在闭源方看来也是违规。
但用户协议有法律效力吗？漫齐的朴素判断是"目前是个灰色地带"——这个范围实在太宽泛，具体效力恐怕要咨询专业律师。
Google 今年 2 月发过一篇文章，原话是"我们观测到去年开始，蒸馏等一些其他的这种他们称之为偷取IP的行为变得越来越多"。漫齐获得的信息是，从 25 年到现在，蒸馏的规模变大了很多。
蒸馏最早的主流目的不是变强，而是压缩——"它是为了把一个更大的模型的能力压到一个更小的模型里"。大模型一般又贵又慢，压缩可以降低成本、提高速度；手机、汽车、机器人这些端侧算力更少的地方，对延时和算力的要求更高，需要相对小的模型。
漫齐回忆起自己第一次跟人长时间讨论蒸馏，是采访毫末智行的 CEO 顾维灏。对方讲了很多自动驾驶里的蒸馏：在云端训练的模型比较大，要放到车上（当时用的是 Orin 这类英伟达芯片），算力相比云端很有限，所以要通过蒸馏、剪枝、量化等方法把它变得更小，让车上的延时更低、速度更快、算力消耗更少。对车和机器人这类场景，低延时非常重要。
压缩和变强其实是一体两面——把大模型的能力压进小模型，本身也是让小模型变强。所以很难追溯"为了变强"的风气是谁带起来的。但方向的变化是清晰的："我们现在看到蒸馏其实就是为了变强的蒸馏"。
蒸馏变热有两个重要节点。第一个是 2024 年 9 月 OpenAI 发布 o1——"o1是第一个算是开启了推理模型这种范式的一个模型"。o1 带来两个技术变化：其一，它揭示了在后训练中做大规模强化学习可以让模型学到推理策略，而蒸馏本来就主要用在后训练，投入回报上升了；其二，它开启了测试时计算的方法，在模型使用阶段给更多算力，让它围绕问题一步步想、生成更长的思维链。思维链是模型使用阶段的产出，用户理论上看得见（可以被隐藏，但有办法还原），这部分就成了更好的蒸馏原料。不是有了新方法，而是能蒸的原料更丰富、效果更好了。
第二个节点是 2025 年 1 月 DeepSeek R1 发布。R1 的技术报告同时发了六个小的蒸馏模型：四个是 Qwen 2.5 的底座，两个是 Meta Llama 3 的底座，"六个模型都是把R1当作教师来学"——试试这种方式能不能让小模型的能力提升。这正是压缩思路的延续。
更大的背景是，"中国的开源模型的表现是明显逼近闭源模型的"。Kimi 1.5 就是一个里程碑，在美国引起了大量讨论和争议。26 年年初，Anthropic、OpenAI、Google DeepMind 发表了更多公开文章，在给美国政府的公开信里更多提到中国公司在蒸馏他们。规模变大、关注变多，蒸馏被推到了风口浪尖。
晚点前阵子的报道里有一个罕见的声音：张一鸣在 Seed 的一场内部会上提到，"他不允许字节去做这个蒸馏"——这是多年以来难得的一次露面。晚点还了解到，字节很长一段时间都没有做蒸馏。
这在洪浩看来非常反直觉：字节是算力非常多的公司，大模型竞争又极其激烈，而 Seed 的表现并没有预期中那么好——在 coding、GenTech（智能体）等领域离真正的一线还挺远。它居然主动拒绝这条捷径。
报道里写了几个理由。第一，张一鸣认为蒸馏短期内可以改善模型表现，但本质上是在复制 Claude 已有的能力，这么走下去最多只能逼近对方，不能实现超越，而 Seed 追求的是世界最强的模型。第二，他希望字节从更底层的维度构建自己在 AGI 上的壁垒，蒸馏不是长期壁垒——这一点大部分从业者也认同。第三是更强硬的表态：即使不蒸馏意味着字节在技术上短暂落后于国内的一些竞争对手，也不采用这个捷径来推进模型能力。
不过漫齐也做了严谨的提醒：罕见的有人不蒸馏，并不代表其他人都蒸馏。Anthropic、OpenAI 和 Google DeepMind 谁蒸馏了谁没有，并没有展示完整证据。
学生模型能不能超过教师模型？漫齐问过的从业者大多认为在技术上并非绝无可能——可以学更多教师模型、博采众长，当然也可能博采众短。但大部分人也认为蒸馏有一个隐患：组织与人的激励。蒸馏相对经济、成本低，而且更有确定性——这是更关键的。如果组织把重心放在这条有确定性的路上，那些做更长期探索、走更不确定的路的项目和人，可能就得不到足够的资源和认可。顶尖研究员很需要一个创新的研究能被鼓励、被看到的环境。
文章里有一个兴奋剂的比喻：一个运动员理论上可以磕兴奋剂，同时勤加训练。也许真的有人这么干，但一般而言，磕了兴奋剂之后肯定会有一些侥幸和惰性。蒸馏还有技术上的问题：你可能会学到教师模型的错误和拒答行为——你的行为会越来越接近它，包括不好的东西。
把技术和组织都考虑进来，张一鸣说蒸馏"有可能很难超越"，也许是一个真实的情况。节目里提到一条极客社区的评论："张一鸣可能不是最懂技术的，但他大概率是最懂人性的"。
张一鸣明确表态之后，有一些人想从字节离开。个体层面的原因很朴素：职业生涯是有限的，每个人都希望自己在字节的这几年做出代表作——我所在的团队做过最强的模型，至少是中国最强的模型。在这些人看来，最宝贵的职业阶段可能就这几年，与其一直在里面陪着耗，不如换个地方做出代表作。当然，有人会这么想离开，也可能有人会被这种表态吸引而来。
据漫齐了解，Seed 2.1（6 月发布）应该用了一些蒸馏的手段，从 2.0 到 2.1 的开发时间很短（今年之内）；在那之前的两三年，字节确实不怎么蒸馏。内部经过激烈讨论，最终做出了明确的选择。
不做蒸馏，重心就放在数据上。智能涌现本周报道：字节从 6 月开始重组数据团队，成立与 Seed、Flow 平行的新一级 AI 部门——AI 数据和安全，负责人是王英格（Adam 王），他之前在 TikTok 负责直播，向文佳和 Alex 都汇报过。字节要自己获得不依赖 OpenAI、Anthropic 这些领先闭源模型的数据能力。
围绕数据还有一个灰色问题：如果我买第三方数据公司的数据去做蒸馏，这算什么？洪浩听说一些公司说自己不蒸馏，但可能在体外做一些操作来实现蒸馏的目的。漫齐的看法分两层：技术上，如果你要训练的模型在逼近一批更强模型的输出和行为，它就是蒸馏；法律上，能否绕开用户协议有很多操作空间，如果之后美国有更严厉的限制，还可能涉及对方政府的限制——这就不单纯是技术问题了。
到底谁在蒸馏？漫齐拒绝评论，但可以盘点公开信息。Anthropic 在 2 月点名了三家公司：DeepSeek、Kimi 和 MiniMax；6 月又点名了阿里的千问。OpenAI 说 DeepSeek 有疑似蒸馏的行为。反而是智谱，没有美国公司公开说过它在蒸馏或疑似蒸馏。
6 月那封信的细节是：Anthropic 给美国国会的信里提到，千问疑似与它进行了很多交互——2880 万次。Anthropic 称之为有史以来发现的最大规模的蒸馏攻击。之后，阿里整个集团开始禁用 Claude Code。漫齐认为这两个事未必有直接必然的联系：一方面可能是合规表态——中国用户本来理论上就不能用 Claude 的模型；另一方面，阿里也要考虑自己的数据安全，不希望内部大量 AI 使用经过外部模型，想让员工用自己的模型。但无论如何，这都发生在中美模型竞争的大语境里。
有什么迹象能看出一个模型是不是蒸馏的？常见的一种说法是：非 GPT 的模型在回答时偶尔说自己是 GPT，或者说是 OpenAI 训练的，有人把这当成蒸馏的证据。漫齐的判断是"肯定不靠谱"：直接问模型 A 你是谁，它说是 B，不能证明 A 蒸馏了 B。
24 年 11 月有人做过这方面的研究：测试了 27 个模型（中外都有），设计了 77 个问题，专门研究模型身份混淆。结果是，GPT-4 会说自己是 GPT-3，Gemini Pro 会说自己是百度文心，字节 Seed 会说自己是 GPT。论文的结论是：仅凭身份混淆，很难判断谁使用了谁的训练数据，更不能说明蒸馏。更合适的方式是看输出分布是否接近——说话方式、输出格式、拒绝回答的方式、代码风格。但这需要很大的量，问一两次觉得像，证明不了什么。
蒸馏真正难在哪里？漫齐讲了几个有难度的环节：怎么获得稳定、高频访问这些领先模型的账号；怎么做用户运营——真实用户提问只是种子，围绕它可以做扩增和改写；还有行业里有人提及的做法：建很多中转站，让用户通过中转站使用领先的 GPT 或 Claude 模型。至于拿数据和会提问哪个更难，每个公司不一样，取决于自己的薄弱环节。
蒸馏是否冲击了重金开发领先模型的投入还难说，但它明确冲击了商业逻辑。DeepSeek V4、Grok 3.6 都是性价比很高的模型；那张著名的斩杀线图上，在 V4 和 Grok 3.6 下方和右边的区域里的模型都被斩杀了。一个做生产力应用的创始人告诉漫齐：用户的十个任务里，八个都能被 DeepSeek V4 Flash 解决——Pro 当时还没正式发布，而 Flash 真的非常便宜、速度也快。这至少会改变很多定价策略。
更大的问题是智能的供给和需求怎么匹配。对很多白领的工作来说，现在的模型可能已经够用了："你搞更强的模型，这个叫什么杀鸡焉用牛刀。可能你没有用武之地，你就是屠龙刀。"漫齐见过的一位投资人在想：我们之前都说 coding 比视频生成大，万一错了呢？错的可能性就在于，白领市场的智能需求并没有那么大。漫齐自己也有过一段实验：录姚盛宇那期时漫齐对需求相对悲观，后来用了 ChatGPT Codex 的 work 功能，能干很多以前干不了的事，一度很上头；冷却之后发现，每天高频手搓各种工具的频率确实会下来，对更复杂任务的需求也会下来。智能供给和需求的匹配，可能是蒸馏之外更多人已经在想的问题。