E257｜对话Vitalik：AI安全背后的哲学思想，有效利他主义如何影响硅谷？
怎样用有限的钱帮助更多人？有效利他主义（Effective Altruism，简称“EA”），就是从这个朴素的问题出发，推动人们比较不同慈善项目的效果，从捐赠蚊帐、预防疟疾，到后来投入数亿美元研究AI安全。 SBF与FTX的崩塌，曾让这场运动陷入信誉危机。最近，AI研究员辞职、安全评估机构和捐赠网络引发的争议，又让EA受到关注。当一些人把防止AI毁灭人类视为最值得投入的事业，他们的判断如何影响研究方向和资金分配？其中又有怎样的利益与权力问题？ 本期节目，我们邀请以太坊联合创始人Vitalik Buterin与科技记者Afra，聊聊EA和理性主义究竟主张什么，以及这些思想如何影响了今天的AI发展。 Vitalik曾向这个圈子的机构捐赠大量资金。他在节目中回忆，一笔加密货币捐赠如何意外地变成数亿美元，以及受赠机构后来的方向，为什么让他开始重新考虑当初的选择。 节目全程以中文录制，前半段由Afra介绍背景，后半段是我们与Vitalik的对话。本期涉及英文人名和机构名较多，为方便大家理解，我们在shownotes文末整理了名词解释，也在Bilibili、YouTube、视频号等平台也上线了带字幕版本，方便大家对照收听。 【主播】 Yiwen，硅谷101主持人 泓君，硅谷101创始人，播客主理人 【嘉宾】 Vitalik Buterin，以太坊联合创始人 Afra，科技记者 【你将听到】 有效利他主义是什么，它如何走到AI安全中心？ 02:25 两个关键人物：William MacAskill与Eliezer Yudkowsky 07:54 八万个小时：怎样使用一生，才能帮助更多人？ 09:27 EA的四次转向：全球健康、长期主义、信任危机与AI安全 12:58 EA与理性主义的异同：怎样做好事，怎样想清楚？ 15:59 AI安全如何影响前沿AI实验室的公司选择 18:02 METR与捐赠网络：安全评估如何引发了争议？ 22:28 走进伯克利：Lighthaven、The Curve与硅谷思想聚会 28:09 去华尔街赚钱，再把钱捐出去：这条路出了什么问题？ 35:18 EA与e/acc：关于AI加速与减速的争论 Vitalik的捐赠：一笔意外的加密货币如何变成数亿美元 39:15 如何成为一名负责任的数字游民？Vitalik最初的EA经历 44:19 哲学僵尸与意识：理性主义者都在讨论什么？ 50:38 当思想社群有了富豪捐赠者和专业机构 53:35 AI安全思想和P(doom)逐渐成为争论焦点 59:09 狗狗币的故事：意外收到大量代币之后 01:05:10 印度疫情救助与FLI：两笔捐赠如何落地 01:08:13 当FLI转向AI政策，Vitalik和它的矛盾何在？ 当“帮助人类”变成机构、政策与权力 01:10:18 一个领域已经有很多钱，还值得继续捐吗？ 01:13:31 从救助生命到影响政策，捐赠效果为什么更难判断？ 01:18:46 SBF留下的问题：为什么聪明人也会看错人？ 01:21:01 EA、理性主义、e/acc与d/acc，分歧到底在哪里？ 01:27:38 “好公司必须赢”：相信Anthropic，能解决安全问题吗？ 01:30:29 安全、开源与商业利益：谁来决定AI的未来？ 01:36:06 Vitalik眼中的OpenAI：开放、安全与加速之间的变化 除了加速与暂停，还有什么选择？ 01:37:57 d/acc：Vitalik为什么主张加强分布式防御？ 01:42:04 以防疫为例：怎样让普通人拥有保护自己的工具？ 01:43:16 面对AI的不确定性，普通人可以怎样理解这些争论？ 01:45:14 Vitalik：承认我们还不知道的事情 01:48:04 AI安全也需要制衡：让多个不完美的系统互相监督 【相关阅读和名词解释】 往期相关：E233｜硅谷右翼的权力网如何形成？聊聊彼得·蒂尔的思想启蒙拼图 人物： • William MacAskill（威廉·麦卡斯基尔）：哲学家，曾任牛津大学哲学副教授，EA运动共同发起人之一，共同创办了Giving What We Can、80,000 Hours等机构，也是长期主义的重要倡导者。 • Sam Bankman-Fried（萨姆·班克曼-弗里德，SBF）：加密货币交易所FTX联合创始人，曾是EA最受瞩目的支持者和捐赠者之一。 • Eliezer Yudkowsky（埃利泽·尤德考斯基）：AI安全研究者与写作者、机器智能研究所共同创始人，也是互联网理性主义社群的重要奠基者。他关于认知偏差、理性思考和AI对齐的文章，影响了LessWrong及部分EA社群。 • Chris Olah（克里斯·奥拉）：Anthropic联合创始人，主要研究如何理解神经网络的内部运作，是机械可解释性领域的重要研究者。 • Kevin Bass（凯文·巴斯）：网络评论者，曾公开追查并质疑Anthropic、METR及相关AI安全机构之间的资金和人际联系。 • Jacob Coxon（雅各布·考克森）：曾在OpenAI和Anthropic从事研究，2026年9月辞职并公开警告前沿AI公司的竞争可能带来严重安全风险。 • Dustin Moskovitz（达斯廷·莫斯科维茨）：Facebook和Asana联合创始人，与妻子Cari Tuna创办Good Ventures，承诺捐出绝大部分财富。 • Jaan Tallinn（雅恩·塔林）：Skype联合创始人，长期资助AI安全与存在风险研究，也是未来生命研究所的共同创始人。他参与支持的Survival and Flourishing Fund，是相关研究机构的重要资金渠道之一。 • Gideon Lewis-Kraus（吉迪恩·刘易斯-克劳斯）：《纽约客》记者，2022年撰写了关于William MacAskill的长篇人物报道。 • Toby Ord（托比·奥德）：澳大利亚哲学家、Giving What We Can共同创始人，EA运动的重要早期推动者。他长期研究全球贫困、道德责任与可能威胁人类长远未来的存在风险。 • Scott Alexander（斯科特·亚历山大）：精神科医生与写作者，先后创办Slate Star Codex和Astral Codex Ten。他的文章涵盖科学、医学、社会议题和认知方法，是理性主义社群的重要阅读材料。 • Zvi Mowshowitz（兹维·莫肖维茨）：Don’t Worry About the Vase的作者，长期评论AI发展、安全与政策。 • Nick Bostrom（尼克·博斯特罗姆）：哲学家，曾任牛津大学教授、未来人类研究所创始主任，《超级智能》作者。他对超级智能、存在风险和人类长远未来的研究，影响了EA及AI安全领域的讨论。 • Sandeep Nailwal（桑迪普·奈尔瓦尔）：Polygon联合创始人、印度疫情救助基金CryptoRelief发起人。本期Vitalik谈到向该基金捐赠加密货币。 机构： • 80,000 Hours（八万小时）：由William MacAskill和Benjamin Todd共同创办的非营利职业研究与咨询机构，帮助人们思考如何利用职业生涯产生更大的社会影响，是EA的重要机构之一。 • METR（模型评估与威胁研究，Model Evaluation & Threat Research）：研究与评估前沿AI能力及潜在重大风险的非营利机构。 • Coefficient Giving：前身为Open Philanthropy的慈善资助与咨询机构，长期与Moskovitz夫妇的Good Ventures合作。它是EA相关资助网络的重要节点，支持全球健康、动物福利、疫情防范和AI安全等领域。 • Future of Life Institute（未来生命研究所，FLI）：研究并倡导降低先进技术重大风险的非营利机构，工作涉及AI等领域。它接受了Vitalik的重要捐赠。 • Centre for the Governance of AI（人工智能治理中心，GovAI）：从事AI治理与政策研究、培养相关人才的非营利机构。 • Machine Intelligence Research Institute（机器智能研究所，MIRI）：由尤德考斯基等人共同创办、长期关注高级AI与人类利益如何对齐的非营利机构，与理性主义及EA社群联系密切，也是本期提到的Vitalik曾支持的机构之一。 • GiveWell：通过证据与成本效益分析评估慈善项目、引导捐赠的非营利机构，主要关注全球健康与发展。 • Against Malaria Foundation（抗疟疾基金会，AMF）：主要通过资助长效杀虫蚊帐的分发预防疟疾的慈善机构，长期获得GiveWell推荐。 • PopVax：印度生物技术公司，研发疫苗和癌症免疫疗法。其疫苗项目获得过Vitalik的Balvi基金支持。 • Lighthaven：由Lightcone Infrastructure运营的伯克利会议与活动园区，经常举办理性主义、AI安全及相关社群的聚会。 • The Curve：围绕先进AI的发展、风险、经济影响与治理举办的会议，汇集研究人员、企业界、政策界及不同立场的参与者。 • Progress Conference：由Roots of Progress Institute主办，讨论科技、经济和社会进步的会议。 • Effective Altruism Global（有效利他主义全球大会，EA Global）：面向EA社群的系列会议，讨论如何通过研究、职业选择和捐赠更有效地改善世界。 • Zuzalu：Vitalik等人于2023年在黑山组织的临时社区实验，参与者共同生活、交流并开展活动。 • PauseAI（暂停AI运动）：主张在能够确保安全并实现民主监督之前，暂停前沿AI开发的国际草根运动。 • LessWrong：由尤德考斯基等人推动形成的社区博客，讨论理性思考、认知偏差、决策与AI风险，是互联网理性主义社群的重要平台，与EA存在思想和人员上的广泛交集。 作品： • Machines of Loving Grace（《充满爱意的机器》）：Dario Amodei于2024年发表的文章，讨论强大AI可能为健康、经济和社会带来的积极变化。 • The Sequences（《系列文章》）：尤德考斯基关于理性思考、认知偏差、信念更新、决策和AI等问题的一系列博文，是LessWrong及理性主义社群的重要基础文本，也影响了部分EA参与者。 • Rationality: From AI to Zombies（《理性：从AI到僵尸》）：以The Sequences等博文为基础编辑整理的尤德考斯基文集。 • Slate Star Codex（《石板星法典》）：Scott Alexander原来的个人博客，涉及医学、科学、政治、哲学和理性思考，是理性主义社群的重要交流与阅读平台。 • Astral Codex Ten（《星界法典十》）：Scott Alexander在Slate Star Codex之后开设的博客与newsletter，继续讨论科学、社会问题和理性判断。 • Don’t Worry About the Vase（《别担心花瓶》）：Zvi Mowshowitz的博客与newsletter，近年来大量追踪AI能力、安全研究、企业动态和政策。 • Harry Potter and the Methods of Rationality（《哈利·波特与理性之道》）：尤德考斯基创作的《哈利·波特》同人小说，设想接受科学与理性思维训练的哈利如何理解魔法世界。 • UNSONG（《无歌》）：Scott Alexander创作的幻想小说，将宗教神秘主义、语言和现实世界的运行规则结合起来。 • Snowmoon（《雪月》）：Vitalik创作并公开发布的小说。 思想和流派： • Effective Altruism（有效利他主义，EA）：用证据和理性分析，寻找最有效的助人方式。关注全球Lighthaven健康、动物福利等议题，部分参与者尤其重视AI安全。 • Rationalism（理性主义）：本期特指围绕LessWrong等博客形成的社群，强调识别认知偏差、根据证据修正判断。与EA联系密切，但不等同于EA。 • Effective Accelerationism（有效加速主义，e/acc）：主张加快AI等技术的发展，相信创新与竞争能推动社会进步，通常反对以灾难风险为由限制开发。 • d/acc（防御性加速主义）：Vitalik提出的思路，主张优先发展能保护人、分散权力的技术，例如网络安全、疫苗和空气过滤，提高社会抵御风险的能力。 【新播客：消费101】 《消费101》是《硅谷101》团队新开设的消费垂类节目，由资深消费记者&研究员麻花担任主播，是一档提供有趣、有料、有用的消费行业观察与品牌解读的播客。每周更新，欢迎关注！ 【硅谷101听友群】 在这里，和同好一起深聊科技、商业与未来，期待你的声音，也期待更多有趣的讨论。 扫码加入，即刻相遇！ 【监制】 泓君 【后期】 Amei 【运营】 朱婕 【BGM】 DOX - Lennon Hutton Deadlock - Lennon Hutton Primary Code - Max Anson Estimations - Christoffer Moe Ditlevsen The Hoover Dam - Bonnie Grace Radar Focus - Blue Saga One Step Away - Dian Shuai Spring Dance - Forever Sunset Signal Containment - Out To The World Pulse Runner - Helmut Schenker 【在这里找到我们】 公众号：硅谷101 收听渠道：Apple Podcast｜Spotify｜小宇宙｜喜马拉雅｜蜻蜓FM｜荔枝FM｜网易云音乐｜QQ音乐 其他平台：YouTube｜Bilibili 搜索「硅谷101播客」 联系我们：podcast@sv101.net Special Guests: Afra and Vitalik Buterin.
