AI安全背后的哲学思想，有效利他主义如何影响硅谷？（上篇）

（本文作者为 硅谷101，钛媒体经授权发布）

对话｜Yiwen、泓君，图文｜Yiwen

在近期提交的招股书中，Anthropic透露了将近100页的风险因素。除了常见的金融和市场风险之外，还包括了关于前沿AI所带来的灾难性、甚至威胁人类生存的风险这样的表述。Anthropic说，他们自己也无法保证自己的安全措施一定有效。

招股书还披露，上市后七位联合创始人将通过特殊股份掌握一般表决事项50.1%的投票权；与此同时，还有一个叫做“长期利益信托”的机构，有权选举董事会的多数成员。这套安排的目标，是让公司在追求商业利益时也考虑人类的长远利益。但有媒体注意到了一个细节：创始人可以提前指定，在自己失去履职能力后由谁接替自己的投票权。这些人选需要经过内部批准，但名单是保密的。也就是说，公众目前并不知道，未来谁有可能参与Anthropic的决策。

这份招股书，将AI安全对于Anthropic这家公司的重要性，再一次展现在了公众面前。但与此同时，如果他们的警告成真，那作为公众，我们是否应该有权知道，谁能够代表人类来做决定呢？

要理解Anthropic对于安全的重视，以及围绕它的信任和权力争议，就要提到一个近期反复出现的概念，那就是有效利他主义（Effective Altruism），简称EA。

就在这个月，《经济学人》把EA放上了封面，称它为“本世纪最重要的思想”。一些报道指出，围绕AI安全政策，EA的支持者与我们播客里提到过的科技右翼发生了冲突，甚至特朗普政府也加入了争论——美国国防部在社交媒体上直接喊出了一句口号：“美国主义，而非有效利他主义”。一个听起来还属于哲学讨论的概念，就这样成了美国政府公开划清界限的对象。

本期《硅谷101》，我们邀请到了一位与EA圈关系密切的人：以太坊创始人Vitalik Buterin，和他的朋友、科技记者Afra。以下是对话的第一部分，由Afra介绍有效利他主义的发展的四个阶段；它的精神领袖Will MacAskill其人其事；EA和理性主义、e/acc（有效加速主义）之间在社群气质与行动力上的差异；以及EA是如何主导AI安全叙事，把硅谷最聪明的人一步步网罗其中的。

以下是这次对话内容的精选：

Yiwen：你觉得总体来说，有哪些话题是EA会比较关注的？

Afra：其实需要把EA影响全球格局的这十几年时间，分成大概四个阶段，它每个阶段关注的重点都不太一样。

第一个阶段就是所谓的“蚊帐时期”。这个时期就是你用非常详实的、可量化的证据去改善做慈善的效率，去影响比方说全球的健康指数。这是一种可以测量的善，它是一个由证据来支持、由数据来支持的善。因为在EA刚刚成立的那段时间里，许多人想要行善，许多人想通过慈善去捐钱，但是慈善的效率非常低下，他们捐的钱捐不到位。

但是EA这群人，他们就想用一个可量化的、科学的方式，把这个钱捐到位，然后去最大化它的价值。所以这就是蚊帐时代的来源——这个蚊帐指的就是，蚊帐是一个“你捐多少钱，就能够挽救多少个生命”的最最有效的方式。

接下来，EA的下一个阶段就到了，叫做所谓的“长远规划时期”。这个长远规划时期大概是在2015年左右发生的，就是这群人开始不成比例地去研究存在风险和关于未来世代的问题，资金和机构也开始扩张。他其实不再关心一个蚊帐能救多少人，而是关心未来几千年、几万年，人类的世世代代的子女，这些人的生活质量和生活标准。

所以就有大量的资金——同时也是SBF以及很多其他富豪的资金——在这个阶段进入了社区。我觉得SBF可能是这个时代最极端的一个象征，因为他自己就是一个非常非常关注long-termism（长期主义）问题的人。

我读过一篇关于Will MacAskill的《纽约客》人物特稿，读完之后我的一个判断是：SBF可能是整个EA转向long-termism的决定性因素之一。

接下来就是整个社群声誉崩盘的时代。出现了很大的信任危机，大家也开始去反思，EA的群体到底出了什么问题。同时ChatGPT也诞生了，也带来了一个AI的转折——之前EA还有理性主义群体讨论的这种AI风险、生存问题，突然变成了更多人关心的问题。

所以这个阶段，我觉得它是一个也有很多挫败、但是也有很多曝光的阶段。首先它曝光出了非常多的问题，比方说Will MacAskill本人识人的失败，他自己一直被社群批评，也是他现在仍然对SBF的反思不够，以及他当时一直在庇护SBF。

但是这个时期，也是一个真正让EA变成了就像是《经济学人》所说的、对21世纪影响最重要的一个思想流派的时期。

再接下来，就是我们现在熟知的AI安全时代。我觉得是在AI安全的这个时代，让大众都能够听说“有效利他主义”这个词，因为AI安全成为了他们最核心的议题之一。

整个EA的网络，一是有很多成员进入前沿实验室成为员工，二是大量的资金去资助AI安全，使得整个EA的圈子和政策圈、和国家安全的圈子、和华盛顿那些圈子发生了交汇。也导致了比方说特朗普总统，比方说美国国防部会发推说“我们美国肯定不会变成EA”等等。

我觉得当下这个阶段，是EA的一个新的阶段，有新的挑战，但它也是一个最进入公众意识当中的时代。

泓君：不知道你最近有没有关注到，Anthropic和一些安全审计机构、和EA之间的关系？9月Jacob Coxon从Anthropic辞职之后，有一位独立研究者Kevin Bass在X上梳理资金链，他看的是Anthropic安排来做独立安全审计的机构METR：METR和其他一些安全机构的资助方，同时也是Anthropic的早期投资人——Coefficient Giving的创始人Dustin Moskovitz，他持有大量Anthropic股票。所以这个所谓的“独立评估”，实际上可能是和Anthropic的商业利益绑定的。网上因此有很多声讨EA的声音，很多人开始质疑所有安全机构的资金来源。你怎么看这些质疑？

Afra：Jacob那条推特火了之后，大家才把整个EA对AI安全的资金注入牵出来，然后开始编各种阴谋论。对我来说，它本身就是一个阴谋论。

泓君：为什么你觉得它是一个阴谋论？

Afra：很多传统媒体会质疑：这些钱流向这些组织，到底有什么目的、有什么隐藏的议程？我觉得一定会有某种议程的投射。但EA这群人的议程是什么？就是不想让AI变得不可控、造成人类无法承受的后果。这就是他们的议程，没有什么隐藏的议程。

最近前《纽约时报》记者，同时也是播客Hard Fork的主持人Kevin Roose写了一本《The AGI Chronicles》（AGI编年史），写作的时候拿了一些有EA背景的钱。于是很多人质疑：这笔钱的来源是不是不清不楚？拿了EA的钱，是不是就一定要把他们的议程写进书里？

但我觉得最大的问题可能是：当一个思想运动有了这么多钱之后，它到底是在发现最重要的问题，还是它也开始参与和决定：什么问题会被认为是重要的。

我们现在其实已经生活在这个后果当中。他们很早就说AI安全重要、说要往里面注入很多钱，我们现在就活在这个影响力里。我见过一些华盛顿的传统智库，它甚至很难招到合格的AI政策分析员，因为年轻、有能力的人才，都流入了EA赞助的智库和组织。

如果你是一个20岁出头的年轻研究员，刚从学校毕业，拿了斯坦福的PhD，想研究AI经济，你会发现AI alignment和AI安全这个领域有大量的研究员席位、大量的科研资助、很多研究职位，年薪也很不错；这些机构只管给你钱，不太管你的研究方向，也没有人要求你改变信念。而其他研究机构就没有这么多资源，也没有这么多自由。所以我见过越来越多这样的年轻人，被这些跟AI安全有关的、所谓“EA机构”吸纳；也见过越来越多非常聪明的人，因为每天跟这些人见面、讨论问题，被safety-pilled（被AI安全的理念说服）。

但在我看来，在现在这个阶段被safety-pilled很正常。即使你对AI安全问题不那么关心，每天看各种普通新闻、看各种电视报道，你也会被safety-pilled。

泓君：我知道你其实会经常去伯克利，还有旧金山一些EA的组织，或者我们把它叫做理性主义的组织。我还听说，在旧金山，比如我们刚刚提到的METR这家机构——如果你要进去参加一些活动，比方说Anthropic或者是研究员的活动，你说自己“我不是一个EA主义者”，他们会问——你不是EA的话，你可能连旧金山的很多活动都进不去。

Afra：我觉得EA也很有意思。你问一些人说“你是EA吗？”他们说“哎呀，我也不是EA，但是我跟他们的人走得很近”。没有EA的人是天天把自己是EA挂在嘴边的。其实有很多我的EA朋友，他们很EA，但是他们并不觉得自己是EA成员，我觉得这个也是很有意思的。

泓君：伯克利是一个怎样的氛围？我觉得伯克利是不是更偏向于理性主义的社区？我知道有一个组织叫Lighthaven，大家经常在那里聚会、办活动，它跟旧金山的氛围还不太一样。

Afra：对，我觉得现在伯克利已经自成一个体系了。伯克利有非常多AI安全第三方的审计机构，或者像METR这样的组织，伯克利已经有几十家了，说实话。Lighthaven它其实是理性主义者和一些EA赞助的活动场所，它是在伯克利由大概六到七个独栋的房子组合而成的一个活动园区。

你在那里面可以听讲座，可以自由地社交，晚上在篝火边烤棉花糖。Lighthaven就是被看作AI安全、EA和理性主义的一个大本营。

我自己会偶尔去Lighthaven开一些跟AI相关的会，去认识一些人。我两个星期前刚刚从两个会议回来：一个会议叫做The Curve，另外一个会议叫做Progress Conference。

一个是关于AI呈curve（曲线）、呈爆炸式水平发展的、跟前沿AI研究很相关的会；第二个会Progress Conference，它更加主张的是推动社会的进步，就很像是Ezra Klein写的《Abundance》（富足），如何用现有的科技去营造一个更加富足、更加有未来感的社会。它其实讨论的是各种前沿的科学研究，比方说如何教育下一代、对未来更加有信心，讨论的是这样的话题。

泓君：你觉得这些话题，大家讨论的时候，比如推动事件的进展、推动AI是加速发展还是应该慢一点，在真正对事情的影响上，会有强大的影响力吗？

Afra：我觉得会。我记得去年的The Curve，就是关于前沿AI的那个会议，其实有很多华盛顿、国会的人在，也有很多加州的政府议员们在。The Curve带来的这种群体效应还是挺明显的，它是华盛顿和硅谷最好的一个Venn diagram（交集图）。所以我理解他们的影响力。

泓君：那理性主义的社区呢？

Afra：我觉得理性主义的社区就更佛系一点。理性主义的人其实不那么想要去寻求影响力。所以理性主义社区的那些人还是像之前那样，大家就写写博客，然后研究自己感兴趣的事情。他们没有那么多现在硅谷所说的4D Chess（四维象棋），他们脑子里面没有那么多“我今天要做A，可以达到B，所以最后我能达到目标Z，但是我要怎么逆向工程一下这个事情”这样的盘算。

理性主义的人其实没有那么多宏大的计划，还是很可爱的，就像是Vitalik说的，Rationalist就喜欢做自己爱做的事情，有很多人写小说、写博客，讨论一些很nerdy的数学问题和AI问题。

泓君：然后我看你之前还去伦敦参加过一个叫做GovAI（人工智能治理中心）Fellowship的项目，你见到过我们刚刚提到的EA的一个精神领袖，叫做Will MacAskill。你有跟他们交流吗？

Afra：我第一次见到Will MacAskill应该是在The Curve。我跟他聊了十几分钟，我觉得他身上几乎浓缩了EA过去十几年的很多的思想变化。《纽约客》的Gideon Lewis-Kraus在2022年给他写过一篇非常好的人物特稿。文章里面这个Will本人，尤其是刚刚开始创立EA的这些组织的时候，他有一点先知和那种苦行僧的味道。Gideon他自己作为一个作者，他自己有写到，你在Will周围，会有一种我应该去行善的道德压力，因为Will他的吃穿住行非常的朴素，而且他还不断地在捐自己的收入。

哲学家、有效利他主义运动共同发起人William MacAskill 图片来源：Sam Deere / CC BY-SA 4.0（Wikimedia Commons）

泓君：你觉得他对整个EA圈核心影响是什么？

Afra：他算是一个EA的精神领袖，同时他也是创立了牛津的一些核心EA组织的这样的一个人。他在22岁那年的时候，遇到了一个澳大利亚教授Toby Ord，后者也是一个非常注重EA、非常注重长期主义的人。

两个人一拍即合，Will当场就承诺说，我要力所能及地把自己的财富永久地捐出去。他非常愿意把自己的未来的自己绑住的想法，这也是之后很多人会不断地在批评的一点：EA有一个理念是，我和我未来一个更加富有的自己去签订合约，让后者去做我现在的自己想要做的事情。

我记得Vitalik对于EA的这种理念的批评就是：你未来的自己永远会背叛你现在的自己，因为你10年、20年之后，你的想法会变，你的行为会变，你身边的朋友、你的圈子会变，你想做的事情会变，你怎么能够保证你未来为了今天你想要行的善而变得更加富有的自己，能够执着地坚守你今天承诺的事情呢？但是这就是当时的Will，他说我要把自己的收入全部都捐出去。

我觉得还有一个背景：EA在刚刚设立的时候，几年之后就出现了占领华尔街的运动。在占领华尔街如火如荼的时候，当时的道德主张就是：华尔街的这些人是吸血鬼，他们是造成美国很多中产和更底层的人的生活更加拮据、甚至毁掉他们生活的邪恶的人。

但是当时Will在牛津大学发表了一场演讲，题目是“医生、非政府组织工作者，还是其他什么？哪种职业能够更加造福社会”，其实是在帮助当时牛津刚刚毕业的学生思考以后应该从事什么职业。同年他也创立了“八万小时”这个项目，做的事情就是想为一些本科生提供“道德生活优化”的建议。

这个时候他提出了一个观点：你们这些牛津精英院校的学生，如果想要造福这个世界，你可以选择去贫困国家当医生，但是你整个医疗生涯八万个小时，能救多少人？你可能会拯救相当于140条生命。但是你也可以加入这个“非常邪恶的华尔街”或者“邪恶的咨询行业”，通过明智的捐赠，可能你拯救生命的数量，是你在贫困国家当医生的十倍。

因为你能捐那么多钱，能买很多很多蚊帐，每批蚊帐都可能救很多人。所以在华尔街最有道德污点、最臭名昭著、最没有办法吸引到精英学校学生的时候，其实是有些人听了Will的道德建议，而投身进了华尔街。

我觉得之所以有效利他主义能够吸引SBF、像Jane Street这样的一些交易者，其实也是他们试图用EA去弥合某种道德错位感。他们会经常扪心自问：我做这件事情真的是有意义的吗？就是疯狂地、不断地做量化交易，通过各种杠杆、各种措施去赚钱——我真的做得好吗？但是，如果我把这个全捐出去，那么我做的事情就是好事了，对吧？

EA的这套主张，确实会给很多在华尔街做利益最大化的人提供一个借口，这个借口就是“我其实过来是做善事的”。这个借口是一个非常会被人利用、被很多人去剥削的东西。

2015年8月，EA Global在谷歌总部举行，Elon Musk与Nick Bostrom、Stuart Russell 等在“AI存在性风险”分论坛对谈。图片来源：Robbie Shade / Wikimedia Commons / CC BY 2.0

然后在2015年，Will MacAskill受聘成为了牛津大学最年轻的哲学副教授，他当时只有28岁。同年的夏天，他的八万小时项目也被Y Combinator所接纳；有效利他主义的全球峰会（EA Global）在谷歌总部举行，从Elon Musk到很多其他的硅谷富豪，都出席了其中的一些讨论环节。比方说Musk就出席了当时关于人工智能小组的讨论。我觉得可能在Will MacAskill的眼中这可能是一个顶峰，因为EA的这套哲学思想，已经渗透到了硅谷最有钱、最富裕、最有资源、最能推动社会往某个方向走的这一群人。

泓君：我注意到EA整个的起源是在牛津大学，但是它后面的发展，包括你刚刚提到的，今年Will MacAskill已经搬到硅谷来了，这说明了什么？

Afra：我觉得这说明EA本身的核心主张和核心想做的事情，已经完全变成了AI安全，和之前已经不是很一样了。之前做的事情，比方说预防全球的疾病、提高行善的效率、关注其他意义上的生存风险——到现在其实已经很难找到了。基本上所有EA的关注点和精力，都已经放在了AI安全上，或者说AI安全已经不成比例地被放大了。

泓君：我怎么觉得EA也在追热点。

Afra：我觉得热点是被EA创造出来的。我觉得我们现在生活在一个EA在很多年前就已经规划好的现状当中。就是EA其实在很多年前就已经说过了：我们就是要花这么多钱，去做这么多的影响，我们现在就是要把影响力最大化。而我们现在已经活在了EA所创造的世界当中了。

泓君：你会对外说你自己是EA吗？

Afra：我不会，因为我真心觉得我不是。我很关心AI安全，但是我不是EA，比方说我不会捐钱。我觉得我自己现在做的事情，还不到我自己能够去捐钱、或者过度地去考虑“全球范围内我应该行怎样的善”这样一个地步。我自己最感兴趣的是EA的哲学和他们智识的世界，我会很喜欢关注这些奇奇怪怪的群体。

泓君：现在EA的主流立场是尽量减缓AI的发展，而e/acc（有效加速主义）以a16z为代表，主张加速。所以你觉得，我们应该因为AI安全的问题，现在就减缓AI的发展速度吗？

Afra：我首先想回答你刚刚说的e/acc和EA之间的张力。e/acc这群人其实和EA是很不对称的：e/acc其实完全没有形成一个真正的力量。所谓e/acc那群人认为自己是有效加速主义者，但它其实是一个没有那么清晰的现象——在很多人眼里，e/acc是一个meme，是一个网上的话题标签，它不是一个真正的行动力量。而EA是一个真正的行动力量。

其次，关于AI安全这个事情——我过去开完The Curve和Progress Conference这两个会之后，我自己也和OpenAI还有Anthropic的十几二十个研究员聊了天，我觉得我自己对AI安全有了非常多新的理解。我变得更加愿意去相信现在的RSI（递归自我进化）进化曲线，是一个让我觉得有点忧心忡忡的事情。

有好几个研究员都跟我说，过去一年AI的进步甚至已经超过他们自己原本的预期。我觉得现在前沿AI的发展是一个很严重的认识论问题。所以我觉得可能现在放缓AI的发展、尤其放缓RSI的发展，可能是一件好事，就是让大家先坐下来，相互说一说：到底应该怎么办？到底发生了什么？我们能不能用人话把这些事情解释清楚？再去进行这个疯狂的AI竞赛。

以上是本期对话的第一部分，通过Afra的视角，我们了解了EA如何从一场讨论“怎样更有效地做好事”的运动，逐渐影响了今天的AI研究、资金流向，甚至政治议程。而这些思想之所以能产生今天的影响，离不开背后巨额资金的支持。

在对话的第二部分，硅谷101对话了其中一位重要的捐赠者——以太坊联合创始人Vitalik Buterin。他向我们讲述了自己从支持、资助EA，到开始怀疑和反思的历程，分析了不同思想阵营对Anthropic AI安全哲学的质疑，也分享了他本人对人类该如何应对未知AI风险的思考。《对话Vitalik：捐出数亿美元后，如何开始反思EA？》将于明天发布，欢迎关注。

更多精彩内容，关注钛媒体微信号（ID：taimeiti），或者下载钛媒体App