Pi创始人曝现代开发奇观:系统崩了,一屋子工程师都在问Claude怎么修
本文来自微信公众号: InfoQ ,作者:林绮蓓、Tina系统崩了,工程师们紧急开会。照理说,这时候最该有人站出来,指出故障发生在哪一层、哪段代码出了问题、系统该怎么恢复。但会议室里,竟然没有一个人说得清楚。所有人都在做同一件事:向Claude提问。这可不是哪个程序员编出来的黑色幽默。这是近期Flask作者、Pi开发者…

本文来自微信公众号: InfoQ ,作者:林绮蓓、Tina
系统崩了,工程师们紧急开会。照理说,这时候最该有人站出来,指出故障发生在哪一层、哪段代码出了问题、系统该怎么恢复。但会议室里,竟然没有一个人说得清楚。
所有人都在做同一件事:向Claude提问。
这可不是哪个程序员编出来的黑色幽默。这是近期Flask作者、Pi开发者Armin Ronacher在一场访谈中透露的同行经历。对此他感叹道:“真的太可怕了。”
不过,这位发出如此感叹的恰恰是正在把越来越多软件开发工作交给AI的人。Armin参与开发的Pi,每天会收到约40至50个新Issue。如今,团队已经让Agent接手了相当一部分问题处理工作:判断Bug是否存在、尝试复现、编写测试、生成修复方案,甚至分配优先级。在一些任务中,只要测试能够证明修复有效,工程师确认之后就可以直接合并代码。
Agent已经能替工程师写代码、找Bug、修Bug,甚至检查自己的工作。可当整个行业都在兴奋地讨论,如何让AI接管更多开发流程、如何建造不需要人类参与的“黑灯软件工厂”时,一个尴尬的问题摆在了面前:如果软件是AI写的,测试是AI跑的,代码审查也交给了AI,最后连系统为什么崩溃都只能去问AI,那还需要工程师干什么呢?
Pi创始人Mario Zechner对这种趋势的质疑更加直接。在他看来,整个行业似乎正在努力追求一种状态:开发者不必再理解自己正在构建的软件。
Mario直言:“如果你什么都不需要理解了,那你还有什么用?公司为什么还需要你?”
但Mario并不是一个排斥AI的传统程序员。他自己开发Coding Agent,也在用Agent处理大量实际工程任务。他甚至直言,软件开发中已经有很多工作不再需要人类完成,而且他找不到理由证明每一位软件工程师都应该保住自己的岗位。
一边承认AI已经能够替代大量编码工作,一边又警告工程师正在失去对系统的理解。这种矛盾,贯穿了Mario Zechner与Armin Ronacher最近的一场对谈。
在Matt Pocock主持的这期约46分钟的访谈中,两人谈到了Opus 5.5之后Coding Agent的能力变化,也拆解了自动化编程背后越来越难回避的工程问题:为什么Agent可以让测试全部通过,却仍然写出糟糕的软件?为什么代码审查越来越自动化,系统却未必更加可靠?当开发者不再亲自编写和理解大部分代码时,谁来承担最终的维护责任?而对于整个行业追逐的“黑灯软件工厂”,这两位已经深度使用AI编程工具的开发者,显然没有那么乐观。
太长不看版
Matt:Opus 5.5发布后,Coding Agent的能力发生了什么变化?
Armin:最大的变化是,对于有明确验证标准的任务,现在可以让Agent独立运行更长时间。比如,给它一套参考测试,它就能反复尝试,直到写出符合要求的实现。但这种能力不能推广到所有开发任务。
Mario:我没觉得模型在系统设计、架构设计和API设计上有多大进步。它们真正擅长的是编排子Agent,以及完成可以通过测试验证的任务。我曾让Agent优化Pi的启动速度,它报告说启动时间缩短了100%,结果只是把整个应用程序删掉了。
Matt:为什么同样使用Opus 5.5,不同开发者得到的结果差别很大?
Armin:我和一位朋友都用Opus 5.5开发游戏,我这边进展顺利,他却没有取得太大进展。后来我意识到,这和我的游戏开发经验有关。知道该用什么专业术语、按照什么顺序推进任务,往往比单纯把需求交给Agent更有效。模型给出的第一个可行方案,也不一定是最优解。
Matt:AI让代码生成越来越便宜,开发者应该如何平衡数量与质量?
Armin:Agent几乎不会拒绝增加功能,这很容易让软件变得越来越复杂。我更希望大家利用AI提高软件质量,而不是不断堆砌功能。
Mario:过去大量烦琐的编码工作,现在可以交给Agent。照理说,开发者应该有更多时间关注质量,但现实往往相反。我们至今还没有找到一套成熟的Agent工程流程,能够持续交付高质量软件。
Matt:为什么吗说代码“验证被高估了”?
Mario:很多人以为,只要Agent写出大量单元测试、端到端测试,CI全绿,系统就可靠了。但Agent可能测错东西,也可能漏掉关键问题。单个模块通过验证,不代表整个系统正确。如果开发者不了解底层实现,就无法判断这些测试究竟证明了什么。
Armin:我试过用Lean做形式化证明,但目前还没找到办法,让验证真正成为约束Agent行为的底层机制。很多时候,它只是多了一份供Agent参考的材料。
Matt:Pi已经使用Agent自动处理Issue,哪些工作可以放心交给它?
Mario:Pi每天收到约40–50个新Issue。我们的机器人能判断Bug是否存在、尝试复现、提出修复方案并分配优先级。如果有失败测试证明问题存在,修复后测试又能通过,我通常可以直接批准合并。但涉及新功能和用户体验设计时,Agent的表现仍然不可靠。对于核心模块,我也依然会查看代码。
Matt:有什么方法能让Agent更好地完成系统设计?
Mario:我会让Agent一次生成十种不同的实现,再从中探索合适的方案。它能加快试错,但无法替我作出最终判断。
Armin:系统设计需要理解真实的数据流和业务规模。我遇到过Agent根据旧文档判断数据库只有2000条记录,实际上早已增长到几百万条。不同规模需要完全不同的技术取舍,而这些背景条件很难靠一句提示词交代清楚。
Matt:未来真的能实现完全不需要人工参与的“黑灯软件工厂”吗?人类工程师还有什么价值?
Mario:我不排除特定领域未来会出现黑灯工厂,但目前没有看到真正具有经济价值的成功案例。更让我困惑的是,为什么整个行业似乎都想摆脱对软件系统的理解。如果连工程师都不知道系统怎么运行,出了问题又该怎么办?
Armin:我听同行说过,故障应急会议上没人知道发生了什么,所有人都在问Claude。这很可怕。我们开发软件最终还是为了人,我不认为彻底把人从流程中移除,是一个值得追求的目标。
1Opus 5.5之后,Agent仍然需要懂技术的人来指挥
嘉宾Armin:大家好,我是Armin。我在这个领域已经做了几年了。现在,我和Mario、Colin,还有Arendel的其他同事一起做AI相关的工作。
嘉宾Mario:大家好,我是Mario。我之前一时犯傻,做了个非常烂的编程Agent。不过在开发这个Agent之前,我已经参与开源项目二十多年了,主要做的是游戏开发。
至于本职工作,我涉猎的领域就比较广泛了。2000年代做过机器学习工程,后来做过游戏开发、编译器、调试器,也折腾过几次创业项目,幸运的是,最后都还算顺利。再后来,我又回到了游戏开发领域。说到底,我最喜欢的还是给开发者造工具。
主持人Matt:Armin,你提到了一个挺有意思的说法,叫“后Opus 5.5时代”。我想听你展开讲讲,你为什么会用这个说法?你觉得这个时代究竟有什么不同?
Armin:至少对我来说,Opus 5.5带来的变化是,用了一段时间之后,我开始重新认识这些模型的能力,其他人可能也有类似的感受。
我不一定会把这种变化称为“更值得信任模型”,但我确实感觉到自己和不少开发者对模型能力的预期有了新的标准。以前有些任务,我必须全程盯着模型做;现在,对于特定类型的任务,我可以放手让它独立运行更长时间。虽然它最后不一定能完全达到预期。
比如,你已经有一套参考测试,希望模型写出一个能够通过这些测试的实现。现在的模型特别擅长这类任务,它可以持续尝试很长时间,一点点解决问题,直到找到符合要求的实现。
但我不认为这种能力可以推广到所有任务。确实有一些事情,我现在敢让模型自己去做,而以前根本不敢放手。不过,这也不意味着它能胜任我们日常开发Pi时遇到的各种问题。对我来说,最直接的改变是,我终于能够完成很多以前没办法做的个人项目了。
Matt:我们好像每次都会得出类似的结论:这些模型做个人项目确实很厉害,但一说到正式工作,就……
Armin:对,做个人项目确实很厉害。我觉得之所以一谈到正式工作,大家就会有所保留,是因为我们开发的东西,最终要交给其他人使用,别人还要在我们的基础上继续开发。
这倒不一定是说正式工作的质量标准更高,而是我们必须非常谨慎,不能稀里糊涂地把一些原本没打算提供的功能发布出去。但如果是我自己的个人项目,里面莫名其妙多出了三个连我自己都不知道的功能,我可能根本不会在意。
Matt:因为你们做的是Pi,对吧?你们实际上是在设计一个面向开发者的公共接口,所以接口里包含什么、暴露哪些功能,都必须仔细考虑。Mario,你怎么看?
Mario:基本就是这样。而且不只是Pi,我平时做的其他项目也是如此。我刚才说过,我的工作就是造工具。工具最重要的是结实、可靠,而这些东西不是随便搞搞Vibe Coding就能得到的。
不管模型叫Opus 5.5,还是Astro、Fable 5.2,或者别的什么名字,我其实根本不在乎。因为我每天主要做的事情,是审查代码、设计系统和API。在这些方面,我并没有感觉模型从4.8升级到5.5之后,能力出现了什么惊人的飞跃。它们还是不擅长系统设计、架构设计和API设计。
但有两方面,它们确实进步很大。一是编排子Agent,二是处理那些能够通过测试或其他明确标准来验证结果的任务。只要有办法判断结果对不对,它们就能一直尝试、不断调整,直到找到正确答案。
还有一点,现在的模型不像以前那么容易出现欺骗的情况。我感觉它们通过钻奖励机制空子来完成任务的情况,也比过去少了很多。我给你们举个例子。有一次,我闲着没事,在Pi里设置了一个目标,让Agent想办法缩短Pi的启动时间。我让它跑了一整夜,当时用的应该是某个5.3版本的模型。第二天早上,我起来一看,发现它报告说,启动时间缩短了100%。
我当时都惊了:“太厉害了吧!可是这怎么可能?这都违反物理规律了吧?难道热力学定律都不管用了?”结果它还一本正经地告诉我:“没问题,完全是真的,重新启动一下就行了。”我说:“行啊,听起来不错。”结果启动之后,什么都没显示出来。我就问它:“你该不会把什么东西删了吧?”结果还真是。它基本上把所有模块都删掉了等于说,它直接把整个应用都给删没了。
这事发生在5.3还是5.2版本,我已经记不清了。不过现在确实比以前好多了。尤其是Claude系列模型,像过去那样给出误导性结果的情况已经少了很多。
Matt:我觉得现在大家都逐渐意识到了一个问题,也是我经常提到的:战术工作和战略工作,其实是两回事。所谓战术工作,就是具体执行,解决眼前每天遇到的问题;战略工作则需要着眼长远,考虑的不是怎么赢下一场战斗,而是怎么赢得整场战争。
在我看来,Agent特别擅长战术执行,但在战略判断上表现得很差。Armin,你有没有试过让模型做某件事,结果发现它根本做不了?还是说,对于那些它不擅长的事情,你现在已经不会考虑交给它了?
Armin:当然有,而且有些事情它做不到,我现在反而会觉得很奇怪。举个例子,Opus其实非常懂视觉艺术。这里说的不是让它画画,而是它真的理解色彩搭配、构图这些东西背后的原理。
但奇怪的是,这种能力完全没有体现在音乐创作或者乐谱处理上。这一点让我特别意外。我甚至怀疑,他们是不是故意没用这方面的数据训练它。毕竟,专门处理音乐的模型肯定是有的。那为什么Opus系列模型偏偏做不好这些事情?
当然,如果任务涉及非常复杂的系统,我本来就不会指望模型在缺少大量额外指导的情况下,一次就做对。但说实话,现在让我惊讶的,更多是它居然能完成这么多事情。虽然慢慢地,我似乎也开始觉得,这些事情它本来就应该能做到。反倒是那些它确实做不好的事情,我现在已经很难列出一长串了。但这不代表你想做什么,它都一定能帮你完成。
我之前和Century的创始人David Kramer聊过一次,发现了一件挺有意思的事。同样是用Opus 5.5开发电脑游戏,我这边进展很顺利,他那边却没有取得多大进展。后来我才意识到,这可能和我的游戏开发背景有关。因为我自己做过游戏,所以在写提示词的时候,会很自然地使用一些特定的方法,引导模型朝某个方向去做。如果没有这些引导,最后做出来的东西可能完全不一样。
我在我儿子身上也看到了类似的情况。他现在会给我们一起做的游戏添加新内容,但如果他没有按照特定的方式引导模型,结果往往就和我做出来的不一样。所以,提示词怎么写,其实很考验技巧。尤其是,当你知道一件事应该先做什么、后做什么,该按照什么顺序推进时,模型通常就能做得更好。如果你自己也没有明确的方向,只是把任务丢给它,让它随便发挥,成功率就会低很多。我也不知道该怎么准确形容这种差别。
Mario:对,关键就在于领域知识。Armin和我都做过游戏开发,多少有一些这方面的经验。当你带着这些专业知识去使用模型时,似乎更容易激发出它在相关领域已经学到的能力,让它找到对应的解决方案。
你们还记得吗?大概三年前,我们用GPT的时候,经常会先给它设定一个角色,比如告诉它“你现在是一位某某领域的专家”。现在其实有点像当时的做法,只不过我们不再只是给它设定一个角色,而是用某个专业领域的知识来引导它。如果你没用对专业术语,不知道为什么,模型似乎就调动不出它在这个领域学到的那部分知识。所以,这里面具体是什么机制,我也说不清。
Armin:也可能只是因为它选了另一条路。我有一个想法,不过说出来可能有点像阴谋论。我感觉很多时候,模型第一次提出的方案,在技术上确实可行,不能说它是错的。但这个方案恰好是最优解的概率,其实仍然相当低。因为要找到真正合适的方案,你还得告诉它,面对不同的选择,应该怎么权衡利弊。
Mario:我觉得,这其实也是判断模型擅长什么、不擅长什么的一个很好的标准。只要问题存在模糊性,没有一个明确的正确答案,需要结合经验、专业知识,甚至直觉来作出判断,模型的表现就会很差。但如果任务的目标很明确,而且基本上有一条清晰的路径可以直接通向结果,那就完全不一样了。这种任务对模型来说很简单,我也完全愿意相信它能做好。
Matt:对。我今天早上看了Lauren Tan在AI Code上的一场演讲。她提到一个观点,大概的意思是,只要问题里存在需要细致权衡的地方,模型就很容易生成一堆质量很差的东西。
换句话说,只要任务存在一些微妙的差别,需要作出细致判断,模型就很可能选错。这也意味着,我们在设计代码库和API时,应该尽可能减少那些容易产生歧义、需要反复揣摩的地方。
2代码生成越来越便宜,软件质量为何没有同步提升
Matt:既然说到了领域知识,我想接着问一个几乎每场直播都会有人提的问题。现在的初级开发者到底该怎么办?在这个新时代,他们应该学些什么?你们都有二十年左右的开发经验,那在你们看来,如今哪些技能最重要?编程技能还有价值吗?还是说,编程已经彻底过时了?
Mario:首先,你得把头发留白,再蓄一把白胡子。不管你是什么性别都得这么干。然后装出一副什么都懂的样子,这就够了。
Matt:最好再把头剃了。
Mario:对,还得戴副眼镜,这也很有帮助。
Matt:然后搬到牛津去。
Mario:没错,说话再带点上流社会的腔调。不过说正经的,我其实也不知道。至少在可以预见的未来,我还是认为,学习基础知识、和同行交流,这些事情依然非常重要。因为只有通过这些方式,你才能慢慢积累经验,知道该怎么有效地指挥自己的Agent。
只不过,现在我们手里多了一个神奇的按钮。如果我是一个刚入行的开发者,我肯定也会忍不住一直按它。所以,我也说不好该怎么办。但我觉得,如果你真的想在这个时代有所成就,最需要培养的可能就是自律。
Matt:Armin,开播之前你还提到过另一个问题,就是代码的数量和质量之间,似乎一直存在某种拉扯。Mario,你刚才其实也谈到了一点。
现在只要按下那个神奇的按钮,就能生成大量代码。但当代码变得如此廉价,数量几乎不再是问题的时候,我们究竟还应该多在意代码质量?这两者之间该怎么取舍?
Armin:我觉得,现在使用Agent有一个很明显的特点:只要你给它一个任务,它几乎从来不会告诉你这件事做不到。最糟糕的情况,也不过是它告诉你,这项工作可能需要六周,结果两个小时就完成了。
这就很容易让人产生一种冲动:既然实现功能这么简单,那干脆把所有能想到的功能都加进去。有时候,你甚至没有要求它增加某项功能,最后却发现这个功能已经顺带被做出来了。
所以我觉得,软件本身就有一种不断走向熵增的倾向,功能会越来越多,最终什么都想做。我确实非常喜欢这些工具带来的能力,但相比于让软件拥有尽可能多的功能,我更希望看到大家利用这些能力,真正把软件做到最好。
而且,一款什么都能做的软件,确实很难让人拒绝。你会觉得,我一直想要这个功能,也想要那个功能,现在终于都能实现了。结果到最后,你就造出了一辆“辛普森汽车”,Mario经常喜欢用这个说法来形容这种情况。
说实话,我自己也经常犯这样的错误。做项目的时候,总是忍不住往里面加入太多东西。但我真的希望,我们能够看到更多高质量、又有雄心的软件项目。这里说的雄心,不是要把功能做得越来越多,而是要把软件质量提高到一个非常高的水平。这才是我真正期待的。
Mario:对,我也有同感。我想说的是,在Agent出现之前,我们开发的软件也没有好到哪里去,对吧?但这不意味着,既然过去的软件质量就不怎么样,现在我们也可以不在乎质量了。
恰恰相反,我认为现在才是最应该重视软件质量的时候。因为以前手动写代码时,有大量烦琐又耗时的工作占据了开发者的时间,而现在,这些事情都可以交给Agent完成。
照理说,我们应该因此有更多时间去关注软件质量,而不是一味追求代码数量。但目前看到的情况恰好相反。大家似乎都陷入了一种“AI精神错乱”的状态,只顾着不断生成更多东西。归根结底,这最终还是要看商业收益,也就是使用Agent究竟能为企业带来多少额外收入。
我目前还看不到,把软件做成一辆什么功能都有的“辛普森汽车”,究竟能带来多少商业价值。但如果利用Agent来提高服务质量,我完全能够想象其中的商业价值。尤其是在那些对系统正常运行时间等指标要求极高的领域,服务是否可靠,可能直接决定一家企业能不能赚钱。
不过,我们目前似乎还没有真正看到这样的结果。我觉得问题在于,我们还没有弄清楚,应该如何围绕Agent建立一套工程流程,才能真正开发出高质量的软件。在找到答案之前,大家恐怕还是会继续到处尝试,做出一大堆东西,看看最后究竟什么能行得通。
Matt:不过,你其实已经在帮我们做很多这方面的探索了。
Mario:我确实也在不停地折腾各种乱七八糟的东西。
Matt:绝对是,而且数量还不少。不过,听你们聊了这么久,我对你们的整体印象就是一种“留着胡子的怀疑主义”。你们似乎都觉得,事情还没有真正发展到理想的程度,总觉得缺了点什么。那么,究竟缺的是什么?是模型本身还不够强,还是我们尚未找到合适的方法,充分发挥现有模型的能力?
3验证被高估了:测试通过不代表代码可靠
Matt:听起来,你们对Agent仍然持有一种比较谨慎的态度,并没有给予它们太多信任,对吧?但现在很多人的情况正好相反。尤其是Opus 5.5发布之后,越来越多的人开始信任Agent。
还有一些开发者会专门构建配套的运行框架和工作环境,比如引入验证工具、自动化代码审查等机制,对Agent的行为进行约束,减少它可以自行作出的选择。所以,我想知道,你们是真的不信任Agent,还是也在尝试构建某种系统,让Agent在特定条件下变得值得信任?你们具体是怎么做的?
Armin:我不太确定,这是不是一个关于信任的问题。因为我其实不希望未来变成那样。这么说吧,也许就像你刚才所提到的,我看待整个问题的方式比较简单。假设有一天,这些Agent真的实现了AGI,而且其他一切都和现在一样。我们就以此作为新的起点,假设技术已经发展到了一个非常惊人的水平。
但说实话,我并不特别在乎它们最终达到了什么能力水平。因为我们开发软件,并不是为了让某种非人类的存在来使用它、享受它,对吧?生活中的其他事情也是如此。我们做这些事情,归根结底都是为了人。所以,不管技术怎么发展,人始终都会以某种形式参与其中。否则,人类存在的意义又是什么呢?
从这个角度来说,我其实没有那么在意Agent本身。我更关心的是,我们正在做的事情,能不能真正为社会创造价值,能不能带来一些很好的改变。所以,关于Agent的很多讨论,对我来说其实没有那么重要。
当然,我也希望Agent越来越好用,能力越来越强。但无论它最终发展到什么程度,我真正关心的始终是:软件工程师怎样才能利用这些技术,做出最出色、最有价值的东西?而且,我觉得这个过程始终会受到人类自身能力边界的限制。只不过,未来的软件工程师可能会借助更多Agent来完成工作。
所以,我不认为有一天我会觉得:“好了,现在可以把人彻底从这个流程中移除了。”这种未来对我来说完全没有吸引力。我真正感兴趣的是,怎样才能让参与其中的人发挥出最大的能力。因此,我心里并没有一个明确的模型能力门槛,不会说模型必须达到某个水平,我才愿意使用它。我始终想解决的问题是,怎样让人更好地完成工作,怎样帮助他们取得最好的结果。而且,不管模型未来变得多么强大,我相信在这方面,我们总会遇到新的问题,需要继续寻找答案。
Mario:对我来说,这仍然是一个信任问题。不过,随着使用时间越来越长,你会逐渐知道,哪些事情可以放心交给Agent,哪些事情还不能。每次有新模型发布,你都需要重新建立这种判断。当然,对于同一个模型家族的新一代产品,你也可以根据以往经验,先对它的能力形成一个基本预期。
我举个Pi的例子。Pi每天大概会收到40到50个新Issue。我们现在搭建了一个自动分类和初步处理Issue的机器人,是我的同事David开发的。它的工作方式其实很简单。我们给Agent一段相对简单的提示词,让它去调查一个Bug是否真实存在,判断用户提交的问题报告是否合理,并尝试稳定复现这个问题。
如果能够复现,它还会提出修复方案,同时给这个问题分配优先级。过去一两周,我们一直在利用历史数据,以及后来想到的一些改进方法,不断调整这套系统。现在它已经非常可靠了。比如,如果我看到某个Issue被标记为P0,我基本可以确信,它确实是一个P0级别的问题。
如果这个问题不仅能够稳定复现,而且已经有一项测试能够证明当前代码存在缺陷,同时Agent还给出了一个修复方案,修改之后测试也能通过,那我对这个结果就会非常有信心。
在这种情况下,大多数时候,我只需要确认一下,就可以批准并合并Agent提出的修复代码。但如果任务变成增加某项具体功能,或者扩展。有功能,尤其是涉及我作为产品用户会如何使用这些功能时,模型给出的结果就经常让人哭笑不得。
Armin:对,所以也不能说我们不信任Agent。只不过,Agent目前仍然有不少不完善的地方,而且它在不同领域的表现差异很大。有些任务,它确实做得很好,值得信任;但换到其他领域,就完全不是那么回事了。
而且我发现,每当我们对Agent建立起一种新的信任,能够放心让它完成某些工作时,我们就会自然而然地提出更高的要求。然后,你又会发现自己开始不那么信任它了。因为之前那些已经验证过、能够可靠完成的事情,很快就会被你视为理所当然。比如,我们现在开发Pi时,人工阅读代码的比例已经比以前低了很多。但我们甚至都不怎么讨论这件事了,因为大家已经觉得这很正常。毕竟,模型现在总不至于再把整个代码库搞得乱七八糟了吧?当然,也许它还是。但至少在这方面,我确实已经不怎么担心了。
Matt:明白了。因为我觉得,目前真正发生变化的,其实就是人工代码审查的工作量,对吧?
Matt:今年早些时候,我们讨论的还是有多少代码需要自己动手写,对吧?现在对我来说,这个比例几乎已经降到了零。我想你们应该也一样,而且这种状态已经持续一段时间了。但现在,问题变成了我们究竟需要审查多少代码,以及人工审查在多大程度上会影响代码发布。尤其是Pi这样的公开项目,你们还要维护对外接口,确保不会引入破坏性变更,这对你们来说显然非常重要。
所以我很好奇,现在你们究竟还会花多少时间查看即将发布的代码?又有多少时候,你们只是检查Agent提交的验证证据?用一个可能有点术语化的说法,你们实际上已经搭建了一座“软件工厂”,把收到的Issue转化成修复结果。你们可以根据Agent提供的证据来判断是否接受修复,而不必逐行阅读代码。Mario,你现在还会看多少Pi的代码?
Mario:其实还是看得很多。即使是那些由Agent自动修复的Issue,我也会查看代码差异(diff)。我的优势在于,我非常熟悉Pi的代码库。即使过去12个月里,Agent一直在帮我们修复问题,我仍然了解整个代码库的情况,因为我一直在查看它们做出的修改。
当然,并不是所有代码都需要这样。比如,我们有一个把会话数据导出成HTML的功能,我根本不在乎它的代码具体是怎么写的。只要最终输出正确,我就不关心内部实现。但如果涉及工具的工作方式、工具本身的实现、Agent循环,或者其他必须保持稳定可靠的核心基础组件,我还是会认真查看代码。至少到目前为止,我还没有放弃这件事。
Matt:那你是会把所有代码都看一遍,还是只检查其中一部分?比如抽样审查?
Mario:这要看具体改动。如果涉及我认为非常重要的子系统,那我肯定会把整个diff从头到尾看一遍。如果我大致知道这个问题应该怎么修复,可能就会跳过不少细节。至于那些不影响关键业务的改动,我甚至可能完全不看。比如多了一个空格之类的问题,我不需要亲自确认,这些事情可以交给Agent。
Matt:Mario,我接着问你,因为我感觉你们两个人对验证这件事,似乎没有我那么执着。我的思路是,应该为Agent构建一个更容易成功的工作环境,尽可能限制它的行为,减少它可以选择的路径,不让它随意引入模糊性或者自行作出某些决定。
但在开播之前,你说了一句让我特别好奇的话:“验证被高估了。”这到底是什么意思?我很想听听你的解释。
Mario:首先我得说明一下,Lauren非常出色,我很喜欢她分享的所有内容。我接下来要说的,并不是在批评她。只是我见过太多人有一种误解:只要Agent写出了大量Lint规则、单元测试、端到端测试之类的东西,就认为整个系统已经足够好了。但事实根本不是这样。
原因很简单:这些Agent依然是一群会为了达成目标而不择手段、钻奖励机制空子的家伙,它们还是会骗你。这种情况并没有彻底消失。它们可能测错了东西,也可能测试覆盖得根本不够全面。如果你对底层实际发生的事情没有足够深入的理解,就根本无法判断这些验证到底有没有价值。我甚至认为,其中大多数验证都没有想象中那么可靠。
Armin:我觉得首先要说明,我们其实非常依赖验证。Pi本身就有大量单元测试,我参与过的每一个项目,也都有各种机制来约束Agent,明确哪些事情可以做、哪些事情不能做。但问题是,有些东西从根本上就很难验证。
比如,我曾经用Lean给Pi的一些代码做形式化证明。做完之后,我反而开始思考:我为什么要这么做?接下来,我又该用什么机制来确保代码始终符合这些证明?我当时真正想探索的是,能不能建立一套方法,让源代码和形式化证明始终保持一致。
我还为一个我们未来可能使用、也可能最终不会采用的组件做过一套系统。它使用一种元语言作为输入,可以理解成一个迷你版的TypeScript,再将其转换到其他系统中。这样做的好处是,我能获得一些其他方式无法提供的控制能力。整个过程确实很有意思,但说到底,它并没有真正解决问题,只是又给Agent增加了一样可以利用的工具。
至少按照我们目前的开发方式来看,除非你使用OCaml之类的语言,否则大多数形式化验证最终都只是变成另一份供Agent参考的产物。至少据我所知,这些验证还没有真正融入Agent的底层工作机制,成为能够从根本上约束其行为的一部分。
Armin:不过,我确实相信,未来有可能找到一种真正有效的软件验证方式。如果有人已经建立起一套完整的软件开发流程,能够把形式化验证真正融入从开发到交付的全过程,我会非常感兴趣。我自己尝试过Coq、Lean等工具,但到目前为止,还没有成功把它们作为一个真正有效的环节融入我们现有的开发流程。
Mario:我想从另一个角度说说。停机问题是真实存在的,不管你用Lean、Coq,还是别的什么工具,都绕不开它。另一个关键问题是,你究竟想验证什么。
如果只是验证几个纯函数,那很容易。但如果要对一整套系统进行端到端验证,就完全是另一回事了。至少目前,这种方法行不通。单独验证每个模块,也不代表把这些模块组合起来之后,整个系统就一定是正确的。
所以,我不认为我们能够对一般的软件系统进行完整的程序验证。当然,航空航天等受到严格监管的行业是另一回事,他们在这方面已经积累了几十年的经验。但你必须仔细看看,他们究竟是怎样编写代码、怎样开展验证的。那些软件从一开始就是按照需要接受验证的要求来设计和开发的。而我们现在写的大多数代码,无论从哪个角度看,都和航空航天行业的做法相去甚远。所以我还是觉得,我们很大程度上是在自欺欺人。不过,话又说回来,有验证总比完全没有强。只是不能因为硬盘里放着一堆看起来很规范的代码和测试,就产生一种虚假的安全感。因为这些东西可能根本没有证明你以为它们已经证明的事情。
Matt:也就是说,不能仅仅因为CI显示绿色,就觉得系统没有问题。
Mario:没错,就是这个意思。
Matt:我觉得这其实一直是软件工程中的一个问题:确定性的工具究竟能帮我们做到什么程度?答案是,它们确实能解决相当多的问题,但还远远不够,而且可能永远都不够。那你们会不会在这些工具之外,再引入AI代码审查,相当于多加一道保障?
Mario:我不会把它称为安全保障,更准确地说,是给我的懒惰上了一道保险。因为只要提示词写得合适,Agent在审查代码时可以非常不留情面,直接告诉你:“这东西简直是一堆垃圾。”所以,对抗式审查在我的日常工作中非常重要,尤其是做系统设计的时候。
我其实只是重新用上了机器学习领域一个非常古老的思路:集成方法(Ensemble Methods)。我在2000年代做基础机器学习的时候,集成方法就非常流行。现在完全可以把同样的思路用到AI代码审查上。具体来说,你可以选择来自不同模型家族的模型,给它们完全相同的输入,让它们分别审查同一套设计。最后,你会得到差异非常大的反馈,它们发现的问题也往往各不相同。这对我非常有帮助。
但这种方法也有一个问题。如果你要求模型特别严苛、吹毛求疵,它们就可能变得过于激进,把很多其实不需要关注、更不需要修复的事情也当成问题提出来。所以最后,你还是得依靠自己的判断,筛选哪些问题真正值得处理。
Armin:对,任何自动化的对抗式审查,基本上都不可避免地会产生误报。这几乎就是它的固有特点:无论代码有没有真正的问题,它总会找出点什么。我见过一些人,会把这种审查放进循环里,让Agent一直检查、修改,直到再也找不出问题为止。我觉得这样做,最后恐怕只会得到一个越来越庞大的系统。
Mario:绝对会。
Matt:而且还有那些审查意见,几个Agent互相挑毛病,你来我往,没完没了,简直太折磨人了。
Armin:这里还有一个很大的问题。我不确定新模型在这方面改善了多少,因为我现在已经有意识地避免这种做法了。但我觉得,模型过去接受的训练,很大程度上都在强调所谓的“最佳实践”,而很多最佳实践其实可能是有害的。
我非常相信,系统设计应该尽可能降低复杂度。但很多所谓的最佳实践,强调的是要防范所有可能出现的错误输入,在每个地方都采用防御式编程。我感觉模型把这些东西学得太认真了。如果完全放手让它按照自己的方式开发,最后往往还是会让系统变得复杂得多。
我最近也在做大量安全研究,主要是为了确保我们的系统不会因为有人恶意使用,就彻底崩溃。但我发现,Agent加入的很多额外防护机制,反而可能制造一种错误的安全感。
比如,它看到某个地方已经有了防护措施,就觉得系统是安全的,却忽略了另一个非常严重的漏洞。也就是说,它可能因为某些保护机制的存在,就认定整个系统没有问题,实际上却漏掉了真正重要的风险。所以从长期来看,简单的系统通常更容易理解。而Agent现在生成的代码,往往还是偏向复杂。
我甚至怀疑,如果让一个人类程序员和一个Agent独立解决同一个问题,最终可能会发现,在没有Agent辅助的情况下,人类写出的代码反而更容易长期维护。要是真出现这样的结果,我一点也不会惊讶。
Matt:因为人工写代码更费劲,所以你会花更多时间思考怎么实现,对吧?
Armin:对,我也有这种感觉。
Matt:我觉得人类程序员真正擅长的一点,是能够同时考虑战术和战略问题。既要解决眼前的任务,也要考虑长期影响。如果是一名优秀的程序员,他在实现功能时,应该也会作出一些有利于系统长期演进的选择,让整个系统的设计逐渐变得更好。既然说到了系统设计,你们两个人都有丰富的经验,而且经历过AI出现前后的不同开发阶段。我想请你们分享一些具体的方法。
4从系统设计到“黑灯工厂”,工程师还需要理解代码吗
Matt:能不能让我们从你们身上挖掘一点专业知识,直接放进提示词里?这简直是我梦寐以求的事情。比如,我想到的有John Ousterhout提出的深模块(Deep Modules)、接口设计、系统组件之间的边界等等。你们自己比较关注哪些系统设计方法?有没有发现什么特别有效的技巧,能够帮助Agent建立正确的系统设计思路?你们谁先说都可以。
Mario:对我来说,系统设计更像是一门手艺,而不是一套严格按步骤执行的工程方法。在真正拿出解决方案之前,我得先摸清楚整个问题有哪些可能的解法,逐渐形成一种直觉。
以前,我会自己写一些小程序、设计几个简单的API,定义一些类型,然后准备一个临时文件,把目前写出来的东西放进去做实验,看看用起来顺不顺手,哪些地方会出问题。
现在,Agent可以替我完成这些尝试。而且它不只是写出一个版本,而是可以一次生成十种不同的实现,让我同时探索这些方案。这一点非常棒。因为过去我一个人写代码,每天能完成的代码量毕竟有限。但现在,我可以在相同时间里看到更多不同的方案,对问题的理解也比以前全面得多。说到底,我做的事情还是不断迭代。我的整个程序员生涯,几乎都是在反复迭代:试一个方案,发现问题,再改进,直到它足够简单,又能满足我真正想实现的目标。
Matt:这很难变成一条提示词,对吧?总不能告诉Agent:“我觉得这个方案用起来有点不对劲,你再试试。”
Mario:对,就是那种“感觉对了”的状态。
Matt:Armin,你有什么想法?
Armin:过去十年,或者说十二年左右,我的大部分工作都和SaaS软件的开发、运营有关。做这类系统久了,你会逐渐形成一种很重要的认识:当系统发生故障时,最理想的情况是,即使你暂时什么都不做,情况也不会继续恶化。
也就是说,你要尽量避免出现那种必须立刻采取行动,否则事情就会越来越糟的局面。因此,你需要提前设计好一些开关、功能切换机制,以及其他应急手段。这样一来,即使故障突然发生,你也能迅速采取一些措施,为自己争取处理问题的时间。
但我不确定,能不能通过某个神奇的提示词,就让Agent自动设计出这样的系统。因为这里面涉及大量对实际业务的理解。比如,你必须清楚系统中的数据是怎么流动的、数据规模有多大。处理不同规模的数据,系统设计时需要考虑的取舍可能完全不同。而且,这些背景条件并不是固定不变的,它们会随着时间不断变化。
说起来,我上周五刚好遇到一件挺有意思的事。当时我需要调查一个问题,涉及的代码库里,Agent还会主动维护一些文档,记录它此前发现的情况。结果它在分析问题时引用了其中一份文档。我看着它的分析,觉得非常奇怪,就问:“你为什么会这么认为?”它说:“因为我找到了这个文件,里面写着数据库只有2000条记录。”我说:“对,可那个文件是你在数据库还空着的时候写的啊!”
问题就在这里。系统一直在变化,数据库早就不只有2000条记录了,现在已经有几百万条。而数据规模从几千条增加到几百万条之后,很多设计上的取舍都会彻底改变。所以,我也不知道有什么特别通用的方法可以分享。
对于SaaS系统,我始终觉得,最终承担责任的还是开发者自己。如果系统真的出了问题,Agent不会替我承受那些情绪和压力,真正需要面对后果的人还是我。
Mario:差不多就是这样。我和Armin过去有过一些共同的工作经历,不过我们的专业方向不太一样。我主要做客户端和图形编程,而Armin更多负责云端那些庞大的基础设施。那些系统承担着非常重要的任务,运行成本也相当高,所以我们对某些问题的看法可能会有所不同。
但我觉得,我们现在正在做的事情,或者说整个行业正在追求的方向,有一个让我非常不理解的地方。
Mario:我感觉整个行业正在试图摆脱对软件系统的理解。这在我看来完全说不通。如果有一天,你真的什么都不需要理解了,那你还有什么用?公司为什么还需要你?如果我只需要给软件工厂输入一段提示词,就能让它自动完成所有工作,那我为什么还要付钱雇你?我直接把你解雇不就行了?
至少在我的日常工作中,我还没有觉得自己变得毫无价值。当然,我不排除未来真的会发生这种事,但现在还没有。更让我困惑的是,为什么我们首先要把这种状态当成一个值得追求的目标?为什么要把软件生产规模扩大到某种程度,以至于公司内部已经没有人真正理解系统是怎么运作的?这样做究竟能带来什么根本性的好处?
Armin:因为从某种意义上说,这似乎就是大家正在追求的目标:不断扩大Agent的使用规模,最终让人完全退出工作流程。但现实是,无论什么时候,只要出了问题,最终总得有人去找Agent,问它到底发生了什么。
其实这种情况现在已经出现了。我听一些同行说,他们参加故障应急会议时,现场根本没人知道系统出了什么问题,所有人都在不停地向Claude提问。这真的很可怕。
不知道你们还记不记得,大概四年前,Facebook曾经发生过一次严重故障,甚至连总部的员工都被锁在了门外。具体经过我已经记不太清了,但我印象中,好像是某个网络交换设备出了问题,随后引发了一连串连锁故障。最终,他们不得不重新从第一性原理出发,一层一层地分析系统究竟发生了什么。因为整个基础设施已经叠加了太多层复杂的东西,常规的处理方式根本无法解决问题。这种灾难性的故障,也许很多年才会发生一次,但企业之所以需要制定灾难应急预案,就是为了应对这种情况。
所以我很难想象,有一天一家《财富》500强企业会说:“没问题,我们的灾难恢复方案,就是在另一边准备一个备用的编程Agent,到时候用发电机给它供电,让它来处理故障。”这实在太荒唐了。
5软件工程师不再不可替代,黑灯工厂却尚未跑通
Matt:所以,我想进一步问你们一个问题。假设有个人现在必须向公司证明,为什么自己的岗位还有存在的必要。
比如,他已经感觉到公司准备裁员,可能要把一个十人团队裁掉五个人。他知道自己很可能就在裁员名单里。那他应该怎么解释,为什么公司仍然需要人类工程师?难道只是因为企业需要灾难应急预案吗?我觉得这个理由似乎不够有说服力。应该还有其他原因,对吧?我们刚才也提到,人类可以利用自己的领域知识,更好地引导Agent,帮助它选择正确的参数和实现方向。但如果真的要向公司证明人类工程师的价值,最有说服力的理由究竟是什么?
Mario:我先说一点:我其实并不打算为所有人的岗位辩护。虽然这么说让我很难受,但我认为,在软件开发领域,确实已经有很多任务不再需要人类来完成了,这就是现实。
接下来的问题就变成了:当你所处的市场中,越来越多工作可以由机器替代时,你该怎样保住自己的价值?对我来说,答案比较简单,因为我年纪大了,积累了很多经验,而这些经验目前在市场上似乎仍然有价值。但对于年轻人,我真的不知道该怎么办。说实话,我也没有答案。
我只能说,像我这样的人总有一天会老去,甚至死掉。到那个时候,社会大概仍然需要一些人来监管这些软件工厂,而这些人至少得对系统内部究竟发生了什么有基本的了解。所以,这份工作最终还是会落到你们这些年轻人身上。你们最好还是认真学点东西。但我确实没办法给出一个理由,证明世界上每一位软件工程师都应该保住自己的工作。
Armin:我觉得,如果公司里真的有人走到你面前,对你说:“你必须证明自己的岗位为什么还有价值。”那对我来说,事情已经发展到了一个很糟糕的阶段。
不管公司是否认为我还有价值,我可能都会选择离开,因为这说明有些事情已经出了严重问题。当然,我知道,对一个工作相对稳定的人来说,这种话说起来比较容易。但我仍然认为,这一点很重要。因为大多数时候,公司不会真的有人直接要求你证明岗位价值。你只是会慢慢感觉到,公司的情况似乎不太对劲。比如,公司刚刚进行了一轮裁员,你侥幸没有受到影响,但又隐约感觉下一轮裁员可能很快就会到来。这时候,你可能会开始在团队Slack群里更频繁地汇报自己的工作,或者刻意提高音量,让更多人注意到自己做出了哪些成绩。
Matt:对,尤其是那些具体的工作成果。
Armin:没错。但如果你每天上班,都觉得自己必须不断向别人证明“我正在做有价值的事情”,那说明整个工作环境已经很不正常了。而且,这种状态最终也会反过来影响你自己。
因为你会越来越没有动力去思考,自己在公司真正应该做什么,反而把越来越多的时间花在证明自己存在的必要性上。如果已经到了这个地步,我会更早开始认真考虑:我现在做的事情,是不是真的已经不再创造价值了?如果答案可能是肯定的,那我就应该想一想,自己能去哪里,才能重新做出有价值的事情。
Mario:而且,现在这种判断可能每三个月就要重新做一次,对吧?过去,我们这些老派程序员往往会尽量避免和其他人打交道。但我觉得,现在真正能够提高你市场价值的,恰恰可能是与人交流的能力。
我从来就不是那种典型的程序员。我其实很喜欢人,也喜欢和人聊天。所以,我能够做的不只是工程师或者程序员的工作。比如,我可以设身处地地理解用户,更准确地判断他们究竟需要什么。
Matt:这难度可太高了。不过,我也一直觉得,这种能力非常重要。我自己过去的职业经历也让我有同样的感受。至少目前,机器还没办法真正复制这种能力。当然,前提是你作为一个人,确实很擅长理解别人。毕竟,很多人自己都不擅长这件事。而且,人们也不一定喜欢和机器交流。
不过,我想把话题稍微拉回到代码开发上。我们大概还有时间再聊一两个问题。现在有一个越来越流行的说法,叫作“黑灯工厂”(Dark Factory)。它指的是一种几乎完全自主运行的软件工厂:你不需要查看代码,甚至不需要打开灯,整个工厂就能自己持续运转。我想知道,你们觉得这种模式现在已经有可能实现了吗?有没有某些特定任务已经可以这样做?未来又有没有可能真正实现?我平时其实不太喜欢预测未来,但你们今天聊的这些内容,确实让我忍不住想问问。
Mario:我觉得答案很简单:如果有人真的能把这种模式做出来,而且它确实具有经济价值,那么它自然就会出现。但到目前为止,我还没有看到真正实现这一点的例子。
Armin:我觉得这个方向挺有意思的,而且确实有人在尝试。我最近就遇到过一个例子。
之前为了准备在AI Engineer上的演讲,我和一位朋友讨论过这个话题。我当时跟他说:“你看,我其实不认为现在真的有人在完整运行这样一套系统:Issue Tracker不断收到新的问题报告,然后系统自动分析、自动修复,整个过程完全不需要人工参与。”结果他说:“我就在用啊。”我就问:“那你现在还在用吗?”他说:“没有了。”我又问:“那你不觉得它一直消耗Token很浪费吗?”他说:“对啊,我确实应该把它关掉。”
所以我觉得,归根结底,还是得有人真正关心这件事。如果一套系统已经完全自动化了,连你自己都不再去查看它的运行结果,那它在技术上当然可以叫作一座工厂,但问题是,这又有什么意义呢?它确实是在自动运行,可最后产出的东西究竟有没有价值,恐怕也没人知道。
Mario:我没有参加旧金山的AIE大会,Armin去了。不过据我了解,Steve Yegge在会上做了一场演讲,基本上是在告诉所有人:“都给我慢一点,别再这么疯狂地往前冲了。”
因为按照他的说法,这些软件工厂最终都会变得一团糟。而这句话居然出自Steve Yegge之口。要知道,他可是最早那批疯狂鼓吹AI生成代码的人之一。这就很值得玩味了,对吧?
Matt:不过,他同时也支持软件工厂这种模式的存在。他其实从正反两个方向都进行了论证,我觉得这才是整件事最有意思的地方。
Mario:我甚至不认为这两种观点有什么矛盾。也许未来,我们确实能在某些特定的问题领域建立起真正的黑灯工厂。我完全不排除这种可能性。所以,我们需要有人继续做实验,探索这条路到底能不能走通。但我还是那句话:它必须能够创造经济价值。否则,就只是自娱自乐而已。
Matt:对,而且不同的问题领域,适合这种模式的程度肯定也不一样。比如,某些纯数学领域的问题,可能更容易交给软件工厂自动处理。但即使是一个非常基础的CRUD应用,我觉得如果现在就让它完全自主开发、运行,恐怕也很快会出现各种问题。
好了,我还有最后一个问题。我其实很想知道,你们现在到底有多累。因为我们的工作方式发生了非常大的变化。过去,我们可能先花点时间作出一些决定,然后坐下来写一段不错的代码,再停下来重新思考一下长期方向。但现在,我们好像被迫一直处于战略思考的状态,几乎没有停下来的时候。至少我自己是这种感觉。你们现在是什么状态?比以前更累了吗?还是已经适应了这种工作方式?
Armin:大概两周前,我在网上看到一篇文章,标题好像叫《AI丈夫们的妻子》,或者类似的名字。文章讲的基本上就是我们现在这种状态。我把它分享给了我妻子,结果她看完之后对我说:“这篇文章写的不就是你吗?”
Mario:还好我没把那篇文章发给我妻子。
Armin:不过说真的,我现在确实睡得不够,而且我甚至说不清楚为什么。
Matt:但你毕竟也是一家创业公司的创始人,所以这可能也不完全是AI造成的。
Armin:对,但我觉得,现在真的是一个特别奇妙的时期。它既是最令人兴奋的时代,也是最让人困惑、最不可思议的时代。你会有一种强烈的紧迫感,想亲身经历每一件正在发生的事情,不愿意错过任何变化。结果就是,你不断给自己增加压力。不过,我还能应付。
Matt:那就好。
Mario:我和Armin,还有Peter Steinberger,从去年年初就已经开始折腾这些东西了。我觉得,我们在去年夏天就已经把那阵“AI狂热”折腾过去了。那段时间,我也经常睡不够。但现在,我已经放松多了。
说实话,我不觉得过去八个月,甚至过去十二个月里,发生了多少真正重大的变化。我已经看不到什么特别明显的能力跃升了。我看到的更多是,各种组织还在努力摸索,究竟应该怎样围绕AI这种新工具建立一套合理的工程流程。
而且到目前为止,我还没看到谁真正找到了答案。至少没有哪套方法能让我觉得:“对,这就是新的标准模式,大家应该照着做。”当然,我可能应该去看看Matt你分享的所有材料。说不定里面就藏着某个真正有效的解决方案。
不过,我确实觉得,像你这样的人,还有HumanLayer团队等正在做的工作,都非常有价值。我认为,这才是整个行业接下来真正需要深入探索的方向。所以,现在我已经不会因为AI而睡不着觉了。我不在乎了。该看的我都看得差不多了。
Matt:对,我现在还在努力控制自己的“AI狂热”,算是在接受治疗吧。不过我觉得,目前自己的状态还算不错。好了,各位,我们之前说好聊到十点过十分,我就不再耽误你们的时间了。非常感谢你们今天来参加直播,聊得特别开心。
播客链接:
https://www.youtube.com/watch?v=ZBTegd8DUZM
原文出处:虎嗅 (本文由聚合程序自动采集,版权归原作者所有)