快讯速递

湘雅二院的AI造假论文,正在大量涌现

湘雅二院的AI造假论文,正在大量涌现

本文来自微信公众号: 新潮沉思录 ,作者:潮思最近湘雅二医院的一篇AI合成论文引发了广泛舆论批评,其中不仅有多处低级文字错误,示例图片还疑似是人工智能合成的。在AI普及之后,学术造假愈发成为社会关注和担忧的焦点。但不得不说,直到今天,直到这次事件,舆论层面关于AI时代学术和科研何去何从的讨论深度仍是有所不足的。可以说,…

本文来自微信公众号: 新潮沉思录 ,作者:潮思

最近湘雅二医院的一篇AI合成论文引发了广泛舆论批评,其中不仅有多处低级文字错误,示例图片还疑似是人工智能合成的。

在AI普及之后,学术造假愈发成为社会关注和担忧的焦点。但不得不说,直到今天,直到这次事件,舆论层面关于AI时代学术和科研何去何从的讨论深度仍是有所不足的。可以说,AI技术与生命科学研究间的复杂关系,正是AI时代科研领域问题的最突出展现。

首先当然要明确,直接用人工智能合成或是修改实验结果,比如说示例图片,这是百分之百违背学术道德的,是需要一棍子打死的,这次湘雅的涉事论文就是这种情况,明确属于学术造假。问题是现在的科研工作中,人工智能的参与有很多种复杂的形式,这些形式哪些是合理的,哪些是不合理的,很多时候并没有明确的界限。

比如说现在最常见的,让AI润色论文,使得论文在文字和格式上更符合论文的要求,这符合科研规范吗?不同机构和不同专家对这个问题的看法是不一样的,有的期刊欢迎类似的论文,有的期刊对此反对。

如果从科研的本质角度来说,笔者认为这种方式是应该支持的。科研论文对格式的要求确实有官僚主义的一面,但格式的要求也是有它的理由,通过特定的格式可以增加论文的可读性,当年苏联科学家很多研究被埋没,一方面是因为意识形态问题,另一方面就是因为苏联科学家在数学和物理之类的论文上太不遵守格式,可读性很差。

从提高科研效率的层面来说,这种有它的必要性,但是又特别折腾人的工作,交给人工智能是提高科研效率的合理选择;再比如说,国际期刊投稿需要英文,并非所有的科研工作者都擅长外语,而翻译实际上是大语言模型最擅长的工作。

只说科研工作中最基础应用的话,几年前的AI就能把这方面做得很好了。现在新的大模型能参与的工作已经非常多了。以笔者最熟悉的医学科研为例,笔者曾经尝试让DeepSeek自主写一篇医学文献综述,具体方向是笔者曾经写过的,结果在花了几毛钱的token费用之后,得到了一篇可能比笔者当年那篇综述质量高不少的综述。

更深入的工作,比如在META分析之类的场合,人工智能基本上可以实现自动化。比如随着各种自动化科研agent系统的出现,科研项目交给AI完成的部分越来越多。不夸张的说,在医学的很多领域,一篇论文超过百分之九十的部分已经可以交给AI完成了。

单纯从科研效率最大化的目的来说,学术界没有理由反对这些AI参与的论文,毕竟这些自动化科研和类似湘雅这个论文P图可不一样,是真的走了科研流程的。但目前来说学术界对此的态度仍然比较矛盾,而这种矛盾也并非只是观念保守的结果。

现在对AI负面影响的一大担忧,就是AI会消灭太多初级职位,不仅会导致年轻人失业,还会导致人才培养体系的断档,对人类社会的长期发展造成不可逆的影响。对科研工作来说也是如此,科研工作者在学生阶段,是需要在不怎么依赖自动化的条件下完成扎实的基本科研训练的。AI想要用好,是需要使用者对自己的这个项目有深入了解的,就像AI编程,同一个模型,普通人和专业程序员拿来写代码的效果就全不一样。

问题是现在科研系统没有好的切入点去预防和解决这个问题,只能对着论文检测使劲。比如上个月底知网的AIGC检测系统更新后,大量人工撰写内容被误判为AI生成,AIGC率普遍暴涨。于是学生们苦不堪言,根本不知道怎么样才算是通过了检测。

只靠文字风格检查是否使用AI往往是不准确的,这点已经有很多研究证明了,这样高的误检率对学生非常不公平,同时对于培养学生不依赖AI的科研能力方面也显然没什么帮助。教育系统的运作机制在AI时代如何改革,如何重新设计对学生的知识与能力的培养,是当下迫切需要推动解决的问题,目前看来还没有什么清晰的解决方案和方向。

基础科研与学生培养之上,AI给科研和学术带来的影响更加复杂。这一年来AI最突出的进展是代码与数学,因为这二者容易验证,代码跑几遍就差不多了,数学可以通过形式化的系统进行验证。像这两天黎曼猜想被宣布得到证明后,很快有不少工作者表示已经验证了结果。

但即便是这两个领域,也远没到人类工作者可以高枕无忧的时候。在涉及到长期反馈的代码领域,AI依然会面对长尾效应的困扰;而AI得出的数学证明也需要专业的数学家进行“翻译”才能拿来使用。至于以生命科学为代表的需要实操的科研领域,AI带来的影响就非常混沌了,远不能用好或者坏的二分法来形容。

比如怎么提升生命科学领域中AI成果的验证能力?目前的一个思路是模型模拟和自动化实验室结合。但这种方式在成本低的领域还可以试试,但很多领域实验验证周期很长,验证成本也非常高,那又该怎么办呢?一些数学和代码上的东西验证十几万次,那也就是几百万美元的token费用,但实验室里的成果要验证这么多次,可能几十亿美元的成本就出去了,哪怕花钱比烧钱都快的AI公司们也不可能遭得住。

当然了,这还是比较好的情况,最起码这种可以大规模验证的领域,只要花钱积累数据,依然可以实现突破。但像生命科学中的很多问题,AI既得不到足够的高质量数据,也不太可能靠实验室进行验证。

AlphaFold就是个典型例子。这个为预测蛋白质结构而诞生的AI系统确实是人类蛋白质研究领域的历史性突破,但在这个突破诞生十年后,我们会发现,AlphaFold带来的医药方面的实际进步,远没有人们想象中那么多。问题在于,想要把蛋白质层面的东西转化到临床上,需要的不只是蛋白质层面的数据,还需要药物在人类内部具体运行的精确数据,而这是现在的技术无法做到的。

舆论在讨论AlphaFold的时候,经常会把AlphaFold和冷冻电镜对立。虽然冷冻电镜刷论文这个事情确实有点不道德,但实际上这两种研究方式并不是矛盾和对立的。没有冷冻电镜生产的优质蛋白质数据,以AlphaFold为代表的模型也没有发展的机会,二者其实需要协同工作。实际上AlphaFold诞生十年后的发展也确实符合这个趋势,现在冷冻电镜测蛋白质结构很难单独发顶刊,但生物人工智能的实验室们,已经和这些冷冻电镜研究者建立了密切的合作关系。

蛋白质研究领域对AI来说已经算很简单了,最起码可以靠实验室去验证,但医学这种东西终究是要作用于人的。在需要人体实验的领域,那些相信AI可以解决一切科学问题的狂信徒们打算怎么搞人体实验呢?指望某种技术来替代人体实验吗?实验室层面模拟人体实验的技术如果真的实现了,那么就算没有AI,人类的医药也一定会出现极度夸张的进步,这个时候和AI关系反而就不大了。

人工智能热潮已经这么多年了,人们都知道高质量数据的重要性。现在如果以数学的标准来看待很多科研领域,我们就会发现这些领域的科研数据质量对AI来说压根就是不堪入目,客气一点说也是噪声极大的数据。这不是说这些科学有问题,而是不同科学有它各自的特点。

比如说有不止一个科学组织试图复现顶刊的生命科学论文,但复现成功率都不怎么理想。这可不是什么故意造假,是生命科学的底层逻辑所决定的。AI在科学上的潜力当然巨大,但现实世界的科研中有很多领域缺乏廉价的验证手段,同时也缺乏高信噪比的优质数据,中短期内我们不可能指望AI在这些领域包治百病。

AI的确在加速人类科研的发展,但现在的确远没到可以无条件乐观的时候。非常值得担心的是,因为缺乏有效的验证系统和高质量的数据,AI在生命科学等领域生产的无意义研究,会远远大于它带来的科学进步。而区分无意义研究与有效进步的工作依然需要人类去进行,这最终有可能导致传统科研系统的崩溃。像湘雅这次的问题论文,不过是AI大量生产无意义研究的又一次体现罢了。

无奈之处在于,这种情况几乎是不可避免的,因为学术共同体对这种无意义研究是有需求的。在讨论医生与科研学术的关系时,有一个问题值得反复强调,那就是医生的晋升需要论文,但一个专心于临床的医生能做科研的时间和精力都是极度有限的,越是大医院,在这方面的矛盾也就越严重。在这种情况下,少部分医生会选择学术造假或者是购买论文。

这并非是给他们开脱,我们要强调的是,类似的问题并不是简单的个人道德问题,背后有着现代学术体系的制度性基础困境,这不是说严查就能解决问题的。学术晋升制度如此,现在整个论文产业已经形成了一个完整,甚至可以说是覆盖全球的产业链,这个现实基础不改变,用AI辅助和造假的市场就不会消失。

在这次论文P图造假事件中,一部分媒体在报道相关期刊时,用一种很惊讶的语气表示原来这些期刊是要收版面费或论文处理费的。但实际上这种传统已经持续了几十年了,甚至可以说是科研产业的核心。所以期刊当然有理由对某些用AI生成的无意义研究网开一面;炮制流水线论文的机构和研究者们当然也只会越来越深度的拥抱AI。我们只能希望,如这次的医学造假论文,其“成果”不会哪天用到人身上。

就像我们前面说的,AI目前对科研学术带来的影响只能用混沌来形容,现在难以用好坏来判断。但无论如何,我们可以肯定的是,现代科学建立以来的这套科研体系,已经越来越不适应当下的新时代了。

当下生命科学乃至于整个学术系统的晋升机制,一开始的出发点当然不是坏的。虽然持续发展到今天之后,已经有太多本末倒置的地方,很多时候是为了科研而科研,但不管怎么说,最起码过去几十年,全球的科研体系都是靠它来推动的。比如说大家都觉得医生晋升太依赖论文是有问题的,可是如果废除这个标准的话,晋升依然需要新的标准,如果这个标准是量化的,依然存在刷分的可能性,如果非量化的话,那背后操作的空间又太大了,不利于公平。

很长一段时间里,科研系统就是这么在量化和非量化之间勉强平衡来回妥协,缝缝补补地运转。但在人工智能普及之后,这种内在矛盾被极大激化了,妥协和缝补眼看着要无济于事了。我们现在只能说,人工智能有可能成为开创全新科研体系的工具,也有可能成为摧毁科研体系的导火索,关键在于人类的选择。

我们当然没法在篇幅有限的文章中轻易设想,人工智能时代全新的科研体系该如何建构和运转,但我们可以退而求其次,从目的论和存在论上去探讨,全新的科研体系应该为了什么目的而存在。

在以往,不同人群对这个问题的答案是有分歧的。有人认为科研的目的是为了社会整体的利益,有人觉得科研是为了资本的增殖,还有人觉得是为了学术共同体内部的运行。在人工智能全面入侵脑力劳动的时代,这三个目的的统一变得越来越不现实。

闭源AI巨头们想要垄断科学研究来维持自己的估值,而AI生产的无意义学术内容虽然可以维持学术共同体的运行,但闭源AI巨头们和学术共同体推动科研的目的,在人工智能时代可以说是和社会大众渐行渐远。如何让人工智能时代的科研体系真正作用于社会大众,这是创建新体系时首先要思考的问题。

这不只是道德使命上的口号,也具有建设路径上的实际意义。考虑到AI对科研效率的提升,理论转化成为应用的速度也会更快,纯理论研究被轻视的可能性就被降低了,就不用过于依赖学术形式主义的考核去维护理论研究的权威。相应得,对科研的考核应该更强调对社会整体的积极作用,在这方面设立指标体系,也会让刷分的难度变得更大,进而达成新一轮量化和非量化的平衡。当然,以上只是粗浅的设想,这样的体系究竟如何建立,最终还需要实践和时间给我们答案。

原文出处:虎嗅 (本文由聚合程序自动采集,版权归原作者所有)