HCI 先驱 de Souza:当 AI 替我们阅读,谁来为知识负责?| ACM MM 2026
研究者需要的不只是AI生成的答案,更是审查答案、追溯来源并为知识判断负责的能力。 作者丨张 璐 编辑丨马晓宁 你有没有过这样的经历:面对几十页密密麻麻的PDF,实在抽不出时间细读,于是把论文丢给ChatGPT或Claude,让它帮你提炼核心观点。几秒钟后,一份条理清晰的摘要出现在屏幕上。你点点头,觉得自己已经掌握了论文…

作者丨张 璐
编辑丨马晓宁
你有没有过这样的经历:面对几十页密密麻麻的PDF,实在抽不出时间细读,于是把论文丢给ChatGPT或Claude,让它帮你提炼核心观点。
几秒钟后,一份条理清晰的摘要出现在屏幕上。你点点头,觉得自己已经掌握了论文的主要内容,甚至直接将其中的观点引用进了自己的研究。
但是,等等——你确定AI总结的,真的是原作者想表达的意思吗?如果它悄悄引入了原文没有的观点,甚至将毫不相干的概念联系在一起,作为研究者的我们,能否及时发现?
在正在举行的 ACM Multimedia 2026 上,人机交互领域先驱、巴西里约热内卢天主教大学(PUC-Rio)荣休教授 Clarisse Sieckenius de Souza 带来了一场主题演讲。
她从自己提出的“语义工程”(Semiotic Engineering)理论出发,讨论AI如何改变人与信息之间的关系,以及当我们把文献阅读和理解的工作交给AI时,如何守住研究者的“认知权威”(Epistemic Authority)。
从界面如何传递设计者的意图,到AI摘要如何偏离原文,再到如何借助 PEEL 方法审视AI的文本处理过程,这场演讲为我们理解AI时代的知识责任提供了一个新的视角。
以下是演讲全文雷峰网:
在我看来,人机交互(HCI)可以被理解为一场对话。
但这并不是应用程序或系统与用户之间简单的对话,而是一场由计算机媒介实现的、发生在人类群体之间的对话:一方是设计和开发应用程序的人,另一方是使用这些应用程序的人。
这场对话通过界面展开。界面实际上扮演着设计者代理人的角色,代替设计者向用户传递信息。它只能按照设计者预先设定的方式和语言进行表达,也就是我们通常所说的人工语言。
举个例子,当我们使用一个网站时,界面会告诉我们哪些操作是允许的,哪些操作是不允许的。在一个Cookie偏好设置页面中,用户可能尝试切换某项必要的设置,但界面却告诉我们,这项操作无法完成。

这条信息实际上来自设计者。用户通过界面得到的反馈,反映了设计者希望用户做什么、能够做什么,以及不能做什么。
这就是语义工程(Semantic Engineering)的基本思想:界面代表设计者发声,用户则通过学习和使用界面语言,与设计者进行交流。

当然,界面语言不一定是文字。它也可以是一套完全图形化、以对象为中心的语言。我们通过操纵屏幕上的对象来表达自己的意图,界面则通过对象的变化回应我们的操作。
不过,界面并不总能按照用户的预期作出回应。
我曾经在准备这场演讲时遇到一个很有意思的情况:我试图在界面中插入一个文本框,结果它竟然上下颠倒了。我完全不知道为什么会发生这种情况。
这恰恰说明,我们有时无法准确预测界面会如何回应。面对意料之外的结果,我们只能尝试理解它,并调整自己的操作。

通常,每个系统都有一套约定俗成的交互模式。这些模式在一定程度上限定了用户能够表达什么、能够做什么。我们需要不断尝试,寻找通过界面表达自己意图的方式。
更重要的是,每个系统都有自己独特的语言。即使两个系统使用相同的词汇,这些词汇背后的语义也可能完全不同。
因此,每当我们接触一个新系统,就需要经历一次语言学习的过程。
这与儿童学习母语,或者成年人学习第二语言有些相似。我们会不断尝试,观察系统如何回应,理解不同词汇和视觉符号的含义,再逐渐掌握这套语言。
当我们面对一个从未使用过的系统时,往往会进行大量尝试。我们不知道某个按钮意味着什么,也不知道某个视觉元素会产生怎样的结果,只能通过交互来建立理解。
那么,语义工程究竟包含哪些核心内容?我想从三个方面来说明。
第一,人机交互是一种中介传播。设计者和开发者通过人工界面语言,将自己的设计意图传递给用户。用户通过学习这套语言,与设计者的代理人进行交流,并尝试实现自己的目标。
当然,用户的目标不一定总是设计者预先设想的目标。有时候,我们会创造性地使用一个应用程序,完成设计者从未预料到的任务,而这些操作甚至可能运行得很好。
第二,界面中的交流依赖三种符号。
第一种是静态符号。它们固定存在于界面中,仅凭自身的呈现方式就能传递意义。
第二种是动态符号。它们需要通过时间和状态变化来传递意义。例如,当我们点击一个按钮,按钮产生的变化以及随后发生的行为,都会告诉我们这个按钮意味着什么。
第三种是元语言符号(Metalinguistic Signs)。这是一个专业术语,指那些能够解释其他符号的符号。例如,界面提示可以告诉我们某个图形对象代表什么,也可以引导我们采取某种操作,以实现特定目标。
第三,用户具有很强的语言学习能力。设计者会利用已有的交互模式、熟悉的语言体系以及元语言提示,帮助用户理解新的界面词汇和语义。

以上三个方面构成了语义工程的基本框架。但随着AI的发展,我们与计算机交流的方式正在发生变化。AI已经能够使用自然语言与我们对话。
那么,一个问题随之出现:既然AI能够理解自然语言,语义工程是不是已经没有那么重要了?
我的答案是:恰恰相反。

大约四周前,我在使用Claude准备这场演讲时,遇到了一件让我非常意外的事情。
Claude的界面看起来很简单,就是一种对话式交互模式。我们在输入框中提出问题,Claude则在屏幕上给出回答。
但在某些情况下,界面还会根据当前对话的上下文,预测用户接下来可能输入的内容,并主动提供建议回复。
这本身并不奇怪。真正让我感到惊讶的是一次具体的对话。
当时,我正在和Claude讨论一些问题。它突然列出了一份清单,其中第一项竟然是它认为我想要表达的论文主旨。它给出的观点大致是:问责机制必须被设计出来,而不能被想当然地假定存在。
我当时非常惊讶,因为我从来没有想过要把这个观点作为自己的论文主旨。但我觉得这个想法很有意思,于是顺着它的建议继续讨论。我告诉Claude,它提出的这个论点很好,我们可以围绕它展开讨论。
没想到,Claude很快就纠正了我。它说,首先需要澄清一点:它之前并没有提出这个论文主旨,只是在询问我真正想表达什么。现在回顾整个对话,它才意识到这个观点似乎出现过。
于是,我继续追问:如果不是你做
原文出处:雷峰网 (本文由聚合程序自动采集,版权归原作者所有)