上交大张伟楠教授：AI如何走出屏幕，真正改变物理世界？ | CNCC 2026

大语言模型已经得到了长足的发展，但 AI 的许多能力仍然发生在屏幕之内：理解文字、生成内容、编写代码，以及调用数字工具。把这些能力带入工厂、实验室和城市设施，意味着智能系统必须进一步面对物体、空间、力与时间，在持续变化的环境中作出判断，并承担行动的实际后果。

AI 如何从处理数字信息走向可靠地参与物理过程，正是“物理智能”要回答的问题。

这一步跨越的难度，很难仅用模型参数或推理能力来衡量。机器人拿起一只杯子，既要识别位置和形状，也要判断接触、摩擦与受力；实验设备执行一次操作，既要理解任务，还要满足精度、时延和安全约束。

网页操作失误可以刷新，物理世界中的碰撞、损坏却未必能够撤销。感知是否及时、动作是否可控、失败后能否恢复，都会直接影响系统能否真正投入使用。

在今年 CNCC 首日面向博士生、青年学者的 Tutorial 专题论坛环节中，上海交通大学计算机学院教授、上海人工智能实验室物理智能中心负责人张伟楠发表了题为《物理智能及关键技术概述》的演讲。在他看来，基础模型、世界模型、强化学习与高吞吐仿真、虚实迁移，以及硬件成本的下降，正在共同推动物理智能从研究愿景走向可行实践。与此同时，真实交互数据昂贵、环境只能被局部观测、长时程预测误差累积等问题，仍然制约着能力的扩展。

围绕这些问题，张伟楠梳理了从硬件与系统、数据与仿真，到感知、世界模型、操作与运动控制，再到物理智能体和行业应用的七层技术栈。他强调，各层已有成果，真正困难的部分往往在于层与层的衔接，以及能否把感知、决策、执行和反馈连接成可靠的整体。模型训练完成之后，进入真实世界的持续学习同样重要。

这场演讲，为机器人、自动化、仿真和科学智能等方向，提供了一套相互连接的讨论框架。它也提出了一个更长远的问题：当AI 开始参与生产、实验乃至更大尺度的物理建设，我们应如何同步建立评测与安全机制，让能力增长转化为可靠的现实价值？

同时在CNCC 2026 Tutorial 会场，上海人工智能实验室物理智能团队发布了专著Physical AI: Concepts, Techniques, and Challenges，该专著系统梳理了物理智能的基本概念、关键技术与发展挑战，旨在为相关领域的研究与实践提供参考。专著预印本见https://arxiv.org/abs/2610.27045。

本届CNCC Tutorial 升级为 11 大主题板块、24 场内容，深度、广度和时长在学术会议中并不常见。现场多场Tutorial“站票告急”，更值得关注。

以下为雷峰网对演讲实录的精编。

01

从屏幕后走向物理世界

今天，我想讨论三个问题：物理智能是什么，它与具身智能有什么区别；它包含哪些技术层次，这些模块如何组织；以及我们应该怎样推进它的发展，长期目标是什么。

大家有没有注意到，我们今天使用的大语言模型、智能体和各种应用，绝大多数还在屏幕后面？数字智能已经非常繁荣，但它与物理环境的耦合仍然有限。

如果把“与物理世界的耦合程度”作为一条发展轴线，就可以看到这样一条路径：从数字AI 工具，到仿真环境中的智能体，再到真实环境中的单智能体、多智能体协作，继而走向基础设施级别的物理智能，最终形成广域、泛在、可获得的物理智能服务。