实测可灵4.0：让AI跳一段舞，怎样更接近理想效果？
雷峰网
·
·
科技
2004年，张艺谋在《十面埋伏》里拍下了一场令人难忘的水袖击鼓舞。(雷峰网)章子怡饰演的舞者置身鼓阵中央，随着乐声腾跃、旋转，两条长水袖在空中翻飞，时而划出巨大的弧线，时而甩向四周的鼓面。人物的动作、绸布的轨迹和密集的鼓点配合在一起，至今仍是影片中最具辨识度的场面之一。这场表演本身就不容易复刻。舞者、水袖和鼓阵要配合得…
2004年，张艺谋在《十面埋伏》里拍下了一场令人难忘的水袖击鼓舞。(雷峰网)章子怡饰演的舞者置身鼓阵中央，随着乐声腾跃、旋转，两条长水袖在空中翻飞，时而划出巨大的弧线，时而甩向四周的鼓面。人物的动作、绸布的轨迹和密集的鼓点配合在一起，至今仍是影片中最具辨识度的场面之一。这场表演本身就不容易复刻。舞者、水袖和鼓阵要配合得恰到好处，电影还可以借助镜头调度与剪辑，让每一下击鼓都显得干净利落。如今把这套要求浓缩进一段提示词，让AI一次生成15秒，听起来多少有点为难它。但我们还是想试试。毕竟可灵4.0这次重点升级的能力之一，就是复杂动态的生成。10月15日，可灵4.0正式上线，原生生成时长延长至30秒，并在复杂动态、参考控制和视频编辑等方面带来更新。除了这场水袖击鼓舞，我们还找来了《雨中曲》的经典独舞，让它拍摄一条普通女生逛旧街区的30秒生活短片，并试着修改已经生成的视频。这次实测，我们想看看可灵4.0能把这些要求完成到什么程度，以及实际用起来，是不是真有官方样片看上去那么轻松。水袖击鼓本来就是一种难度很高的表演，到了电影里，还要兼顾人物的身法、布料运动、鼓阵的位置和摄影机的调度。对视频生成模型来说，它需要处理如何让这一连串动作在同一个场景中成立。我们原本以为，真正困难的部分会是舞者的腾空翻跃，没想到几轮生成下来，最让人头疼的竟然是如何让她正确地击中鼓面。我们先准备了人物造型和鼓阵的参考图，向可灵交代红色舞服、浅粉色长水袖，以及旋身、腾挪、跃起、甩袖击鼓等动作，希望用一次15秒的生成，还原这场舞蹈的主要特征。
从画面观感来说这一版表现尚可。红衣舞者的造型基本成立，绸布在空中也有了舒展、回旋的动态，整个场景已经能够让人联想到原片。但一到真正击鼓的环节时，舞者会直接用手去碰鼓面，水袖有时只是跟着手臂飘动，并没有承担击鼓的作用。我们随后围绕这个问题反复调整提示词，明确要求鼓必须固定，袖尾是唯一允许接触鼓面的部分。考虑到模型可能没有理解完整的动作编排，我们还将15秒拆分成起势、腾空翻跃和连续击鼓几个阶段，希望后半段能够有明显的速度和力量变化。我们经过接近七八轮重新调整的测试还是无法全程用水袖末端击鼓的目的。有的版本里，舞者依然用手代替水袖击鼓；有的版本虽然甩起了长袖，却只是站在原地缓慢转圈，缺少预想中的腾跃和空间位移。更奇怪的是，部分画面中的鼓体会自行移动为了达到提示词中说的“击鼓”的目的。我们没有像专业的影视从业者一样绘制逐镜分镜，作为20年前的电影场景能够成功本身就和剪辑分镜特效这些不无关系。这不能说明模型没有能力完成这条视频，只是在依赖参考图与自然语言描述的创作方式下，即使反复强调同一个要求，复杂动作也未必能够稳定地朝着预期方向修正。对于那些希望用AI辅助制作影视内容的人来说，这也是值得关注的问题。相比之下，《雨中曲》的测试让我们看到了可灵更擅长的一面。
1952年上映的《雨中曲》，留下了影史上最著名的歌舞场面之一。吉恩·凯利穿着西装、戴着礼帽，在雨夜的街道上撑伞独舞，伴随音乐旋转、踢踏，最后跳进路边的积水。人物动作、音乐节奏与摄影机的配合，让一条普通街道变成了充满趣味的表演空间。这次我们提供了四张经典片段的参考图片，要求模型生成一段具有复古好莱坞歌舞片质感的雨中独舞，保留黑色雨伞、礼帽、路灯和潮湿的街道，同时安排转身、摆伞、踢踏和踩水等动作。第一版的完成度就相当不错。镜头始终围绕主角展开，身后的砖墙和街道没有出现明显的场景突变，雨夜的色彩、灯光，以及浸湿后的西装质感都比较自然。爵士乐与最后的踩水动作也基本能够对上节奏，让整个片段有了一点老式歌舞电影的味道。我们尤其喜欢一个很容易被忽略的细节：人物在路灯下舞动时，身后的墙面出现了随着动作变化的投影。这让画面不只是有一个人在雨中跳舞，人物与环境之间也建立起了联系。不过，可灵显然还没能照顾好每一个细节。男主角有一次仰头，帽子从头上掉了下来，等他再次抬起头，帽子又若无其事地出现了。最后几次踩踏积水时，水花也显得过于规整，几乎总是以同一个圆心向两边对称散开。男主角脸上的笑容同样有些完美，缺少真人在持续运动时自然发生的表情变化。画面质感一直是可灵比较受认可的优势，但随着Seedance持续迭代，漂亮的画面已经不再是哪一家的独门本领。今年7月，Seedance 2.5率先支持30秒生成，并升级多模态参考和视频编辑。不到三个月后，可灵4.0上线，更新重点同样落在30秒生成、复杂动态和参考控制上。近期一些创作者的同题测试也出现了不同评价：有人更喜欢Seedance的人物真实感，有人则更认可可灵的动作表现。两者各有所长，已经很难只凭一条漂亮样片判断高下。对于快手来说，这场竞争还有商业上的压力。今年二季度，可灵AI收入已超过8.5亿元，同比增长逾200%。它要留住的不只是尝鲜的用户，还有真正拿它制作广告、短剧等内容的付费创作者。而对这些人来说，视频生成出来，工作往往才刚刚开始。《雨中曲》生成得还不错，我们又想试试可灵4.0这次升级的视频编辑功能。假如一条视频的动作、构图和场景都已经满意，只是想换掉人物身上的衣服，能不能不必再从头抽卡？
原文出处：雷峰网
（本文由聚合程序自动采集，版权归原作者所有）
