AI视频的违和感从何而来?仅凭嘴部动作并不能识破的影像问题
機械翻訳 / Machine-translated
将AI生成的人物视频暂停查看时,看起来像一张制作精良的照片。然而一旦播放,莫名地让人感到不安。声音与嘴唇的动作大体吻合,却比起对话内容,更在意脸部的动作。
原因未必只在嘴部。视线没有随着语言而变化,台词结束后嘴唇仍在微微动作,侧过头的瞬间下颌轮廓轻微抖动。这些都是细微的变化,但叠加在一起,就会形成整段视频的不自然感。
观看人物视频时,人们不会将声音与脸部分开接收,而是作为一个整体的表演来观看。因此在审查时,不仅要确认"是否同步",还要确认说话者的动作是否看起来浑然一体。
从脸部读取的信息其实相当丰富。眼睛朝向哪里、眉毛何时动作、开口之前有怎样的停顿。即便嘴型对得上,若这些反应与声音无法配合,人物就很难看起来像是在当场说话。
例如,台词是在向某人发问,视线却始终固定在正前方,就会让人感觉只有声音在朝对方传递。强调的词语与眉毛、头部动作出现偏差时,说明的意图也会显得薄弱。
如果有感到别扭的地方,可以先调低音量,只看脸部动作;再闭上眼睛,只听声音的语调与节奏。将两者分开,更容易判断问题出在画面上,还是出在声音的表演或剪辑上。这种方法不是为了凭单方面下定论,而是为了找出违和感所在的位置。
有些问题在静止画面中看不出来。牙齿形状在某一瞬间发生变化;嘴巴周围的质感变得格外光滑;脸部侧转途中,下颌轮廓轻微跳动。播放时产生的违和感,比起每一帧的精美程度,更容易体现在前后帧的衔接方式上。
这也正是仅凭一段朝向正面的短暂样本难以做出判断的原因。看到轻微转头的场景、头发或手遮住嘴部的场景,乃至表情发生变化的场景,才能了解处理效果稳定的范围。
不过,仅凭一处瑕疵就否定整个工具未免武断。即便是同一服务,根据脸部大小、光线、动作以及输入视频的压缩状态,成品效果也可能有所不同。若要进行比较,尽量使用相同的素材和条件,并记录下在哪些场景出现了问题,这样更有参考价值。
审查时目光容易聚焦在有台词的部分,但短暂的沉默中同样有表情存在。换气、收回视线、紧绷的脸颊微微放松——正是这些细微的变化,才让下一句话自然衔接。
声音停止后嘴巴仍在持续动作,会显得突兀;反之,整张脸完全僵住,又会让人有种面对玩偶的感觉。重要的不是动作的多少,而是契合当前场景的停顿。
日语中,词尾的处理方式和一拍的间隙会左右整体印象。字幕在何处断行、在哪次呼吸时切换镜头,这些也与嘴部的处理并非毫无关系。与其先对齐音频再修改画面,不如将声音、字幕与剪辑放在同一时间轴上统一审视,调整起来会更容易。
制作画面可以将脸部放大显示,然而观众看到的可能是手机的竖屏,也可能是线上会议的共享屏幕。在放大状态下发现的瑕疵,实际观看时未必会构成问题;反之,在编辑画面中没有察觉的节奏感问题,完整播放时可能反而会很明显。
审查分两个阶段进行为宜。第一遍以预设的设备和播放速度,不中途暂停地看到最后,期间只记录注意力从内容上分散的位置。第二遍回到那几秒,分别确认声音的起止、视线、嘴部轮廓以及镜头的切换点。
由于有时越到后段声音与动作的偏差越大,不能只看开头部分,务必将完整文件从头到尾看一遍。逐帧播放在排查原因时很方便,但最终判断要恢复到正常速度进行。
背景静止的独白视频,与多人对话并走动的视频,需要确认的要点并不相同。脸部较小、侧脸居多、嘴部被手遮挡、持续出现暗场等条件,也会影响最终效果。
若要准备用于比较的短片素材,应选择与实际想要制作的视频相近的内容。不只包含正面发话,还加入短暂的沉默和轻微的回头动作,更容易判断可适用的范围。输入的视频与音频要统一,并保留重做的次数记录。比起制作一套虚构的评分体系,记录下哪些地方需要返工,对下次制作更有参考意义。
涉及人物的脸部与声音,除了技术层面,还需确认版权与授权问题。若要呈现出本人实际上并未说过的话,除了获得使用许可之外,还应考虑是否有必要向观众说明经过了加工处理。
当难以从一开始就尝试所有工具时,比较网站有助于整理候选方案。LipSync Atlas 是一个AI口型同步相关工具的比较与导航网站,可按用途、品质、价格等条件进行筛选,本身并不提供直接生成视频的服务。
不过,阅读网站上所列数据时需要留意。该网站的方法说明指出,当前的品质评估基于所提供的评价数据,不附带作为依据的原始视频与执行日志。因此,不宜将其作为独立验证结果来对待,而应将其作为了解候选工具和确认要点的参考资料加以使用。
比起从排行榜靠前的工具中进行选择,更应该在接近自己实际素材的条件下进行简短测试,再将结果在正常屏幕尺寸下重新审视。人物视频的违和感难以用单一数值来衡量,正因如此,最终的判断应以完整影像的整体流畅度为准。