AI 영상의 어색함은 어디서 오는가? 입 모양만으로는 알 수 없는 영상의 문제
機械翻訳 / Machine-translated
❤️ 1
🔖 0
⚡ 0
AI로 만들어진 인물 영상을 일시 정지해서 보면, 잘 만들어진 한 장의 사진처럼 보인다. 그런데 재생하는 순간, 왠지 모르게 불편함이 느껴진다. 목소리와 입술은 대체로 맞는데, 대화 내용보다 얼굴 움직임이 신경 쓰인다.
원인이 입 모양에만 있는 것은 아니다. 시선이 말에 반응하지 않거나, 대사가 끝났는데도 입이 미세하게 움직이거나, 옆을 향하는 순간에만 턱 선이 흔들리거나. 모두 작은 변화지만, 겹치면 영상 전체의 부자연스러움이 된다.
인물 영상을 볼 때, 사람은 목소리와 얼굴을 따로 받아들이지 않는다. 하나의 연기로서 본다. 그래서 확인할 때도 "싱크가 맞는가"만이 아니라, 화자의 움직임이 자연스럽게 이어져 보이는지를 확인하고 싶다.
얼굴에서 읽어내는 정보는 생각보다 많다. 눈이 어디를 향하는지, 눈썹이 언제 움직이는지, 말을 내뱉기 전에 어떤 간격이 있는지. 입 모양이 맞아도, 이런 반응이 목소리와 맞물리지 않으면 인물이 그 자리에서 말하는 것처럼 보이기 어렵다.
예를 들어, 누군가에게 묻는 대사인데 시선이 정면에 고정된 채라면, 목소리만 상대방을 향하는 것처럼 느껴진다. 강조하고 싶은 말과 눈썹이나 고개의 움직임이 어긋난 경우도, 설명의 의도가 약해 보인다.
신경 쓰이는 부분이 있다면, 먼저 음량을 줄이고 얼굴의 움직임을 본다. 다음으로 화면을 보지 않고, 목소리의 톤과 간격만을 듣는다. 이 두 가지를 분리하면, 영상 측의 문제인지 음성 연기나 편집의 문제인지를 파악하기 쉽다. 어느 한쪽만으로 합격 여부를 결정하기 위해서가 아니라, 어색함의 위치를 찾기 위한 방법이다.
정지 화면에서는 보이지 않는 문제가 있다. 치아 모양이 순간적으로 바뀐다. 입 주변만 질감이 매끄러워진다. 얼굴이 옆을 향하는 도중에, 턱의 윤곽이 살짝 튄다. 재생 중의 어색함은, 한 장 한 장의 아름다움보다도, 앞뒤 프레임이 어떻게 이어지는가에 나타나기 쉽다.
정면을 향한 짧은 샘플만으로는 판단하기 어려운 이유도 그 때문이다. 고개를 조금 움직이는 장면, 머리카락이나 손이 입 주변에 겹치는 장면, 표정이 바뀌는 장면까지 보면, 처리가 안정적인 범위를 알 수 있다.
단, 하나의 실패만으로 툴 전체를 단정 짓는 것은 이르다. 같은 서비스라도 얼굴 크기, 조명, 움직임, 입력 영상의 압축 상태에 따라 결과물은 달라질 수 있다. 비교할 때는 가능한 한 같은 소재와 조건을 사용하고, 어떤 장면에서 무너졌는지를 기록해 두는 편이 도움이 된다.
점검 중에는 대사가 있는 부분에 눈이 쏠리기 쉽지만, 짧은 침묵에도 표정이 있다. 숨을 고르거나, 시선을 돌리거나, 긴장했던 볼이 살짝 풀리거나. 이런 작은 변화가 있기에, 다음 말이 자연스럽게 이어진다.
음성이 멈췄는데 입만 계속 움직이면 눈에 띈다. 반대로, 얼굴 전체가 완전히 굳어버리면 인형처럼 느껴지기도 한다. 필요한 것은 움직임의 많고 적음이 아니라, 그 장면에 맞는 정지다.
한국어에서는 어미의 처리 방식이나 한 박자의 간격이 인상을 바꾼다. 자막을 어디서 끊는지, 어떤 호흡에서 컷을 전환하는지도, 입 모양 처리와 무관하지 않다. 음성만 맞춘 뒤 영상을 고치는 것이 아니라, 목소리·자막·컷을 같은 타임라인에서 다시 보면 조정하기 쉽다.
제작 화면에서는 얼굴을 크게 표시할 수 있다. 그러나 시청자가 보는 것은 스마트폰의 세로 화면일 수도 있고, 온라인 회의의 공유 화면일 수도 있다. 확대 표시에서 발견되는 흐트러짐이, 실제 시청에서는 문제가 되지 않는 경우도 있다. 반대로, 편집 화면에서는 눈치채지 못했던 템포의 나쁨이, 통으로 보면 눈에 띄는 경우도 있다.
확인은 두 단계로 나누는 것이 좋다. 처음에는 예상하는 기기와 재생 속도로, 중간에 멈추지 않고 끝까지 본다. 그 사이에, 내용에서 의식이 벗어난 부분만 메모한다. 두 번째에 그 몇 초로 돌아가, 소리의 시작과 끝, 시선, 입의 윤곽, 컷의 경계를 개별적으로 확인한다.
후반으로 갈수록 음성과 움직임이 어긋나는 경우도 있으므로, 첫 부분만으로 끝내지 않고 완성 파일 전체를 보는 것이 중요하다. 프레임 단위 이동은 원인을 찾을 때 편리하지만, 최종 판단은 일반 속도로 돌아와서 한다.
배경이 움직이지 않는 혼자 말하는 영상과, 여러 사람이 대화하면서 움직이는 영상은 확인할 포인트가 다르다. 얼굴이 작거나, 측면이 많거나, 입 주변이 손으로 가려지거나, 어두운 장면이 이어지는 조건도 결과에 영향을 준다.
비교용 짧은 소재를 준비한다면, 실제로 만들고 싶은 영상에 가까운 것을 고른다. 정면의 발화만이 아니라, 짧은 침묵이나 가벼운 고개 돌림을 포함하면, 사용 가능한 범위를 판단하기 쉽다. 입력하는 영상과 음성은 맞추고, 다시 시도한 횟수도 남겨둔다. 가상의 점수를 만드는 것보다, 어디서 수정이 필요했는지를 적어두는 편이 다음 제작에 활용할 수 있다.
인물의 얼굴과 목소리를 다루는 이상, 기술뿐만 아니라 권리와 동의도 확인이 필요하다. 본인이 실제로는 하지 않은 말을 한 것처럼 보이게 하는 경우에는, 이용 허락에 더해 가공의 사실을 시청자에게 알려야 하는 상황인지도 생각하고 싶다.
모든 툴을 처음부터 시험하는 것이 어려울 때, 비교 사이트는 후보를 정리하는 데 도움이 된다. LipSync Atlas는 AI 립싱크 관련 툴을 용도·품질·가격 등으로 찾을 수 있는 비교·안내 사이트로, 영상을 직접 생성하는 서비스는 아니다.
한편, 게재된 수치의 해석에는 주의가 필요하다. 동 사이트의 방법 설명에서는, 현재의 품질 평가는 제공된 평가 데이터에 기반하며, 근거가 되는 원본 영상과 실행 로그는 첨부되지 않는다고 밝히고 있다. 독립적인 검증 결과로 취급하는 것이 아니라, 후보나 확인 항목을 파악하기 위한 자료로 활용하는 것이 타당하다.
랭킹 상위에서 고르는 것보다, 자신의 소재에 가까운 조건으로 짧게 확인한다. 그 결과를 일반적인 화면 크기로 다시 본다. 인물 영상의 어색함은 수치 하나에 담기 어렵기에, 마지막에는 완성 영상의 흐름으로 판단하고 싶다.
