표정 바인딩을 구현한 방법

Virmii가 AI 표정 아트워크, 얼굴 투영, 카메라 트래킹을 결합해 중간 포즈와 부분 재시도로 아바타 표정을 움직이게 한 과정을 소개합니다.

업데이트
표정 바인딩을 구현한 방법 표지

처음에는 단순히 연결이 빠진 것처럼 보이는 문제에서 출발했습니다. 생성된 아바타가 고개는 돌릴 수 있었지만 얼굴은 그대로 멈춰 있었기 때문입니다. 트래커를 표정 이름에 연결하는 것만으로는 충분하지 않았습니다. 사람이 눈을 깜박이거나 입을 열었을 때 모델이 실제로 화면에 보여 줄 표현이 필요했습니다.

이전 글에서는 임의의 생성 메시에 대해 얼굴 셰이프 키를 자동으로 만드는 일이 왜 어려운지 설명했습니다. 그 문제가 사라진 것은 아닙니다. 대신 우리는 다른 표정 파이프라인을 구축했습니다. 눈과 입의 이미지를 생성해 얼굴 위에 배치하고, 카메라 트래킹에서 얻은 값에 맞춰 적절한 포즈를 선택하는 방식입니다.

이 방식을 통해 움직이는 3D 모델을 유지하면서도 얼굴 표정은 아트워크로 표현할 수 있습니다. 물론 모델 자체가 완전히 리깅되어 변형 가능한 얼굴로 바뀌는 것은 아닙니다.

정면 기본 얼굴 참고 이미지, 생성된 눈과 입 아트워크, 고개를 돌리는 아바타에 투영된 아트워크.

개념 일러스트: 얼굴 부위를 찾고 표정 아트워크를 생성한 뒤 움직이는 얼굴에 투영합니다. 실제 제품 스크린샷이 아닙니다.

모델의 실제 얼굴에서 시작하기

참고 이미지는 원본 캐릭터 일러스트가 아니라 완성된 3D 모델에서 가져옵니다. Virmii는 모델을 잠시 기본 자세로 되돌리고 정면에서 바라본 1024×1024 이미지를 렌더링한 뒤, 원래 자세를 복원합니다.

생성된 모델은 원본 이미지와 세부 모습이 다를 수 있기 때문에 이 과정이 중요합니다. 참고 이미지의 눈과 입이 뷰어가 실제로 렌더링하는 얼굴과 정확히 맞물려야 합니다. 또한 이 방식을 쓰면 텍스트로 만든 모델도 같은 과정을 사용할 수 있어 원본 일러스트가 없어도 됩니다.

이 참고 이미지를 Gemini로 보냅니다. 이 단계에서 사용하는 것은 아바타의 렌더링 이미지이지, 사용자의 웹캠 사진이 아닙니다.

아트워크를 생성하기 전에 이목구비 위치 찾기

표정을 만들기 전에 먼저 화면 기준 왼쪽 눈, 오른쪽 눈, 입의 세 영역을 찾습니다. 각 영역의 경계는 참고 이미지의 왼쪽 위를 기준으로 0에서 1 사이의 좌표를 사용합니다.

처음에는 프롬프트로 JSON을 요청하고 응답 MIME 타입을 JSON으로 설정했습니다. 하지만 그것만으로는 필드 이름이나 좌표 타입까지 강제할 수 없었습니다. 실제로 프로덕션 환경에서 반환된 영역 데이터가 검증을 통과하지 못해 표정 이미지 배치를 제출하기도 전에 실패한 사례가 있었습니다.

업데이트된 구현에서는 JSON Schema도 함께 전달합니다. 성공 응답은 명시적인 상태 값과 세 영역을 포함하며, 각 영역은 0에서 1 사이의 숫자 네 개로 제한됩니다. 정면 얼굴로 인식할 수 없는 경우에는 status: "not_frontal"과 regions: null을 담은 별도 응답 형식을 반환합니다.

스키마는 구조만 검사합니다. 따라서 기하학적 검증도 별도로 수행합니다. 박스의 크기가 적절한지, 양쪽 눈의 좌우 순서가 맞는지, 입이 눈보다 아래에 있는지, 확장된 패치 영역이 서로 겹치거나 참고 이미지 밖으로 벗어나지 않는지 확인합니다.

13개의 이미지를 생성하고 재사용하기

표정 세트는 다음 이미지로 구성됩니다.

표
아트워크이미지 수
감긴 눈과 반쯤 감긴 눈2
부드러운 미소1
다섯 가지 모음 입 모양5
각 모음의 작은 입 모양5
합계13

기본 표정은 원래 얼굴을 그대로 사용하므로 별도의 기본 표정 이미지는 필요하지 않습니다.

각 편집은 동일한 참고 이미지에서 시작합니다. 프롬프트는 구도, 조명, 머리카락, 얼굴 위치를 유지하면서 필요한 부위만 바꾸도록 Gemini에 요청합니다. 특히 작은 입 모양과 큰 입 모양 사이에서 입 안쪽과 혀의 색감을 일관되게 유지하는 것이 중요합니다. 분홍빛이던 작은 입이 거의 검은색에 가까운 큰 입으로 바뀌면 트래킹이 정확하더라도 전환이 어색하게 튀어 보입니다.

생성 작업은 요청마다 별도의 콜백 URL을 가진 백그라운드 배치 요청을 사용합니다. 워크플로가 완료를 기다리기 전에 이미지 요청을 먼저 제출하므로 13개의 대기열을 하나씩 순서대로 기다리지 않습니다. 처리에는 최대 약 24시간이 걸릴 수 있으며, 작업이 진행되는 동안 사용자는 페이지를 떠나도 됩니다.

콜백이 도착하면 서버는 서명을 검증하고 예상한 배치에 속한 요청인지 확인합니다. 그런 다음 Google에서 결과를 가져와 이미지를 검증하고 R2에 저장합니다. 모든 이미지 세트가 완성되어야 재생에 사용할 수 있습니다.

아트워크가 얼굴 움직임을 따라가게 만들기

첫 실험에서는 모델이 정면만 바라보도록 고정했습니다. 정렬은 쉬웠지만 아바타가 너무 멈춰 있는 느낌을 주었습니다. 우리는 머리와 몸의 움직임을 그대로 유지하고 싶었습니다.

현재는 기본 자세의 모델에 참고 이미지를 투영하고 그 투영 좌표를 메시에 저장합니다. 스키닝을 통해 얼굴이 움직일 때 좌표도 함께 이동합니다. 재생 중에는 별도의 마스크가 왼쪽 눈, 오른쪽 눈, 입 아트워크가 표시될 위치를 결정합니다.

이렇게 영역을 분리하면 양쪽 눈을 감은 이미지 한 장을 양눈 각각의 윙크에 재사용할 수 있습니다. 한쪽 눈만 감으면 해당 눈 영역에만 아트워크가 적용되며 얼굴 전체를 덮어쓰지 않습니다.

투영 방식은 눈에 잘 띄지 않는 버그도 드러냈습니다. 입 패치가 턱 뒤쪽 표면까지 닿는 문제였습니다. 정면에서는 가려져 보이지 않다가 고개를 돌리면 목이나 옷깃 근처에 창백한 얼룩처럼 나타났습니다.

재생 단계의 수정에서는 두 가지 검사를 추가했습니다. 머리 본(bone) 가중치로 아트워크가 그려질 수 있는 메시 부위를 제한하고, 기본 정면 시점의 깊이(depth) 이미지를 사용해 얼굴 뒤에 가려진 표면을 제외합니다. 이를 통해 관계없는 표면으로 투영이 번지는 현상을 줄였습니다. 다만 여전히 모델의 지오메트리와 본 가중치에 영향을 받으며, 모든 얼굴을 완벽히 분리하는 범용 분할 시스템은 아닙니다.

이미지를 서로 겹쳐 디졸브하는 것보다 중간 포즈가 더 자연스럽습니다

초기 전환 방식은 한 표정 이미지에서 다음 이미지로 서서히 블렌딩했습니다. 하지만 눈과 입에서는 두 윤곽선이 동시에 비쳐 보이는 문제가 생겼습니다. 부드러운 눈 깜박임 대신 눈꺼풀 잔상이 남거나 입이 두 개로 겹쳐 보였습니다.

지금은 한 번에 하나의 불투명한 포즈를 선택합니다. 눈 깜박임은 반쯤 감긴 이미지를 거쳐 완전히 감긴 이미지에 도달한 뒤 다시 열립니다. 주변 얼굴과 자연스럽게 이어지도록 패치의 가장자리만 부드럽게 처리합니다.

입 트래킹에도 추가 보정이 필요했습니다. 처음에는 작은 입이 큰 입으로 넘어가기 전의 짧은 전환 단계에 불과했습니다. 그 결과 입을 살짝만 벌린 상태를 유지해도 결국 가장 큰 입 포즈로 바뀌어 버렸습니다.

현재 선택 로직은 추적된 표정 강도를 사용합니다. 작은 움직임은 작은 입 포즈에 머물 수 있고, 더 큰 움직임일 때만 큰 입 포즈를 선택합니다. 큰 입 포즈로 들어갈 때와 나올 때의 임계값을 다르게 두어 경계 부근에서 포즈가 빠르게 깜박이며 바뀌는 현상을 방지합니다. 사용자는 입 감도 설정으로 이 반응 정도를 조절할 수 있습니다.

양쪽 눈도 각자 독립된 눈 깜박임 상태를 가집니다. 눈을 감을지 결정하기 전에 눈 깜박임 감도와 눈을 뜬 상태의 기준값(open-eye baseline)을 먼저 적용합니다. 고정된 임계값만 쓰면 무시되기 쉬운 미세한 윙크를 표현하는 데 중요한 처리입니다.

이러한 중간 이미지는 단계적인 표현을 제공합니다. 정교하게 제작된 얼굴 셰이프 키처럼 연속적인 기하학적 변형을 제공하지는 않습니다.

일관된 얼굴 정렬을 유지한 세 단계의 눈 깜박임과 세 단계의 입 열림.

단계별 포즈의 개념 일러스트: 뜬 눈, 반쯤 감긴 눈, 감긴 눈과 닫힌 입, 살짝 열린 입, 더 크게 열린 입. 재생 시에는 두 얼굴을 디졸브해 합치는 대신 하나의 포즈를 선택합니다.

시도가 실패하더라도 이미 성공한 작업은 보존해야 합니다

성공적으로 저장된 각 이미지는 모델 버전에 기록됩니다. 실패한 작업을 재시도할 때는 이미 완성된 이미지를 보존하고 누락된 이미지만 다시 제출합니다. 기존 배치 결과를 다운로드하거나 저장하는 과정이 중단된 경우에는 곧바로 새 생성 비용을 지불하는 대신 기존 결과를 다시 가져오는 복구 경로를 먼저 시도합니다.

한 번 성공한 표정 이미지는 해당 모델 버전에 고정됩니다. 애플리케이션은 성공한 이미지를 초기화하거나 다시 생성하는 경로를 제공하지 않으며, 서버도 이미 기록된 키를 덮어쓰려는 시도를 거부합니다.

이 정책은 완성된 작업을 보존하지만 예술적 품질까지 보장하지는 않습니다. 기술적으로 유효한 이미지라도 어색한 입 모양이나 시각적 불일치가 있을 수 있습니다. 또한 제공업체에 요청을 제출할 때 모호한 타임아웃이 발생한 경우 비용이 전혀 청구되지 않았다고 보장할 수도 없습니다.

이 방식이 가능하게 하는 것과 그렇지 않은 것

현재 이 파이프라인은 텍스트나 이미지로 Virmii에서 생성한 모델에 연결되어 있습니다. 사용자가 직접 업로드한 VRM은 파일 내부에 이미 있는 표정 바인딩을 계속 사용하며, VRM을 업로드한다고 해서 빠진 표정이 자동으로 추가되지는 않습니다.

정면에서 얼굴이 뚜렷하게 보여야 합니다. 비인간형 얼굴, 가려진 눈이나 입, 독특한 머리 비율, 돌출이 심한 얼굴 지오메트리, 큰 각도의 고개 회전은 감지나 정렬을 불안정하게 만들 수 있습니다.

아트워크는 VRM 파일과 별도로 저장됩니다. Virmii의 모델 미리보기, Live Studio, OBS 스테이지에서 재생되며, 모델을 다운로드해도 이 재생 시스템이 내장되거나 다른 애플리케이션용 얼굴 셰이프 키가 생성되지는 않습니다.

우리가 만든 것은 자동 얼굴 메시 제작 문제를 먼저 해결하지 않고도 지원되는 생성 아바타에 눈에 보이는 표정을 부여하는 실용적인 방법입니다. 3D 리그가 움직임을 담당하고, 이미지가 얼굴 포즈를 제공하며, 트래커가 언제 어떤 포즈를 쓸지 결정합니다.

사용자 설정 방법은 AI 표정 생성 가이드에서 확인하세요.

구독하지 않는 경우 AI 표정 생성에는 세트당 20크레딧이 사용됩니다. Creator와 Pro 요금제는 월간 기본 제공 생성 횟수를 먼저 차감하며, 추가 세트는 20크레딧이 필요합니다. 생성에 실패하더라도 최초 차감된 비용은 유지됩니다. 각 모델 버전은 누락되거나 실패한 이미지에 대해 크레딧, 기본 제공 생성 횟수, 모델 재시도 횟수를 추가로 쓰지 않고 최대 2회까지 무료로 재시도할 수 있습니다. 월간 제공량은 요금제 페이지에서 확인하세요.