Virmii가 AI로 얼굴 표정을 생성하는 방법

Virmii가 눈 깜박임, 미소, 입 모양 이미지를 AI로 생성해 카메라 트래킹에 맞춰 재생하는 원리와 지원 모델, VRM 다운로드에 표정 이미지가 포함되지 않는 이유를 알아보세요.

업데이트
Virmii가 AI로 얼굴 표정을 생성하는 방법 표지

업데이트 — 2026년 9월 20일: 이제 Virmii에서 생성한 모델은 AI 표정 생성 및 바인딩을 지원합니다. 완성된 모델을 열고 Generate expressions(표정 생성)를 선택하면 카메라 트래킹용 눈 깜박임, 미소, 입 모양을 추가할 수 있습니다. 얼굴 셰이프 키를 자동으로 제작하는 기능은 아니며, 직접 업로드한 VRM은 기존 바인딩을 그대로 사용합니다. 새로운 방식은 표정 바인딩을 구현한 방법에서 확인할 수 있습니다. 아래 글은 이 방식을 도입하게 된 지오메트리 기반의 문제를 설명합니다.

구독하지 않는 경우 AI 표정 생성에는 세트당 20크레딧이 사용됩니다. Creator와 Pro 요금제는 월간 기본 제공 생성 횟수를 먼저 차감하며, 추가 세트는 20크레딧이 필요합니다. 생성에 실패하더라도 최초 차감된 비용은 유지됩니다. 각 모델 버전은 누락되거나 실패한 이미지에 대해 크레딧, 기본 제공 생성 횟수, 모델 재시도 횟수를 추가로 쓰지 않고 최대 2회까지 무료로 재시도할 수 있습니다. 월간 제공량은 요금제 페이지에서 확인하세요.

생성 모델을 다루던 초기 실험에서 당황스러운 결과를 마주한 적이 있습니다. 미리보기에서는 아바타가 멀쩡해 보였고 blink나 aa 같은 셰이프 키 이름도 들어 있었지만, 막상 얼굴 트래킹을 시작하자 눈과 입이 전혀 움직이지 않았습니다.

이 초기 실험에서 한 가지 질문이 생겼습니다. AI로 생성한 캐릭터를 어떻게 실제로 표정이 움직이는 아바타로 만들 수 있을까요? 현재 Virmii는 표정 이미지를 생성하고 이를 카메라 트래킹에 바인딩하는 방식으로 이 문제를 해결합니다.

빠져 있던 것은 실제 얼굴 형태 변화일 수 있습니다. 셰이프 키에 이름만 있고 모델을 변형하는 데이터가 전혀 들어 있지 않은 경우가 있기 때문입니다. 그런 키에 트래킹 신호를 연결해도 눈을 깜박이거나 입을 열지 못합니다. Virmii는 지금도 임의의 모델에 대해 얼굴 메시 변형을 자동으로 제작하지 않습니다. 대신 Virmii에서 생성한 모델에는 AI로 생성한 표정 이미지를 얼굴 위에 재생하는 다른 경로를 제공합니다. 이 글에서는 왜 그 방식을 선택했는지 설명합니다.

셰이프 키 이름만 있다고 표정이 만들어지지는 않습니다

셰이프 키는 모델의 정점(vertex)을 다른 위치로 배치한 상태를 저장합니다. 기본 얼굴이 눈을 뜬 상태라면, 눈 깜박임 셰이프 키는 눈꺼풀이 감겼을 때의 정점 위치를 저장합니다. 키의 가중치(weight)를 바꾸면 모델이 두 형태 사이를 오가며 변형됩니다.

하지만 정점을 하나도 옮기지 않은 채 blink라는 이름의 키만 만드는 것도 가능합니다. 그런 키는 기본 형태와 완전히 같습니다. 가중치를 1로 설정해도 아무 변화가 일어나지 않습니다.

셰이프 키 작업 흐름에는 두 가지 별개의 작업이 필요합니다.

  • 표정 제작: 모델을 편집해 감긴 눈, 열린 입, 미소 짓는 형태를 직접 만드는 작업입니다.
  • 표정 바인딩: 눈 깜박임이나 입 움직임 같은 표정 신호를 받았을 때 어떤 셰이프를 구동할지 VRM 애플리케이션에 지정하는 작업입니다.

바인딩은 셰이프가 실제로 존재할 때 의미가 있습니다. 형태 자체가 없다면 아무리 정확한 카메라 트래킹을 연결해도 재생할 감긴 눈 형태가 없습니다.

슬라이더 위치를 바꿔도 변하지 않는 빈 키와 눈을 감도록 제작된 눈 깜박임 키의 비교.

위: 비어 있는 키의 값을 바꿔도 얼굴은 그대로입니다. 아래: 직접 제작된 셰이프 키는 눈꺼풀을 움직입니다. 개념 이해를 돕기 위한 예시 이미지입니다.

정지 화면에서 완성된 것처럼 보여도 애니메이션 준비가 끝난 것은 아닙니다

정지 이미지에서 자연스러워 보이는 모델이라도 얼굴 움직임에 필요한 지오메트리가 없을 수 있습니다.

입술이 표면에 그려져 있을 뿐 위아래 입술 경계가 분리되어 있지 않을 수 있습니다. 눈도 텍스처의 일부로 그려져 있고 모델링된 눈꺼풀이 없을 수 있습니다. 이런 입이나 눈꺼풀을 메시 변형으로 움직이게 하려면 추가 모델링 작업이 필요합니다.

입술과 눈꺼풀이 있는 얼굴이라도 세심하게 확인해야 합니다. 눈을 감을 때 눈꺼풀이 안구를 뚫고 지나가지는 않는지, 입을 열었을 때 입 안쪽에 적절한 구조가 있는지, 미소를 지을 때 볼에 부자연스러운 주름이 잡히지는 않는지 살펴봐야 합니다.

셰이프 키의 이름만 바꾼다고 이런 문제가 해결되지는 않습니다. 변형 가능한 표정을 만들기 전에 메시 자체를 수정해야 하는 모델도 있습니다. 방송에서 중요한 것은 표정 목록에 항목이 몇 개 있느냐가 아니라 실제로 얼굴이 어떻게 움직이느냐입니다.

템플릿에서 표정을 복사하면 해결되지 않을까요?

완성된 눈 깜박임과 입 모양이 들어 있는 템플릿은 유용한 출발점이 될 수 있습니다.

두 모델의 차이가 전체 크기뿐이라면 보통 스케일을 맞출 수 있습니다. 어려운 것은 부위별 비율입니다. 어떤 캐릭터는 눈이 아주 크고 입이 작지만, 다른 캐릭터는 눈매가 좁고 입술이 도톰하며 턱이 훨씬 길 수 있습니다.

같은 정점 이동량을 그대로 복사하면 눈이 덜 감기거나 입이 과하게 늘어날 수 있습니다. 변형을 옮기는 과정에서는 먼저 얼굴의 어느 영역이 서로 대응하는지 파악한 뒤, 대상 얼굴이 어떻게 변형되어야 할지 계산해야 합니다.

Deformation Transfer for Triangle Meshes는 얼굴 표정 전이를 포함해 이 문제를 다룬 연구입니다. 원본과 대상의 정점 수가 같을 필요는 없지만, 각 부위 사이에 의미 있는 대응 관계가 필요합니다. 이 논문에서도 형태 차이가 큰 경우를 한계로 지적합니다.

템플릿 전이로 제작 수고를 일부 줄일 수는 있습니다. 하지만 모든 얼굴에서 자연스러운 표정을 보장하지는 않으며, 원래 없는 눈꺼풀이나 입 안쪽 구조를 자동으로 만들어 주지도 않습니다.

눈과 턱 비율이 서로 다른 세 얼굴에 템플릿 가이드를 겹쳐 놓은 비교.

전체 크기를 맞추더라도 눈, 입, 턱의 비율까지 일치하지는 않습니다. 개념 이해를 돕기 위한 예시 이미지입니다.

AI 에이전트를 쓰더라도 검증할 수 있는 결과가 필요합니다

AI 에이전트는 모델링 도구를 호출하고, 수정안을 제안하고, 렌더링 결과를 살펴보며 조정을 시도할 수 있습니다. 얼굴 영역을 찾거나 전이 과정으로 만들어진 표정을 검토하는 데 도움을 줄 수도 있습니다.

하지만 그런 단계를 연결한다고 해서 모든 모델에서 믿을 만한 결과가 나오는 것은 아닙니다. 눈을 완전히 감은 미리보기는 괜찮아 보여도 반쯤 감긴 중간 위치에서 메시가 어색하게 접힐 수 있습니다. 입을 여는 동작 하나만으로는 문제없다가도 미소와 결합하면 볼과 겹쳐 뚫고 나올 수 있습니다. 얼굴이 달라지면 설정도 다시 맞춰야 합니다.

매 시도를 편집하고, 렌더링하고, 확인하는 데 걸리는 시간도 있습니다. 모델마다 개별적으로 수작업 보정이 필요하다는 점 때문에 현재 Virmii에서 제공하는 표정 이미지 작업 흐름을 구현하게 되었습니다.

자동 완료 메시지만 믿고 방송을 시작했다가 뒤틀린 입이나 감기지 않는 눈을 뒤늦게 발견하는 일은 피하고 싶었습니다.

열린 눈, 반쯤 감긴 눈, 감긴 눈과 입 모양, 미소가 결합된 표정을 함께 점검하는 일러스트.

완성된 단일 포즈뿐 아니라 중간 형태와 결합된 표정도 함께 확인해야 합니다. Virmii 편집 화면이 아닌 설명용 일러스트입니다.

현재 Virmii의 작동 방식

Virmii에서 생성한 모델의 표정 설정은 이제 이미지를 사용합니다. 완성된 모델을 열고 Generate expressions(표정 생성)를 선택하면, Virmii가 기본 정면 렌더링을 캡처해 눈과 입 위치를 찾고 Gemini를 사용해 반쯤 감긴 눈과 작은 입 모양을 포함한 13개의 표정 이미지를 생성합니다. 텍스트로 생성한 모델과 이미지로 생성한 모델 모두 같은 과정을 거칩니다.

뷰어는 이 아트워크를 얼굴에 투영하고 카메라 트래킹에 맞춰 적절한 포즈를 선택합니다. 머리와 몸의 움직임은 그대로 유지됩니다. 이 방식은 생성 모델의 얼굴 셰이프 키 작업 흐름을 대체하지만, 메시에 변형 가능한 눈꺼풀이나 입 안쪽 공간을 새로 추가하지는 않습니다.

이미지는 백그라운드에서 생성되며 최대 약 24시간이 걸릴 수 있습니다. 작업이 실패하더라도 이미 완성된 이미지를 버리지 않고 재시도할 수 있습니다. 성공한 이미지는 해당 모델 버전에 고정되며, 누락되거나 실패한 이미지만 다시 생성합니다.

직접 업로드한 VRM은 별도의 경로를 따릅니다. 파일 안에 이미 들어 있는 표정 바인딩을 사용하며, 현재 AI 표정 생성 대상에는 포함되지 않습니다. VRM을 정상적으로 불러왔다는 사실만으로 사용할 수 있는 눈 깜박임이나 입 표정이 들어 있다고 볼 수는 없습니다.

모델의 얼굴이 움직이지 않을 때 확인할 사항

Virmii에서 생성한 모델이라면 모델 페이지에서 표정 생성 작업 상태를 확인하세요. 13개 이미지 완료 배지가 표시될 때까지 기다리거나, 실패했다면 재시도하세요. 그다음 카메라 트래킹을 켜고 눈 깜박임과 입 감도를 조절합니다. 전체 절차는 AI 표정 생성 가이드를 참고하세요.

직접 업로드한 VRM이라면 호환되는 에디터에서 기존 표정을 확인하세요. 셰이프 키 가중치를 바꿨을 때 얼굴은 정상적으로 변형되지만 VRM에서 반응하지 않는다면 표정 바인딩을 점검하세요. 키가 비어 있거나 필요한 얼굴 지오메트리가 없다면 직접 제작·수정하거나 모델 아티스트에게 의뢰해야 합니다. Virmii가 업로드 과정에서 이를 자동으로 채워 넣지는 않습니다.

새로운 방식에도 한계는 있습니다

표정 아트워크를 사용하려면 정면에서 뚜렷하게 알아볼 수 있는 얼굴이 필요합니다. 비인간형 모델, 가려진 이목구비, 독특한 머리 비율, 돌출된 입술이나 눈꺼풀, 큰 각도의 고개 회전은 감지나 정렬을 어렵게 만들 수 있습니다. 중간 이미지는 단계적인 움직임을 제공할 뿐 연속적인 메시 변형을 제공하지는 않습니다. 생성 작업이 완료되었다고 해서 모든 캐릭터의 시각적 품질이 보장되는 것도 아닙니다.

생성된 이미지는 Virmii 미리보기, Live Studio, OBS 스테이지 안에서 재생되며 VRM 파일과는 별도로 저장됩니다. 모델을 다운로드해도 아트워크 재생 기능이 내장되거나 다른 애플리케이션용 얼굴 셰이프 키가 만들어지지는 않습니다.

이 차이는 중요합니다. 우리가 구현한 것은 지원되는 생성 아바타를 위한 표정 재생 기능이지, 범용 자동 얼굴 리깅을 해결한 것이 아닙니다. 이어지는 엔지니어링 글인 표정 바인딩을 구현한 방법에서는 참고 이미지 캡처, 이미지 생성, 투영, 트래킹이 어떻게 맞물려 작동하는지 설명합니다.