엔비디아, 음성 기반 AI 얼굴 생성하는 '오디오투페이스' 오픈… 생생한 아바타 구현 가능

엔비디아의 '오디오투페이스'로 생성한 AI 얼굴 예시 [사진=엔비디아]

엔비디아가 게임과 3D 애플리케이션의 인공지능(AI) 기반 아바타 생성을 지원하는 기술을 오픈소스로 공개하며 혁신을 이어가고 있다.

엔비디아는 최근 출시한 '오디오투스페이스' 기술이 최첨단 생성형 AI 기술을 활용해 초현실적 3D 아바타 표정을 구현해 차세대 그래픽 개발을 가속화한다고 밝혔다. 또한 RTX 키트, 소프트웨어개발도구(SDK) 최신 업데이트와 '가상 그래픽처리장치(vGPU)' 솔루션 등 개발자를 위한 지원책도 함께 공개했다.

'오디오투페이스'는 AI를 활용해 오디오 입력을 바탕으로 사실적인 얼굴 애니메이션을 실시간으로 생성하는 기술이다. 음성의 음소 억양 등 특징을 분석해 캐릭터의 얼굴 표정에 매핑함으로써 정밀한 립싱크와 감정 표현을 구현한다.

엔비디아는 오디오투페이스 모델과 SDK 훈련 프레임워크까지 오픈 소스로 제공한다. 이를 통해 모든 개발자가 최첨단 애니메이션을 갖춘 고품질 캐릭터를 제작하고 활용 사례에 맞게 기술을 맞춤화하는 혁신을 기대한다.

이미 오디오투페이스는 게임, 미디어, 엔터테인먼트 등 다양한 산업에 도입되고 있다. 코드마스터즈, 넷이즈, 리얼루전 등 다수의 독립 소프트웨어 공급업체(ISV)와 게임 개발사가 이 기술을 회사 애플리케이션에 활발히 적용하고 있다.

엔비디아는 이와 함께 RTX 키트 최신 업데이트도 발표했다. RTX 뉴럴 텍스처 압축 SDK는 텍스처 메모리 사용량을 크게 줄이고 RTX 글로벌 일루미네이션 SDK는 레이 트레이싱 기반 간접 조명 솔루션을 개선해 개발 효율을 높인다.

또 엔비디아 vGPU 기술을 활용한 게임 개발 환경 확장 사례도 공개했다. 액티비전은 vGPU 도입으로 100대의 서버를 단 6대의 RTX GPU 기반 장치로 대체해 서버 공간 82%, 전력 72%를 절감하는 성과를 거뒀다.

한편 업계에서는 컨바이(Convai), 코드마스터즈(Codemasters), 인월드 AI(Inworld AI), 넷이즈(NetEase), 리얼루전(Reallusion), 퍼펙트월드 게임즈(Perfect World Games), 스트림랩스(Streamlabs) 등 게임사와 소프트웨어 기업들이 이 기술을 도입했다.

엘비스 황 리얼루전 혁신 부문 책임자는 "오디오투페이스는 오디오 입력만으로 감정을 담은 다국어 얼굴 애니메이션을 자동 생성한다"며 "다양한 툴과 매끄럽게 연동돼 고품질 캐릭터 제작이 한층 수월해졌다"고 말했다.