NVIDIA ACE(아바타 클라우드 엔진), 리바 자동 음성 엔진(ASR), 오디오 2 페이스(A2F) 데모입니다. 캐릭터의 특징을 글로 입력하면 거기에 맞는 캐릭터를 만들고, 음성을 만들고, 말소리에 맞는 입 모양을 만들어 줍니다.
오디오2 페이스의 데모입니다. 중국어를 영어로 번역하고, 영어에 맞춰서 캐릭터가 입을 움직입니다.
이건 실시간 생성 AI를 의료 에이전트에 도입한 것입니다. 용도는 다르지만 자동으로 입 모양을 맞춰준다는 건 같습니다.