NVIDIA가 AI를 활용해서 인코딩/디코딩에 프레임을 추가하는 기능을 발표했습니다.
https://developer.nvidia.com/blog/av1-encoding-and-fruc-video-performance-boosts-and-higher-fidelity-on-the-nvidia-ada-architecture/
지포스 RTX 40 시리즈의 NVOFA(Optical Flow Accelerator)는 그래픽 렌더링으로 무슨 프레임을 그려낼지를 예측해서 그래픽 렌더링 파이프라인을 쓰지 않고 프레임을 만들어내는 DLSS 3를 지원합니다.
이걸 영상에도 적용해 다음 프레임을 예측해서 더 많은 프레임을 만들어 냅니다. FRUC(Engine-assisted Frame-rate Up Conversion)라고 합니다.
영상 프레임 사이에 새 프레임을 끼워 넣어 화면을 부드럽게 보여주는 기능은 현재 많은 TV에서도 지원하고 있으나, 이건 그런 기능이 아닙니다. 2개의 실제 프레임을 비교하고 모션 벡터를 결정해서 프레임을 그리기에 실제 프레임과 보간되어 만들어진 프레임이 정확하게 맞습니다.
NVIDIA의 클라우드 서비스 플랫폼인 maxine에 추가된 기능입니다. 피사체의 시선을 AI가 추적해서 상대를 보는 것처럼 수정해 줍니다. 또 얼굴을 추적해서 표정을 감지하는 기능도 추가됐습니다.
https://blogs.nvidia.com/blog/2022/09/20/maxine-cloud-native/