GTC나 시그래프처럼 그래픽 기술 쪽에 치중한 발표는 큰 관심이 없는데, 엔비디아: 4월달 GTC 키노트는 사실 전부 CG로 만들어진것 https://gigglehd.com/gg/10689331 이걸 정말 재밌게 봐서 다른 것도 올려 봅니다. 

 

 

우선 이번에 발표한 기술 관련 논문들을 요약 소개한 영상입니다. 

 

 

Real-Time Neural Radiance Caching for Path Tracing

링크: https://research.nvidia.com/publication/2021-06_Real-time-Neural-Radiance

영상: https://d1qx31qr3h6wln.cloudfront.net/publications/nrc-video.mp4

 

 

레이 트레이싱이나 패스 트레이싱을 처리하는 과정에서 AI가 완성된 라이팅 결과를 추론해 나가는 렌더링 기법인 뉴럴 래디언스 캐싱에 대한 논문입니다. 

 

간접 조명 연산은 광원에서 나온 빛이 화면 안의 다양한 오브젝트에 여러번 충돌(반사)하는 과정을 추적해 최종 값을 찾아가는 일의 반복입니다. 이번에 발표한 기술에선 연산이 진행 중인 중간 값을 가지고 최종 결과를 AI 신경망에서 추론해 냅니다. 지포스 RTX 시리즈가 텐서 코어를 사용해 레이 트레이싱 연산을 가속하는 거라고 보면 되겠습니다. 

 

이와 비슷한 NVIDIA의 기술 중에는 적은 수의 레이 트레이싱에서 생성된 이미지로 AI 노이즈 제거 처리하는 NVIDIA OptiX AI Accelerated Denoiser https://developer.nvidia.com/optix-denoiser , AI를 통해 저해상도 영상을 고해상도로 바꾸고 안티 앨리어싱 효과를 적용하는 DLSS가 있습니다. 뉴럴 래디언스 캐싱은 실제 렌더링 처리와 더욱 가까운 곳에 AI 기반 기술을 적용하는 것이기도 합니다. GPU 추론 가속장치인 텐서 코어를 더욱 잘 활용하는 방법 되겠습니다. 

 

 

NeRF-Tex : Neural Reflectance Field Textures 

링크: https://developer.nvidia.com/blog/nvidia-research-nerf-tex-neural-reflectance-field-textures/

영상: https://d1qx31qr3h6wln.cloudfront.net/publications/NeRFTex_video.mp4

 

 

 

이것도 텐서 코어를 실제 렌더링 과정에 활용하는 방법입니다. 천이나 잔디, 모피 같은 재질 표면에 있는 미세한 요철을 표현하는 새로운 질감 표현 기법입니다. 미세 요철로 이루어진 재질은 광원의 위치에 따라 요철끼리 서로 가리거나, 이를 투과한 빛이 복잡한 그림자를 만들어 냅니다. 이런 외형과 그림자의 방향을 신경망으로 구축한 텍스처 시스템에서 재현합니다. 

 

 

Appearance-Driven Automatic 3D Model Simplification

링크: https://research.nvidia.com/publication/2021-04_Appearance-Driven-Automatic-3D

영상: https://d1qx31qr3h6wln.cloudfront.net/publications/autolod_video.mp4

 

 

3D 모델의 폴리곤 수를 낮추는 기술입니다. 시점과의 거리에 따라 서로 다른 디테일을 지닌 폴리곤 모델을 준비하고, 시점에서 멀리 위치했다면 적은 수의 폴리곤을 사용하며 가까이 있다면 많은 수의 폴리곤 모델을 써서 GPU의 부담을 줄여주는 기수은 Level of Detail이라는 이름으로 널리 쓰고 있습니다. 이 기술을 제공하는 소프트웨어 중에는 Simplygon이 유명하고요.

 

 

기존의 레벨 오브 디테일을 위한 모델을 만들 때는 입력된 3D 모델의 폴리곤을 줄여 로우 폴리곤 모델을 만들었으나, 이 기술은 입력된 3D 모델을 화면에서 지정한 크기로 렌더링한 상태를 보고 비슷한 효과를 내도록 렌더링합니다. 즉 게임 플레이 중에 적용되는 기술이 아니라 게임의 개발 단계에서 사용하는 것이며, AI가 아니라 스크립트 기반으로 작동합니다. 위의 이미지를 보면 30만 폴리곤을 7천 폴리곤으로 줄였는데, 겉으로 보기에는 큰 차이가 나지 않는 걸 알 수 있습니다.

 

 

Omniverse

 

 

3D CG 모델링 소프트웨어의 종류는 많습니다. 게임, 영상 제작, 건축 업계 등의 분야에서 제각각 다른 소프트웨어를 사용합니다. 그리고 한 소프트웨어에서 만든 3D 오브젝트를 다른 소프트웨어로 옮기려면 데이터를 변환해야 하고, 시뮬레이션도 새로 개발할 필요가 있습니다.

 

 

그래서 모든 3D CG 소프트웨어를 공통된 아키텍처로 구조화해 하나의 플랫포메어 실행할 수 있도록 만들겠다는 게 NVIDIA 옴니버스입니다. 

 

 

 

옴니버스는 하나의 컴퓨터에서 실행하는 게 아니라 전용 서버에 네트워크로 접속해, 여러 사람이 동시에 다른 소프트웨어를 사용해 실시간 공동 작업이 가능합니다. NVIDIA가 무료로 제공하는 오픈 플랫폼으로 어도비, 오토데스크, 에픽 게임즈, 델, 시스코, 픽사 등이 동참하고 있습니다. 물론 NVIDIA의 GPU나 NVIDIA의 기술로 작동하는 서버에서만 이걸 무료로 쓸 수 있지요. 

 

 

NVIDIA의 마테리얼 표현 언어인 MDL : Material Definition Language(https://www.nvidia.com/ja-jp/design-visualization/technologies/material-definition-language/ )를 지원하는 만능 쉐이더 시스템인 Omniverse Material Shader

 

 

사진이나 이미지 일부만 가지고 전체의 3D 모델링을 만들어내는 GANverse3D의 베타 버전. 그런데 예시 이미지를 보니 아직 베타는 베타구나 싶네요. 전혀 포르쉐같지가 않은걸요.

 

 

어도비 Substance를 위한 옴니버스 플러그인

 

 

옴니버스 엔터프라이즈의 얼리 엑시스가 가을부터 출시

 

 

픽사, 애플, NVIDIA가 물리 시뮬레이션을 위한 포맷인 USD(Universal Scene Description) 개발에 착수. USD는 원래 픽사가 개발한 것이며 3D 그래픽을 위한 포맷이나, 이걸 그래픽 외에 물리 시뮬레이션 등의 다양한 분야로 확장하자는 게 NVIDIA의 입장입니다.

 

 

오픈소스 3D CG 소프트웨어인 블렌더 3.0도 옴니버스의 USD를 지원합니다. 

 

 

그 외에 이런 논문들도 보실 만 합니다.

 

RTX 다이렉트 일루미네이션은 수백만 개의 동적 조명을 실시간으로 렌더링하는 과정에 추가합니다. 

https://developer.nvidia.com/rtxdi

ReSTIR GI: Path Resampling for Real-Time Path Tracing 빛의 경로를 실시간으로 추적해내 간접 조명을 효과적으로 렌더링합니다. 

https://research.nvidia.com/publication/2021-06_ReSTIR-GI%3A-Path

 

Rearchitecting Spatiotemporal Resampling for Production는 조명에 필요한 리소스를 줄이고 렌더링 품질을 높여주는 기술입니다. 

https://research.nvidia.com/publication/2021-07_Rearchitecting-Spatiotemporal-Resampling

 

An Unbiased Ray-Marching Transmittance Estimator

https://research.nvidia.com/publication/2021-06_An-Unbiased-Ray-Marching