2022년 8월 10일 오전 1시, 엔비디아의 SIGGRAPH 2022 컨퍼런스가 생중계되었는데요.

 

당시 게시자 본인도 댓글 생중계를 진행하여 이에 댓글 내용을 전체 취합하여, '엔비디아 SIGGRAPH 2022 컨퍼런스'의 전체 내용 정리본'을 

올려드립니다. 많은 도움이 되셨으면 좋겠습니다^^ 감사합니다

 

※ 본래 8월 10일 오전 11시 이후, 한글 자막이 지원되면 추가 정보가 나오면 지원할려고 했으나, 엔비디아 영상 측에서 늦게 자막이 

지원되는 바람에 오늘에서야 작업하게 되었습니다. 이 부분을 넓은 마음으로 이해해주시면 감사하겠습니다

 

[키워드]
▶ 엔비디아의 연구는 발전, 신기술, 제품 등 3가지 주요 업무 분야와 협업
(신경 컴퓨터 그래픽 - 메타버스 - 아바타 : 이들은 상호 연결 및 AI의 발전을 바탕함)

 

▶ 지포스 RTX를 통하여 신경 컴퓨터 그래픽의 다음 시대를 시작함
- 프로그래밍 가능한 고급 음영 처리

- 레이 트레이싱 및 AI 융합

 

▶ 신경 컴퓨터 그래픽 : 아티스트가 3D 세계를 제작하고 세계를 애니메이션화 및 렌더링 방식의 핵심 역할.
- AI와 그래픽을 결합하여 데이터로부터 학습하여 적합한 미래의 그래픽 파이프라인을 구축함.
※ 신경 컴퓨터 그래픽의 해상도 개선하는 기능 : AI 기반 DLSS(Deep Learning Super Sampling)

 

▶ 신경 그래픽은 가상 세계 생성 및 시뮬레이션을 재정의
- 물리적
- 광원 캡쳐
- 3D 재료
- 캐릭터 애니메이션
- 캡처링 아티스트 의지
- 포토리얼 휴먼
- 인간의 지각
- 실제 세계의 캡쳐화

 

▶ 엔비디아 연구소의 '신경 그래픽 및 수학적 기초' 주제를 바탕으로 하여 16개 논문을 SIGGRAPH 2022 컨퍼런스에서 발표

(20개 주요 대학의 56명의 연구원과 협력)
- 즉각적인 NeRF(몇 초안에 2D 이미지를 3D 장면으로 변환)
- 가변 레이트 NeRF(압축된 3D 신경 그래픽 기초요소)
- 스파게티(부품 수준 모양 조작화)
- 이미지 기능의 반응 시간에 따른 영향(대기 시간 인식 모델)
- ASE : 애니메이션 기술 임베딩(다중 기술 숙련화의 시뮬레이션화한 캐릭터)
- ReSITR(복잡한 경로 재샘플링화)
- 벡터 도면 연결성(AI를 스케치에 적용하여 실제 도면에 생성)
- 효과 풀림(시간 경과 시각화)
- StyleGAN-DANA(텍스트 기반 세대별 이미지화)
- 벡터 클립 아트 변형(2차원 형상 조작)
- LR를 통한 부드러운 신경 기능 학습(포인트 클라우드에서 표면 재구성)
- MatBuilder(향상된 샘플링 균일성)
- 홀로그래픽 VR 글래스(초소형 웨어러블 디스플레이)
- 시간 다중화 홀로그래피(유연한 홀로그램 근거리 디스플레이 프레임워크)
- 근거 없는 점진적 추정(에시메이터를 위한 일관된 변환 프레임워크)
- 차동 비율 추적(역 볼륨 렌더링)

 

★ 아래의 2개 논문은 SIGGRAPH 2022 컨퍼런스에서 최우수 논문상으로 수상됨.
- 즉각적인 NeRF(몇 초안에 2D 이미지를 3D 장면으로 변환)
- 이미지 기능의 반응 시간에 따른 영향(대기 시간 인식 모델)

 

▶ 메타버스 : 인터넷이 한 단계 진화한 개념이자, 물리적 세계에 디지털 세계를 연결하는 웹의 3D 인터넷 혹은 3D 공간 오버레이

[신규 프로그래밍 모델(컴퓨팅 아키텍쳐)이 필요한 새로운 표준의 컴퓨팅 플랫폼] 
- 20년 전, 네트워크화한 하이퍼링크된 웹 페이지 관한 것.
- 10년 전, 웹 2.0 발표하면서 애플리케이션과 연결된 클라우드 서비스 중심인 인터넷 시대임.
- 이제는 웹 3.0이 도래하면서 3D 인터넷 시대를 맞이함.
- 메타버스 애플리케이션 주요 구성 요소 : 패션 디자이너, 가구 및 제품 제조업체, 소매업체가 가상 3D 제품을 제공하여 증강 현실로 

사용해볼 수 있음.
- 메타버스 업종별 사례(통신 회사) : 무선 네트워크의 디지털 트윈을 만들어서 무선 타워를 최적화 및 구축
- 메타버스 업종별 사례(기업) : 창고와 공장의 디지털 트윈을 만들어서 배치와 물류를 최적화
- 메타버스 업종별 사례(지구 과학화) : 지구의 디지털 트윈 구축으로 수십년 간의 기후를 예측이 가능.
- 하이퍼링크 : 3D 세계간의 하이퍼 점핑으로 진화할 것임.

※ 상호 연결된 영구적 가상 세계의 네트워크이자 2D 웹 페이지를 확장하여 3D 공간 및 세계를 제작함.
※ 오늘날의 게임과 마찬가지로 2D 디스플레이 및 TV, VR 및 AR 안경을 착용하여 경험함.

 

★ 3D 인터넷 주요 구성 요소 : 인터넷 ☞ IOT + AI + 3D + AR(VR) +로보틱스
▷ 메타버스의 가상 세계에서 모든 것을 설명할수 있는 표준적이고 개방적이며 확장가능한 방법(오늘날의 2D 웹 HTML의 목적과 유사함)

 

★ 디지털 트윈 주요 구성 요소 : 상품, 인테리어, 5G(6G) 통신 네트워크, 공장, 도시, 과학화

▷ 가상 세계의 제작 및 시뮬레이션을 위하여 설계

☞ 3D 인터넷 및 디지털 트윈 : 엔비디아 AI와 엔비디아 옴니버스로 연결.

▷ 가상 세계의 제작 및 시뮬레이션을 위하여 설계된 컴퓨팅 플랫폼

 

▶ 메타버스용 프로그래밍 언어 소개[USD(Universal Scene Description)]
- 개발사 : 월트 디즈니 스튜디오 산하 스튜디오인 픽사 애니메이션 스튜디오에서 개발
- 특징 : 3D 세계의 개방적 및 확장 가능한 언어가 특징이며, 정적인 파일 형식이 아님.
- 기능 : 비파괴적이고 계층화된 워크플로우에서 작업할 수 있는 기능과 확장성이 높아서, 특정 워크로드 또는 산업 애플리케이션에 대한 

맞춤형 스키마를 구축할 수 있는 기능 제공.
- 엔진 구성 요소 : 가상 세계 구성, 편집, 쿼리, 렌더링, 협업 및 시뮬레이션을 위한 API가 포함된 3D 구성 엔진
※ 엔비디아 옴니버스는 USD 플랫폼 및 메타버스 애플리케이션 구축 도구 및 컴퓨팅 엔진으로 작업 및 협업의 결과를 업계에 공유.

 

▶ 엔비디아의 미래의 USD에 대한 장기적 비전에 대한 투자
- 파이썬 3 : 기존 파이썬 2에서 버전 업그레이드(바인딩)
- MDL 스키마 : 물리적으로 정확한 재료를 표현하고 재료 매개변수를 지정할 수 있는 커스텀 스키마
- 호스팅 빌드
- PyPI
- 물리적 USD : 애플 및 픽사와 함께 리지드 바디 물리효과 지원을 표준화하기 위해서 확장.
- 국제 캐릭터 세트(UTF-8), 공간 좌표(WGS84), 실시간 IOT 스트리밍 : 실시간 대규모 가상 세계와 산업용 디지털 트윈을 위한 USD 성능 

지원 구축 포함.(고속 업데이트 및 실시간 절차 처리를 지원하도록 USD 소프트웨어 스택을 강화)
- 캐드 컨버터
- glTF 플러그인(USD) : 수많은 3D 애플리케이션 및 웹의 전달에 사용하는 중요한 파일 형식으로, 기존 3D 표준인 glTF를 보완하도록 

진화하도록 지원 예상.(오픈소스 USD 파일 포맷 플러그인 개발을 통하여 지원함)
- 웹 브라우저 실행
- 실시간 Proceduralism
- 테스팅 슈트의 호환성
- 고속 업데이트

 

▶ 엔비디아의 실제 테스트를 통하여 USD의 한계를 시험 중
- 드라이브 시뮬레이션
- 산업용 디지털 트윈
- ISAAC 시뮬레이션
- 과학화 디지털 트윈
- 구축 환경 : USD 엔진 및 개방형 개발 도구로 옴니버스 플랫폼을 구축.
※ 연결 요소 : MDL, 피직스, USD, RTX GPU, AI

 

▶ 엔비디아 옴니버스 - USD 컴퓨팅 플랫폼의 3D 세계
- 산업용 CAD 디자인(지멘스 Xcelerator)
- 공장 플로어 CAD(지멘스 Xcelerator)
- 공장 계획
- 디지털 휴먼 트레이닝
- 로봇 GYM
※ 구성 요소 : MDL, 피직스, USD, RTX GPU, AI

 

▶ 엔비디아 커뮤니티의 주요 요소 : RTX 지원 스튜디오 노트북, 게이밍 PC, 전문 워크스테이션, 클라우드용 OVX 서버의 옴니버스

 

▶ 엔비디아 RTX : 신경 컴퓨터 그래픽의 엔진

 

[H/W]
▶ 지포스 256 GPU(세계 최초 GPU)
- 버블 데모 시연(2000년 1월 1일 발표)
- 실시간 프로그래밍이 가능한 쉐이더로 실행하는 GPU(고정된 함수 파이프라인 개념 X)

 

▶ 쿼드로 RTX(세계 최초 레이 트레이싱 지원 워크스테이션 GPU)
- 4년 전에 SIGGRAPH 2018에서 엔비디아 RTX를 공개함
- RTX 라인업
① 최대 초당 10기가 광원 추적 연산
② 최대 16 테라플롭스 + 16개 기능
③ 최대 초당 500조 텐서 코어 연산
④ 최대 초당 100GB 데이터 대역폭(NVLink)

 

▶ GTX GPU 기준 신경 컴퓨터 그래픽(아래와 5가지 요소를 쉐이더 코어에서 처리하여 3D 장면 생성)
- 애니메이션
- 지오메트릭
- 라이트닝
- 재료
- 물리적

 

▶ RTX GPU 기준 신경 컴퓨터 그래픽
☞ 신규 GPU 아키텍쳐에서 래스터화를 확장

☞ 5가지 구성 요소
- 애니메이션
- 지오메트릭
- 라이트닝
- 재료
- 물리적

 

☞ 프로그래밍이 가능한 음영 기반 GTX 아키텍쳐를 2가지 신규 GPU로 확장함
- 레이 트레이싱 코어(이하 RT코어) 기반의 레이 트레이싱
- 텐서 코어 기반의 딥 러닝 슈퍼 샘플링[DLSS(Deep Learning Super Sampling)]
- 쉐이더 코어

※ 3D 장면과 DLSS(Deep Learning Super Sampling) 기술을 통하여 향상된 3D 장면 구현

 

[S/W]
▶ 엔비디아의 새로운 알고리즘의 발전
☞ GauGAN AI 이미지 크리에이터
☞ RTX GI 글로벌 일루미네이션
☞ ASC 캐릭터 애니메이션
☞ Audio 2 Face

 

▶ 엔비디아 옴니버스
- 애플리케이션 특징 : 환경, 원인 및 계획을 인식하는 시스템
- 주요 업종 로봇의 개발 : 자율 주행 자동차, 제조용 로봇 의수, 창고 재고 관리 기계, 농업 파종기 및 제조기, 물류 수령 기계
※ 엔비디아 옴니버스는 로봇 설계 및 훈련을 운영하는 필수요소이며, 로보틱스는 AI의 다음 물결로 이어질 것.
※ 엔비디아 AI와 엔비디아 옴니버스 기술로 연결됨.

 

▶ 엔비디아 아바타 : 물건을 만들고 구축하는 데 도움이 되도록 가상 세계를 채워줄 것.
- 아바타의 역할 : 브랜드 홍보대사, 고객 서비스 에이전트, 웹 사이트 탐색, 드라이브 스루 매장에서 주문 처리, 은퇴(보험) 계획을 추천.
※ 엔비디아 아바타의 구성 요소
- 비전, 대화, 페이셜 애니메이션, 사실적인 그래픽
- 대화, 계획 & 실행, 제스처, 신체 애니메이션

 

▶ 엔비디아, 가상 세계의 생성 및 애니메이션에 신경 컴퓨터 그래픽의 신규 연구 및 도구 출시 발표
- 3D 컨텐츠 제작(인스턴트 신경 그래픽 프리미티브, Kaolin, Kaolin Wisp, 3D Moma, GauGAN360)
- 물리적 및 애니메이션[옴니버스 오디오2페이스, 포즈 견적, ASE(애니메이션 스킬 임베딩)]
- 경험(이미지 기능 시선 추적)
※ 코드 몇 줄만으로 신경 컴퓨터 그래픽의 수많은 기존 작업을 재구현이 가능함
※ NVIDIA GauGAN은 옴니버스 장면에 쉽게 로드할 수 있는 8K 해상도, 360도 파노라마를 생성할 예정.

 

▶ 엔비디아, USD 호환성 테스트 슈트 공개
- 구성 요소 : USD 애플리케이션, USD 라이브러리, USD 플러그인
- 기초 렌더링 자료를 통하여 구성 요소를 통하여 렌더링화.
- 인증 제품군을 구축하여 개발자는 USD 빌드 테스트 및 맞춤형 USD 구성 요소가 기대 결과값을 산출하는 결과값을 인증할 수 있음.

 

※ 신규 USD 리소스 구성요소(usd.nvidia.com) : 리눅스, 윈도우, PyPI(파이썬 패키지 인덱스)에 무료로 사용 가능
- 사전 컴파일된 바이너리 코드
- USD 뷰어 및 USD 빌드 호스팅 = 옴니버스 런처
- 샘플 장면
- 시뮬레이션 준비 자산
- 튜토리얼 영상

 

▶ 엔비디아 USD 생태계 파트너사
- 어도비 ,애니멀로직, 애플, 오토데스크, BMW 그룹, 드림웍스, 에픽 게임즈(언리얼 엔진), 에릭슨, 파운드리, 볼보
- Lowe's, 픽사 애니메이션 스튜디오 ,SideFX, 지멘스, 소니 픽쳐스 이미지 웍스, Industrial Light & Magic, 월트 디즈니 애니메이션 스튜디오

 

▶ 엔비디아 RTX, MDL SDK 프로그램을 오픈 소스 공개(SIGGRAPH 2018 컨퍼런스에서 공개함)
- 래스터화, 레이 트레이싱, 컴퓨팅 AI 간의 상호 운용성
- OptiX, DXR, Vulkan의 신규 튜링 GPU 마이크로아키텍쳐의 레이 트레이싱 가속화
- DNN 플러그인을 위한 새로운 NGX SDK
- 신규 NVIDIA MDL 재료 오픈 소스
- 픽사 애니메이션 스튜디오의 USD(Universal Scene Description) 언어에 대한 지원

 

▶ 엔비디아 MDL 오픈 소스
- MDK SDK 2022 및 MDL Distiller와 신규 오픈 소스인 GLSL 백엔드 기술을 공개
- MDL 범위를 확장 및 개발자가 선호하는 렌더러에 MDL 지원을 제공하도록 노력함.
※ MDL Distiller : MDL 재료의 이러한 단순화 작업을 자동처리화(코어 MDL 정의의 수학적 견고성에 의존하고, 대수 방정식을 조작하는 

메커니즘을 제공함.

- GLSL 백엔드 기술 : OpenGL 및 Vulkan을 기반으로 하는 렌더러 개발자엑 MDL 지원을 제공하여 기존 GPU API 표준과의 격차를 해소.

 

▶ 엔비디아 OPEN-VDB : 희소 3D 볼륨 데이터의 효율적인 메모리 표현을 위한 아카데미상 수상 경력을 보유한 업계 표준 기술
- 시각 효과 산업 : OpenVDB를 사용하여 물, 불, 연기, 구름을 렌더링이 가능함.
- 신규 OpenVDB 도입 : 지난 해, GPU 가속화를 위하여 도입한 Nano-VDB를 발표. 

※ 엔비디아의 OpenVDB 진화 기술인 신경-VDB를 공개

 

★ 엔비디아 신경VDB 공개(신경 VDB)
※ 엔비디아, 오픈-VDB vs 신경-VDB 구조 비교
- 구조 : 계층적 트리 구조 vs 값 및 기본 트리 구조, 모둔의 신경 표현을 도입
- 지원 : 2021년에 소개한 Nano-VDB의 GPU 가속화도 지원.
① 용량 구조 감소(기상 환경 시뮬레이션) : 오픈-VDB의 데이터 용량은 14.9GB vs 신경-VDB는 666MB로 압축화함
② 용량 구조 감소(물체 데모) : 오픈-VDB(167.5MB) vs 신경-VDB(3.3MB)로 50배 이상 압축화함.
③ 용량 구조 감소(월트 디즈니 애니메이션 스튜디오 클라우드 데이터 세트) : 오픈-VDB(1491.5MB) vs 신경-VDB(25MB)로 59.6배 이상 압축화함.
④ 용량 구조 감소(EmberGen의 시뮬레이션 데이터) : 오픈-VDB(3,826MB) vs 신경-VDB(224.8MB)로 17배 이상 압축화함.
⑤ 용량 구조 감소(잠수함 데모) : 오픈-VDB(23,198MB) vs 신경-VDB(1,261MB)로 18.4배 이상 압축화함.

※ 볼륨 메모리 설치 공간이 획기적으로 감소하여, 사용자가 실시간으로 매우 크고 복잡한 볼륨 데이터 세트와 상호 작용 및 전송과 공유를 

효율적으로 수행이 가능함.

 

▶ 엔비디아 옴니버스 플랫폼 개발자 도구
- 키트(베타 버전 출시)
- 제작(베타 버전 출시)
- 제작XR((베타 버전 출시)
- 오디오2페이스(베타 버전 출시)
- 머시니마((베타 버전 출시)
- 모듈러스(베타 버전 출시)
- AI 토이박스(베타 버전 출시) : 확산 모델 기반 AI 도구인 3D Ganimal / Animal Modeler 사용 가능함.
- 딥 서치(사전 예약 출시) : 엔터프라이즈 고객이 사용 가능하며, 미태그 자산 데이터베이스를 직관적으로 검색이 가능하며, 정성적(막연한) 

입력을 검색할 수 있어서, 정확한 결과를 제공할 수 있음.(메타데이터 미포함도 가능함)

※ 주요 업데이트에는 확장 가능한 SDF, 소프트 바디 시뮬레이션, 입자 의상 시뮬레이션, 소프트 컨택트 모델 등 포함됨
※ 엔비디아 Modulus 물리 머신 러닝 프레임워크를 옴니버스 확장 프로그램으로 사용 가능함.

 

▶ 엔비디아 옴니라이브 워크플로우 소개(타사 애플리케이션 연결 및 협업 사용자 전용)
- 동기화 : 맞춤형 USD 버전이 동기화되도록 지원

 

▶ 엔비디아 옴니버스 머시니마
- 시범 적용 대상 게임 : 비욘드 더 와이어, 포스트 스크립텀, 쉐도우 워리어즈
- 접근 가능 : Audio 2 Face, Audio 2 Gesture

 

▶ 엔비디아 옴니버스 플랫폼의 로드맵
- USD 부문(개발자 도구, 시각화 충실도, 물리적 엔진)
- 합성 데이터 생성, 대규모 세계 하이퍼스케일링 기반 멀티 GPU(멀티 노드 하이퍼 확장성 제공), AI 기반 애니메이션
- 옴니버스 클라우드, 디지털 트윈(장면 합성), AI세대 세계, AI 디지털 휴먼, 디지털 트윈 : IOT 접속, AI 예측

 

▶ 엔비디아 옴니버스의 USD 네트워크 성장 파트너
- ipolog, ParaView, 구글 스케치업, 캐릭터 크리에이터, 오토데스크(3DS MAX, 마야, Revit, Alias, Civil 3D)
- ArcGIS CityEngine, 그래피소프트 : 아키캐드, iClone, Rhinoceros, 어도비 서브스턴스 3D, 블렌더
- Houdinia, 오픈 지오스페이셜 컨소시엄, PTC Cero, 지멘스, SIMSCALE, Visual Components
※ 신규 PTC Creo, Visual Components, SideFX Houdini 커넥터도 베타 버전으로 사용이 가능함.

 

▶ 엔비디아의 옴니버스 분야별 파트너사
- 시스템 인테그레이터 : 5개사(Kinetic Vision, Deloitte, Netallied System)
- 센서 모델 : 7개사(Ansys, Cepton, Continental, SORVIA, INNOVIZ 테크놀로지, ONSEMI, Valeo)
- 렌더링 : 5개사(오토데스크, 블렌더, MAXON, OTOY, RENDERMAN)
- 자산 및 재료 라이브러리 : 5개(CGTrader, Reallusion, Sketchfab, TurboSquid, TwinBru)
☞ 디지털 트윈 및 로보틱스 : 22개사
- 아마존 로보틱스, Aspentech, 오토데스크, Bentley, Delta, Esri, FESTO, FUJISoft, FlexIV, Fraunhafer IML, ideaworks, ipolog, Nextspace, PTC, Ready 로보틱스, RIOS, 리버 시스템, 지멘스 에너지, 지멘스, 소프트 로보틱스, 비주얼 컴포넌트

☞ 디자인 및 컨텐츠 제작 : 17개사
- 어도비 시스템, 오토데스크, 블렌더, CLO, ESRI, GOLAEM, 그래피소프트, Kitware, MAXON, PTC, 플랜트팩토리, Rhinoceros, Reallusion SideFX, Trimble, 언리얼 엔진, MARMOSET

※ 112개사 접속
※ 184K 다운로드
※ 133K 특별유저

 

☞ 엔비디아 옴니버스 - 오디오 2 페이스(얼굴 애니메이션 AI)
★ 오디오 2 페이스(얼굴 애니메이션 AI) 로드맵(다국어 지원을 확장할 예정)
- 자동 감정 제어 : 감정을 분석하고 자동으로 아바타로 전송하는 추가 기능을 지원.
- 데이터 스트리밍 접속 엔진
- 다중 언어 엔진 : 어떤 유형의 음성 입력이 들어가든 상관없이 네트워크가 예측된 얼굴 애니메이션을 정확하게 생성.
- 해부학적 시뮬레이션 : 모든 유형의 얼굴 모션을 생성하는 해부학적 기반으로 높은 충실도 및 근육 시뮬레이션 접근법 개발.
- 인스턴트 AI 3D세대 : 자신의 3D 아바타를 우리와 닮은 것인 사진 한 장으로 단순화하는 것에서 시작.

 

☞ 엔비디아 옴니버스 아바타 클라우드 엔진 공개
- 클라우드 인프라 구축 파트너 : 마이크로소프트 애저 클라우드, 오라클 클라우드
- 엔비디아 옴니버스 옴니버스 아바타 클라우드 엔진(이하 에이스) ▶ (4개 AI → 애니메이션, Conv, 비전, 추천)
- 엔진 : Reallusion