[키워드]

▶무어의 법칙 : 컴퓨터 산업의 지배 역학이자, 모든 산업에 영향을 미침

(일정한 비용 & 전력에서 기하급수적으로 증가하던 성능은 느려짐)

▶컴퓨팅은 반대로 매우 빠른 속도로 발전하며, 워프 드라이브 엔진이 가속 컴퓨팅임

[해당 에너지원은 AI(인공지능)]

▶ 산업 = 지속 가능성, 생성형 AI 및 디지털화 등 강력한 역학 문제를 처리함

(지속 가능성, 생성 AI, 산업 디지털화)

▶ 산업 기업 : 디지털화 추진 및 소프트웨어 기반 기술 회사로의 탈바꿈하기 위해서 경쟁함.

▶ 엔비디아의 이번년도 주요 업데이트 진행

- 레이 트레이싱

- 신경 렌더링

- 물리학

- 지구과학(생명과학)

- 양자 물리학 & 화학

- 컴퓨터 비전

- 데이터 처리

- 머신 러닝

① AI를 아우르는 300개 가속 라이브러리

② AI 모델 400개

☞ ① + ② : 전체 설치 기반 성능(기능) 향상하는 100개 업데이트 진행

▶ 엔비디아, 3가지 추가 요소

- Tensor-RT(대상 GPU를 최적화하는 추론 런타임)

- Triton(CPU 및 GPU를 지원하는 멀티프레임워크 데이터센터 추론 소프트웨어)

- TMS(Triton 관리 서비스 - 데이터센터 전반에 Triton 추론 인스턴스 확장 및 조직자동화)

☞ 주요 벤더사 : 마이크로소프트(오피스, 팀즈), 아마존, 아메리카 익스프레스, 미국 우편공사, Uber, 로블록스

[AI(인공지능) 및 딥러닝(머신러닝)]

▶ 엔비디아의 딥 러닝

- 알렉스넷(2012년 : Alex Kerchevsky, llya Suskever, Geoff Hinton이 개발함)

- 지포스 GTX 580 : 1,400만개 이미지를 활용하여 알렉스넷을 훈련시킴

- 부동소수점 연산 : 262 쿼드릴리온 개수(262 페타플롭스)

- 파라메타 : 6100만 개

▶ 엔비디아의 트랜스포머 모델(GPT-3)

- 파라메타 : 1,750억개

- 훈련 연산 : 323 ##스틸리온 개수의 부동 소수점 연산(323 제타플롭스)

▶ 생성형 AI(사용 편의성 및 인상적 기능으로 몇 개월 만에 1억 명 이상의 사용자를 확보함)

- ChatGPU(역사상 가장 빠르게 성장하는 애플리케이션)

- Stable Diffusion

- Dall-E

- MidJourney

[서버(데이터센터) H/W - CPU]

▶ 엔비디아, 그레이스 서버(데이터센터) CPU

- AI 워크로드가 GPU로 가속화되는 AI 및 클라우드 퍼스트 기반으로 설계.

- 단일 스레드 실행, 메모리 처리에서 뛰어난 성능을 자랑함.

☞ 최적화된 그레이스 슈퍼칩 서버(데이터센터) CPU 실물 공개(젠슨 황 CEO)

- 대역폭 : 횡단면 3.2TB/s

- 메모리 : LPDDR 저전력 메모리 1TB(전력 소모 - 1/8 수준)

- 시스템 대역폭 : 2.5배 수준 및 1TB/s

- 확장 연결 : 초고속 연결 반도체(On Chip)의 응집성 패브릭으로 연결

- CPU 코어 개수 : ARM 기반 72개 * 2개(저전력 반도체 간 CPU 다이에서 연결함)

- 응집성 인터페이스 대역폭 : 900GB/s

- 전체 모듈 크기 : 5x8인치

- 냉각 솔루션 : 저전력으로 수동 공기 냉각이 가능함.

[서버(데이터센터) H/W - 서버]

▶ 엔비디아, 최적화 '그레이스 슈퍼칩 서버(데이터센터) CPU' 탑재 서버(1U)

- 쿨링 구조 : 단일 1U 공기냉각식 서버에 탑재

- 비교 제품(엔비디아 그레이스 vs 차세대 x86)

① 마이크로서비스 : [성능(1.5배) / 에너지 효율성(1.7배) / 데이터센터 대역폭(2배)]

② 빅 데이터 : [성능(1.3배) / 이외 나머지(효율성 및 대역폭)은 동일함]

※ 전체 서버 노드 소모 전력 : 측정 전력의 60%만 사용함.

※ CSP(태양광) : 제한된 데이터센터 전력의 성능 처리량(1.7배 그레이스 서버 장착 / 25% 많은 처리량 가능)

★ 제조벤더사 : 아수스, AtoS, 기가바이트, HPE 엔터프라이즈, QCT, 슈퍼마이크로, Wistron, ZT

▶ 엔비디아, DGX H100 슈퍼컴퓨터 서버(세계 AI의 가속 컴퓨터 - 현재 생산중)

- (번외) : OpenAI에 DGX 슈퍼컴퓨터 서버를 제공함.

- DGX의 GPU : H100 GPU 모듈의 8개(생성형 사전 훈련 트랜스포머 및 OpenAI와 설계된 트랜스포머 엔진 포함)

- NV링크 : 8개의 H100 GPU와 서로 연결되어 비차단 트랜잭션을 허용(8개 GPU가 하나의 거대한 GPU로 작동함)

- 망내 처리 지연 시간 : 400Gbps[엔비디아 Quantum-2 인피니밴드 네트워킹 시스템 ☞ 수백(수천)개의 DGX 노드로 구성함]

※ 엔비디아 DGX H100 : 전 세계 AI 인프라를 구축하는 고객의 청사진

※ 벤더사 : AtoS, AWS, Cirrascale 클라우드 서비스, CoreWeave, 델 테크놀로지, 기가바이트, 구글 클라우드, HPE 엔터프라이즈, Lambda, 레노버, 오라클 클라우드, QCT, 슈퍼마이크로

[서버(데이터센터) H/W - DPU(데이터 처리 장치)]

▶ 엔비디아, BlueField DPU(데이터센터 OS 및 인프라 소프트웨어 가속화)

- 주요 벤더사 : 체크포인트, 시스코 시스템, ddn, 델 EMC, 주니퍼 네트워크 ,팔로알토 네트웍스, 레드헷 리눅스, VM웨어 등 포함 24곳에서 사용됨

▶ 엔비디아 'BlueField-3' DPU(현재 생산단계)

- 주요 클라우드 벤더사 : 바이두, CoreWeave, JD.COM, 마이크로소프트 애저, 오라클 클라우드(인프라스트럭쳐), 텐센트 게임즈

[서버(데이터센터) H/W - 신규 시스템]

▶ 엔비디아 옴니버스의 신규 3가지 시스템 발표!

① 차세대 워크스테이션 : 차세대 인텔 CPU 및 엔비디아 에이다 RTX GPU 탑재 기반(3월부터 구매 가능)

(벤더사 : BOXX, 델 테크놀로지, HP(Z), 레노버)

② 옴니버스 최적화 서버 : 엔비디아 OVA 서버(L40 에이다 RTX 서버 GPU + 신규 'BlueField-3' DPU 구성)

(벤더사 : 델 테크놀로지, 기가바이트, HPE 엔터프라이즈, QCT, 슈퍼마이크로)

③ 엔비디아 옴니버스 클라우드(완전관리형) : 마이크로소프트 애저 클라우드와 협력

- 구성요소 : USD(컴포저, GDN 퍼블리셔), 드라이브 시뮬레이션, ISAAC 시뮬레이션, 복제, 도구

- 마이크로소프트 : 팀즈, 원드라이브, 쉐어포인트, 애저 IoT 디지털 트윈 서비스 등 '마이크로소프트 365' 제품군에 연결함.

[서버(데이터센터) - 클라우드 & VM(가상머신)]

▶ 마이크로소프트, 신규 VM(가상 머신) - 'ND H100 v5 VM' 공개

1. 서버(데이터센터) CPU : 인텔 4세대 제온 스케일러블 CPU

2. 서버(데이터센터) GPU : 엔비디아 H100 텐서 코어 GPU * 8개(차세대 NV스위치 및 NV링크 4.0을 통한 상호 연결)

3. 서버(데이터센터) RAM : DDR5 DIMM 4800Mhz의 16채널

4. 네트워크 및 대역폭

4-①. GPU 대역폭(엔비디아 퀀텀-2 CX7 인피니밴드 - 400Gb/s)

4-②. VM 대역폭(VM당 3.2TB/s의 비차단 Fat-Tree 네트워크)

4-③. NV스위치 및 NV링크 4.0(이전 3.6 포함)의 각 VM 내 8개 로컬 GPU 간의 'TB/s' 이중 대역폭

▶ 엔비디아 DGX 클라우드 서비스 발표

- 브라우저에서 엔비디아 DGX AI 슈퍼컴퓨터를 제공받을 수 있는 클라우드 서비스

- 주요 클라우드 벤더사 : 구글 클라우드, 마이크로소프트 애저, 오라클 클라우드(인프라스트럭쳐)

- 특징 : AI의 End To End 개발 및 배포 및 가속화 라이브러리인 '엔비디아 AI 엔터프라이즈' 실행의 최적화

※ 오라클 클라우드(인프라스트럭쳐) : 최초의 엔비디아 DGX 클라우드 서비스의 사용기업이 될 것.

▶ 엔비디아 AI Foundation 서비스 발표!(맞춤형 언어 모델 및 생성형 AI 구축 기반 클라우드 서비스)

- 주요 클라우드 벤더사 : 구글 클라우드, 마이크로소프트 애저, 오라클 클라우드(인프라스트럭쳐)

- 특징 : 영역별 작업 특화된 맞춤훈련형 LLM 및 생성형 AI 구축, 클라우드 개선 및 운용

- 구성 요소

① 언어(NEMO, 맞춤형 언어텍스트 생성 모델 구축 제품)

② 시각(PICASSO, 라이센스 혹은 독점 컨텐츠로 학습된 맞춤형 모델 구축의 시각 언어 모델 제작 제품)

③ 생물학 제작 모델[BIO-NEMO, 고유 데이터로 맞춤형 모델 생성 및 미세 조정과 서비스 제공 제품)

★ 엔비디아 Clara(이미징, 기기, 유전체학 및 약물개발용 헬스케어 애플리케이션 프레임워크)]

※ 사용 기업 : GettyImages가 Picasso 서비스를 이용함

※ 사용 기업 : Shutterstock가 Edifi-3D 생성 모델의 훈련 라이브러리를 개발함.

※ AI 기반 신약개발 스타트기업 : Insilico Medicine, Exscientia, Absci, Evozyme 등

※ BIO-NEMO 주요 사용 기업 : Alchemab Therapeutics, Amgen, 아스트라제네카, Evozyme, Exscientia, Innophore, Therapeutics

※ 구글 GCP 클라우드 발표 : 엔비디아 L4 발표!(프리미어 엔비디아 AI 클라우드)

- Wombo, Descript 및 클라우드 서비스의 생성 AI 모델 추론 가속화

- Triton 추론 서버를 '구글 쿠버네스틱 엔진 및 Vertex AI'와 통합

- 엔비디아 'Spark-RAPIDS'로 '구글 DataProc'를 가속화

- AlphaFold 및 UL2(T5) 대규모 언어 모델을 가속화

- 3D 및 AR 경험 렌더링의 '구글 클라우드' 몰입형 스트림 가속화

[서버(데이터센터) - 아키텍쳐(플랫폼)]

▶ 엔비디아, One 아키텍쳐 플랫폼 발표!(가속화 및 탄력성을 모두 제공)

- 주요 구성 요소 : 4가지 설정, 하나의 아키텍쳐, 하나의 소프트웨어 스팩 기반 신규 추론 플랫폼

- 서버 제품군 : L4, L40, H100NVL, 그레이스-호퍼

① L4 서버(AI 비디오용 CPU 대비 120배 성능) : AI 영상 워크로드의 컨텐츠 작업에 최적화

(디코딩 및 트랜스코딩, 조정, 조명 활성, 아이 컨택트, 전사, 실시간 언어 번역, 화상 통화 기능 포함)

※ 사용 기업(Snap) : 엔비디아 AI의 선도적 사용기업이며, AV1 영상 처리 및 생성 AI와 증강 현실을 위해서 사용함

★ 1대의 8 GPU L4 서버 : 100대 이상의 듀얼 소켓 서버(데이터센터) CPU를 대체할 것.

② L40 서버(그래픽 및 렌더링 & 텍스트, 이미지 타입 생성 AI / 옴니버스 특화)

- 성능 비교 : L40 vs 엔비디아 T4(GPT-3 20B) ▷ 최대 성능 10배 차이(클라우드 추론 GPU)

※ Runway(생성형 AI 기업) : 컨텐츠 제작 및 편집을 위한 생성형 AI 모델을 발명중

③ H100NVL 서버(ChatGPT의 대규모 언어 모델 추론 특화 GPU 서버)

- 성능 비교 : L40 vs 엔비디아 HGX A100(GPT-3 175B) ▷ 최대 성능 10배 차이(클라우드 추론 GPU)

- H/W 제원(1,750억 개의 매개변수 GPT-3 처리 가능)

▶ GPU : 듀얼 GPU의 NV링크 탑재

▶ RAM : 94GB HBM3

▶ 폼팩터 : PCI-익스프레스 타입

④-1 그레이스-호퍼 슈퍼반도체(추천 시스템 및 대규모 언어모델의 AI 데이터베이스 세트 처리 특화)

- CPU 및 GPU : 그레이스 CPU ↔ 호퍼 GPU

- 대역폭 : 900GB/s(응집적 반도체 인터페이스 기반)

④-2 그레이스-호퍼 슈퍼반도체 서버

- 성능 비교 : 그레이스-호퍼 슈퍼반도체 vs CPU ↔ GPU의 PCI 익스프레스 대역폭(최대 10배 차이)

- 그레이스 CPU 및 호퍼 GPU(임베딩 테이블 쿼리 및 결과를 PCI-익스프레스 보다 7배 빠른 인터페이스의 데이터 전송률 자랑)

[서버(데이터센터) - H/W(기타)]

- 엔비디아 'CX-7' 인피니밴드 어댑터(컴퓨팅 패브릭)

- 엔비디아 '블루필드-3' DPU(관리 네트워크의 인프라 프로세서)

[소프트웨어(애플리케이션)]

▶ 엔비디아 옴니버스(디지털 - 물리적 환경을 연결하는 산업 디지털화 플랫폼)

- 구축 방법 : 물리적 복사본 작업 직전, 산업이 물리적 제품 및 공장을 디지털 설계화하고 운영 및 최적화 지원

- 반도체 산업 : 5,000억 달러 투자 및 84개 신규 웨이퍼 공장(Fab) 구축

- 자동차 업계 : 2030년까지 300개 공장을 건석 및 2억 대의 전기 자동차 생산

- 배터리 업계 : 100개 이상의 메가 공장 구축

※ 30만명 크리에이터 및 디자이너가 엔비디아 옴니버스를 다운로드.

▶ 엔비디아의 옴니버스 분야별 파트너사(워낙 많은 관계로 직접 보시기 바랍니다)

- 시스템 인테그레이터 & 서비스 제공사 : 16개사

- 센서 모델 : 13개사

- 시스템 제조사(벤더사) : 8개사

- 컨텐츠 제작 및 렌더링 : 14개사

- 로보틱스 : 18개사

- 합성 데이터 및 사전 준비된 3D 자산 : 15개사

- 디지털 트윈 : 16개사

- 디자인 & 엔지니어링 : 13개사

▶ 엔비디아 옴니버스 구성요소(+ 엔비디아 AI)

- 컨셉 및 스타일링

- 디자인 및 엔지니어링

- 소프트웨어 & 전기

- 자동 주행

- 구매 경험

- 스마트 공장

[소프트웨어(스택)]

▶ 엔비디아의 전체 스택 및 데이터센터 규모 가속 컴퓨팅 구성 요소 = AI, 옴니버스

- cuQuantum

- Spark

- RAPIDS

- RAFT

- cuOpt

- Holoscan

- cuLitho

- TensorRT(Ray-Tracing)

- Triton

- TMS

- CV-CUDA

- rabricks

▶ 엔비디아의 애플리케이션 도메인 최적화 스택

- 그래픽

- 이미징

- 입자

- 유체 역학

- 양자 물리학

- 데이터 처리(머신 러닝)

[소프트웨어(라이브러리)]

▶ 엔비디아 가속 라이브러리(가속 컴퓨팅 핵심)

- AI(인공지능)

- 옴니버스

- 가속 라이브러리

▶ 엔비디아 'cuQuantum'(양자 회로 시뮬레이션 기반 가속화 라이브러리)

- 시뮬레이션 프레임워크 참여 벤더사 : IBM Qiskt, 구글 Cirq, 바이두 퀀텀 리프, QM웨어, QuEra, Xanadu Pennylane, Agnostiq, AWS 브라켓

▶ 엔비디아, 'RAFT' 라이브러리

- 특징 : 인덱싱, 데이터 로딩, 단일 쿼리 기반 이웃 배치 검색 가속화

- 페이스북(메타) : 오픈 소스 'FAISS AI' 유사성 검색

- Milvus : 1,000개 이상 조직에서 사용 중인 오픈 소스 벡터DB

- Redis : 40억 이상의 도커 풀

▶ 엔비디아, 'cuOpt' 라이브러리

- 주요 벤더사 : Accenture, Capgemini, Softserve, Quantiphi, Deloitte.

▶ 엔비디아, 2가지 추가 요소 라이브러리(현재 얼리 액세스 단계)

- CV-CUDA : 컴퓨터 비전용 라이브러리(감지, 세분화 및 분류용 30개 컴퓨터 비전 연산자 포함)

- VPF : 신규 클라우드 규모의 가속화 라이브러리(파이썬 영상 인코딩 및 디코딩 가속화)

☞ 주요 벤더사 : 마이크로소프트(BING), Runway, 텐센트

▶ 엔비디아, Parabricks : 클라우드(기기)에서 End To End 유전체학 분석용 AI 가속 라이브러리 제품군

- 주요 벤더사 : Terra, DNAnexus, FormBio + PacBIO, 옥스포드 Nanopore, Ultima, Singular, 바이오나노, 나노스트링(퍼블릭 클라우드 및 유전체학 플랫폼에서 사용가능)

- 버전 발표 : 4.1

▶ 엔비디아, 'Holoscan' : 실시간 처리 시스템 전용 라이브러리

- 파트너쉽 : Medtronic과 디바이스용 AI 플랫폼을 구축.(올해 말 출시 예정)

(파트너쉽의 주요 내용 : 수술 탐색 및 로봇 보조 수술 등 공통 플랫폼을 제작)

- Medtronic : 결장암의 조기 발견용 AI 탑재한 차세대 GI Genius 시스템이 '엔비디아 Holoscan'이 구축됨

▶ 엔비디아, 'cuLitho' : 컴퓨터 반도체 제조용 리소그래피 라이브러리

- 주요 협력 반도체 제조사 : ASML, TSMC, 시놉시스

- 협력 작업 기간 : 4년(40배 이상 리소그래피 가속화)

① 예시 : 엔비디아 H100 GPU의 89개 레티클

② 기존 : CPU에서 단일 레티클을 실행 및 처리하는데 2주 소요됨

③ 개선 : GPU에서 실행 시 8시간 만에 처리됨(cuLitho)

※ TSMC(6월부터 자격을 갖출 예정) : 500개의 DGX H100 시스템에서 'cuLitho' 라이브러리를 실행하여, 기존 CPU 4만개 서버의 리소그래피의 소모전력인 '35MW'를 '5MW'로 감소시킴.

[컴퓨팅 및 양자화 시스템]

▶ 엔비디아 GPU의 가속 컴퓨팅의 선순환

- 엔비디아 전체 GPU : CUDA 호환 가능(개발자 → 대규모 설치 기반 및 상당량 도달 범위 제공)

- 가속화 애플리케이션 : 최종 사용자 ↔ 클라우드 서비스 OEM(벤더사) ☞ 대규모 시장을 조성(R&D 성장 촉진을 위해서 수십억 달러를 지원)

[양자 컴퓨팅]

▶ 엔비디아 오픈 'Quantum-CUDA' : 하이브리드 GPU 양자 프로그래밍 모델

- 오픈 Quantum-CUDA 통합 벤더사 : IonQ, ORCA 컴퓨팅, Atom, QuEra, 옥스포드 퀀텀 서킷, IQM, 파스칼, 퀀텀 브릴리언스, Quantinuum, Rigetti, Xanadu, Anyon

▶ 엔비디아, GPU & 양자 컴퓨터 연결 및 최상 속도의 오류 수정하는 '양자 제어 링크' 발표

- 파트너쉽 개발사 : Quantum Machines

- 상용화 예상 시간 : 10년 ~ 20년

[벤더사(제조사) 및 출연 기업 사례]

▶ 엔비디아의 글로벌 생태계

- 400만명 개발자

- 4만개 기업

- 1만 4,000개의 스타트 기업

▶ 엔비디아 GTC 2023 컨퍼런스 다이아몬드 스폰서 기업

- accenture, 알리바바 클라우드, AWS, PP ??, 중국기업, 델 테크놀로지

- Deloitte, DOMINO, 기가바이트, 구글 클라우드, HPE 엔터프라이즈, IBM

- 중국기업, StreamLake, 레노버, 마이크로소프트, 오라클 클라우드(인프라스트럭쳐), QCT, Run:AI

- 슈퍼마이크로, 텐센트 클라우드, VM웨어, @FUSION, Z(HP)

▶ 엔비디아 GTC 2023 컨퍼런스의 출연벤더사

- DeepMind : Demis Hassabis

- 국립 아르곤 연구소 : Valerie Taylor

- 어도비 시스템 : Scott Belsky

- 넷플릭스 : Paul Debevec

- ETH Zurich : Thomas Schulthess

- 오픈AI(공동 설립자 겸 ChatGPT 크리에이터) : llya Suskever

▶ 엔비디아의 가속 컴퓨팅 주요 요소(풀 스택)

- 반도체(칩)

- 시스템

- 네트워킹

- 가속화 라이브러리

- 애플리케이션 리팩토링

▶ 벤더사 사용사례 : AT&T, 엔비디아 AI 라이브러리의 전체 제품군을 채택함

- 기술자 : 정기적으로 3만명을 파견하여, 700곳의 지역에 걸친 1,300만명 고객에게 서비스 제공

- CPU 기반 디스패치 최적화 : 하룻밤이 소요됨

- 엔비디아의 'cuOpt'로 100배 이상 빠른 솔루션 검색 및 디스패치 업데이트

- 이외 사용 AI 라이브러리 : Spark-RAPIDS, cuOPT, RIVA, 옴니버스

▶ 어도비 시스템, 엔비디아와 파트너쉽 체결!

- 크리에이티브 미 차세대 AI 구축 및 생성형 AI 통합을 위한 체결

- 어도비의 신규 생성형 AI 모델(이미지 생성, 영상 및 3D 애니메이션에 최적화)

- 아티스트 권리 보호 : 상업적 실행 가능성 및 컨텐츠 정품 인증 기반에 중점을 두고 개발함.

[기타]

▶ 엔비디아의 신규 CFD 솔버 슬라이드

- CUDA 기반 가속화 Cadence

- A100 GPU

① 동등한 시스템 비용에서 CPU 서버의 9배 처리량을 보유함.

② 동등한 시뮬레이션 처리량 측면에서 비용이 9배 낮음(에너지 소모량 17배 적음)

▶ Ansys, 지멘스, Cadence(주요 CFD 솔버) : CUDA 기반으로 가속화

▶ 산업용 CAE : 매년 약 1,000억 CPU 코어 시간을 사용함

▶ 엔비디아, 'Spark-RAPIDS' 엔진

- 가속 아파치 스파크의 데이터 처리 엔진

- 주요 벤더사 : GCP Dataproc, 아마존 EMR, 데이터브릭스, Cloudera