[1] 데이터센터 H/W 부문

☞ 엔비디아 호퍼 아키텍쳐 GPU(데이터센터용)

- 트랜스포머 모델 훈련, 호퍼 순수 성능의 복합적 이점.

- FP8 텐서 코어 탑재한 트랜스포매 엔진, SHARP 인네트워크 컴퓨팅 탑재

- NVLink, 최대 256개 GPU의 스위치 스케일 업, 퀀텀-2 인피니밴드 탑재

- 엔비디아 소프트웨어의 속도가 9배 빠름

- 대규모 언어 모델 추론 기준 : A100 처리량 대비 최대 30배 성능 자랑

☞ 엔비디아 차세대 AI 가속화 엔진 GPU 공개(엔비디아 H100 GPU – 호퍼 아키텍쳐)

- 제조공정 : TSMC 4nm 공정 제조(TSMC CoWos 2.5D 패키징 기반으로 제조하고 HBM3 메모리 패키지화하여 전압조절하여

SXM이라는 슈퍼칩 모듈로 통합함.)

- 트랜지스터 : 800억개 트랜지스터 탑재

- 대역폭 : 4.9 TB/s, 초당 40테라바이트 I/O 대역폭

- 설계특징 : 스케일 업 및 아웃을 위해 설계함(대역폭, 메모리, 네트워킹, NVlink Chip To Chip 데이터전송률)

- 메모리 : 설계 최초 HBM3 메모리 탑재

- PCI-익스프레스 버전 탑재 : 5.0

- 1st(성능) : FP8(4,000 테라플롭스, 기존 대비 6x 증가), FP16(2,000 테라플롭스, 기존 대비 3x 증가),

TF32(1,000 테라플롭스, 기존 대비 3x 증가), FP64 & FP32(60 테라플롭스, 기존 대비 3x 증가)

- 2nd(명령어) : 신규 명령어 세트인 DPX 공개(동적 프로그래밍 알고리즘 가속화 기반 설계)

※ 복잡성 문제를 재귀적인 해결로 간단한 하위 문제로 분해하여 복잡도 및 시간을 다항식 규모로 축소

(이번 호퍼 H100 GPU는 이 알고리즘 처리속도를 40배 증가)

- 전력 소모량 및 쿨링방식 : 공랭 및 수냉 쿨링, 700W 전력소모

- 트랜스포머 엔진 탑재(FP8 및 FP16 수치 형식을 사용하는 소프트웨어와 신규 텐서 코어와 결합 및 네트워크 계층을 동적으로 처리)

- 서비스 : 최대 7개 인스턴스로 파티셔닝 가능.(기존 암페어 아키텍쳐도 가능함)

- 컴퓨팅 : 호퍼 컨피덴셜 컴퓨팅(프로세서 아키텍쳐 + 소프트웨어 조합 방식)으로 사용 중에 있어서 데이터 및 애플리케이션을 전체 보호.

- 가상화 : 인스턴스 별 격리 및 IO 가상화 추가하여 클라우드에서 7개 다중 테넌시 호스팅 지원.

★ 엔비디아 호퍼 H100 플랫폼 사용 기업

- 클라우드 서비스 기업 : 알리바바, AWS, 바이두, 구글, 마이크로소프트, 오라클, 텐센트

- 시스템 서비스 기업 : AtoS, CISCO, 델 테크놀로지, 후지쯔, 기가바이트, H3C, HP 엔터프라이즈, INSPUR, 레노버, 넷트릭스, 슈퍼마이크로

☞ 엔비디아 H100 GPU 기반 AI 컴퓨팅 시스템 DGX H100 플랫폼 소개

- 제원사항

① 8x H100 GPU(총 6400억 개 트랜지스터 탑재)

② 32페타플롭스(AI 성능)

③ 640GB HBM3 메모리

④ 24TB/s 메모리 대역폭

- NVLink로 연결된 DGX는 8개 H100 GPU를 거대한 GPU로 그룹화

- 8개 H100 SXM 모듈 + HGX 시스템 보드의 NVLink 스위치 칩 4개로 연결

- NVSwitch 칩의 SHARP 대역폭(인네트워킹 : 3.6 테라플롭스) ☞ 멜라녹스 퀀텀 인피니밴드 스위치에서 처음 발견됨.

- CPU 하위시스템 : 듀얼 Gen5 CPU + 각 4개의 400Gbps의 CX7 IB 혹은 400Gbps 이더넷 네트워킹 칩을 갖춘 2개의 네트워킹 모듈로 구성

※ ConnextX-7 제원

- 80억 트랜지스터 기반 TSMC 7nm 공정 제조 / 4000 GPU 다이렉트 스로풋 / 4000 크립토 가속 / 405 Milion/Sec 메세지 레이트

☞ 엔비디아 NVLink 스위치 시스템 공개(DGX POD)

- 엔비디아 DGX를 NVLink로 최대 32개 DGX까지 연결 가능

- 20.5TB/s 총 HBM3 메모리 대역폭

- 768TB/s의 메모리 대역폭

- 거대한 하나의 32노드, 256GPU DGX POD로 확장가능함.

- 32대의 NVLink 트랜시버는 하나의 랙 유닛 NVLink 스위치 시스템에 연결됨.

- 각 DGX는 쿼드 포트 광학 트랜시버를 통해서 NVLink 스위치에 연결됨.

(각 포트에 초당 100GB의 100G-PAM4 신호 전송을 위한 8개 채널이 존재함)

☞ 엔비디아 DGX POD H100 시스템 공개

- 1엑사플롭 AI 컴퓨팅 성능

- 20TB HBM3 메모리

- 192테라플롭스의 SHARP 인네트워크 컴퓨팅

- 70 TB/s의 BiSection 대역폭

※추가 : QUANTUM-2 인피니밴드

- 570억개 트랜지스터

- 추가 AI 가속 엔진(32배)

- 고속 스위치 스로풋(3배)

- SHARP 인-네트워킹(2배)

※ 신규 퀀텀-2 400Gbps 인피니밴드 스위치에 연결하여 수천개의 H100 GPU 탑재 구성한 DGX SuperPOD로 확장 구성가능함.

☞ 엔비디아 EOS 공장 플랫폼(현재 건립중이며, 몇 개월 내로 가동됨)

- 18 DGX PODS(576개 DGX, 4608개의 H100 GPU)

- FP8(18 엑사플롭스)

- FP16(9 엑사플롭스)

- FP64(275 페타플롭스)

- 인네트워크 컴퓨팅(3.7 페타플롭스)

- Bisection 대역폭(230TB)

☞ 엔비디아 H100 CNX 네트워킹 프로세서 보드 공개

- H100 및 CX-7 스마트NIC 기반 제조

- 7개 멀티 GPU 인스턴스 지원

- PCI 익스프레스 5.0 지원

- 네트워크 데이터 전송량 : 초당 50Gbps로 H100 GPU로 DMA 처리됨.

◈ 엔비디아 H100 CNX 보드, H100 GPU 생산(이번년도 3분기부터 시판)

☞ 엔비디아 1st 데이터센터 GRACE(그레이스) 소식 발표

- 출시 예정 목포 : 내년 출시(2023년)을 목표로 진행중

- 엔비디아 그레이스 호퍼 슈퍼칩 모듈 발표

→ 그레이스 호퍼 슈퍼칩

→ 엔비디아 가속 컴퓨팅 시스템

→ 신규 NVLink Chip To Chip Coherent Interface

→ 대역폭 : 900GB/s

- 그레이스 CPU 슈퍼칩

→ GRACE CPU도 NVLink 칩으로 2개 CPU로 구성된 슈퍼칩 구성됨

→ 144 CPU 코어

→ 1TB/s 메모리 대역폭(LPDDR5X + ECC)

→ 396MB 온 칩 캐쉬메모리

→ 전력 사용량은 500와트

☞ 엔비디아 Omniverse(옴니버스)용 OVX 서버가 있음(바로 엔비디아 OVX 서버)

- 구성 : 8개 NVIDIA A40 GPU

- 네트워크 : 3개 NVIDIA CX-6 200Gbps NICs

- CPU : 듀얼 인텔 아이스레이크 제온 8362 CPU

- RAM : 1TB 시스템 메모리

- SSD : 16TB NVMe SSD

☞ 엔비디아 OVX SuperPOD

- 스펙트럼-3 200Gbps 구조

- 타이밍 서포트 및 동기화

- RDMA For 레이턴시 저지연(?)

- H/W 벤더사 : INSPUR, 레노버, 슈퍼마이크로

☞ 엔비디아 스펙트럼-4 테라비트 스위치 공개

- 1000억 개 트랜지스터(TSMC 4nm 제조공정)

- 51.2T 대역폭 / 12.8T 레이트 크립토 / 100G Serdes

- 128 포트의 400GbE

- 4배 빠른 스위칭 스로풋

- 40% 네트워크 전원 절약 기능

- 4분기 말에 샘플 출시예정

[2] 데이터센터 S/W 부문

- 데이터센터 규모 - 머신 러닝 결합한 가속 컴퓨팅 속도는 백만배나 증가

- 데이터센터 가속 구조 - Milion-X → 트랜스포머 → AI 팩토리 → 로보틱스 시스템 → 디지털 트윈스

- 기업은 데이터 처리 및 개선을 통하여 AI 소프트웨어 개발하여 지능적 제조업체로 변모함.

- 엔비디아 GPU는 AI로 산업과 과학 분야를 혁신하는 동시에 기후 변화 과학도 대응함

- 기후 변화 과학자는 지역 기후 변화를 위해서 10억배나 큰 슈퍼컴퓨터로 시뮬레이션 해야 함

※ 1st AI 물결(이미지 인식, 음성 이해, 영상 혹은 추천 제품 구매 등 인식과 추론 학습) ☞ 2nd AI 물결 : 로보틱스(행동 계획하는 AI)

★ 텐서플로우와 PyTorch 등 AI 프레임워크가 AI 소프트웨어에 필수불가결됨.

☞ 엔비디아 옴니버스 : 로보틱스 소프트웨어 개발에 필수가 될 것이며, AI의 다음 물결을 구현하는 것이 가능할 것.

☞ NVIDIA의 지난 10년 기간 가속 컴퓨팅 성장 현황

→ AI 부문 : 백만배의 속도 향상(스택 전체 접근 방식 복합적 효과)

→ CUDA 라이브러리(엔비디아 SDK) : 450개 이상 모델 / 8백만 이상 다운로드

→ 스타트업 : 10,000개 이상

→ 개발자 : 3백만명

→ 가속 애플리케이션 : 2,700개 이상

※ 엔비디아 GTC 2022 출연 패널 기업

- 베스트바이, 홈 디폿, 월마트, Kroeger, Lowe(AI 작업)

- 링크드인, 스냅, 세일즈포스, 도어대쉬, 핀터레스트, 서비스나우, 아메리칸 익스프레스, 비자(대규모 AI 사용)

- GSK, 아스트라제네카, Merck, 브리스톨 Myers Squibb, 마요 클리닉, McKesson, Eli Lilly

☞ 엔비디아, 세계 최초 디지털 트윈 컴퓨터인 Earth-2 공개

(컴퓨팅 속도를 10억배 이상 높일 신규 AI 및 컴퓨팅 기술 개발예정)

☞ 엔비디아, 칼텍, 버클리 연구소, 퍼듀, 미시건, RICE 대학 연구진들이 FourCastNet이라는 일기예보 AI 모델 개발

- FourCaseNet AI 플랫폼 모델 : 물리학 기반 딥 러닝 모델로 "허리케인", "대기의 강", "폭우" 등 기상예변 예측함

☞ 40년에 걸친 시뮬레이션으로 보강된 유럽중기예보센터(ECMWF)의 지상실측 정보 기반으로 날씨 예측 학습됨.

※ 딥 러닝 모델은 최첨단 수치 모델보다 나은 정확도 및 기술을 달성하였으며, 예측이 10,000 ~ 100,000배나 더 빨라짐

☞ 엔비디아 방식으로 선도하는 가속 컴퓨팅 구조(전체 스택 전문성이 요구되는 접근 방식)

- 하드웨어, 시스템 소프트웨어, 플랫폼 소프트웨어, 애플리케이션 등 4계층 레이어로 구축함.

※ 각 계층 레이어는 H/W 벤더사, 서비스 제공사, 개발자에게 공개되어 적합한 방식으로 제품에 통합됨.

☞ 엔비디아 AI 트랜스포머

- 자기 지도 학습이 가능해졌고, 휴먼 라벨링 데이터 필요성 커짐

- 방대한 훈련 세트 사용이 가능하고, 모델 및 데이터 크기는 증가하며 기술 및 정확도가 급격히 향상됨.

- 구글 Bert, 신약개발용 엔비디아 메가몰바트도 이 트랜스포머에서 나옴.

☞ 엔비디아 AI기반 다중 모델 학습 방법

- 엔비디아 NVCell 학습 모델로 칩 레이아웃을 수행하는데, AI가 반도체 칩을 제작하는 것.

- 물리학-머신러닝 모델은 물리학과 양자 물리학을 학습.

- 신경 그래픽 네트워크는 Nerf처럼 2D 이미지에서 3D 표현을 학습하는 것으로 발전시킴.

☞ 엔비디아 AI : DALI + RAPIDS + cuDNN + TRITON + TensorRT + TAD + FLARE

(데이터 처리, ETL 피처 엔지니어링, 그래프, 클래식 머신 러닝, 딥 러닝 모델 훈련, 대규모 추론까지 거느리는 전체 AI 워크플로우 라이브러리 제품군)

☞ 엔비디아 Triton(트리톤) : AI 배포 중심 오픈소스 하이퍼스케일 모델 추론 서버

※ 모든 세대의 엔비디아 GPU, x86, ARM CPU에 배포하며, AWS Inferentia 가속기를 지원하는 인터페이스 구성

※ 트리톤 구성 : CNN, RNN, 트랜스포머, GNN, 의사 결정 트리, 모든 프레임워크 등 전체 모델 지원

※ 텐서플로우, PyTorch, Python, ONNX, XGBoost 등 실시간 및 오프라인 배치 혹은 스트리밍 오디오 및 비디오와 같은 쿼리 유형 지원

★ 엔비디아 Triton(트리톤) 지원 기업

- 알리바바 클라우드, AWS, 구글 클라우드, MS 애저, 텐센트 클라우드, 아마존, 아메리칸 익스프레스, ANT 그룹

- JD.COM, Meituan, 마이크로소프트, P, 지멘스 에너지, SPIL, 미국 우체국, VIVO 등

※ 1.3백만 다운로드, 25,000명 사용자가 다운로드

☞ 엔비디아 Riva(리바) : 딥 러닝 기반 엔드 투 엔드 첨단 음성 AI

- 대화형 AI 서비스에 이상임

- RIVA는 조정이 가능하며 세계적 수준의 인식률로 사전 훈련된 데이터를 맞춤형으로 개선함.

※ 링센트롤, VONAGE, AVAYA, 유니폰, 인터렉션, Kore.AI, OneReach.AI, AVAAMO.AI 등 기업이 사용함.

※ 엔비디아 RIVA 릴리즈 버전 2.0 출시 공개

☞ 엔비디아 MAXINE(맥신) : 커뮤니케이션 기반 AI 알고리즘 SDK(AI모델 툴키트)

- 화상 회의 : 이미지 및 소리 인코딩하여 전송 후 디코딩

- 컴퓨터 비전 : 이미지 인코딩을 대체 / 컴퓨터 그래픽 : 이미지 디코딩을 대체

- 음성 인식 : 오디오 인코딩 대체 / 음성 합성 : 오디오 디코딩을 대체

※ 사용기업 : AGORA, AVAYA, AVerMedia, Be.Live, 사이버링크, Headroom, 로지텍, Pexip, Pixotape, OBS, 소프트뱅크, 텐센트 클라우드, 터치캐스트, XSplit

☞ 엔비디아 Merlin(멀린) : 추천 시스템 기반 AI 프레임워크(릴리즈 1.0 버전)

- 특징 변환, 검색, 순위 모델 포함 추천, 파이프라인의 엔드 투 엔드 구성 요소

- 사용 기업 : WeChat, Meituan, ShareChat

♣ 오픈AI의 GPT-3 매개변수 : 1,750억개 vs 엔비디아 Megatron(메가트론) 매개변수 5,300억개

♣ 구글 신규 스위치 트랜스포머 매개변수 ; 1조 6천억개

♣ MLops 컴퓨팅 인프라 엔진 : 엔비디아 암페어 아키텍쳐 A100 GPU

☞ NEMO Megatron : 최대 수조 개의 매개변수 기반 대규모 언어모델을 훈련하기 위한 전문AI 프레임워크

- 구성 : 자동 데이터, 텐서 및 파이프라인 병렬처리, 오케스트레이션, 스케쥴링, 자동 정밀도 조정

- 사용기업 : AI Sweden, JD.COM, 네이버 클로바, 미국 플로리다 대학교

- 현재는 클라우드 기반으로 MS 애저 및 아마존 AWS도 지원할 예정.

☞ 엔비디아 RAPIDS SDK

- 데이터프레임, SQL, 어레이, 머신 러닝, 그래프 분석에 있는 Python API를 사용하는 데이터 사이언티스트 전용 SDK

- 2백만회 다운로드 및 전년 대비 3배 이상 증가

- 5,000개 이상 GitHub 프로젝트 및 2,000개 이상 Kaggle 노트북에 사용됨

- 35개 상용 소프트웨어 패키지에 통합됨.

☞ 엔비디아 cuOpt(이전 ReOpt) SDK

- 배송 서비스 및 창고 내 자율 모바일 로봇에 사용되는 SDK

- 다중 에이전트 및 제약경로 계획에 최적화

☞ 엔비디아 DGL 컨테이너

- 해당 컨테이너 사용시 다중 GPU 및 노드에서 대규모 그래프 신경망 훈련 가능

☞ 엔비디아 Morpheus(모피어스)

- 사이버 보안용 딥 러닝 프레임워크

☞ cuQuantum SDK

- 오늘날 양자 컴퓨터의 탐색할 수 없는 미래 양자 시스템 알고리즘 개발지원하도록 설계된 양자회로 시뮬레이터 가속화 SDK

☞ Aerial SDK

- CUDA 가속화 소프트웨어 정의 5G 통신망용 SDK

- 데이터센터, 클라우드, 온프레미스, 엣지 등 5G 무선 통신망이 Wi-Fi 미제공 지역에서 5G로 AI 서비스 프로비저닝 가능함.

☞ 6G 통신망 전용 신규 AI 프레임워크, 엔비디아 SIONNA(시온나) 공개

♣ Modules AI 프레임워크 : 물리학 머신 러닝 모델을 개발하기 위한 프레임워크

♣ Monai AI 프레임워크 : 메디컬 이미징을 위한 오픈 소스 AI 프레임워크

♣ FLARE SDK : Federated Learning용 엔비디아 오픈 소스 SDK

☞컴퓨터 지원 디자인 및 엔지니어링 기업

- 사용기업 : 알테어, Ansys, Cadence, Cascade 테크놀로지, Dassault 시스템, D2S, 헥사곤, 매스웍스, PTC, 지멘스, 시놉시스, UASP 등

(300개 ISV 애플리케이션 있음)

※ 디지털 트윈 : 물리적인 것의 가상 표현

☞ 엔비디아 Omniverse(옴니버스)는 디지털 트윈 제품을 지원하는 가상 세계의 시뮬레이션 엔진

- 공유 가능 및 디자이너, 시청자, AI, 로봇 등을 연결함

- 디지털 트윈의 로보틱스 시스템 워크플로우 구조 : 지상 실측 데이터 수집, AI 모델 생성, 디지털 트윈 시뮬레이션, 로봇 작동

☞ 엔비디아 Omniverse(옴니버스)는 RTX PC에서도 대규모 시스템을 확장 가능

- Omniverse Nucleus를 호스팅하면 크리에이티브 협업에 충분함

☞ 엔비디아 Omniverse(옴니버스) 키트 : 옴니버스 확장 프로그램 및 애플리케이션, 마이크로서비스 빌드 기반 제품

- 산업 워크플로우를 옴니버스에 연결하는 26개 제조 포맷 컨버터 제공

- 딥 서치 : 자연 언어 및 이미지 사용하는 미지정 태그 3D 자산 라이브러리를 위한 AI 검색 엔진

- 리플리케이터 : AI 모델 훈련 및 테스트를 위한 물리적 합성 데이터를 생성하는 프레임워크

- 옴니그래프 : 데이터센터 규모 기반 애플리케이션 실행

- 옴니버스 아바타 : 디지털 휴먼 및 아바타를 구축하기 위한 프레임워크