[엔비디아 - H/W(서버 - 데이터센터) GPU] - 마이크로아키텍처

▶ 엔비디아[차세대 서버(데이터센터 GPU)] 공식 발표!

- 코드명 선정자 : David Harold BlackWell(데이빗 해럴드 블랙웰) → 미국 국립과학원에 입학한 최초의 흑인학자

- 트랜지스터 : 1,040억개(단일 다이) + 1,040억개(단일 다이) = 결합(총 2,080억개)

- 제조공정 : 대만 TSMC(4NP)

- GPU 메모리(용량) : 192GB(HBM3e), 메모리 다이(8개)

- GPU 메모리(대역폭) : 8TB/s

- GPU 대역폭 : 10TB/s(고대역폭 인터페이스)

- AI(인공지능) 성능 : 20 PETA-Flops(페타플롭스)

- 캐시 메모리 : 전체 일관성 유지

- 전체 스택 탑재, CUDA API 기능 지원

※ 2개의 GPU 다이를 '하나의 GPU' 통합 설계

※ 새로운 '산업 혁명'의 엔진 GPU

★ 젠슨 황 CEO가 'GH100(호퍼)' GPU 및 'GB200(블랙웰)' GPU 다이를 동시에 선보였습니다!

[엔비디아 - H/W(서버 - 데이터센터) GPU] - 벤치마크 & 성능 비교

▶ 이전 서버(데이터센터 GPU)] 비교

- H100 서버(데이터센터) GPU : 호퍼 마이크로아키텍처

- 트랜지스터 탑재 개수 : H100 비교 대비 1,280억개 추가

- AI(인공지능) 성능 비교 : H100 비교 대비 5배 향상

- 메모리 다이 통합 비교 : H100 비교 대비 4배 확장

※ 2배의 GPU 크기, 컴퓨팅의 엄청난 도약

▶ 블랙웰 GPU 마이크로아키텍처(비교 GPU 마이크로아키텍처 : 호퍼)

1. FP4(신규) : 40 PFLOPS(페타플롭스) → 5배 성능 차이(컨텐츠 토큰 생성 - 중요한 부분)

2. FP6(신규) : 20 PFLOPS(페타플롭스) → 2.5배 성능 차이

3. FP8 : 40 PFLOPS(페타플롭스) → 2.5배 성능 차이

4. HBM 메모리(모델 사이즈) : 7,400억개 매개변수 → 6배 크기 차이

5. HBM 메모리(대역폭) : 34조 매개변수 → 5배 크기 차이

6. NV링크(전체 감소 & SHARP) : 7.2TB/s → 4배 크기 차이

[엔비디아 - H/W(서버 - 데이터센터) GPU 마이크로아키텍처] - 훈련 비교 

▶ 'GPT-MoE-1.8T'(조건값 ☞ seqlen=32K 1K, FTL=5s)

- 그래프(수직) : GPU당 처리량(초당 토큰)

- 그래프(수평) : 상호작용 사용자 토큰(초당)

※ 다차원 최적화(병렬) : 텐서, 파이프라인, 전문가, 데이터

① GB200 슈퍼 반도체(FP4)

- 140s & 2s(TP2, EP8, DP4)

- 120s & 20s(TP2, EP16, PP2)

- 100S & 41s(TP4, EP16)

② B200 GPU(FP8)

- 60s & 5s(TP4, EP2, PP2, DP4)

- 38s & 15s(TP8, PP2, DP4)

- 100s & 2s(TP64)

③ H200 GPU(FP8)

- 30s & 4s(TP8, PP4, DP2)

- 2s & 20s(TP8, PP2, DP4)

★ H200(호퍼) 서버(데이터센터) GPU의 성능 비교 대비 : 30배 성능 자랑함

[엔비디아 - H/W(서버 - 데이터센터) GPU 마이크로아키텍처] - GPU 플랫폼 구성기준

▶ 훈련 대상 : GPT-MoE-1.8T'[90일(3개월) 기간]

① 기존 GPU 플랫폼

- H100(호퍼) 서버(데이터센터) GPU : 8,000개

- 소모 전력 : 15MW(메가와트)

② 신규 '슈퍼 반도체' 플랫폼

- GB200(그레이스 블랙웰 200) '슈퍼 반도체' NVL72

- B200(블랙웰) 서버(데이터센터) GPU : 2,000개

- 소모전력 : 1/4th 전력

♣ 엔비디아[블랙웰 서버(데이터센터) GPU 주요 벤더사] ♣

- 클라우드 벤더사 : AWS, 구글 클라우드, 마이크로소프트 애저, 오라클 클라우드

- 첫번째 줄 : ADETP, AI21labs, Character.AI, Cohere, essential-AI, Hugging Face, Inflection

- 두번째 줄 : 메타, Mistral-AI, 오픈AI, perplexity, Recursion, 테슬라, together.AI, 트위터(X)

- 세번째 줄 : AiVRES, Applied Digital, 애즈락, 아수스, 시스코 시스템, Core-Weave, Crusoe, 델 테크놀로지

- 네번째 줄 : EVIDEN, 폭스콘, 후지쯔, 기가바이트, HPE, IBM 클라우드, indosat, Inventec

- 다섯번째 줄 : Lambda, 레노버, Northen 데이터 그룹, 페가트론, QCT, ScaleWay, Singtel, 소프트뱅크

- 여섯번쨰 줄 : 슈퍼마이크론, 위스트론, Wiwynn, YOTTA, YTL, zt-Systems

①-1. HGX(엔비디아 HGX B100)

▶ 서버(데이터센터) GPU(H/W)

- GPU 마이크로아키텍처 : 블랙웰

- '블랙웰' 서버(데이터센터) GPU(H/W) : 8개

- '블랙웰' 서버(데이터센터) GPU(폼팩터) : SXM(Super Chip Module - 슈퍼 칩 모듈)

- '블랙웰' 서버(데이터센터) GPU[TDP(전력 사용량)] : 700W

▶ 서버(데이터센터) GPU(메모리)

- GPU 메모리(종류) : HBM3e

- GPU 메모리(용량) : 192GB

- GPU 메모리(대역폭) : 8TB/s

▶ 메모리 & 대역폭

- 메모리(고속) : 1.5TB

- 메모리[양방향(대역폭)] : 64TB/s

- NV링크[양방향(대역폭)] : 14.4TB/s

- 인터커넥트 대역폭(NV링크) : 1.8TB/s

- 인터커넥트 대역폭(PCI-익스프레스 6.0) : 256GB/s

①-2. HGX(엔비디아 HGX B200)

▶ 서버(데이터센터) GPU(H/W)

- GPU 마이크로아키텍처 : 블랙웰

- '블랙웰' 서버(데이터센터) GPU(H/W) : 8개

- '블랙웰' 서버(데이터센터) GPU(폼팩터) : SXM(Super Chip Module - 슈퍼 칩 모듈)

- '블랙웰' 서버(데이터센터) GPU[TDP(전력 사용량)] : 1,000W

▶ 서버(데이터센터) GPU(메모리)

- GPU 메모리(종류) : HBM3e

- GPU 메모리(용량) : 192GB

- GPU 메모리(대역폭) : 8TB/s

▶ 메모리 & 대역폭

- 메모리(고속) : 1.5TB

- 메모리[양방향(대역폭)] : 64TB/s

- NV링크[양방향(대역폭)] : 14.4TB/s

- 인터커넥트 대역폭(NV링크) : 1.8TB/s

- 인터커넥트 대역폭(PCI-익스프레스 6.0) : 256GB/s

②. DGX(엔비디아 DGX B200)

- 서버(데이터센터) CPU(인텔) : 5세대 제온(에메랄드 라피드) * 2개[56 코어 * 2개 = 112 코어 / 112 코어 * 2개(224 스레드)], 클럭[베이스(2.1Ghz) / 부스트(4Ghz)]

- 서버(데이터센터) GPU(엔비디아) : '블랙웰' 마이크로아키텍처 * 8개[GPU 메모리(전체 1,440GB(1.44TB))]

- 서버(데이터센터) 메모리 : 4TB

- 스토리지 : NVMe SSD[OS 메인 부분(1.9TB * 2개 - M.2 규격) / 내부 스토리지 부분(3.84TB * 8개 - U.2 규격)]

- 서버(데이터센터) 랙 유닛 : 10 RU

- 네트워킹 속도(싱글 포트 * 8개) : 'Connect-X(CX)-7 VPI' 포트 제공 기반의 OSFP 포트(4개) → [이더넷 속도(인피니밴드) : 400GB/s]

- 네트워킹 속도(듀얼 포트 * 2개) : 'BlueField(블루필드)-3 - QSFP112' → [이더넷 속도(인피니밴드) : 400GB/s]

[엔비디아 - 서버(데이터센터) H/W 플랫폼]

▶ 엔비디아[서버(데이터센터) 플랫폼] - 블랙웰 플랫폼(공식 발표!)

- AI(인공지능) 슈퍼반도체(트랜지스터) : 2,080억개

- 2세대 트랜스포머 엔진 : FP4, FP6 텐서 코어(AI가 동적 및 자동으로 '숫자 형식 크기'를 조정 및 낮은 정밀로도 재변환하는 기능 탑재)

- 5세대 NV링크 : 576개 GPU 연결 규모(호퍼 마이크로아키텍처 대비 2배 빠름)

- RAS 엔진 : 100% 시스템 내 자체 테스트

- 보안-AI : 전체 성능 암호화 및 TEE 지원

- 압축 해제 엔진 성능 : 800GB/s

▶ 엔비디아[서버(데이터센터) H/W 플랫폼] 실물 공개

1. HGX 타입 : HGX B100 GPU(8개)

2. 슈퍼반도체 보드 : 2개 → [서버(데이터센터) CPU(그레이스, 72개 ARM-Neoverse V2) 1개 + 서버(데이터센터) GPU(블랙웰) 2개]

[엔비디아 - H/W(슈퍼 반도체 - 'CPU + GPU')]

①-1. 엔비디아[차세대 슈퍼 반도체(CPU + GPU)] - 단일 반도체 구성

- 제품 모델명: GB200(그레이스 블렉웰 200) 슈퍼반도체

- 반도체 구성 : '그레이스' 서버(데이터센터) CPU['ARM-Neoverse V2', 72개 코어) * 1개 + '블랙웰' [서버(데이터센터) GPU] * 2개

- 슈퍼반도체 메모리(용량) : 384GB(HBM3e)

- 슈퍼반도체 대역폭(NV링크 C2C) : 900GB/s

①-2. 엔비디아[차세대 슈퍼 반도체(CPU + GPU)] - 반도체 혼합 장착

- 제품 모델명: GB200(그레이스 블렉웰 200) 슈퍼반도체

- 반도체 구성 : 서버(데이터센터) CPU(그레이스, 72개 ARM-Neoverse V2) 1개 + 서버(데이터센터) GPU(블랙웰) 2개

- AI 성능 : 40 PETA-Flops(페타플롭스)

- 슈퍼 반도체 메모리(용량) : 864GB

- 슈퍼 반도체 메모리(HBM) : 16TB/s

- 슈퍼 반도체 대역폭(NV링크) : 3.6TB/s

①-3. 엔비디아[차세대 슈퍼 반도체(CPU + GPU)] - 전체 세부 스펙[GB200(그레이스-블랙웰) 슈퍼 반도체]

▶ CPU(ARM-Holdings) - 그레이스

- CPU 마이크로아키텍처 : ARM Neoverse V2

- CPU 코어 : 72개

- CPU 캐시 메모리(1차) : 64KB(인스트럭션) + 64KB(데이터)

- CPU 캐시 메모리(2차) : 코어 당 1MB

- CPU 캐시 메모리(3차) : 114MB

▶ GPU(엔비디아) - 블랙웰

- GPU 코드명 : B200

- GPU 탑재 개수 : 2개

▶ 메모리

- CPU(메모리) - '용량 / 대역폭' : LPDDR5X(480GB / 512GB/s)

- GPU(메모리) - '다이 / 용량 / 대역폭' : HBM3e(8개 다이 / 384GB / 16TB/s)

▶ 스위치(NV링크)

- 스위치(버전) : 5세대 NV링크

- 스위치[대역폭(양방향)] : 2 * 1.8TB/s

[엔비디아 - H/W(서버 - 데이터센터)]

① 엔비디아[차세대 슈퍼 반도체(CPU + GPU)] - '컴퓨팅 노드 서버 랙'(구성)

- 반도체 구성 : 서버(데이터센터) CPU(그레이스, 72개 ARM-Neoverse V2) 2개 + 서버(데이터센터) GPU(블랙웰) 4개

- AI(인공지능) 성능 : 80 PFlops(페타플롭스)

- 슈퍼 반도체 메모리(용량) : 1.7TB(HBM3e)

- 슈퍼 반도체 메모리(대역폭) : 32TB/s

- 발열 쿨링 디자인 : 액체 냉각 방식(MGX 규격)

※ 지금까지 만들어진 가장 강력한 컴퓨팅 노드

▶ DPU(데이터 처리 유닛)

- 제품명 : BlueField(블루필드)-3 * 1개

- 특정 부문별 처리속도 특화(네트워킹, 스토리지, 사이버 보안) 

- 내부 네트워크 컴퓨팅 지원

- 메모리 대역폭 : 80GB/s

▶ 네트워크 스위치 반도체

- 제품명 : ConnectX(CX)-800G 인피니밴드 SuperNIC * 4개

- 업계 최고의 GPU RDMA, 적응형 라우팅 지원

- 프로그래밍 가능한 혼잡 제어 기반 설계

- AI(인공지능) 처리 최적화

②-1. 엔비디아[차세대 슈퍼 반도체(CPU + GPU)] - '서버 랙 구성'

- 제품 모델명 : GB200(그레이스 블랙웰 200) NVL72

- 1개 서버랙 당 탑재된 컴퓨트 트레이 : 18개

- '그레이스' 서버(데이터센터) CPU : 36개

- '블랙웰' 서버(데이터센터) GPU : 72개

※ 최신 '서버(데이터센터)'를 위한 컴퓨팅

②-2. 엔비디아[차세대 슈퍼 반도체(CPU + GPU)] - 전체 세부 스펙[GB200(그레이스 블랙웰 200) NVL72]

▶ CPU(ARM-Holdings) - 그레이스

- '그레이스' 서버(데이터센터) CPU 코어 개수(ARM-Neoverse V2) : 2,592개

▶ GPU - 블랙웰

- '블랙웰' 서버(데이터센터) GPU : 72개

▶ CPU + GPU(슈퍼 반도체)

- 반도체 구성 : GB200(그레이스 블랙웰 200) 슈퍼 반도체 * 36개

- 컴퓨팅 노드 : GB200(그레이스 블랙웰 200) 슈퍼 반도체 * 18개

▶ 메모리

- 메모리 구성(아키텍처) : HBM3e

- 메모리 구성(용량) : 13.5TB

- 메모리 구성(대역폭) : 576TB/s

- 메모리 구성(고속) : 30TB

▶ 스위치(NV링크)

- NV링크 스위치(반도체) : 5세대(9개)

- NV링크 스위치[대역폭(양방향)] : 130TB

③ 엔비디아[차세대 서버(데이터센터) 스위치]

- 제품명 : 5세대 NV링크 스위치 반도체 * 2개

- 블랙웰 '서버(데이터센터) GPU'의 멀티 패브릭 연결

- 포트 구성 : 8개(최대 1.8TB/s)

- 최대 총 대역폭 : 14.4TB/s

★ 엔비디아 - 'GPU 연결 기술' 세부 제원(5세대 NV링크 스위치 반도체)

- 제품명 : '5세대 NV링크 스위치 반도체'

- 제조공정 : 대만 TSMC(4NP)

- 트랜지스터 : 500억개(호퍼 마이크로아키텍처 사이즈와 비슷함)

- 포트당 대역폭(72 포트) : 듀얼 200GB/s(SerDes 지원)

- NV링크(4개) : 1.8TB/s

- 전체 이중 대역폭 : 7.2TB/s

- SHARP 내부 네트워크 컴퓨팅 성능 : 3.6 TFLOPS(FP8 기준)

※ '5세대 NV링크 스위치 반도체' 다이 내부 구성

- I/O 다이(SerDes) : 2개

- 포트(36개) 다이 : 2개

- 코어 로직 다이 : 1개

- 관리 로직 다이 : 2개

④ 엔비디아[차세대 서버(데이터센터) 시스템]

- 제품명 : 5세대 NV링크 스위치 시스템

- 블랙웰 '서버(데이터센터) GPU'의 멀티 패브릭 연결

- 반도체 구성(스위치 반도체) : 2개 * 9개 : 18개

- 포트 구성 : 8개(최대 1.8TB/s) * 9개 : 72개

- 최대 총 대역폭 : 130TB/s(전체 의사소통 간 통신)

⑤ 엔비디아[차세대 서버(데이터센터)] - 척추

- 구성 : GB200(그레이스 블랙웰 200) 슈퍼 반도체[컴퓨팅 노드 서버 랙]

- 서버(데이터센터) GPU : 블랙웰(72개) ☞ NV링크로 연결 구성

- 구리 케이블링 비용 : 6배 더 적은 비용으로 구축

- 생성-AI 기반의 대규모 GPU

- 설치 편의성 : 쉬운 설치 및 서비스 가능성 기반의 '블라인드 메이트 커넥터' 탑재

⑥ 엔비디아[차세대 서버(데이터센터)] - 서버 랙

- 제품 모델명 : GB200(그레이스 블랙웰 200) NVL72

- 하나의 거대한 '엔비디아 CUDA' GPU

- AI 성능 : 1.4 EXA-Flops(엑사-플롭스)

- 슈퍼반도체 메모리(용량) : 30TB(HBM3e)

※ '1조 매개변수'의 '생성-AI(인공지능)' 규모급 컴퓨팅 서버 랙

⑦ 엔비디아[차세대 서버(데이터센터)] - 네트워킹 스위치

- 제품 모델명 : 퀀텀 인피니밴드 스위치

- 포트당 대역폭 : 800GB/s

- 집계 처리량(양방향) : 230.4TB/s

※ 비교 불가능할 '데이터 처리량 & 밀도'

⑧ 엔비디아[차세대 서버(데이터센터)] - 네트워킹 플랫폼

- 제품 모델명(인피니밴드) : 퀀텀-X800

- 제품 모델명(네트워킹 스위치) : 스펙트럼-X800

- 접속 용량 : 800GB/s

- 대역폭 용량 : 최대 5배 확장

- 내부 네트워크 컴퓨팅 성능 : 14.4 Tera-Flops(테라플롭스)

※ 최고의 AI(인공지능) 성능을 위한 네트워킹 플랫폼!

⑨ 엔비디아[차세대 서버(데이터센터)] - '서버(데이터센터)' 컴퓨팅 랙

- 제품 모델명 : GB200(그레이스 블랙웰 200) NVL72

- 제품 구성 : GB200 NVL72(8개) + 그레이스 서버(데이터센터) CPU(288개) + 블랙웰 서버(데이터센터) GPU(576개)

※ 액체 냉각 방식 : 최고의 에너지 효율성을 자랑함(컴퓨팅 랙의 냉각 전력이 2배 감소함)

★ 엔비디아의 '차세대 DGX Super-POD' 플랫폼 : 엔비디아 'DGX GB200 Super-POD'

⑩ 엔비디아[차세대 서버(데이터센터)] - 전체 '서버(데이터센터)'

- 탑재 서버(데이터센터) GPU(블랙웰) : 32,000개

- AI(인공지능) 성능 : 645 EXA-Flops(엑사-플롭스)

- 메모리 용량 : 13PB(페타바이트)

- 대역폭(NV링크) : 58PB/s(페타바이트)

- 내부 네트워크 컴퓨팅 성능 : 16.4 PETA-Flops(페타플롭스)

※ 새로운 산업혁명을 위한 AI(인공지능)-공장 인프라스트럭쳐

▶엔비디아['슈퍼 반도체(CPU + GPU)' 플랫폼 성능 비교] - DGX 플랫폼(DGX GB200 NVL72)

1. FP8 훈련 성능 : 720 PFLOPS(페타플롭스) → 22배

2. FP4 추론 성능 : 1.44 EXA-Flops(엑사플롭스) → 45배

3. 멀티노드(All-To-All) : 130TB/s → 18배

4. 멀티노드(All-Reduce) : 260TB/s → 36배

※ 하나의 거대한 GPU

※ 뒷면 세부 구성 : DGX NV링크 케이블(5,000개)가 포함됨(2마일에 걸침)

[엔비디아 - 슈퍼 컴퓨터 시스템]

① Selend(셀린) : 2021년

- 서버(데이터센터) GPU : A100(암페어 마이크로아키텍처) ☞ 4,480개 탑재

- AI 컴퓨팅 성능 : 3 엑사플롭스(EXA-Flops)

- 인터커넥터 대역폭 : 112TB/s

② EOS(에오스) : 2022년(공식 발표) & 2023년(공개)

- 서버(데이터센터) GPU : H100(호퍼 마이크로아키텍처) ☞ 10,752개 탑재

- AI 컴퓨팅 성능 : 43 엑사플롭스(EXA-Flops)

- 인터커넥터 대역폭 : 1,100TB/s

③ 네트워킹 및 연결 기술

- 네트워킹 : 멜라녹스 인피니밴드

- GPU 연결 기술 : NV링크

※ 여러 개의 GPU를 '하나의 GPU'로 연결하여 전체를 혁신하는 슈퍼컴퓨터