▶ 엔비디아, GTC 2024에서 차세대 서버(데이터센터) GPU 공개

- 차세대 서버(데이터센터) GPU 코드명 : BlackWell(블랙웰)
- 코드명 선정자 : David Harold BlackWell(데이빗 해럴드 블랙웰) → 미국 국립과학원에 입학한 최초의 흑인학자
- 특징 : 최대 매개변수 지원(10조), AI 교육 및 실시간 LLM(대형 언어 모델) 추론을 지원함
- 생성-AI 구축(대규모) : 1조의 매개변수 규모로 구축 및 실행
- 에너지 효율성 : 최대 25배의 적은 비용 및 소모 전력을 제공함

 

☞ 엔비디아, 블랙웰 서버(데이터센터) GPU의 세부 제원

- GPU(트랜지스터) : 2,080억개
- GPU 메모리(HBM3e) : 192GB
- GPU 메모리(대역폭) : 8TB/s
- NV링크(5세대) : GPU당 최대 1.8TB/s 양방향 처리량 제공(최대 576개의 GPU 고속 통신 기능 지원)
- RAS 엔진 : 안정성, 가용성, 서비스 가능성 전용 엔진 탑재(AI 기반으로 예방 유지 관리, 신뢰성 문제를 예측 기능 추가)

- 트랜스포머 엔진(2세대) : 신규 '마이크로 텐서스케일링' 지원, TensorRT-LLM, NeMo Megatron 프레임워크 통합

(신규 '4비트 부동 소수점 AI'로 컴퓨팅 및 모델 크기를 2배의 추론 능력을 지원함)

- 보안-AI : 고급 기밀 컴퓨팅 탑재로 '신규 기본 인터페이스' 암호화 프로토콜을 지원함
- 압축 해제 엔진 : 최신 형식 지원으로 '데이터베이스' 쿼리를 가속화 및 데이터 분석 & 과학에서 최고의 성능을 자랑함
- 제조공정 : TSMC 4NP 공정
- AI(인공지능) 성능 : 최대 20페타플롭스
- 전체 스택, CUDA 지원 

 

☞ 엔비디아, 블랙웰 서버(데이터센터) GPU의 성능

- FP8 : 20 페타플롭스(호퍼 마이크로아키텍처 비교 대비 2.5배 성능 자랑함)
- FP6(신규) : 20 페타플롭스(2.5배 성능)
- FP4(신규) : 40 페타플롭스(5배 성능)
- HBM 모델 사이즈 : 7,400억개 매개변수(6배 성능)
- HBM 대역폭 : 34조(5배 성능)
- NV링크 기반 'SHARP' 줄임 성능(?) : 7.2TB/s(4배 성능)