메타버스 : 인터넷의 다음 진화 버전 ▶ 3D로 확장됨.

현재 인터넷 : HTML로 설명 후 브라우저를 통하여 볼 수 있는 웹 사이트로 연결.

3D 인터넷(메타버스) : USD로 설명되고 시뮬레이션 엔진을 통하여 볼 수 있는 가상 3D 세계를 연결.

엔비디아 옴니버스 : 메타버스 애플리케이션 구축 및 운영용 플랫폼

- 필수 도입 대상 활용 직종군 : 차세대 AI 물결 직종인 로보틱스.(AI로 물리적 세계와 상호 작용함)

- 공유된 실시간 대규모 3D 데이터베이스로 구축된 세계.

- USD 기반으로 구축 및 3D 세계를 연결하고, 실행되는 애플리케이션 제작.

엔비디아 옴니버스의 대표 프로그램

- 협업 제작용 Create, View

- 합성 데이터 생성용 Replicator

- 디지털 트윈 시뮬레이션용 Isaac Simulation 및 Drive Simulation

엔비디아 옴니버스의 주요 업데이트 발표(Feat. 에이다 러브에이스 기반 RTX 4000 GPU)

- USD

- ADA : 레이 트레이싱 및 대형 장면 성능을 실현하는 RTX 4000 GPU

- 키트

- 신경망 그래픽 : 신규 GAN 기반 및 확산 모델 기반 신경망 그래픽 렌더링 도구

- XR : RTX 4000 GPU 기반 VR 레이 트레이싱 전용 신규 클라우드 XR

- 행동 및 물리학 : 복잡한 다중 부품 개체 역학을 처리하기 위한 주요 업데이트

- 복제 : 자율 주행 자동차 및 로보틱스에 도입 및 모든 종류의 컴퓨터 비전 모델을 훈련시키기 위한 합성 데이터 생성 용도.

- 시뮬레이션 Ready : 세계 최초 시뮬레이션 레디 전용 에셋 라이브러리(합성 데이터 생성 및 디지털 트윈 시뮬레이션 용도)

- 개발자 도구 : 행동, 움직임 및 동작을 절차적 제어하는 실행 엔진인 옴니그래프(OmniGraph) 업데이트

- 지멘스 JT : 지멘스의 제품 수명 주기 관리의 업계 표준 언어(NX, Creo, Catia, Inventor 등 CAD 시스템의 상호 운용성 형식 언어)인 JT 커넥터를 옴니버스 JT 커넥터로 지원함.

엔비디아 옴니버스와 VFX 디자인 파이프라인[Feat. DENG(시각 효과 및 애니메이션 전문 스튜디오)]

- 5개 ~ 7개의 도구 를 사용하여 모델링, 리킹, 애니메이션, 시뮬레이션 등 워크플로우의 특정 측면에 특화됨.

- 오토데스크 마야, 사이드FX Houdini, 어도비 서브스탠스 3D, Foundry Nuke를 워크플로우에 사용함.

- 옴니버스 사용 시 DNEG의 크리에이터에 다르게 사용되는 도구 데이터를 인터랙티브 방식으로 협업함.

엔비디아 RacerX 데모 시연 영상(옴니버스 협업 제작)

- 제작 인원 : 30명 아티스트(12개의 표준시간대에서 협업 제작)

- 제작 도구 개수 및 기간 : 11개 & 3개월

- 제작 방식 : 옴니버스를 사용하여 작업의 오케스트레이션화 및 관리를 위한 커스텀 3D 파이프라인을 제작.

※ 일반적인 아키텍쳐 디자인 프로세스의 사용 애플리케이션 : Revit, Rhino, 구글 스케치업, 3DS MAX

엔비디아 옴니버스와 설계 컨셉 디자인 파이프라인[Feat. KPF(건축 디자인 회사)]

- 옴니버스로 건축가, 디자이너 및 고객을 연결하고, 충실도 높고 사실적으로 렌더링된 모델의 상호 작용화함.

※ 자동차 및 기타 물리적 제품 제조업체 : 지멘스, 오토데스크, Ansys(이들은 PTC 도구를 사용함)

엔비디아 옴니버스와 자동차 컨셉 디자인 & 리뷰 파이프라인[Feat. General Motors]

- 옴니버스로 GM의 '미시건 디자인 스튜디오'의 디지털 트윈을 제작함.

- 옴니버스로 물리적 시뮬레이션, 충실한 렌더링되는 단일 진실 공급원을 제공함.

엔비디아 옴니버스와 5G 통신 네트워크 구축 과정[Feat. 'HEAVY.AI'(500억 달러 규모 통신 구축 업체) 및 Chater 커뮤니케이션(인터랙티브 데이터 분석 플랫폼 기업)]

- 통신 회사는 향후 5년 동안 수백만개의 5G 초소형 기지국 및 타워를 배포할 예정.

(신규 및 기존 셀과 타워 배치 및 운영 최적화하면 2조 달러 규모에서 수십억 달러를 절약할 수 있음)

- 이 2개 회사는 옴니버스로 사용하여 도시 및 전국 규모의 4G 및 5G 네트워크의 디지털 트윈화 제작함

☞ 디자인 : 인공위성 및 LiDAR, 통신 주파수, 네트워크 트래픽(디지털 트윈)

☞ 운용 : 도시 규모 인프라, 물리적 네트워크 자산, 사용자 및 디바이스 개수(물리적 세계)

※ 옴니버스로 수십억 개 포인트 및 LIDAR 스캔, 인공위성 이미지, 건물, 나무 및 주변 환경, 통신 주파수 전파 모델의 결합하고 Charter의 무선 네트워크 성능을 실시간 시뮬레이션화함.

엔비디아 옴니버스와 리테일 제품의 디지털 트윈화[Feat. LOWE's(주택 개조 소매업체)]

- 디자인 : 상점 및 인벤토리(CAD, API), 과거 구매 데이터내역(디지털 트윈)

- 운용 : 상점 내부 센서, 임직원 입력, AR(물리적 세계)

※ Magic Leap 2 AR 헤드셋으로 물리적 및 옴니버스와 혼합된 공간에서 신규 매정 디자인을 살펴볼 수 있음.

엔비디아 옴니버스와 자율 철도의 디지털 트윈화[Feat. Deutsche Bahn(독일 국영 철도회사)]

- 디자인 : 철도 네트워크, CAD 훈련, CFD 시뮬레이션, 인공 데이터(디지털 트윈)

- 운용 : 카메라 데이터, LiDAR, 5G 신호(물리적 세계)

※ 옴니버스로 철도와 열차의 지속 모니터링 및 운영에 영향을 미치는 위험 요소와 상황을 인식하는 AI 모델을 훈련함.

※ 신규 선로를 구축하지 않고, 철도 용량 및 효율성을 높이고 탄소 발생량을 줄이기 위해서도 옴니버스를 사용함.

엔비디아 옴니버스 플랫폼 생태계 파트너사(M & E, 디자인, AEC 및 제조 산업의 연결)

- 디지털 트윈 & 로보틱스 : 아마존 로보틱스, Aspentech, 오토데스크, Benttey, DELTA, ESRI, FESTO, FELXIV, Fraunhefer, FUJISoft, ideaworks, bipolog, NextSpace, PTC, Ready 로보틱스, RIOS, 리버 시스템, 지멘스 에너지, 지멘스, 소프트 로보틱스, Trimble, 비주얼 컴포넌트

- 센서 모델 : Ansys, CEPTON, 컨티넨탈, FORVIA, 이노비즈 테크놀로지, ONSEMI, 소니, Valeo

- 렌더링, 디자인 & 컨텐츠 제작 : 어도비 시스템, 오토데스크, 블렌더, CLO, ESRI, Galaem, 그래피소프트, 키트웨어, 마모셋, MAXON, oToy, 플랜팩토리, PTC, Rhinoceros, 리얼루션, 렌더맨, 사이드FX, Trimble, 언리얼 엔진, 유니티 엔진

- 자산 & 에셋 라이브러리 : cg트레이더, 리얼루션, 스케치랩, 터보스퀴드, Twinbru

- 시스템 통합 및 서비스 제공업체 : 데이터 몬스터, Delotte, AVENIO, 키네틱비전, 마그나소프트, NETALLIED 시스템, Quantiphi, 퀘스트글로벌, 스마트카우, 소프트서브

엔비디아 옴니버스 구매자 파트너사

- 첫째줄 : 아마존 로보틱스, ASTEC, AT&T, BIG, BMW 그룹, 카탈리스트 엔터테인먼트 & 테크놀로지, DELTA, DENTSU 크리에이티브

- 둘째줄 : DNEG, 에릭슨, 폭스콘, Fraunhofer, GM, GWANTSI, 중국업체, IBI

- 셋째줄 : KPF, KROGER, 인더스트리얼 라이트 & 매직, 록히드 마틴, LOTUS, LOWE's, 중국업체, MATTEL

- 넷째줄 : MR팩토리, NJIT, NORTHROP GRUMMAN, NTTPC, 페가트론, PEISICO, QCT, RIOS

- 다섯째줄 : 리버 시스템, 지멘스, 지멘스 에너지, 소니 픽쳐스 애니메이션, 텍사스 어린이병원, 영국 아토믹 에너지 협회, 미국 우주군, 유니버설 로봇

- 여섯째줄 : 캘거리 대학교, 북부 다코타 대학교, UTSA, Valeo, WOODS BAGOT, WPP, YKK, Zaha Hadid Architects

엔비디아 옴니버스 클라우드 컴퓨팅

- 3가지 구성 요소 : RTX GPU 장착한 컴퓨터, Nucleus 데이터베이스 연결 호스팅 및 가상 세계 시뮬레이션 전용 OVX 서버, 옴니버스 진입 포탈 역할 전용인 NVIDIA GDN 서버

- Geforce NOW로 100개 지역에 걸친 글로벌 GDN(Global Delivery Network) 서버를 구축함.

- RTX GPU 장착 PC, 클라우드 전용 GPU, NVIDIA GDN 사이에는 전 세계의 옴니버스 컴퓨터를 구축함.

※ CDN(Content Delivery Network) 서버로 효율적인 인터넷 영상 스트리밍화하는 반면에 GDN은 인터랙티브 그래픽화하여 효율적인 스트리밍 구현이 가능함.

엔비디아 옴니버스 클라우드 서비스 공개

- 모든 장소 및 장치에서 메타버스 애플리케이션을 디자인 및 퍼블리싱과 경험할 수 있는 서비스형 소프트웨어 및 인프라 제품군

- 요소(옴니버스 클라우드, 옴니버스 리플리케이터, 옴니버스 농장)

※ 옴니버스 농장 : 렌더링 농장을 위한 확장 엔진

엔비디아 XAVIER 로보틱스 프로세서 공개

- 세계 최초로 딥 러닝 전용 설계된 로보틱스 전용 프로세서

- 설계 연혁 : 2018년(파커, 1 TOPS), 2020년(XAVIER, 30 TOPS), 2022년(ORIN, 250 TOPS), 2024년(ATLAN, 1000 TOPS)

※ 작년에는 ATLAN(1000 TOPS)를 도입하였으나, 이제 더 이상 제공되지 않으며 2배 처리량 및 성능을 제공하는 THOR(2024년 예정, 2000 TOPS)로 대체됨. 

☞ 이유 : 그레이스 서버 CPU, 호퍼 데이터센터 GPU, 에이다 러브에이스 RTX GPU의 3가지 요소임.

엔비디아 드라이브 THOR(토르) 프로세서 공개

- 2000 TOPS 및 2000 테라플롭스 성능, 770억개 트랜지스터 탑재

- 추론 트랜스포머 엔진 : 전체 자율주행 파이프라인 할당 및 운전석 AI 및 인포테인먼트 & 보조 기능 일부 사용이 가능하도록 구성됨.

- 다중 도메인 컴퓨팅 격리 : 중요한 시간의 동시 프로세스를 중단 없이 실행가능함.

- NV링크-C2C 용량 확장

※ 1개의 컴퓨터에서 리눅스 QNX, 안드로이드를 동시 실행이 가능함.

엔비디아 드라이브 토르의 중앙 집중식 컴퓨터

- 분산차량 컴퓨터의 SOC 6개 요소 : 주차, AV, 능동적 안전, DMS & OMS, CMS, 클러스터, 인포테인먼트

- 중앙 집중식 컴퓨터로 통합화하여, 시간의 지남에 따른 향상되는 소프트웨어로 구축될 예정

엔비디아 드라이브(ASIL-B/D 자동차 중앙 컴퓨팅 플랫폼)

- 복제 및 시뮬레이션 대기 자산 : 합성 데이터 생성

- 드라이브 시뮬레이션

- 드라이브 지도

- 능동적인 안전 감지, & AV 스택 : 풀 스택 드라이빙 캐빈 내 AI 애플리케이션

- 사전 훈련 모델

- ORIN AI 컴퓨터

※ 엔비디아 AI 인프라와 하이페리온 레퍼런스 자율주행 자동차 시스템도 포함됨

엔비디아 드라이브 시뮬레이션

- 엔비디아 연구소에서 발표한 신경망 재구성 엔진인 AI 파이프라인

- 기록된 센서 데이터에서 3D 장면을 구성하는 AI 파이프라인을 개발함.

- 3D 영상 지오메트리 파이프라인은 엔비디아 OVX 서버에서 실행되며, 글로벌 규모로 시뮬레이션 시나리오를 제작함.

엔비디아 드라이브 시뮬레이션의 기능

- HIL(Hardware Inter-Loop) :  AI 팩토리에서 차량 내 소프트웨어 전체 스택을 실행하고, 차량 내부도 시뮬레이션 가능함.

- AI 차량은 실제 차량의 시뮬레이션화하고, 실제 도로 주행 상황이 아니라는 사실을 알지 못함

엔비디아 안전 시스템 플랫폼

- 15,000년 상당의 엔지니어링을 투자함

- TUV SUD에서 평가한 210억 개의 트랜지스터 안전성

- 5백만 줄의 프로그래밍 코드의 안전성 평가를 입증.

※ 엔비디아 드라이브 반도체 및 플랫폼 : ASIL-D 작업 및 ISO-26262 안전 규격에 맞게 설계됨.

엔비디아 드라이브 ORIN(오린) 프로세서

- 로보틱스 전용 특별세계된 2세대 프로세서

- 자동차, 트럭, 로보택시 및 셔틀 버스에 최적화된 자율주행 자동차 컴퓨팅 엔진

엔비디아 로보틱스 컴퓨터 파트너쉽 기업

- 스타트업 기업 1,000개를 포함한 약 6,000개 기업에서 사용

※ JETSON으로 로봇 제작하는 기업 : 아마존, 보잉, 캐논, 마이크로소프트, Shopify, 테라다인

엔비디아 JETSON 오린 나노 프로세서 소개

- 엔비디아 Isaac 로보틱스 스택 실행

- ROS 2 GPU 가속 프레임워크 제공.

엔비디아 메트로폴리스 엣지 AI 오린 서버 소개(올인원 플랫폼으로 실시간 지능형 머신 배포 가속화 특화)

- 메트로폴리스 : 엔비디아의 엣지 AI 플랫폼

- 100만 번 이상 다운로드된 플랫폼

- 카메라, LiDAR 및 IOT 센서를 활용.

엔비디아 IGX 오린 소개(플랫폼 지능형 산업 및 의료 등급 시스템)

- 지멘스 : 메트로폴리스 및 오린 IGX 플랫폼을 도입 발표.

엔비디아 클라라 홀로스캔(Feat. 엔비디아 ORIN IGX)

- 짧은 지연 시간의 이미지 처리 플랫폼

- 로보틱스 애플리케이션 라이브러리를 포함한 데이터 처리, AI 모델 트레이닝, 시뮬레이션이 포함됨.

죄송합니다. 중간에 업무가 생겨서 몇 시간 동안 자리를 비우게 되었습니다. 넓은 마음으로 이해 부탁드립니다

바로 계속하겠습니다.

엔비디아 홀로스캔으로 가능하게 하는 AI 의료 진단기기의 혁명

- 의료 진단 질병과목 : 내시경, 영상유도치료, 방사선치료, 로봇 수술
- 주요 파트너 사 : ASENSUS, Carestream, CVR Surgical, Elekta, HAPLY, INTUITIVE, 올림푸스, 지멘스 헬시니어, Stryker

※ Activ Surgical, Proximie, Moon Surgical 업체가 수술 로보틱스 시스템을 구축 발표함.

엔비디아, 자율 주행 모바일 로봇(AMR)용 Isaac 플랫폼 제작 발표(엔비디아 AI 및 옴니버스)

- 시뮬레이션 대기 자산 : 창고, 공장에서 자주 발견되는 주요 항목 자산 라이브러리

- 복제 : 합성 데이터 생성

- 사전 훈련 모델 및 TAO

- Isaac 시뮬레이션 : ROS 및 이외 인기 항목의 로보틱스 생태계의 커넥터를 갖춘 상태

- Isaac ROS : ROS 브리지와 연결되는 런타임과 AI 및 컴퓨터 비전 알고리즘 포함하는 엔진

- CUOPT : 실시간 차량 작업 할당 및 경로 계획 담당 GPU 가속 최적화 엔진

엔비디아, 30년 기간의 단일 분야에 집중한 결과물

- 3개 반도체 : CPU, GPU, DPU

- 클라우드 To 엣지(데이터센터 To 로보틱스 시스템) : RTX, DGX, HGX, EGX, OVA, 슈퍼POD, AGX

- 가속 라이브러리 : cuNumeric, CV-CUDA, CuQuantum, Paratricks, Siona, JetPack, RAPIDS, Sparks, cuDNN, cuGraph, 텐서RT, Triton, DeepStream, Flare, DOCA, MagIO, Aerial

- 플랫폼 : HPC, AI, 옴니버스

- AI 애플리케이션 프레임워크 : MODULUS, MONAI, RIVA, MAXINE, NEMO, MERLIN, CUOPT, MORPHEUS, TOKKIO, AVATAR, DRIVE, ISAAC, METROPOLIS, HOLOSCAN

- 플랫폼 이용자 수 : 350만명 개발자 보유

- 스타트업 기업 창업 개수 : 12,000개

- 개발자 도구 및 AI 모델 기반 애플리케이션 : 550개의 SDK, AI모델 기반 3,000개 애플리케이션 가속화

NVIDIA의 인기 가속화 라이브러리 주요 몇 가지 소개

- RAPIDS 22.10 : 데이터 과학 및 데이터 엔지니어링을 가속화하는 오픈 소스 SDK 제품군(엔비디아 SDK의 기초)

(데이터 프레임, SQL 어레이, 머신 러닝 및 그래프 분석을 몇 시간 만에 처리 및 10 ~ 100배 처리 가능함)

(파트너사 : Spark, AutoGluon, BEATopic, dask, HoloViz, InterpretML, MARS, mlFlow, MONAI, Numba, PYCARET, RAY, Scanpy, SHAP)

(개발자 액세스 : 천만명 윈도우 기반 파이썬 개발자는 RAPIDS에 액세스 가능)

(ARM 서버 지원 : ARM 서버 기반 아키텍쳐 지원)

※ 아파치 스파크 : 인기 높은 데이터 처리 엔진으로, 포춘 500대 기업 중 80%가 사용중이며, '아파치 스파크 3'용 플러그인을 탑재하여 '델타 레이크' 및 '아파치 아이스버그'의 통합 지원.

NVIDIA의 인기 가속화 라이브러리 주요 몇 가지 소개

- 엔비디아 트리톤(TRITON) : 하이퍼스케일 기반 오픈 소스 추론 제공 소프트웨어

- 지원 범위 : GPU, x86 및 ARM 아키텍쳐 CPU, AWS 인퍼렌티아 등 주요 프레임워크 지원.

- 다운로드 회수 및 증가율 : 3백만먼 이상 다운로드 및 지난해 대비 300% 증가(35,000개의 업체에서 사용됨)

- 퍼블릭 클라우드 파트너사 : 알리바바 클라우드, AWS, 구글 클라우드, 마이크로소프트 애저, 텐센트 클라우드, AIRTEL, 아마존, 아메리칸 익스프레스, GE 헬스케어, JD.COM, 마이크로소프트, NIO, 페이팔, 텐센트, 미국 우정청, 야후 재팬

파이토치 지오그래픽 & DGL의 엔비디아 AI(빠른 ETL, 샘플링, GNN의 훈련)

- 파트너사 : 아마존, 아메리칸 익스프레스, ENTOS, Meituan, 핀터레스트

엔비디아, CV-CUDA 오픈소스 프로젝트 공개(10배 이상 대역폭의 클라우드 이미지 프로세싱 가속화)

- 바이트댄스와 협업에서 시작한 고성능 컴퓨터 비전 커널 세트

- 다른 라이브러리 및 딥 러닝 프레임워크와 효율적 통합을 진행이 가능한 제로 카피 인터페이스.

엔비디아, CU-퀀텀 SDK 공개(양자회로 시뮬레이션 전용, 다중 노드 및 다중 GPU가 있는 양자 회로 시뮬레이터)

- 프로그램 : 실행시 32노드 DGX POD가 40 퀀텀비트의 양자 컴퓨터를 시뮬레이션화 가능함.

- 파트너사 : BMW, Deloitte, 후지필름, 오라클, 소프트서브, AWS, CLASSIQ, 콜드콴타, IONQ, Menten.AI, PASQAL, PsiQuantum, QCWARE, Quantum AI, Quantinuum, Rigetti, SeeQC, XANADU, ZAPATA, Argonne, JULICH, NeRSC, OAK RIDGE 국립 연구소

엔비디아 QODA(하이브리드 양자 가속 컴퓨팅 플랫폼, 퀀텀 프로세서에 구애받지 않는 개방형 플랫폼)

- 파트너사 : BMW, Deloitte, 후지필름, 오라클, 소프트서브, AWS, CLASSIQ, 콜드콴타, IONQ, Menten.AI, PASQAL, PsiQuantum, QCWARE, Quantum AI, Quantinuum, Rigetti, SeeQC, XANADU, ZAPATA, Argonne, JULICH, NeRSC, OAK RIDGE 국립 연구소

엔비디아, JAX ON(Feat. 엔비디아 AI)

- 라이브러리 : 머신 러닝 연구용으로 필요한 다양한 기능 정의 및 구성하는 기능을 갖춤.

- 파트너사 : 알리바바 클라우드, AWS, 바이두 클라우드, 구글 클라우드, 마이크로소프트 애저, 텐센트 클라우드, 오라클 클라우드,  DeepMind, 이베이, 구글 리서치, InstaDeep

트랜스포머와 대형 언어 모델

- AI에서 가장 활발하게 연구 진행되고 있음(올해에 1만개 이상의 연구 논문 발표)

- 트랜스포머 : CNN과는 달리 방대한 공간 및 시간을 걸쳐 패턴 및 관계를 학습이 가능함.

- 대형 언어 모델 : 퓨샷 러너(Few Shot Learner)는 사전 학습된 모델은 다른 컨텍스트에서 동일 질문 수신 시 다른 응답을 생성함.

엔비디아, Nemo LLM(커스텀 대형 언어모델)

- 기능 : 대형 언어 모델이 공란을 채우는 자연 스러운 기능으로 사용.

- 프롬프트를 학습하기 위하여 몇 가지 혹은 몇장의 예시 및 학습 사진을 Nemo에 제공함.

- 작은 예시 세트를 통하여 프롬프트 인코더를 학습.

※ 예시 기준으로 작업을 수행하고자 LLM을 학습시키는 클라우드 서비스 기반 'Nemo' 대형 언어 모델 서비스 발표

- 커뮤니티 구성원들의 구축한 엄선된 사전 학습 기초 모델들이 포함됨.

- NemoAPI는 학습된 프롬프트 임베딩 및 최적화된 마이크로 서비스 생성함.(멀티 GPU 및 멀티 노드에 대해서 모든 클라우드에서 배포가 가능함)

BIO-NEMO 공개

- 생화학 대형 언어 모델의 프롬프트를 조정 및 특정 속성의 화학 물질 및 특정 군의 단백질을 생성함.

- 파트너사 : absci, Alchemab(The Rapeutics), 아스트라제네카, BROAD-Institute, EVOZYNE, 플래그쉽 파이오니어링, Insilico 메디슨, InstaDeep, 페이스북(메타), Mila, OpenFold, Peptone, Relation, Rostlab, SFL-Scientific

※ 클라우드 기반 BIO-NEMO API 공개

- 대형 언어 모델의 생성을 진행하는 디지털 생물학 프레임워크

(사전 트레이닝된 ESM-1, Prot5, MegaMolBART가 포함됨)

BROAD Institue 테라 클라우드 플랫폼, 엔비디아 클라라 라이브러리 사용 공식 발표

- 엔비디아 BIO-Nemo는 테라 클라우드에서 사용가능

- 25,000명 이상의 테라 클라우드 사용자들의 작업 속도를 높여줄 것으로 예상됨.

엔비디아, GTC 3월 2022 컨퍼런스에서 발표된 호퍼 코드 네임 기반 H100 GPU 마이크로아키텍쳐 공개

- H100 GPU : 대형 언어 모델의 AI 팩토리 엔진.

- 신규 트랜스포머 엔진 탑재(FP8 및 FP16 수치 형식으로 사용하여 트랜스포머 네트워크 계층을 동적으로 처리하는 신규 텐서 코어(소프트웨어)

- H100 및 Nemo LLM 서비스를 사용하는 530B와 같은 모델의 경우는 프롬프트 조정이 A100 GPU보다 5배 더 빠름.(몇 분 만에 처리됨)

엔비디아 H100 GPU, 모든 규모의 AI 엔터프라이즈 스케일
- 엔비디아 H100 GPU, 엔비디아 런치패드에 제공됨.

- 엔비디아 DGX H100, 지금 사전 주문할 수 있으며, 다음 달부터 OEM 파트너사로부터 DGX 100을 배송받을 수 있음.

- 엔비디아 H100 벤더사 파트너 : AtoS, 시스코 시스템, 델 테크놀로지, 후지쯔, 기가바이트, HP 엔터프라이즈, 레노버, 슈퍼마이크로(2022년 10월부터 배송 시작 예정)

- 엔비디아 H100 클라우드 : AWS, 구글 클라우드, 마이크로소프트 애저, 오라클 클라우드(2023년부터 서비스 시작 예정)

엔비디아 그레이스 호퍼 슈퍼 반도체

- 기존 호퍼 HGX 시스템 : 8개의 H100 GPU가 탑재된 HGX(640GB 빠른 메모리 용량, FP16 8000 테라플롭스)으로 제한됨.

- 신규 그레이스 호퍼 슈퍼 반도체 시스템 : 8개의 그레이스 호퍼 슈퍼 반도체(580GB)가 탑재된 HGX(4600GB 빠른 메모리 용량, FP16 8000 테라플롭스)으로 구성할 수 있음.

- 7배 빠른 메모리 구성 용량, 500GB를 그레이스에 연결 및 80G는 호퍼에 연결함.

- 120 노드의 그레이스 호퍼 시스템 : 70TB의 추천 시스템을 처리가 가능함.

- 초고속 NV링크로 연결됨.

※ 엔비디아 그레이스 호퍼 반도체 구성

- CPU : 2배 에너지 효율성을 입증한 ARM Neoverse V2 72코어(초당 3.2TB/s의 이분 대역폭을 제공함, SCF로 연결됨.)

- 캐시 : 117MB의 L3 캐시 메모리가 메쉬 패브릭 전반에 분산.

- RAM : LPDDR5X 메모리에 대역폭 500GB/s를 자랑함(ECC 지원, 1/8 전력만을 사용함.)

- 칩셋 간 연결 : NV링크로 900GB/s 대역폭 을 자랑함.

ARM 아키텍쳐 기반 데이터센터의 생태계(2023년 상반기에 제공될 예정)

- 파트너사 : ASUS, AtoS, 델 테크놀로지, FII, 기가바이트, HP 엔터프라이즈, 레노버, QCT, 슈퍼마이크로

- 데이터센터 H/W : HGX 그레이스 HPC, HGX 그레이스 호퍼 AI & HPC, OVX 디지털 트윈

에이다 러브에이스 기반, 엔비디아 L40 데이터센터 GPU 탑재 OVX 컴퓨터 H/W 발표!

- 48GB의 대규모 프레임 버퍼 메모리 및 8개의 L40 탑재한 OVX