2024년 3월 19일 오전 5시, '엔비디아, GTC 2024 컨퍼런스'가 생중계 되었는데요.
당시 게시자 본인도 댓글 생방송 중계를 진행 및 댓글 내용을 전체 취합 및 정리하여 '엔비디아, GTC 2024(상반기) 컨퍼런스 전체 정리본'을 올려드립니다.
많은 도움이 되셨으면 좋겠습니다.
※ 본래 2024년 3월 19일 오전 5시부터 시작했었으나, 유튜브 되감기가 안되서 부득이하게 댓글 재방송중계로 대체할 수 밖에 없었습니다.
이 부분은 넓은 양해를 부탁드립니다^^;;
※ 이번 컨퍼런스 전체 정리본은 '내용 보강 및 발표된 내용'이 상당해서 3부작으로 분리 게시합니다.
☞ 1. 엔비디아 GTC 2024 컨퍼런스(상반기) 전체 정리본 - 1. 키워드(GTC 2024, 파트너쉽) ☜
2. 엔비디아 GTC 2024 컨퍼런스(상반기) 전체 정리본 - 2. H/W[서버(데이터센터) GPU]
3. 엔비디아 GTC 2024 컨퍼런스(상반기) 전체 정리본 - 3. S/W(클라우드, 옴니버스, 로봇공학)
|
|
|
[키워드] ▶ GPU 산업 규모 : 세계 100조 달러 규모 산업
▶ GPU 산업 - 제품을 만들기 위해서 '시뮬레이션 도구'를 사용하는 산업 - 컴퓨팅 비용을 낮추는 것이 아닌 컴퓨팅 규모를 높이는 것이 중요함
▶ 컴퓨터 산업 - 오늘날 사회의 가장 중요한 단일 도구 - 업계가 변화하고 있음.
▶ 컴퓨팅의 변화 - 모든 산업에 영향을 미치고 있음.
▶ 2023년 이전(S/W - 소프트웨어) - S/W(소프트웨어)가 존재하지 않았음 - 컴퓨터를 사용하여 S/W를 생산 시작함 - 이전에 미존재했던 '소프트웨어'를 생산함 - 새로운 범주이자 생산 방식임 ※ S/W : 새로운 카테고리로 자리매김함
▶ 산업 혁명의 시작 - 이전에 해본 것들과는 많이 다름 - 대규모로 '부동 소수점' 수를 생성하는 토큰을 생성함
▶ 산업 혁명(공장) - 공장 설립 - 에너지 적용 및 AC(전기) 발전기 출현 - 100년 ~ 200년 이후 : 신규 인프라스트럭쳐인 'AI(인공지능) 공장'의 등장 → 새로운 유형의 전자 토큰을 생성
▶ 새로운 '산업 혁명' - 신규 산업 : '생성-AI(인공지능)', 가속 컴퓨팅, 100조 달러 규모(시장) - 블랙웰 GPU 마이크로아키텍처 - NIM(엔비디아 추론 마이크로서비스) - NeMo & 엔비디아 'AI(인공지능) 파운드리' - 옴니버스 & ISAAC 로보틱스
▶ 물리적-AI - 하나의 컴퓨터 데이터가 전 세계의 수많은 컴퓨터에 들어오는 것
▶ 로봇공학 : 인간의 '피드백 강화' 학습 - 로봇의 '인간 피드백' 강화 학습을 의미함 - 물리적 피드백 : 로봇을 정렬하는 방법
▶ 모든 것을 학습 및 이해 - 좌측 : 텍스트, 텍스트, 이미지, 영상, 텍스트, 말하기, '멀티-모달', AMINO-ACID, 뇌파 - 우측 : 이미지, 비디오, 이미지, 3D, 소리, 애니메이션, 조작, 단백질, 말하기
▶ 컴퓨팅 훈련의 그래프(단위 : 페타플롭스) - 수평 : 연도(2012년 ~ 2024년 / 2년 간격) - 수직 : 10², 10³, 10⁴, 10⁵, 10⁶, 10⁷, 10⁸, 10⁹, 10¹⁰ - 언어 처리 모델의 발명(Transformer- 트랜스포머) : 놀라운 속도로 6개월마다 2배씩 효과적으로 확장함.
① 파란선 : Alexnet, Seq2Seq, VGG-19, Resnet, InceptionV3, Xception, DenseNet201, ResNeXt, ELMo, Wav2Vec 2.0, MoCo ResNet50 ② 연두선 : Transformer, GPT-1, BERT Large, XLNet, Megatron-NLG, GPT-2 1.5B, Microsoft T-NLG, GPT3-175B, MT-NLG- 530B, PaLM, BLOOM, Chinchilla, GPT-MoE-1.8T |
 |
|
[엔비디아] ▶ 엔비디아(i am a) - Visionary(공상가) - Helper(도우미) - Transformer(변신 로봇) - Trainer(훈련가) - Healer(치료사) - Navigator(항해사) ※ AI(인공지능) : '딥 러닝 + 빛나는 마음'으로 구현됨
▶ 엔비디아(여정) - 만화(1993년에 시작) ① 연도 - 1964년 : IBM 컴퓨터 'S/360' - 1995년 : 마이크로소프트 '윈도우 95 OS' + 펜티엄 CPU - 2012년 : 알렉스넷(컨볼루션 신경망 아키텍처) ☞ 처음 접촉 - 2016년 : DGX-1(세계 최초 딥러닝 전용 슈퍼 컴퓨터 / 170 테라플롭스 성능, 8개 P100 GPU 탑재) - 2017년 : 트랜스포머 엔진 모델 - 2022년 : OpenAI(ChatGPT) → 'OpenAI'에 DGX-1 슈퍼컴퓨터를 최초로 납품함 - 2023년 : 생성-AI(인공지능) 등장
② 기술(키워드) - 그래프 : CPU + DATA - 가속 컴퓨팅 : 1993(UDA) → 2003(CG) → 2006(CUDA API) - 6개월 간격으로 2배 증가 : 스케일 규모 / TensorRT, Megatron, GPU-다이렉트, CUDNN / RNN, GAN, CNN, LSTM, VAE - 모든 것을 학습 : 프로테인, 언어, 소리, 물리학, 비디오, 3D, 시장 조작, 이미지, 제스처 - 언어 모델 : 미세 최적화, 가드 레일링, 조정, 프롬프트 엔지니어링, RAG, 벡터-DB, COT & TOT, 에이전트 - 스타트업 벤더사 증가(그래프) - 신규 산업 혁명 : AI 'CO-Pilot', AI 공장, 엔터프라이즈-IT, 데이터센터 / 100조 달러 규모(GPU) ※ 엔비디아 CUDA API(2006) : 혁신적 컴퓨팅 모델이었지만, 20년 후에도 성공할 것으로 일어남(하룻밤 사이에 성공할 것이라고 생각함)
▶ 엔비디아(GTC 2024 참여 발표 벤더사) - 첫째 줄 : Accenture, ADEPT, 어도비 시스템, 알리바바 클라우드, 아마존, Argonne, Ansys, Anthrop/C, 애니스케일 - 둘째 줄 : 오토데스크, 바이두, 블랙락, BMW 그룹, BNP Paribars, Boston Dynamics, Bristol Myers Squibb, c.ai, Cadence, 캐노니컬(우분투 리눅스) - 셋째 줄 : Canwa, 캐피탈원, CERN, Chan-Zuckerberg Initiative, CLEAR|ML, cohere, CoreWeave, Continental, 데이터브릭, 데이터도그, dataiku - 넷째 줄 : 데이터루프, 데이터로봇, ddn, 딥그램, 델 테크놀로지, Deloitte, 디즈니 연구소, DOMINO, 이베이, IIIElevenLabs - 다섯째 줄 : EQUINIX, ExxonMobil, 포드 자동차, Foster + Partners, 폭스콘, GE 헬스케어, Getty-Images, Genentech, 기가바이트 테크놀로지 - 여섯째 줄 : glean, 구글, 골드만 삭스, GSK, H2O.ai, 헥사콘, 허니웰, HP, HPE, Hugging Face, IBM - 일곱째 줄 : imbue, JLR, John-Deere, 존슨 앤 존슨(혁신 약물), JP 모건 Chase & Co, Kawasaki, KPF, KT(우리 통신사 맞습니다!), Lambda, LangChain - 여덟째 줄 : 레노버, Lighting.AI, 링크드인, 록히드 마틴, LlamaIndex, 로레알, Los Alamos, Lowe's, 마스터카드, MathWorks - 아홉째 줄 : 메르세데스 벤츠, Merck, 메타-AI, Medtronic, 마이크로소프트, Mistral-AI, MITRE, 모듈러, Moz:lla, 미국 항공우주국(NASA), NetApp - 열째 줄 : NERSC, NETL, 넷플릭스, NIST, NORTHROP-GRUMMAN, NTT 그룹, 오픈AI, 오라클, orange, 페이팔, 페가트론, perplexity, BR, Petrobras - 열한번째 줄 : PhotoRoom, Ping-AN, 핀터레스트, 픽사 애니메이션 스튜디오, QCT, Raytheon Technologies, Recursion, 레드햇 리눅스, rescale, 록웰-오토메이션, RSS-Hydro - 열두번째 줄 : run-ai, runway, SAP, 삼성전자, aramco, scale, slb, 서비스NOW, Shell, Shutterstock, 지멘스 - 열세번째 줄 : 스냅챗, 스노우플레이크, 소프트뱅크, Steelantis, 슈퍼마이크로, Synthesia, Tabnine, Together-AI, 텐센트, Unilever - 열네번째 줄 : Uber, UPS, 미국 육군, 미국 해군, uspto, 버라이즌, VM웨어, Weights & Biases, WEKA, Wells Fargo, Wistron, WPP ,XI
▶ 엔비디아(참여 발표 벤더사 - 비IT 산업) - 첫째 줄 : 아마존, 미국 해군, 아르곤 국립 연구소, 블랙락, BNP PARIABAS, Bristol Myers Squibb, 캐피탈 원, CERN - 둘째 줄 : Chan, Zuckerberg Initiative, 컨티넨셜, 디즈니 연구소, 이베이, ExxonMobil, 포드 자동차, Foster + Partners, GE 헬스케어, gENETECH - 셋째 줄 : GettyImages, 골드만삭스,GSK, 허니웰, JLR, JOHN-DEER, 존슨 앤 존슨(혁신 약물), JP 모건 Chase & Co, Kawasaki - 넷째 줄 : KPF, KT(우리 통신사 맞습니다!), 링크드인, 록히드 마틴, 로레알, 로스 알라모스 국립연구소, Lowe's, 마스터카드, Medtronic - 다섯째 줄 : 메르세데스 벤츠, MERCK, MITRE, 미국 항공우주국(NASA), NERSC, NETL, 넷플릭스, NIST, NORTHROP GRUMMAN - 여섯째 줄 : NTT 그룹, Orange, 페이팔, PETROBRAS, PING-AN, Pinterest, 픽사 애니메이션 스튜디오, Raytheon Technologies, Recursion - 일곱째 줄 : 록웰 오토메이션, RSS-Hydro, 삼성전자, 사우디 아람코, Shutterstock, 지멘스, 스냅챗 - 여덟째 줄 : 소프트뱅크, Stellantis, Uber, UPS, 미국 육군, Uspto, Unilever, 웰스파고, 버라이즌, WPP
▶ 엔비디아(가속 컴퓨팅) - 티핑 포인트에 도달하였으나 범용 컴퓨팅의 전력이 고갈됨 - 컴퓨팅을 수행하는 다른 방법이 필요함 - 지속적 컴퓨팅 비용을 감소시키면서, 많은 컴퓨팅을 소비할 수 있도록 계속 확장할 것. ※ 지속적 가속 컴퓨팅 : 범용 컴퓨팅에 비해서 극적인 속도 향상을 보여줌 |
 |
|
▶ 엔비디아(목표) - 8년 기간 이내 : 'AI(인공지능) 컴퓨팅' 성능을 1000배 달성 - 연도 : 2016년, 2017년, 2020년, 2022년, 2024년
① 2016년 - GPU 마이크로아키텍처 : 파스칼 - 성능(FP16) : 19 TFLOPS
② 2017년 - GPU 마이크로아키텍처 : 볼타 - 성능(FP16) : 130 TFLOPS
③ 2020년 - GPU 마이크로아키텍처 : 암페어 - 성능(BF16 / FP16) : 620 TFLOPS
④ 2022년 - GPU 마이크로아키텍처 : 호퍼 - 성능(FP8) : 4,000 TFLOPS
⑤ 2024년 - GPU 마이크로아키텍처 : 블랙웰 - 성능(FP4) : 20,000 TFLOPS
※ 기존 법칙(무어의 법칙) : 2배씩 적용됨 ※ 지난 8년 기간동안 10년마다 100번의 PC 혁명 전성기를 바꿈 ※ 엔비디아 : 몇년 동안 1,000번이나 더 앞서나갔고, 2년이 더 남았음.
▶ 엔비디아, GTC 2024 컨퍼런스 전체 키워드 - '블랙웰' 서버(데이터센터) GPU 마이크로아키텍처 플랫폼 - HGX 플랫폼 : HGX B100 - '5세대 NV링크 스위치' 시스템 - 슈퍼 반도체 : GB200(그레이스 블랙웰 200) - 네트워킹(스위치) : 퀀텀 X800 스위치, ConnectX(CX)-8 SuperNIC - 네트워킹(스위치) : 스펙트럼 X800 스위치, 'BlueField(블루필드)-3' SuperNIC |
|
|
|
[파트너쉽] - 엔비디아 'CUDA' API와 협력함 - 'ANSYS' 생태계를 가속화하여 '엔비디아 옴니버스(디지털 트윈)'에 연결함
① 엔비디아 GPU에 최적화된 ANSYS 솔버 ② 엔비디아-AI 가속 기반 'ANSYS 시뮬레이션' ③ 물리 기반 '디지털 트윈' ④ NVIDIA S/W 기반의 'ANSYS LLM' ⑤ 옴니버스의 'ANSYS Perceive EM' 통합으로 6G 연구 혁신 ⑥ ANSYS로 NVIDIA 개발 가속화 |
|
[파트너쉽] ▶ 엔비디아 파트너쉽 발표!(Synonsys - 시놉시스) - '엔비디아 GPU' 반도체 성공을 위한 중요한 임무 - 전체 'EDA' 제품군에 걸친 수십년간의 협업으로 가속화된 컴퓨팅 플랫폼 지원
① 검증 : 기능 검증(Synopsys VCS, L40 GPU, '그레이스 호퍼' 슈퍼 반도체) ② 디자인 : 장소 및 경로(Synopsys 혼합 컴파일러, '그레이스 호퍼' 슈퍼 반도체) ③ 생성 : SPICE 시뮬레이션(호퍼 GPU, '그레이스 호퍼' 슈퍼 반도체) ④ 제조 : 전산 리소그래피('cuLitho' S/W, '그레이스 호퍼' 슈퍼 반도체) ⑤ Create-AI : 업계 최초 LLM(Large Language Models) 기반 Generative-AI EDA 솔루션('NeMo & NIM, DGX 플랫폼) ⑥ 시스템 S/W : 자동차 소프트웨어의 테스트 및 검증(옴니버스) |
|
[파트너쉽] - 세계에서 필수 'EDA', 'SDA 도구를 구축함 - EDA, SDA, 디지털 생물학, AI(인공지능)에 대한 긴밀한 협력 - 100,000배 규모의 유체 동적 시뮬레이션을 수행함
① 가속 컴퓨팅(H/W) : Cadence H/W(Palladium, Protium, Millennium), 엔비디아 H/W(HGX H100 GPU, OVX L40 GPU, '그레이스 호퍼' & '그레이스 블랙웰' 슈퍼 반도체) ② 원칙 기반에 입각한 시뮬레이션 + 최적화 : EDA(디지털, 커스텀, 인증), SDA(3D-IC, PCB, 다중물리학), 옴니버스(장비 & 데이터센터 디지털 트윈), 바이오(분자과학) ③ AI + '생성-AI' CO-Pilot : Cadence.AI + 엔비디아 솔루션(NeMo, Modulus, BioNeMo) / Cerebrus, Virtuoso Studio, Versium, Optimality, Allergro X AI, Chip NeMo |
|
[파트너쉽] - 공동 'AI(인공지능)-제품'의 확장 - 10년 이상의 클라우드 공동 혁신
① AWS-AI 보안 - AWS NITRO + KMS-암호화 EFA - GPU 플랫폼 : DGX 클라우드(GB200 슈퍼 반도체) + Amazon EC2(B100 GPU)
② 프로젝트 'Ceiba' - 엔비디아 '내부 R&D'를 위하여 AI 슈퍼컴퓨터를 구축함 - 슈퍼 반도체 : GB200[20,736개, 414 EXA-Flops(엑사플롭스)] - 4세대 'AWS' EFA
③ 가속 컴퓨팅 기반의 실행되는 'FM의 가격 성능' 최적화 - 아마존 'SageMaker' - 엔비디아 'NIM'
④ NVIDIA & AWS 클라우드의 전력(산업을 변화) - 고급 로봇 공학 시뮬레이션 : 아마존 로보틱스, 엔비디아 옴니버스 - AI 기반 신약 발굴 : AWS(Healthomics), 엔비디아(BioNeMo) |
|
[파트너쉽] ☞ 구글 딥마인드 : Gemma ☞ 구글 클라우드 ① 데이터 과학 & 분석 - Dataproc, Dataflow, RAPIDS
② AI 플랫폼 & 프레임워크 - Vertex AI, GKE, DGX 클라우드 - JAX, XLA, 엔비디아 AI 엔터프라이즈 - TensorRT, Triton, NeMo
③ 가속 컴퓨팅 - A3(H100 GPU) - G2(L4 GPU) - 블랙웰 GPU → 도입 예정 |
|
[파트너쉽] - AI : 주권-AI, 엔터프라이즈 '생성-AI', 헬스케어-AI - 오라클 제품군 : 데이터베이스, 클라우드 애플리케이션, 클라우드(인프라스트럭쳐, 생성-AI, 슈퍼 클러스터, 클라우드 배포) |
|
[파트너쉽] ① 정교한 'AI 혁신가의 지원' - ADEPT - Mistral-AI - Inflection - OpenAI
② 최대 규모의 연결 슈퍼컴퓨터(엔비디아 인피니밴드) - 마이크로소프트 애저 슈퍼컴퓨터
③ NVIDIA DGX Cloud를 위해 가장 깊이 통합된 클라우드 - 마이크로소프트 패브릭 - DGX 클라우드 - 마이크로소프트 애저
- 엔비디아 클라라 : 애저 의료진단 클라우드에 통합 - 엔비디아 NIM : 애저 클라우드에 사용 가능 - 신규 애저 VM : H100 GPU NVL - AI 서비스(소비자) : GB200 슈퍼 반도체로 'CO-Pilot'에 적용 가능 - 마이크로소프트 패브릭 : DGX 클라우드에 통합 발표 - 엔비디아 옴니버스 : 애저 클라우드에 API 적용 |
|
[파트너쉽] - 관련성, 신뢰성, 책임성
① 'Joule' : 귀하의 비즈니스를 진정으로 이해하는 'CO-Pilot'
② 내장 'AI(인공지능)' 기능 - 클라우드 ERP - 공급망 관리 - 인적 자원 관리 - 지출 관리 & 비즈니스 네트워크 - 소비자 관계 관리 - 비즈니스 기술 관리
③ AI 투자(비즈니스 기술 플랫폼)
④ SAP 비즈니스 AI 생태계(Feat 엔비디아) - Aleph-Alpha, Anthropic, AWS, Cohere - 구글 클라우드, IBM, 마이크로소프트
⑤ 엔비디아 가속 솔루션 - NeMo Retriever, NIM, Nemo Guardrails, Nemotron Models, RAPIDS, cuOpt |
|
[파트너쉽] - 세계 포춘 500대 기업 중 사용(80% ~ 85%) - 'ServiceNOW' 플랫폼 기반 '생성-AI' 경험을 지원
① AI 연구 & 개발 - 엔터프라이즈 투자 모델 - AI 신뢰성 - StarCoder
② 엔지니어링 & 응용과학 - 도메인 별 AI 모델 - 엔터프라이즈 워크플로우
③ 글로벌 클라우드 서비스 - AI 임베디드 워크플로수 - 개인정보 & 보안 - 고객데이터 기반
☞ 엔비디아 플랫폼(2018년부터 구축) - DGX 플랫폼 : 클라우드, Super-POD - S/W : NeMo, TensorRT - 서비스 : NIM 마이크로서비스 - 엔터프라이즈 : AI 엔터프라이즈 |
|
[파트너쉽] - 세계의 데이터 백업 솔루션 - 2차 데이터에서 'AI 기반' 비즈니스 통찰력을 제공
① AI 에이전트 → 쿼리 API ② 데이터 플랫폼(백업 데이터) → 인덱스 API ③ LLM(대형 언어 모델) : '프롬프트' → 응답 생성 ④ 엔진 - 섭취 : 추출, 새로고침 - 인덱스 : 인코딩, 포함 - 응답성 : 요약, 소환 - 검색 : 순위 지정, 관련성
★ 엔비디아 엔터프라이즈 - RAPIDS, cuVS - NeMo Retriever - NeMo Guardrails - NIM 마이크로서비스
|
|
[파트너쉽] - 전 세계의 디지털 창고 벤더사(클라우드에 저장) - 10,000명 이상 기업 고객사가 하루에 30억개 이상의 쿼리를 제공함
① 애플리케이션 : CO-Pilot, 문서-AI ② 컨테이너 서비스 : 모델 훈련, 세부 조정 ③ CORTEX : 서버리스-AI, 검색 ④ 엔터프라이즈 데이터
★ 엔비디아 가속화 플랫폼 - NeMo Retriever - Triton 추론 서버 - TensorRT |
|
[파트너쉽] - 세계 최대의 산업 엔지니어링 운영 벤더사 - 차세대 산업 디지털화 시대를 함께 구축
① 몰입형 디지털 트윈 : 지멘스 가속기, 옴니버스 클라우드 ② 생성-AI(인공지능) : 지멘스 가속기, AI-엔터프라이즈 ③ 산업플랫폼의 '엣지-AI & 로보틱스' : 지멘스 가속기, 로보틱스(엔비디아) ④ 산업플랫폼의 '물리적-AI' 시뮬레이션 : 지멘스 가속기, 가속 컴퓨팅(엔비디아) |
|
[파트너쉽] - 전 세계 OEM 벤더사 - 구성 요소 : 모델 수명주기, 델 전문가 서비스, 엔비디아(AI 엔터프라이즈 S/W) + 델 테크놀로지 & 엔비디아 인프라스트럭쳐
① 모델 라이프사이클 : 데이터 전처리, 훈련, 조정, RAG, 추론 ② 델 전문가 서비스 : 컨설팅, 유효성 검사, 배포, 구현, 교육 ③ 델 테크놀로지 & 엔비디아 인프라스트럭쳐 : 노트북 & 워크스테이션, 컴퓨팅, 네트워킹, 스토리지, aaS & 구독 → 엣지 디바이스, 코어, 클라우드 ※ 데스크탑, 데이터센터, 클라우드까지 가장 광범위한 'AI 솔루션 포트폴리오'를 한 곳에서 구현가능! ※ 델 테크놀로지 CEO '마이클 델'이 출연하였습니다! |
