마이크로소프트, 기술 연구원 & 애저 클라우드 CTO(최고기술책임자) - Mark Russinovich 등장!

마이크로소프트 - AI(인공지능) 플랫폼 → '전 계층에 이르는 스택 개발'에 투입한 혁신의 전체 스택
① 마이크로소프트 제품군 : CO-Pilot, Bing, 아웃룩, 쉐어포인트, 팀즈, 오피스(워드) 등등 → (소비자 & 파트너)
②-1. Azure-AI(애저-인공지능) 서비스 & 플랫폼(서비스) : 인지 검색, 문서 지능, 비디오 인덱서, Azure-OpenAI(애저-오픈AI) 서비스, 비전, 연설, 언어, 컨텐츠 안전 시스템
②-1. Azure-AI(애저-인공지능) 서비스 & 플랫폼(플랫폼) : 애저 머신-러닝
③ 인프라스트럭쳐 : Project Forge(프로젝트 포지)
④ H/W & 서비스 : 애저 가상화 계층 / CPU, GPU, 오프로딩 H/W, 엣지 디바이스
⑤ 데이터센터 : 데이터센터

마이크로소프트[지속 가능형의 '서버(데이터센터)' 발전] - PUE(Power Usage Effectiveness - 전력 효율성 지수)의 진화
- 1세대(1989년 - '2.0+') : 'Colo' 시설에서 시작
- 2세대(2007년 - '1.5 ~ 1.8') : 밀도
- 3세대(2009년 - '1.4 ~ 1.6') : 방지(윈도우 애저 클라우드 공개)
- 4세대(2012년 - '1.1 ~ 1.3') : 모듈러 방식(윈도우 애저 클라우드 → 마이크로소프트 애저 클라우드로 변경)
- 5세대(2015년 - '1.17 ~ 1.25') : 하이퍼-스케일 규모
- 6세대(2017년 - '1.17 ~ 1.19') : 확장가능 타입 폼팩터
- 7세대(2018년 - '1.15 ~ 1.18') : 발라드 파워
- 8세대(2018년 - '1.15 ~ 1.18') : 전력 수확

▶ 2020년 ~ 2023년 기간 : 내부의 전기 시설을 재정비(단순화, 안정화, 효율성 + 고온도 작동)
- 9세대(2020년 - '1.15 ~ 1.18') : 신속형 배포 타입 '서버(데이터센터)'
- 10세대(2020년 - '1.12 ~ 1.14') : 다중 가용성 & 지속 가능성
- (신규)11세대(2023년 - '1.09 ~ 1.17') : AI(인공지능) GPU 가속기
※ 서버(데이터센터)에 투입되는 에너지 = 1와트의 에너지가 발생
※ 냉각 방식 : 공냉 방식, 액체 방식 등 다양성 냉각 방식도 설계
※ 운용 방식 : '유연성 용량'을 도입[서버(데이터센터)의 초과 백업 전력을 구독함의 의미]
★ 전원 유틸리테 장애 발생 시, '서버(데이터센터)'의 해당 부분에 전원이 공급되지 않음.

마이크로소프트[서버(데이터센터)] - MW(메가와트)
- 고객사에게 유연한 전력 용량을 제공하지 않음
- 대신 이 용량을 지원하기 위해서 워크로드를 최적화(전체적으로 효율적으로 운영)
- 마이크로소프트의 신형 '서버(데이터센터)' 규모 & 용량 : 9MW 공간(2.4MW 용량 시설을 제공)

마이크로소프트[서버(데이터센터)] - 백업 전력
- 오늘날 '백업 발전기' : 화석 연료를 연소하여 전력을 발생(디젵 발전기)
- 'Proton Exchange Membrane(PEM - 양성자교환막)' 수소연료전지 : '전기, 발열, 물'을 생성하는 화학 반응에서 결합(수소 + 산소)
- 2013년 : 서버(데이터센터)의 전력 공급을 위한 다양성의 '연료 전지'를 모색함
- 2018년 : '수소 연료 전지'에 관심을 증폭함(수소를 흡수 후 '양성자' + '전자'를 분리)

☞ 'Proton Exchange Membrane(PEM - 양성자교환막)' 수소연료전지의 특징
- 연소 없음
- 미립자 물질이 없음
- 탄소 배출 제로

마이크로소프트[서버(데이터센터)] - '수소 연료 전지'의 스케일 확장(KW - 킬로와트)
- 2018년도 : '10KW 용량'부터 시작 → 당시 개발하는 데 어렵게 했던 이유(비용이 많이 드는 과정)
- 용량 확장 : 백업을 통한 '50KW 용량'을 전력 공급 시작
- 2020년 : 250KW로 옮겨서 전력 공급[디젤 발전기 백업 전력 목표 용량(총 48시간 연속 서버)을 10개의 랙에 공급]
- 2022년 : 3MW(메가와트) 규모의 '백업 전력 공급 시스템'을 구매(전체 테스트 완료 및 수증기로 배출됨
※ H/W 벤더사 & 설계사와 협력하여 구축(목표) : '비용의 감소 및 표준화', '규모 등급별 제작'으로 모든 사람들이 활용하는 것.
※ 또한, 마이크로소프트가 '친환경 기반 서버(데이터센터)'를 구축하기 위한 노력임.

마이크로소프트[서버(데이터센터)] - 내부 냉각 구조
- CPU 트렌드 : 그래프[수평 : 연도(1990 ~ 2022) / 수직 : CPU 전력(와트 - 0 ~ 350)] → 시간이 지남에 따른 많은 에너지(와트)를 소모함
- GPU 트렌드(엔비디아) : 그래프[수평(제품군) : P40, V100, A100(450W 미만), H100(750W) / 수직 : GPU 전력(와트 - 0 ~ 750)] → CPU보다 훨씬 더 많은 에너지(와트)를 소모함
- 직면한 과제 : CPU & GPU의 발열 문제
- 공냉 냉각 방식 : 효율적이지 않음(1와트의 에너지 냉각 시 더 많은 양의 공기를 유입)
- 수냉 냉각 방식 : 수냉 보조('냉각판' 냉각 방식) → Azure MAIA(에저 마이아) AI 가속기 도입

※ 마이크로소프트, 커스텀 'Azure MAIA(에저 마이아) AI(인공지능) 가속기' 서버 랙 세부사항
- 신규 샤시 개발(랙 옆에 위치 - 사이드킥) : 반도체를 수냉 냉각으로 발열을 제어
- 커스텀 서버(데이터센터) 보드 : 냉각을 위해 왼쪽 하단에서 '수냉 케이블'이 올라옴(수냉 '흡입출구'가 있음) → 폐쇄 회로 시스템으로 수냉 효율성도 탁월함
- 가속기 모듈 : 상단이 벗겨진 상태에서 해당 모듈을 통하여, 수냉 유입(유출)을 볼 수 있음.

마이크로소프트[서버(데이터센터)] - 내부 냉각 구조(미세유착 냉각 방식)
- 수냉 '냉각판' 방식(왼쪽) : 튜브, 냉각판, 파이프를 통하여 수냉이 유입(유출) 과정을 통하여 발열을 식힘
- (신규)미세유착 냉각 방식 : 냉각판을 통과하는 대신 물이 부품에 '직접 접촉 및 흐름'이 가능한 반도체, 방식, 공간을 실제로 에칭함
☞ CPU[8세대 인텔 코어 i7 8700(95W TDP)] : CPU 히트스프레더를 분해 및 코어 다이에 '유체 공급 튜브'를 커스텀 접합 및 연결하여 냉각하는 방법도 적용함 → 오버클럭킹 및 215와트의 전력 생산으로 '미세유착 방식'으로 냉각을 재현함

★ 미세유착 냉각 방식 세부 구조
- 구성 요소 : 인터포저, 반도체,(H/W, FPGA), 수냉 유입구, 수냉 유출구
- '3D 분해' 구성 : 엇갈림(? - 의역입니다) 방식 초소형 쿨링 냉각판 : 200um[1개당 쿨링핀 높이 - um(마이크로미터)], 마이크로핀 방열판
※ 발열 저항 & 폼팩터의 상당한 감소를 자랑함
※ 특수 발열 냉각 시스템 방식으로 최대 성능을 향상(2배 ~ 3배) 및 제곱센티미터당 최대 1,000와트의 플럭스 값을 지원

마이크로소프트[서버(데이터센터)] - AI(인공지능)
- 2020년 출시[AI(인공지능) 슈퍼컴퓨터(엔비디아 V100 GPU)] : 10,000개 이상 GPU 탑재(상위 5대 슈퍼컴퓨터와 비교 가능)
- 2023년 공개[AI(인공지능) 슈퍼컴퓨터(엔비디아 H100 GPU)] : 14,400개 이상 GPU 탑재['TOP 500' 순위 중 세계 3위)
- (실제 2023년도의 시스템) : 좀 더 큰 슈퍼컴퓨터!

마이크로소프트[서버(데이터센터)] - 서버(데이터센터) GPU & 네트워크
- '고대역폭 & 저지연 대기시간'의 '인피니밴드 Back-End 네트워크'로 연결된 GPU 클러스터
- 인피니밴드 'Back-End' 네트워크 : 서버 간에 '1.5 마이크로초'의 지연 시간으로, 각 개별 VM에서 초당 최대 3.2T가 절약됨
- 표준 프리미티브 지원(해당 GPU의 제공 라이브러리 - 가중치 & 매개변수) : MPI, NCCL

마이크로소프트[서버(데이터센터)] - 슈퍼컴퓨터
- 마이크로소프트 애저 클라우드 VM : 'ND H100 v5 VM'
- 싱글 H100 GPU(80GB HBM3 메모리 탑재)
- 멀티 H100 GPU(NVSwitch + NV-Link) : 8개 GPU 연결
- 멀티 H100 GPU & '엔비디아 퀀텀-2 CX7 인피니밴드' : ND v5 VM(100대), H100 GPU(1,000개)

☞ 마이크로소프트 애저 VM 'ND H100 v5 VM' 사양
1. 서버(데이터센터) CPU : 인텔 4세대 제온 스케일러블 CPU
2. 서버(데이터센터) GPU : 엔비디아 H100 텐서 코어 GPU * 8개(차세대 NV스위치 및 NV링크 4.0을 통한 상호 연결)
3. 서버(데이터센터) RAM : DDR5 DIMM 4800Mhz의 16채널
4. 네트워크 및 대역폭
① GPU 대역폭(엔비디아 퀀텀-2 CX7 인피니밴드 - 400Gb/s)
② VM 대역폭(VM당 3.2TB/s의 비차단 Fat-Tree 네트워크)
③ NV스위치 및 NV링크 4.0(이전 3.6 포함)의 각 VM 내 8개 로컬 GPU 간의 'TB/s' 이중 대역폭

마이크로소프트[서버(데이터센터) GPU] - H100 GPU(벤치마크 - MLperf)
- 2023년 초 → 이전 세계 기록[OpenAI(GPT3 모델) - 1억 7,500만개 매개변수) : 10.9분 소요
- 2023년 3월(BERT 언어 모델 - 3억 5천만개 매개변수) : 5.4분 소요(모델 훈련 소요시간)
- 2023년 10월[OpenAI(GPT3 모델 훈련)] 4.0분 소요(1,344대 'ND H100 v5 VM'을 가동) - 신기록
※ 추가 신기록(퍼블릭 클라우드 - 가상화) : OpenAI(GPT3 모델 훈련) ☞ 3.92분 소요(2%의 성능 오버헤드에 불과)

마이크로소프트[서버(데이터센터) GPU - AMD Instinct(인스팅트) MI300X]
- 서버(데이터센터) GPU 신규 VM : ND MI300X V5
- 싱글 GPU(인스팅트 MI300X) : HBM3 메모리(192GB) → LLM(대형 언어 모델) 실행이 가능함
- 멀티 GPU(인스팅트 GPU 플랫폼 - 8개 MI300X GPU) : 인피니티 패브릭 3.0(로컬 GPU 간)
- 멀티 GPU(인스팅트 GPU 플랫폼 - 8개 MI300X GPU) & '엔비디아 퀀텀-2 인피니밴드' : GPU당 '400 기가비트' 전용 링크

☞ 서버(데이터센터) GPU(신규) 제원 - "AMD Instinct(인스팅트) MI300X(Together We Advance_Advancing AI 컨퍼런스)"
1. AMD Instinct(인스팅트) MI300X 서버(데이터센터) GPU
- 3rd CDNA "서버(데이터센터) GPU 마이크로아키텍처
- "생성-AI(인공지능)"의 발전에 특화된 GPU
- 트랜지스터 : 1530억개
- 제조공정 : 5nm & 6nm
- XCD(가속기 컴플렉스 다이) CU(3rd CDNA) : 최대 304개 탑재(코어 개수 : 64개 기준 19,456개)
- I/O 다이 : 최대 4개 탑재[AMD 인피니티 캐시 메모리(256MB) 탑재]
- 메모리(HBM3) : 192GB(대역폭 : 5.3TB/s)
※ AMD Instinct(인스팅트) MI300X GPU 가속기 - "생성-AI(인공지능)"의 리더쉽

2. AMD Instinct(인스팅트) GPU 플랫폼
- 서버(데이터센터) GPU : AMD Instinct(인스팅트) MI300X * 8개
- 메모리 용량의 리더쉽 : 192GB * 8개 : 최대 1.5TB
- 4세대 AMD 인피니티 패브릭
- 산업 표준 디자인(OCP 인프라스트럭쳐)

마이크로소프트[커스텀 AI(인공지능)-비디오 가속기] - 팀즈 통화
- 실행 순서 : 재생 → 디코딩 → 사전 처리 → 훈련 & 추론 → 인코딩 → 사용자 단말기
- 실행 순서 부문(GPU) : '사전 처리 → 훈련 & 추론' ☞ 값이 매우 비싸고, 많은 전력을 소모함
- 효율성 기반 트랜스코딩 : 저지연 대기 시간 범위 & 극도로 낮은 전력으로 사용
- 커스텀 비디오 가속기 : AI(인공지능)의 디코딩 처리 부문 양쪽에 디코딩 & 인코딩을 모두 처리 설계
- 비디오 스트림 위에 AI(인공지능)으로 처리.

마이크로소프트(벤치마크) - 비디오 가속기
- 경쟁사 GPU(가속기) : 엔비디아 H100 GPU(왼쪽) vs 마이크로소프트 Azure-MAIA(애저 마이아 - 오른쪽)
- 벤치마크 방식 : FFMpeg 비디오 스트림 처리과정 동안의 에너지 소모량 측정(초당, 와트당 프레임)
- 결과 : [왼쪽 : 35 FPS] / [오른쪽 : 150(168) FPS] ☞ 커스텀 반도체 사용 시 최대 5배 효율성이 상승함

마이크로소프트[H/W - 커스텀 AI(인공지능) 가속기]
- Azure MAIA(애저 마이아) 커스텀 AI(인공지능) 가속기(Azure MAIA 100)
- AI(인공지능) 가속기 제조공정 : 5nm
- AI(인공지능) 가속기 탑재 트랜지스터 : 1,050억개
- 애저 클라우드의 LLM(대형 언어모델)의 교육 & 추론에 특화 및 최적화
- 서버 랙, 반도체, S/W = 통합 시스템
※ 마이크로소프트의 Azure MAIA '통합 SoC' 종합 설계 장비 실물을 공개하였습니다!
- '클라우드 AI(인공지능'의 워크로드 특화로 설계

마이크로소프트[S/W - Azure MAIA(애저 마이아) S/W 스택]
☞ 구성 요소
① 모델 & 애플리케이션
② AI(인공지능) 프레임워크 : (예시)PyTorch, ONNX 런타임
③ MAIA SDK : 프로그래밍 모델(MAIA API, 트리톤), 컴파일러(트리톤, ONNX 그래프, MAIA 코어), 개발자 도구(프로파일러, 디버거, 모니터링), 라이브러리(기본 & 융합 커널, 컬렉티브), 런타임
④ MAIA AI(인공지능) 가속기

마이크로소프트[S/W 스택(비전) - H/W 등급 'AI(인공지능)' 개발의 전반적 관점]
- 모델 & 애플리케이션
- AI(인공지능) 프레임워크 : (예시)PyTorch, ONNX 런타임
- 커스텀 커널 : 다양한 'AI(가속기, GPU) H/W' 과제는 커스텀 커널을 작성[AI(인공지능)을 최적화하기 위해서 호출]
- Triton(트리톤) 프로젝트 : OpenAI와 파트너쉽 체결(H/W 추상화 및 도메인별 언어로 커널 개발 지원) → 효율적 방법으로 CUDA로 컴파일

▶ 커널 라이브러리
- 엔비디아 GPU[Compute Unified Device Architecture(CUDA)]
- AMD 인스팅트 GPU[Radeon Open Compute platform(ROCm)]
- 마이크로소프트 Azure-MAIA(애저-마이아) AI 가속기(MAIA API)

마이크로소프트[서버(데이터센터)] - 오프로드를 통한 인프라스트럭쳐의 가속화
① 전통적인 인프라스트럭쳐(네트워크, 스토리지, I/O, 호스트 OS)
- 호스트 OS : 스토리지, 네트워크, 에이전트
- 소비자 워크로드 : VM(64개의 가상 CPU)
※ VM에서 H/W와 직접 통신하지 않고, 중간에 S/W 오버헤드가 발생한다는 것을 의미함
※ 해당 I/O 처리를 수행하는 동안 서버에서 많은 CPU를 소모함

② 오프로드 방식 인프라스트럭쳐
- I/O 가속 변환 계층
- 소비자 워크로드 : VM(192개의 가상 CPU)
- 보안 & 리소스 경계(애저 부스트) : 오프로드 가속화(에이전트 + 스토리지 + 네트워크)

마이크로소프트[애저 클라우드(애저 부스트)] - 원격 스토리지
☞ 기존 방식
- VM 사용자 → SCSI로 '호스트'에 접근
- 호스트(VM 버스, Azure S/W, NDIS + 하이퍼-V & 가상화) → 원격 스토리지에 접속

☞ 신규 방식
- VM 사용자 → NVMe로 접속(애저 부스트)
- 애저 부스트 → 호스트 및 원격 스토리지에 접속
- 호스트(Azure S/W, NDIS) → 원격 스토리지에 접속

※ 애저 부스트의 재설계를 통한 장점
① IOPS 향상(650,000K) : 이전 방식보다 2배 증가
② 처리량 향상(12.5GB/s) : 이전 방식 보다 25% 증가

마이크로소프트[애저 클라우드(애저 부스트)] - 로컬 스토리지
☞ 기존 방식
- VM 사용자 → SCSI로 "호스트"에 접근
- 호스트(VM 버스, Azure S/W, 하이퍼-V & 가상화) → 로컬 SSD에 접속

☞ 신규 방식(애저 부스트 SSD)
- VM 사용자 → NVMe SSD 컨트롤러로 접속
- 보안 & 리소스 경계

※ 애저 부스트 SSD의 재설계를 통한 장점
① IOPS 향상(3,800,000) : 이전 방식보다 7.4배 증가
② 처리량 향상(로컬 / 임시 저장소 - 17.2GB/s) : 이전 방식 보다 4.3배 증가

마이크로소프트[애저 클라우드(애저 부스트)] - 네트워킹
- 처리량 : 최대 200Gbps
- 서비스 처리율 : 9배 개선 → 해당 구성 요소를 제거함으로써 가상화 워크로드에 영향을 미치지 않으면서 서비스 제공이 가능함
- 탄력성 기반 '듀얼 TOR'

☞ 접근 방식
- VM 사용자 : 호스트 및 애저 부스트로 접속
- 애저 부스트 : SoC 반도체, TOR 1 & TOR 2
- 호스트 : VM 버스, Azure S/W, NDIS + 하이퍼-V & 가상화

마이크로소프트[AI(인공지능) 인프라스트럭쳐 서비스 내부]
- 높은 스택 단계 : AI(인공지능) 모델의 제공 및 훈련을 진행하는 방법
- 코드명 : Project Forge(프로젝트 포지) → 공식 브랜드명은 미정
- 모든 내부 교육 및 추론 워크로드를 실행하는 장소임

▶ Project Forge(프로젝트 포지) 세부사항
- 'Azure(애저) 클라우드' 전체의 서버리스 워크로드 인식 글로벌 스케줄링
- 신뢰성이 높고 효율적인 AI 인프라스트럭쳐
- 워크로드를 위한 인프라스트럭쳐 및 환경 추상화
- 엔비디아 'H100' 텐서 코어 GPU가 필요함
- 글로벌 스케줄러(투명한 선점, 확장 & 축소, 실행) : 모든 Azure 클라우드 지역의 용량을 볼 수 있음[모든 지역에서 최신(최고) 기능 사용이 가능한 것은 아님]

★ 구성요소 : '훈련 & 추론' → '애저 머신-러닝', 전역 스케줄러, 신뢰성 시스템, AI(인공지능) 가속기 추출
① 신뢰성 시스템 : 자동 복구, 장애 조치, 지불, 재개, 이주, 스케일링, 투명성 기반 체크포인트
② AI(인공지능) 가속기 추출 H/W : CPU, GPU, FPGA, ASIC

마이크로소프트[AI(인공지능) 인프라스트럭쳐 서비스 내부] - 글로벌 리소스 관리자
- 용량의 처리화 : 물리적 → 가상화

☞ 기존 방식
- 각 팀은 자신의 용량만 사용이 가능함
- 용량을 모두 사용하지 않으면, 초과 용량분은 낭비됨
- 다른 팀의 GPU는 사용 접근이 불가능함

☞ 신규 방식
- 예약 포함된 단일 용량 공간(프리미엄 등급)
- 표준, 기본 등급의 초과 구독
- 팀은 정해진 용량이 아닌 가상 용량 클러스터를 보유하게 됨.

☞ Global Pool(글로벌 공간) 보기
- 총 사용량(프리미엄 + 스탠다드 + 기본)
- 예약 용량 사용량(프리미엄)
※ 단일 풀 유무에 관계없이 훈련 활용

마이크로소프트[AI(인공지능) 인프라스트럭쳐 서비스 내부] - 신뢰성 시스템
- 최대 효율성을 실현하는 열쇠
- 수행하는 방법 : 투명 체크포인트를 사용
- 큰 작업의 수행하는 경우 : GPU & 서버에 오류 발생 시 '체크포인트' 지점 시점으로 롤백이 가능함

▶ 투명성 체크포인트의 구조
- 모델 훈련 ↔ 훈련 시간
- 체크포인트 1 ↔ 체크포인트 2(장애 조치) / 체크포인트 2(일시정지 & 재개) / 체크포인트 4(유예) / 체크포인트 5(높은 우선순위 작업의 선점) / 체크포인트 6(스케일링)

마이크로소프트[AI(인공지능) 인프라스트럭쳐 서비스 내부] - 장치 프록시
① CPU 주소 공간 : 프레임워크, 라이브러리 도우미, 사용자 코드 / 디바이스 API(CUDA, ROCm, MAIA) → 디바이스 프록시 클라이언트 & 동적 차단
② (추가)디바이스 프록시 : 메모리 관리, 로그 / 릴레이, 시간 배분 / 디바이스 API(CUDA, ROCm, MAIA)
③ 가속기 H/W(GPU ,FPGA, ASIC) : 디바이스 메모리(RAM)
※ ① + ② = 공유 메모리 채널

마이크로소프트[AI(인공지능) 서빙]
- 질문 : 언제 무엇을 하느냐
- 기초 모델의 훈련
① 제로샷(시작) : 모델에 어떤 예시도 제공하지 않음
② 소수 : 사용자가 좋아하는 몇 가지 예시를 제공 및 학습하여 원하는 것을 생각할 수 있는지 확인
③ RAG(검색 증강 생성) : 대량의 데이터 제공 및 소스 로딩하거나 제공
④ 미세 조정 : 모델에 지식을 추가하는 데 적합하지 않음.
※ 사용자(고객)와(과) 내부적으로 협력한 모든 내용을 바탕으로 한 지침을 단계적 차트로 따르는 것

☞ 전통적인 미세 조정(GitHub CO-Pilot)
- 고객이 모델의 사용자 정의 버전을 만드는 경우가 많기 때문임.
- 과정(대규모) : 대규모 공통 데이터 세트 → 사전 학습 → 소스 모델
- 과정(소규모) : 소규모 목표 데이터 세트 → 미세 조정 → 목표 모델
- GPU 필요 개수(미세 조정) : 96개
- 필요 체크포인트 용량 : 1TB
- 모델 전환 시의 소요 시간 : 1분
※ (소규모)과정 모델은 '(대규모)과정 모델' 전체를 복사함.
※ 각 미세 조정 작업을 위한 거대 모델 : 훈련 가능한 모델 매개변수(1,750억개)

☞ 'LoRA' 미세조정 모델(마이크로소프트 연구소)
- 하위 적응형 미세조정
- 과정(소규모) : 소규모 목표 데이터 세트 → 동결 → 목표 모델(기본 중량)
- 추가 : '미세조정' 어댑터라는 추가 가중치를 생성(LoRA 어댑터)
- GPU 필요 개수(미세 조정) : 24개
- 필요 체크포인트 용량 : 200MB
- 모델 전환 시의 소요 시간 : 2초
- 추가 추론 대기 시간 없음
- 훈련 처리량 증가 : 25%
※ 하나의 기본 모델 + 여러 개의 소형 어댑터(GPT-3 모델 미세 조정의 용량 크기 : 200MB)
※ 사전 학습 모델을 사용하여 다양한 작업을 위한 여러 개의 소형 'LoRA' 모듈

마이크로소프트[AI(인공지능) 서빙] - 미세 조정 서빙
① 전통적 미세 조정 서빙
- 요청 프로세스 순서 : 요청 → 로드 → 컴퓨팅 → 출고 → 로드(미세 조정 베이스 모델) → 컴퓨팅 → 출고...

② 다중-LoRA 미세 조정 서빙
- 요청 프로세스 순서 : 요청 → 로드(4개 LoRA + 베이스 모델 / GPU에 로드) → 컴퓨팅...(병렬로 계산 수행으로 수백개, 수천개의 미세조정 모델을 로드가 가능함)

마이크로소프트[LLM(대형 언어 모델) 애플리케이션 프로파일]
- 그래프 구성 : 프롬프트(경량형, 중형) / 생성(경량형, 중형)
- 키워드 : 컨텐츠 제작, 신속한 엔지니어링 + 기업용 챗봇, 챗봇, 요약

마이크로소프트(생성 스케줄링)
① Naive 생성 스케줄링
- 구성 요소 : 프롬프트 토큰, LLM(대규모 언어 모델)
- 처리 과정(첫번째 토큰) : 프롬프트 토큰 → LLM → 토큰 생성(일반 속도 + 신속한 처리로 인해 속도가 저하 + 정상으로 회복되지만 병렬 세대로 인하여 속도가 저하)
- 처리 과정(두번째 토큰) : 프롬프트 토큰 → LLM → 토큰 생성(일반 속도) ☞ 첫번째 토큰 처리 과정 중 간섭이 발생함

② Azure-ML(애저 머신러닝) 'Project Flywheel(프로젝트 플라이휠)'
- 구성 요소 : 프롬프트 토큰, LLM(대규모 언어 모델)
- 처리 과정(첫번째 토큰) : 프롬프트 토큰 → LLM → 토큰 생성(일반 속도) ▶ 일괄 처리로 고정 수량만 수행
- 처리 과정(두번째 토큰) : 프롬프트 토큰 → LLM → 토큰 생성(일반 속도) ▶ 첫번째 토큰 처리에 대한 속도 영향 없음
※ 특징 : 예측 가능한 발전 처리량 / PTU 및 생성 처리량의 선형 규모 / 부분 자원 구매(부분 제공 처리량 단위를 도입이 가능하게 해주는 기능)

마이크로소프트[AI(인공지능)] - 프로덕션의 'AI(인공지능)' 출력 처리
- 자연어 출력 : 프로그래밍에서는 자연스럽지가 않음.
- 사용자 프롬프트(질문) → LLM(대형 언어 모델 - 답변) ☞ 시스템에서 처리하기가 어려움
- 일관된 형식이 지정되지 않기 때문

마이크로소프트(오픈 소스 프로젝트)
- Type-Chat(타입-채팅) : 모델이 출력할 내용에 대한 '스키마'를 지정하도록 하는 기능
- 엔지니어링의 변화 : 프롬프트 ☞ 스키마
- 구성 요소 : 정의된 스키마 → 타입-채팅[프롬프트 구축 → LLM ↔ 스키마 검증 ↔ 복구] →(입력이 잘된 응답) 애플리케이션 코드
- 지원 예정 언어 : PyThon, '.NET', C#, 자바 스크립트
※ https://github.com/microsoft/TypeChat

마이크로소프트[AI(인공지능) 연구]
- 문제 : 언어 모델이 작을 수 있느냐?

☞ 그래프(수평 : 훈련 토큰 / 수직 : 모델 사이즈)
- GPT-3 모델 : 1,750억 개(매개 변수), 3,000억 개(훈련 토큰)
- Llama 2 모델 : 70억 개(매개 변수), 2조 개(훈련 토큰)
- LLM(대형 언어 모델)

☞ 컴팩트한 데이터 세트로 더 작은 모델의 가능성
- 사람 : 10억 개의 세계만 읽음(1분 : 100 단어, 30년 기간 중 하루 16시간)
- 언어 모델 : '수 조'개의 단어를 읽음(모든 것을 외움, 순수한 정보는 배우기 쉬우나 '논리 / 액션(요약, 재작성)' 등에는 어려움이 있음.
★ 가설 : 훈련 데이터세트에서 덜 중요하게 여겨지는 것(소형 모델, 쉬운 훈련, 저렴한 추론 비용)

마이크로소프트[GPU - 기밀 컴퓨팅]
- 전체 수명 주기동안 데이터를 보호

☞ 기존 암호화
- 미사용 데이터 암호화: Blob Storage, 데이터베이스 등에 저장될 때의 비활성 데이터
- 전송 중 데이터 : 비신뢰성의 '공용 또는 사설 네트워크' 사이에 흐르는 데이터

☞ 기밀 컴퓨팅
- 사용 중인 데이터 관리(보호 / 암호) : RAM에 있는 동안의 계산 중에 사용 중인 데이터

(공식 발표!)엔비디아 GPU 기반 '마이크로소프트 애저 기밀 컴퓨팅 VM'
- 서버(데이터센터) GPU "신규 VM" : Azure "NCCv5 VMs"(프리뷰 버전)
- 서버(데이터센터) GPU(신규) : H100 텐서 코어 GPU
① CPU 구성 요소 : TEE VM(애플리케이션, 유저 모드 라이브러리, 커널 모드 GPU 드라이버, 게스트 OS)
② GPU 구성 요소 : TEE[PCI-익스프레스 PF, 애플리케이션, 컴퓨팅 엔진(2개), DMA, 비디오, L2 캐시 메모리, HBM 메모리, GSP, FSP, Fuses]
③ 하이퍼바이저 가상화 : CPU & CPU 바이오스
※ ① ↔ ② : 메세지 암호화 적용

마이크로소프트[기밀 AI(인공지능)의 비전]
- 모델 : 사용자들의 IP를 보호를 원함
- 데이터 : 훈련, 미세조정, 추론, 프롬프트 기반 응답 교류 데이터(본인 외에는 누구도 볼 수 없음)
- 다중 공유 : 당사자 간의 데이터 공유 및 기밀 H/W로 보호(서로 간의 데이터를 볼 수 없는 다중간 시나리오 지원)

이로써, "마이크로소프트 이그나이트 2023 컨퍼런스[5차 - 'AI(인공지능)의 혁신' 살펴보기]" 댓글 재방송 중계가 모두 끝났습니다. 시청해주셔서 감사합니다^^;;
※ 오늘을 끝으로 마이크로소프트 이그나이트 2023 컨퍼런스(키노트 중심)이 모두 끝났습니다. 지겨우셨을 텐데도 불구하고, 댓글로 봐주셔서 진심으로 감사드립니다!ㅠㅠ

※ 전체 정리본은 "마이크로소프트 이그나이트 2023 컨퍼런스(키노트 부문 중심)"가 모두 끝나면 정리할 지, 아니면 바로 정리할 지를 선택해서 정리 및 게시를 할 예정이오니, 시간이 걸리더라도 기다려주시면 최선을 다해서 정리하도록 하겠습니다. 감사합니다!