[키워드]

▶ 오늘날 현재 : AI(인공지능)의 흥미롭고 새로운 단계에 진입함

▶ ChatGPT 출시(2022년 11월 30일) 이후의 변화

- 출시 된 지 1년 만에 많은 변화 및 혁신의 속도가 가속화됨

▶ OpenAI(개발자 회의) 컨퍼런스), GPT 버전 공개

- DALL-E

- 데이터 분석

- ChatGPT 클래식

- 게임 타임

- 수학 조언자

- 네비게이터

- 우주 몽상가

- 세탁 친구

- '비알코올' 칵테일 기술자(? - 의역입니다)

- 영웅책의 색칠하기(? - 의역입니다)

- 부-주방장

- 기술 지원 조언자

- Genz 4 Meme

[마이크로소프트]

▶ 마이크로소프트 이그나이트 2023 컨퍼런스

- 새롭고 흥미로운 기술을 다룰 것.

- 제품 개발, 배포, 안전, 실제 생산성의 세부 사항을 다룸

- 이번 컨퍼런스의 주요 핵심 : 100개 이상의 신규 기능 업데이트 발표 예정!(모든 스택 계층 기반)

[마이크로소프트 - 사명]

- 혁신 : 직업, 지역, 사회, 국가에서 힘을 실어줄 때만 유용할 것.

- 사명 : 'CO-Pilot' + Empower Every Person and Every Organization On The Planet to Achieve More(지구 상의 모든 사람과 조직이 더 많은 성취를 이루도록 돕는 권한을 부여하는 것.)

- 지구의 '80억명 규모 인구' : 항상 '개인화의 가정교사', '의료 제도를 제공하는 의사', 필요한 모든 것에 대한 조언을 제공을 멘토를 접할 수 있음.(불가능을 가능하게 만드는 것)

[마이크로소프트] - 오픈 소스

▶ 오픈 소스

- '오픈-소스'에 올인함

- '오픈-소스' 모델을 '마이크로소프트 애저' 클라우드에 책임성을 가지고 가져올 것.

- 모델 카탈로그 : 다양한 모델을 보유하고 있으며, 더 많은 모델을 추가함

▶ 마이크로소프트[오픈 소스 + SLM(소형 언어 모델)]

- 마이크로소프트 연구소(모델) : '고도로 전문화' 기반 데이터 세트로 구축한 모델(Phi)

- 50배 더 큰 모델과도 경쟁이 가능함

- Phi 1.5 : '13억개' 매개변수만 있음(상식, 언어 이해, 논리적 추론 테스트 → 벤치마크에 비해 최첨단 성능을 자랑함)

- (공식 발표!) : 마이크로소프트 'Phi-2' 모델(Phi '1.5'의 확장 버전 - 오픈 소스 기반)

- 향상된 기능을 자랑 및 비교적 '작은 매개 변수 크기'를 유지함(서비스 모델 & 카탈로그에도 추가될 예정)

- 수학적 추론 능력 향상 : 50%

① 마이크로소프트 연구소에서 구축

② '27억개' 매개 변수 지원

③ 상식, 언어 이해, 논리적 추론 테스트 지원

[마이크로소프트] - 신규 기능

▶ (공식 발표!)신규 기능 : 마이크로소프트 Model Catalog(모델 카탈로그)

- 모든 기능은 '안전 가드레일'과 긴밀하게 통합됨

- 지원 AI(인공지능) 모델

① Stable Diffusion : '텍스트 → 이미지 생성'

② Llama 코드 : 코드 생성

③ Mistral 7B : 텍스트 번역 및 요약

④ 엔비디아(Nemotron-3 8B) : 3가지 모델 제품군을 사용 시 '범용 AI(인공지능) 애플리케이션' 구축이 가능함

▶ (공식 발표!)신규 기능 : 마이크로소프트 'Model as a Service(서비스 모델)'

- 모든 기능은 '안전 가드레일'과 긴밀하게 통합됨

- 개발자가 GPU를 '프로비저닝 작업'이 필요 없는 호스팅된 API처럼 오픈 소스에서 모두 사용이 가능한 대규모 모델에 액세스 가능함(백엔드 작업이 아닌 개발에 집중이 가능해져서 간단함)

- 지원 서비스 모델

① 'API' 사용 준비 가능

② 'Fine-Tuning' 호스팅

③ 주요 LLM(대형 언어 모델)' 도구와 통합

[마이크로소프트 제품군] - 'CO-Pilot'

▶ 마이크로소프트 'CO-Pilot' 스택 구조

- AI(인공지능) 기반 안전 & 보안

- 'End-To-End CO-Pilot 스택 : 인프라스트럭쳐, 기초 모델, 데이터, 도구 체인, CO-Pilot 등 자체 포함

- 구조

① CO-Pilot 스튜디오 + 마이크로소프트 CO-Pilot + 사용자 기반 CO-Pilot + 마이크로소프트 애플리케이션

② AI 오케스트레이션

③ 사용자 데이터 + 투자 모델 & AI(인공지능) Tool-Chain(도구 체인), AI 인프라스트럭쳐

④ 클라우드 : 마이크로소프트 애저

▶ 마이크로소프트 'CO-Pilot' 스택 구조

① AI(인공지능) 인프라스트럭쳐

- '마이크로소프트 애저 클라우드'에 대한 접근 방식부터 시작

- '마이크로소프트 애저 클라우드'의 글로벌 인프라스트럭쳐 현황 : '60개 이상' 지역, '전 세계 300개 이상' 데이터센터를 보유함

- 파트너(벤더사)와 긴밀히 협력 : 데이터센터, 전력, 서버 랙, 네트워크, 코어 컴퓨팅, AI(인공지능) 가속기 등 통합

② 투자 모델 & AI(인공지능) Tool-Chain(도구 체인)

- '고급 인프라스트럭쳐 & 클라우드 시스템' 환경에서 실행이 가능함

※ 생성-AI(인공지능) 모델 : '마이크로소프트 애저' 클라우드에서 다양한 언어 모델이 존재함

☞ 가장 강력한 GPU가 필요한 '수 조개'의 대형 언어 모델(LLM) 매개변수

☞ '수 십억개'의 매개변수 작업별 소규모 언어 모델(SLM) 매개변수

③ 데이터 스택

- 스택 전체에 'AI(인공지능)'의 힘을 통합함

- RAG(검색 증강 생성)과 RAG 패턴 : 모든 'AI(인공지능) 기반 애플리케이션'의 핵심

- 데이터를 기초 모델과 통합이 가능함

④ 마이크로소프트 애플리케이션

★ 마이크로소프트 팀즈 ★

- 공동 작업, 채팅, 회의, 통화 전반에 걸친 모든 기능을 한 곳으로 통합.(생산성 & 연결성 유지)

- 사용자 : 3억 2천만명

☞ (공식 발표!)신규 마이크로소프트 팀즈 출시!(2023년 10월) : 신규 'AI(인공지능)' 기반 맞춰서 출시

- 빠른 성능(2배 빠른 성능, 50% 적은 리소스 사용)

- 사용자 경험의 간소화(UX의 간소화로 클릭 수를 감소 및 많은 작업을 쉽게 수행)

- 스마트화[차세대 AI(인공지능)의 경험 기반으로 작업 방식을 변화]

- 전체 플랫폼 : 여러 플랫폼에서 사용이 가능함(윈도우 OS & Mac OS에서도 사용 가능)

- 팀즈 스토어 : '2,000개 이상' 애플리케이션이 포함됨

- 월간 활성 사용자 : 1,000,000명 이상

- 기업에서의 팀즈 : 145,000개의 맞춤형 'LOB(Line Of Business) S/W'를 구축함

☞ (추가공식 발표!) : 마이크로소프트 팀즈의 'Mesh(혼합현실 플랫폼) 플랫폼 기능'을 도입!(2024년 1월에 일반 출시)

- PC, 홀로렌즈, 메타 퀘스트 등 VR 장비 사용이 가능함

- 'CO-Pilot' & 아바타 기능

- 몰입형 공간

- '(없을 無)코드' 편집기

- 'CO-Pilot' & 3D-스페이스 기능

☞ 신규 마이크로소프트 팀즈의 주요 탑재 애플리케이션

- 1Poge, Achievers, 어도비 시스템, AisERA, Ambr 등 1개 애플리케이션

- ANDOR, 앱스페이스, asana, ATEASSIAN, 아마존(AWS) 등 1개 애플리케이션

- BetterUp, 리워드, Bigtncari,Box, 브레인스톰, Carwa

- communitrio, creately, Culture-Amp, Cytric-Easy, Darwinbox, 데이터도그

- decisions, degreed, docebo, DocuSign, Egnyte 등 1개 애플리케이션

- emplus, esri, 피그마, 프레시워크, GO1, grwothsoce

- LawToolBox, Lawwu, LexisNexis, LMS365, Lucid 등 1개 애플리케이션

- Mural, 무브웍스, 먼데이닷컴, Miro, 메타(구 페이스북), Mentimeter

▶ Microsoft 'CO-Pilot'의 시대(새로운 전환점에 있음)

- 디지털 기업부터 'CO-Pilot' 시대를 준비함.

- 주요 기업 : Lumen, Mayo-Clinic, Good-Year, BAYER, Air-BNB, Duolingo, Shopify, EPIC-UWHealth, LSEG, ROCK-Well Automation, 지멘스 등등

☞ 마이크로소프트 'CO-Pilot'의 신규 데이터 공유

- 실질적 생산성 향상을 공개

- 창의성과 생산성 모두에 미치는 영향을 깊이 이해하기 위해서 광범위한 시각 & 데이터를 공유함

- CO-Pilot 사용 시의 장점 : 작업을 더 빠르게 완료가 가능하며, 작업 흐름의 실질적 계단식 효과를 기대가 가능함.

- 정보 검색의 소요되는 시간이 줄어들며, 더욱 효과적인 회의 오픈이 가능해짐.

- 마이크로소프트 오피스 제품군(워드, 엑셀, 아웃룩) 기반 업무 데이터에 대한 공동 작업이 가능함.

- 사용자 및 소속 조직의 역할에 대해서 풍부한 컨텍스트를 갖고 있어서, 훨씬 더 많이 공동 작업 및 집중이 가능함.

※ 마이크로소프트 CO-Pilot : 사용자가 '세상(조직)의 지식에 접근하는 데 도움이 되는 새로운 UI를 제시할 것!

☞ 마이크로소프트 'CO-Pilot'의 도입 이후의 효과 사례

- CO-Pilot 사용자 : 77%가 포기하고 싶지 않음

- 생산성 향상 : CO-Pilot 사용자의 70%가 생산성이 더 높아짐

- 창의적 프로세스 시작의 도움을 받음 : CO-Pilot 사용자 68%가 창의적인 프로세스의 도움을 받음.

- 시간의 절약 : CO-Pilot 사용자 67%가 시간을 절약 및 더 중요한 작업에 집중이 가능해짐.

- 회의 집중 속도의 향상 : 대략 3.8배 더 빨라짐

- 고객 문제 해결 속도의 향상 : 대략 12% 향상

- 지식 작업의 향상 : 대략 29% 더 빨라짐.

- 시간의 절약 : '판매 사용자 기반 CO-Pilot' 데이터 기준으로 평균 90분 절약함

※ 마이크로소프트 'CO-Pilot', 추진 진행 중에 있는 데이터를 공유.

[마이크로소프트 - 서버(데이터센터]

① 데이터센터(전력 공급)

- 전력 공급 방식 : '재생 가능' 기반 전력 공급으로 진행 중(풍력, 지열, 태양열, 핵융합 등 신규 에너지 구매를 위한 생산자와 협력)

- 마이크로소프트 : 전 세계에서 가장 큰 '재생 가능' 기반 전력 구매자 중 가장 큰 빅테크 기업으로 손꼽힘.

- 2013년 : '19 기가와트' 이상 '재생 가능' 에너지를 공급(후버 댐 10개의 연간 전력 생산량과 맞먹는 규모)

- 2025년 : 100% 에너지를 '탄소 배출 제로' 목표로 '재생 가능' 에너지로 생성한다는 목표 달성 공식 발표!

② 데이터센터(네트워크)

- AI(인공지능)의 수요 & 미래 워크로드 충족의 속도 향상 : Hollow Core Fiber(중공 코어 광섬유 기술)

- 네트워크 속도 향상 : 47%

- 세계 유일의 '중공 코어 광섬유' 케이블 생산 전용 공장에서 직접 생산하고 있음(첫번째 배포 및 포설 국가 : 영국 데이터센터와 연결)

① 기존 광섬유 케이블[단일 모드 광섬유(SMF)] : 유도광(고체의 유리 광섬유 코어) → 클래딩(유리)

② 혁신적 광섬유 케이블[중공 코어 광섬유(HCF)] : 유도광(미세한 공기 모세관 기반 광섬유 코어) → 클래딩(유리)

※ 광섬유 단면 이미지(실제 측정치가 아님)

③ 데이터센터(데이터센터)

- (공식 발표) : 마이크로소프트 애저 부스트(Azure Boost) - 일반 배포

- 워크로드의 높은 성능 및 보안을 제공함

- 네트워킹, 원격(로컬) 스토리지 처리량을 향상시켜 고성능 워크로드 기반의 '애저 클라우드'로 실현이 가능함

- 커스텀 'H/W' & 'S/W' 기반 신규 시스템으로 '서버 가상화 프로세스'를 실행함

- 스토리지 처리량 : 원격 스토리지 부문(최대 12.5GBps 처리량, 650K IOPS) / 로컬 스토리지 부문(최대 17.3GBbps, 처리량 3.8M IOPS)

- 최대 네트워킹 속도 : 200Gbps 속도를 자랑함.

④ 데이터센터(시설 내부)

- H/W 벤더사[서버(데이터센터) CPU] : 인텔[XEON(제온 - 4세대 사파이어 라피드)], AMD[EPYC(에픽 - 4세대 제노아)]

- 조직 활용 예시(Vestas & AMD) : AMD 기반 '애저 클라우드' 최적화 서비스를 결합 및 방대한 날씨(기후) 데이터 시뮬레이션을 실행

- 조직 활용 예시(SAP & 인텔) : 인텔 기반 '애저 클라우드 VM'으로 '최대 32TB 메모리 용량'을 지원하는 신규 가상 머신을 실행(MVB3)

[마이크로소프트 - 커스텀 H/W]

① 커스텀 서버(데이터센터) CPU

- (공식 발표!)마이크로소프트 애저 코발트(Azure Cobalt) 커스텀 서버(데이터센터) CPU

- 커스텀 서버(데이터센터) CPU 제품명 : 'Azure Cobalt(애저 코발트) 100'

- '마이크로소프트 애저 클라우드' 특화 기반 설계

- 마이크로소프트 제품군 연계 : 마이크로소프트 팀즈, 애저 커뮤니케이션 서비스, 애저 SQL 일부 기능 지원

- CPU 코어 : 128개

- CPU 마이크로아키텍처 : 'ARM-홀딩스' 기반 64비트

※ 모든 클라우드 벤더사 중 가장 성능이 빠른 'ARM-홀딩스' 기반 '커스텀 서버(데이터센터) CPU!'

※ 마이크로소프트 회장님이 '애저 코발트' '커스텀 서버(데이터센터) CPU' 실물을 선보였습니다!

※ 2024년에 '커스텀 서버(데이터센터) CPU' 특화 기능을 사용자(벤더사)에게 제공예정

② 커스텀 AI(인공지능) 가속기

- (공식 발표!)마이크로소프트 애저 마이아(Azure MAIA) 커스텀 AI(인공지능) 가속기

- 커스텀 AI(인공지능) 가속기 제품명 : 'Azure MAIA(애저 마이아) 100'

- '마이크로소프트 애저 클라우드'의 LLM(대형 언어모델)의 교육 & 추론에 특화 및 최적화된 AI(인공지능) 가속기

- AI(인공지능) 가속기 제조공정 : 5nm

- AI(인공지능) 가속기 탑재 트랜지스터 : 1,050억개

- 마이크로소프트 '애저 마이아 100' 기반 커스텀 서버 랙 : 네트워킹 밀도 & 냉각 성능 최적화

① 발열 프로파일과 일치하고자 사이드킥 방식 냉각 장치를 설계

② 서버 랙 수준의 '폐쇄 루프 액체 냉각 시스템'을 추가(기존 데이터센터 & 인프라스트럭쳐 환경에서도 구축 배치가 가능함)

※ 커스텀 AI(인공지능) 가속기 & 서버 랙 제조방식 : '탄소 배출 & 폐기물' 제로 사명에 충족하고자 제작함

※ 마이크로소프트 회장님이 '애저 마이아' 'AI(인공지능) 가속기' 실물을 선보였습니다!

※ 마이크로소프트 '애저 마이아 100' 커스텀 AI(인공지능) 가속기' 기반의 실물 서버 랙[AI(인공지능) 기반 End-To-End)을 공개하였습니다!

★ 'GitHub CO-Pilot' 포함 자체 AI(인공지능) 서비스에 선제 출시하여 자체 워크로드를 지원 예정!(이후에도 타사 워크로드에도 확장)

[마이크로소프트] - 슈퍼컴퓨터

▶ TOP 500 순위(2023년 11월 기준) ☞ 성능 단위[PFlops/s(페타플롭스)]

① HPE(휴렛팩커드 엔터프라이즈) 'Frontier(프론티어)' : 1,194.00(PFlops/s)

② 인텔 'Aurora(오로라)' : 585.34(PFlops/s)

☞ '③ 마이크로소프트 'Eagle(이글)' : 561.29(PFlops/s)'

④ 후지쯔 'Fugaku(후가쿠)' : 442.01(PFlops/s)

⑤ HPE(휴렛팩커드 엔터프라이즈) 'LUMI(루미)' : 379.70(PFlops/s)

⑥ EVIDEN 'Leonardo(레오나르도)' : 238.70(PFlops/s)

⑦ IBM 'Summit(썸밋)' : 148.60(PFlops/s)

⑧ EVIDEN 'MareNostrum 5 ACC(마레노스트럼 5 ACC) : 138.20(PFlops/s)

⑨ 엔비디아 'EOS DGX SuperPOD' : 121.40(PFlops/s)

⑩ 엔비디아(멜라녹스) & IBM 'Sierra(시에라)' : 94.64(PFlops/s)

▶ 마이크로소프트 - 슈퍼 컴퓨터의 구성 요소

- 차세대 광섬유 기술

- 재생 가능 에너지

- 발열 분배

- 신규 접근 방식

- 반도체 혁신 & 다양성

※ 마이크로소프트의 목표 : 궁극의 효율성, 성능 & 규모를 고객(벤더사)에게 제공

[마이크로소프트 - 서버(데이터센터) GPU & VM(가상화 머신)]

① 엔비디아

①-1. 엔비디아 H200 '서버(데이터센터) GPU'

- 서버(데이터센터) GPU 벤더사 : NVIDIA(엔비디아)

- 서버(데이터센터) GPU(신규) : H200(SC23 컨퍼런스에서 공식 발표)

- (공식 발표!)서버(데이터센터) GPU '신규 VM' : Azure 'ND H200 V5'

- 동일한 대기 시간으로 '더 큰 모델 & 더 빠른 추론' 지원이 특징

☞ 서버(데이터센터) GPU(신규) 제원 - '엔비디아 H200'

- GPU 메모리 : HBM3e 1.1TB(1.8배 더 많은 메모리 용량)

- GPU당 메모리 : 총 141GB

- 메모리 대역폭 : 4.8TB/s(1.4배 더 많은 메모리 대역폭)

- 성능(FP8) : 32 PFlops

①-2. 엔비디아 H100 '서버(데이터센터) GPU'

- 서버(데이터센터) GPU 벤더사 : NVIDIA(엔비디아)

- 서버(데이터센터) GPU(신규) : H100(GTC 2022 컨퍼런스에서 공식 발표)

- (공식 발표!)서버(데이터센터) GPU '신규 VM' : Azure 'NCCv5 VMs'(미리 보기)

- 클라우드의 'AI(인공지능) 데이터 세트'에서 '기밀 GPU VM' 실행이 가능함(프로세스 전체를 처음부터 끝까지 보호가 가능함)

- 엔비디아와 공동 설계 : RAG(검색 증강 생성) 작업(컨퍼런스 전반에 걸쳐서 특정한 쿼리로 '프롬프트 강화'가 가능함)

☞ 서버(데이터센터) GPU(신규) 제원 - '엔비디아 H100'

- 제조공정 : TSMC 4nm 공정 제조(TSMC CoWos 2.5D 패키징 기반 제조, HBM3 메모리 패키지화하여 전압조절하여 SXM이라는 슈퍼칩 모듈로 통합함.)

- 트랜지스터 : 800억개 트랜지스터 탑재

- 대역폭 : 4.9 TB/s, 초당 40테라바이트 I/O 대역폭

- 설계특징 : 스케일 업 및 아웃을 위해 설계함(대역폭, 메모리, 네트워킹, NVlink Chip To Chip 데이터전송률)

- 메모리 : 설계 최초 HBM3 메모리 탑재

- PCI-익스프레스 버전 탑재 : 5.0

- 1st(성능) : FP8(4,000 테라플롭스), FP16(2,000 테라플롭스), TF32(1,000 테라플롭스), FP64 & FP32(60 테라플롭스)

- 2nd(명령어) : 신규 명령어 세트인 DPX 공개(동적 프로그래밍 알고리즘 가속화 기반 설계)

②. AMD Instinct(인스팅트) MI300 '서버(데이터센터) GPU'

- 서버(데이터센터) GPU 벤더사 : 에인(에픽 + 인스팅트) 테크랜드 AMD(Advanced Micro Devices)

- (공식 발표!)서버(데이터센터) GPU '신규 VM' : Azure 'ND MI300X V5'(사전 액세스 제공)

- 대규모 '생성-AI(인공지능)' 워크로드에 최적화

- 적은 GPU 개수로 '대규모 모델'을 빠르게 제공이 가능함

- OpenAI의 'GPT-4' 언어모델에서도 사용함.

- 서버(데이터센터) GPU(신규) : AMD Instinct(인스팅트) MI300X(아래 이벤트에서 공식 발표!)

① Together We Advance_Data Center & AI Technology 이벤트

② Together We Advance_Advancing AI 이벤트

☞ 서버(데이터센터) GPU(신규) 제원 - 'AMD Instinct(인스팅트) MI300X(Together We Advance_Data Center & AI Technology 컨퍼런스)'

▶AMD 인스팅트 MI300 서버(데이터센터) GPU(GPU 코어 전용 모델)

- 정식 제품 모델명 : AMD Instinct(인스팅트) MI300X

- GPU : 3rd CDNA 마이크로아키텍쳐 기반

- 메모리 : (기존 MI300A)128GB HBM3 + (용량 추가)64GB HBM3 = 192GB HBM3

- 트랜지스터 : 1530억개 탑재

- 대역폭 : 인피니티 패브릭(896GB/s)

※" CPU + GPU" 혼합 APU 형태가 아닌 단일 서버(데이터센터) GPU 타입 반도체!

※ 생성 AI 및 모델 가속기 리더쉽의 서버(데이터센터) GPU

☞ 서버(데이터센터) GPU(신규) 제원 - 'AMD Instinct(인스팅트) MI300X(Together We Advance_Advancing AI 컨퍼런스)'

1. AMD Instinct(인스팅트) MI300X 서버(데이터센터) GPU 공식 소개!

- 3rd CDNA '서버(데이터센터) GPU 마이크로아키텍처

- '생성-AI(인공지능)'의 발전에 특화된 GPU

- 트랜지스터 : 1530억개

- 제조공정 : 5nm & 6nm

- XCD(가속기 컴플렉스 다이) CU(3rd CDNA) : 최대 304개 탑재(코어 개수 : 64개 기준 19,456개)

- I/O 다이 : 최대 4개 탑재[AMD 인피니티 캐시 메모리(256MB) 탑재]

- 메모리(HBM3) : 192GB(대역폭 : 5.3TB/s)

※ AMD Instinct(인스팅트) MI300X GPU 가속기 - '생성-AI(인공지능)'의 리더쉽

2. AMD Instinct(인스팅트) MI300X 서버(데이터센터) GPU - OEM 벤더사 & 솔루션

- 델 테크놀로지, HPE, 레노버, 슈퍼마이크로

- 아수스, 기가바이트, Inventec, Ingrasys, QCT, Wistron, wiwynn

3. AMD Instinct(인스팅트) 'MI300X' GPU 인프라스트럭쳐 선택 규모 확대 기업

- Aligned

- Aron Energy

- Cirrascale

- Crusoe

- DenVR DataWorks

- TensorWave

[마이크로소프트 - AI(인공지능) GPU 가속기]

▶ GPU

- AI(인공지능)의 '훈련 & 추론'을 '애저 클라우드'에 질문 없는 최고의 클라우드를 만들기 위해서 광범위하게 협력함

- 파트너쉽 기업 : GPU 전문 벤더사 'NVIDIA(엔비디아)'

- '엔비디아 GPU' 탑재 기반 '애저 클라우드' 인프라스트럭쳐 구축 : OpenAI도 이번 인프라를 이용하여 '최고의 LLM(대형 언어 모델)'을 제공함

▶  인프라스트럭쳐(경쟁사 대비 성능 벤치마크)]

- 비교 대상 : 마이크로소프트 애저 클라우드(컬러) & 경쟁사 클라우드 벤더사 제품(흑백)

- 'GPT-3' 모델 훈련(훈련 단계 / 분당) ▶ 'MLPerf-훈련 3.1' 벤치마킹 : 10,700개 GPU를 사용(최대 5.1배의 훈련 성능을 자랑함)

- 'GPT-J' 모델 추론(쿼리 / 초당) ▶ 'MLPerf-추론 3.1' 벤치마킹: 99% 정확도(최대 5.8배의 정확도를 자랑함)

※ 이전 기록보다 더 많은 10,700개의 엔비디아 'H100(호퍼) 서버(데이터센터) GPU'를 사용함

▶ 벤더사 - AI(인공지능) 워크로드 최적화

- 모든 AI(인공지능) 워크로드 최적화 : 반도체의 다양성으로 장점을 극대화할 수 있음

- 구성 요소

① 마이크로소프트 'CO-Pilot', 사용자 AI(인공지능) 애플리케이션

② 마이크로소프트 Azure AI[애저 AI(인공지능)]

③ 벤더사 : 엔비디아(GPU), AMD(CPU + GPU), 마이크로소프트

※ 마이크로소프트 : 세계에서 가장 강력한 기반 모델을 구동이 가능함(End-To-End 혁신)

[마이크로소프트] - Azure AI(애저 AI(인공지능)

① 마이크로소프트[Azure AI(애저 AI(인공지능)]

- 프론티어 모델 선택 제공 : 특정 비용, 대기 시간, 성능 요구 사항을 충족하면서 'AI(인공지능)-애플리케이션 구축'을 사용이 가능

- OpenAI 파트너쉽을 통해서 시작됨(OpenAI가 혁신하면 혁신에 따른 'Azure AI'의 일부로 제공할 것)

- OpenAI : AI(인공지능) 모델의 상태를 발전시키고자, 획기적 작업을 수행함.

② (업데이트 공식 발표!) : 마이크로소프트 Azure OpenAI(애저 OpenAI) 서비스

- (프리뷰 버전)언어 모델 도입(ChatGPT) : GPT-4 터보(비전 모델 포함), DALL-E 3, Fine-Tuning

- OpenAI : AI(인공지능) 모델의 상태를 발전시키고자, 획기적 작업을 수행함.

- Azure AI Vision(애저 AI(인공지능) 비전 / GPT-4 터보 & 비전 모델 연결 : 비디오 이미지 & 텍스트로 메세지를 표시할 수 있는 기능 추가(거래사인 'WPP'도 해당 기능을 사용 중에 있음 → 엔비디아 GPU로 구동 및 엔비디아 옴니버스 솔루션으로 실행되었음))

- Fine-Tuning : 'GPT-4' 미세 조정 기능을 도입(사용자 데이터를 로딩하여 '사용자 커스터마이징 버전'을 제공할 것)

- 특징 : 저렴한 가격(신규 모델의 토큰 가격은 OpenAI와 동일함), 구조화된 JSON 형식, '확장된 프롬프트 길이'의 제공(단일 프롬프트에 '300 페이지' 분량의 텍스트를 입력이 가능함

▶ 마이크로소프트[Azure AI(인공지능) Studio(애저 AI 스튜디오)]

- '전체 수명 주기 도구 체인' 제공 : 최신 차세대 모델을 구축, 사용자 지정, 교육, 평가 및 배포(안전 도구 내장 포함)

- 'SLM(소형 언어 모델)'의 커스터마이징

- '일반 개발자 시나리오'의 아트 템플릿을 활용(애플리케이션에 바로 통합이 가능함)

- '애저 클라우드' & 'Edge(엣지) 브라우저' 결합 시 '탁월한 시나리오 제작'이 가능함

☞ AI(인공지능)의 중요 기능 : '안전 기능'(해당 스튜디오 기능 사용 시 '애플리케이션 & 서비스'에서 관리가 가능함

① 유해한 사용자 생성

② AI 생성 컨텐츠 감지(필터링)

☞ (프리뷰 버전)주요 구성 요소

① 통합 플랫폼

② 하이브리드 & 의미 검색

③ 전체 개발수명 주기

④ '윈도우 OS'의 확장(모든 엔드포인트 확장)

⑤ 안전하고 책임감 있는 AI(인공지능)

[마이크로소프트] - 파트너쉽

▶ 마이크로소프트[파트너쉽 발표]

- 파트너쉽 벤더사 : 메타(구 페이스북)

- 신규 서비스  : Llama 2 as a Serivce(Llama II 언어 모델 서비스)

- 미세 조정 시 '모델이 도메인을 좀 더 이해' 및 정확한 예측을 생성이 가능함

▶ 마이크로소프트[파트너쉽 발표]

- 파트너쉽 벤더사 : Mistral

- 신규 서비스  : Mistral as a Serivce(Mistral 언어 모델 서비스)

- 모든 언어 & 국가 모델을 지원(프리미엄 모델을 서비스로 제공함.)

▶ 마이크로소프트[파트너쉽 발표]

- 파트너쉽 벤더사 : Group 42

- 신규 서비스  : Jais as a Serivce[Jais(아랍어) 언어 모델 서비스]

- 세계 최고 품질 언어(아랍어)인 'Jais'를 서비스로 제공함

▶ (파트너쉽)마이크로소프트 & Photonic 공식 발표!

- '풀 스택 양자 접근 방식 확장'을 위한 전략적 파트너쉽 체결

- 'Photonic' 신규 아키텍처(스핀-광자) : '표준 통신 파장' 기반의 양자 통신 지원

- 해당 인프라 결합 후 '마이크로소프트 애저' 클라우드로 가져오기 시도 : '애저 내부 퀀텀 플랫폼(네트워킹 & 컴퓨팅)' 접근이 가까워짐

▶ 마이크로소프트 - 파트너쉽(엔비디아)

- 파트너쉽 벤더사 : NVIDIA(엔비디아) - GPU 전문 벤더사

- 파트너쉽의 확장 : 'AI(인공지능) 개발'을 위한 동급 최고의 솔루션을 포함하여 '스택 전체'로 확대

- (공식 발표!) : NVIDIA AI-Foundry Service on Azure[마이크로소프트 애저 - 엔비디아 'AI(인공지능)-파운드리' 서비스]

- 엔비디아의 서비스 : 모델, 프레임워크, 도구 / DGX 플랫폼 기반 슈퍼컴퓨팅[클라우드 AI(인공지능)] & 서비스 통합

- '생성-AI(인공지능)' 모델 및 맞춤형 '생성 모델' 제작의 'End-To-End' 솔루션 제공

☞ NVIDIA AI-Foundry Service on Azure[마이크로소프트 애저 - 엔비디아 'AI(인공지능)-파운드리' 서비스] 주요 구성요소

- 마이크로소프트 애저 + 엔비디아 솔루션[AI(인공지능) 기초 모델 + 'NeMo' + DGX 클라우드 플랫폼]

- 마이크로소프트 애저 + [LLM(대형 언어 모델) + 에이전트] = RAG + 벡터 스토어 = [프롬프트 + LLM(대형 언어 모델)]

☞ 마이크로소프트 & 엔비디아의 파트너쉽 기반 제품(서비스)

- (SAP 기업)'마이크로소프트 애저' 기반 'NVIDIA AI Foundry' 서비스 고객

- [Amdocs(암독스) 기업)'마이크로소프트 애저' 기반 '통신업체 수준 LLM' 특화 서비스 'NVIDIA AI Foundry'

- 엔비디아 DGX 플랫폼 클라우드

- '마이크로소프트 애저' 기반 'NVIDIA AI Foundry' 서비스

- '엔비디아 'AI(인공지능) 투자 모델'

- '엔비디아 AI(인공지능) 엔터프라이즈) : '마이크로소프트 애저' ML(머신 러닝) 통합

- [구독형 제품군 - 윈도우 365)특화 엔비디아 GPU 가속 기술

- (엔비디아 H100 GPU) : H100 NVL

- (엔비디아 H200 GPU) : H200 VM

- (윈도우 OS PC용) : TensorRT-LLM

- '마이크로소프트 애저' 기반' : NVIDIA Omniverse 클라우드 서비스

※ 엔비디아 창업자 & CEO, 젠슨 황이 특별 출연하였습니다!

[마이크로소프트 제품군]

① 마이크로소프트 제품군[Fabric(패브릭)]

- 모든 데이터 + 분석 워크로드 = 하나의 통합 환경으로 로딩함

- '마이크로소프트 SQL 서버' 출시 이후 가장 큰 데이터 출시임

- 사용 고객사 : 25,000명(개)

☞ (공식 발표!)'마이크로소프트 Fabric(패브릭)' 일반 출시 - AI(인공지능) 시대를 위한 데이터 플랫폼

- 완벽한 분석 및 'AI(인공지능)' 기반 플랫폼

- 호수 중심 및 개방형

- 하나의 호수 + Azure AI[애저 AI(인공지능) 스튜디오]간의 통합 가능

- 서비스 필요 시의 유지관리 팀에 경고하는 '예방 유지 관리 모델'을 구축이 가능함(애플리케이션 구축 + 채팅 기능 포함)

- Apache Parquet(아파치 파켓) 형식, Fabric[Delta Lake(델타 레이크)] 형식으로 구성

- 모든 비즈니스 사용자에게 권한 부여

※ (출시 예정!)'마이크로소프트 Fabric(패브릭) - Mirroring(미러링) 기능' 탑재 발표! - 클라우드의 '데이터창고' & '데이터베이스'를 하나의 호수에 원활하게 연결이 가능

▶ 주요 DB(데이터베이스)

- Azure Cosmos DB(애저 코스모스 DB)

- Azure SQL DB(애저 SQL DB)

- SnowFlake

- MongoDB

※ https://aka.ms/Fabric

② 마이크로소프트 Azure Cosmos(애저 코스모스) DB

- (기능 추가 발표!) : Vector Search(벡터 검색) 인덱스 추가

- 'AI(인공지능)' 기반 인덱스 관리를 이동함('애플리케이션 도메인' → 데이터베이스 자체)

※ https://aka.ms/CosmosDB

③ 마이크로소프트 Azure AI Extension(인공지능 확장)

- (퍼블릭 프리뷰 공개!)'Azure AI Extension' 기반의 'PostgreSQL' 확장

- PostgreSQL에도 '벡터 인덱스' 추가

- 개발자는 'AI(인공지능)'을 사용 : 데이터베이스에 있는 '관계형 데이터'의 잠재력을 최대 활용이 가능함

※ https://aka.ms/PostgreSQL

④ 마이크로소프트 Azure AI Search(인공지능 검색)

- (일반 출시 발표!)Azure AI Search(인공지능 검색)의 '벡터 검색' 지원

- '생성-AI(인공지능)' 애플리케이션을 위한 혁신적 정보 검색 가능

- 순위 재지정 기술 구축으로 '바닐라 벡터 검색' 결과보다 뛰어난 '고품질 응답'을 제공

※ https://aka.ms/AzureAISearch

⑤ 마이크로소프트 제품군(Bing Chat)

- 검색 : 변화하고 있으며, 모두가 참여하고 있음.

- Bing Chat : CO-Pilot(독립 실행형 대상)

- 작동 브라우저 : 마이크로소프트 Edge(엣지), 구글 크롬, 애플 사파리)

- 엔터프라이즈 버전용(Bing Chat Enterprise) : 상업용 데이터 보호 기능 추가 ☞ 'CO-Pilot'(액세스 할려면 Entra 계정으로 로그인 - 추가 비용없이 사용)

★ 제공 예정인 '모바일 애플리케이션'에도 작동함

※ https://copilot.microsoft.com

⑥ 마이크로소프트 제품군(마이크로소프트 365 CO-Pilot)

- 2023년 '11월 1주차'에 출시 : MS 365 전용 'CO-Pilot' 일반용

(이메일, 캘린더, 회의, 채팅, 문서, 답변 & 완료 작업의 모든 정보를 의미)

☞ 마이크로소프트 365 'CO-Pilot' 구성 요소(자연어)

- LLM(대형 언어 모델)

- 마이크로소프트 그래프(사용자 데이터 - 추론 가능) : 사용가능한 '엔터프라이즈' 정보 및 작업에 대한 플러그인이 함께 제공

- 마이크로소프트 365 애플리케이션 : 팀즈, 엑셀, 아웃룩 등 즐겨 사용하는 프로그램을 'CO-Pilot'에 통합

- 웹 사이트 검색

☞ (공식 발표!)마이크로소프트 'CO-Pilot Studio' : 플러그인 + GPT의 전체 사용이 가능함

- 맞춤 환경 설정 가능!(사용자만의 'CO-Pilot'과 '방식'으로 설정)

- 구성 요소 : 맞춤 설정, 생성(신규 플러그인 생성), 구축(사용자 정의 GPT), 관리(워크플로우 조정, 성능 모니터링, 정의 관리)

- 사용자 요구 사항(환경 설정) : 특정 요구, 데이터, 작업 흐름, 보안 요구 사항

- 2가지 비즈니스 프로세스가 없고, 2개 회사가 동일할 수 없음.

- 데이터베이스, 사용자 정의 'Back-End', 레거시 시스템(온-프레미스)에도 연결 가능

- 조직 내 고유 기능 + 'CO-Pilot'을 확장이 가능함(비용 관리, HR 온보딩, IT 서비스의 도움을 받을 수 있음)

- 애플리케이션 + 멀티 플러그인 제공 : SAP, WorkDay, ServiceNOW 등 애플리케이션 및 자체 비즈니스 데이터 통합을 위한 사전 구축한 플러그 인을 제공

☞ 마이크로소프트 'CO-Pilot' 생태계 주요 벤더사

- 1Page, absentify, 어도비 시스템, AIR India

- AiSERA, amadeus, Ambr 등 1개 애플리케이션

- ARKIFI, ATLASSIAN, AtoS, 오토파일럿

- Avanade, BAYER, Bigtincan, box

- 브레인스톰, Calendly, Canwa, creately

- go1, HCLTech, 하이스팍, JABIL

- 존슨 컨트롤, KPMG, LawToolBox, LawVu

- LexisNexi, LMS365, LSEG, LTIMIndtree

- Lucid, Michelin, Miro, 먼데이닷컴

- 무브웍스, Mural, Preseation.ai Priority Matrix

▶ 마이크로소프트에서의 사용

- 'GitHub CO-Pilot'(개발자) : 자연어 → 프로그래밍 언어로 전환(55배 더 빠른 코딩이 가능함)

- 'Microsoft CO-Pilot Security'(SecOps 개발팀) : '머신 속도'로 '보안 위협'에 대응하도록 지원(위험 및 규정 준수 / 관리자의 ID 관리, 엔드포인트 보안 기반 플러그인 추가 예정)

- 'Microsoft CO-Pilot Sales'(판매자) : 보다 많은 거래를 성사할 수 있도록 지원함(이메일 응답, 팀즈 회의 등 상관없이 'Salesforce' 혹은' Dynamic 365의 데이터(CRM)로 고객 상호 작용이 가능함)

- (공식 발표!)'Microsoft CO-Pilot Service'(고객 서비스) : 상담원이 '고객 별 케이스'를 빠른 해결'을 진행할 수 있는 서비스(상담원이 매일 사용하는 도구 내 데이터에 대한 올바른 지식에 액세스하도록 지원) → Salesforce, ServiceNow, ZenDesk, Dynamic 365 등 기본 통합이 포함

※ https://aka.ms/CopilotStudio

[마이크로소프트] - AI(인공지능) & Quantum(퀀텀 - 양자) 컴퓨팅

▶ 구성 요소 : AI + 혼합 현실 / AI + Quantum(퀀텀 - 양자)

① AI(인공지능) + 혼합 현실

- AI(인공지능)은 단순히 '자연어 & 입력'에 관한 것이 아님

- 마이크로소프트 + 주변 세계 : 보고, 듣고, 해석하고, 이해하는 것.

- 'AI + 혼합 현실' 결합 시도 : 목소리와 몸짓, 시선이 닿는 곳의 새로운 입력, 'Dynamics 365' 사용 직원과 같은 사람에게 변화를 부여함.

▶ (공식 발표!)Dynamic 365 가이드 'CO-Pilot'

- '비공개 미리보기'의 고객 사용자

- 주요 사용 기업 : 지멘스 에너지, Chevron, Novo Nordisk

② AI(인공지능) + Quantum(퀀텀 - 양자) 컴퓨팅

- 과학적 발견의 핵심 : 오늘의 '고성능 컴퓨팅'(화학, 생물학, 물리학)에서 자연 현상을 복잡성 기반을 시뮬레이션

- AI(인공지능) : 기본적으로 검색 공간을 감소 및 '시뮬레이션을 에뮬레이션화'함

▶ (공식 발표!)Azure Quantum Elements(애저 퀀텀 엘레멘탈)

- 신규 모델 아키텍처 구축 : GraphFormers

- '과학적 발견의 가속화'를 위해서 특별히 제작.

- 완전히 새로운 화합물을 생성이 가능함['화학 & 재료과학' 분야 발전을 단축(기존 : 250년 → 단축 : 25년)] ☞ AI(인공지능)으로 가능

- 주요 사용 기업 : 지멘스 에너지, Chevron, Novo Nordisk