[키워드]

▶ 우리가 PC를 사용하는 방식이 변화함

▶ 기술 : 우리가 살아가는 삶의 기본

- 6.5시간 이상(매일 온라인 사용)

- 2.8시간 이상(매일 PC로 온라인 사용)

▶ 엣지 컴퓨팅에서 온디바이스 인텔리전스 구동(중앙 클라우드 - 5G 통신망)

- 즉시성

- 신뢰성

- 개인화

- 프라이버시

▶ 지능 : 생성 AI와 함꼐 전면으로 이동함.

▶ 지능적 컴퓨팅의 새로운 시대 개막!

▶ 스마트 경험에 대한 요구 증가

▶ 디바이스 : 생성 AI를 완전하게 실행함!

▶ 모바일과 PC의 융합을 주도

- '노트북' 단말기 그 이상

- 5G : 놀라운 연결성

- 성능 & 배터리 : 성능과 효율성

▶ 온-디바이스 및 하이브리드 AI는 제너레이티브 AI 확장에 중요(← 온디바이스 | 클라우드 →)

☞ 이익이 되는 항목

- 비용

- 에너지

- 안정성, 성능 및 대기 시간

- 개인 정보 보호 및 보안

- 개인화

▶ AI의 미래 - 하이브리드

- 중앙 클라우드

- 엣지 클라우드

- 5G 통신 시스템

- 온-디바이스 엣지 AI

▶ AI로 향상된 화상 통화

- 배경 흐림

- 카메라 포커스

- 잡음 제거

▶ AI 혁신의 폭발

- 1억 명 : 2개월 내 월간 활성 ChatGPT 사용자

- 4000+ 애플리케이션 : 생성 AI 애플리케이션

▶ AI의 미래 : 하이브리드 플랫폼

- 키워드 : 경제적 규모, 에너지 효율성, 성능 & 신뢰성, 개인 정보 & 보안

- 클라우드 플랫폼

- 5G + 와이파이

- 온-디바이스

① 개인정보

② 신뢰성

③ 낮은 대기 시간

④ 네트워크 대역폭의 효율적 사용

▶ 생성 AI : 새로운 개척지

- 음성 텍스트 변환

- 텍스트 음성 변환

- 이미지 생성

- 문서 작성

▶ 향상된 AI(AI는 모든 컴퓨팅 범주를 근본적으로 바꿀 것)

- 안면 추적(NPU 소비 전력 : 145mw / CPU 소비 전력 : 20W → 100배 효율적)

- Camo 애플리케이션(소유한 카메라로 회의, 스트리밍 또는 녹화 등 비디오 제작)

- Luminar Neo(마이크로소프트 스토어 : 오늘부터 공식 등록 발표!)

[퀄컴 테크놀로지]

▶ 퀄컴 - AI의 최고의 온 디바이스

▶ 퀄컴 스냅드래곤 

- XR를 통한 가상 멀티스크린의 경험을 제공

- 컴퓨팅 플랫폼(컴퓨팅의 재정의)

▶ 퀄컴 테크놀로지 컴퓨텍스 2023 컨퍼런스 주제(지능적 컴퓨팅의 새로운 시대)

▶ 퀄컴(컴퓨팅 플랫폼에서 AI 사용의 진화)

- 그래프(위) : 경쟁사, 개인화로 차별화 추진 + 생성 및 예측 AI로 이동

- 그래프(아래) : 작음, 보통, 큼, 매우 큼

① 작음 : 윈도우 스튜디오 효과(실시간 자막, 음성 액세스, 보케)

② 매체 : 게이밍 초고해상도[스마트폰 업스케일링, 고화질로 게임 플레이(FHD - 1080p)] + 윈도우 스튜디오 효과(배경, 블러 텔레프롬프터, 시네마틱 디렉터)

③ 생산성 어시스턴트(무엇이든 검색) → (문서, 이미지) + 윈도우 스튜디오 효과(아이 컨택 & 시선보정 오디오 & 향상된 비디오 AI 기능)

④ 초대형 : 기본 이미지 분할, LLM(대규모 언어 모델) 챗봇, 안정적인 확산, 컨트롤-네트워크

▶ 퀄컴의 비전 - 미래의 AI

- '온-디바이스 AI'는 하이브리드 인력 기반 컴퓨팅을 변화(벤처비트)

- '퀄컴, 하이브리드 AI에 대박'(런던 데일리신문)

- 퀄컴, 하이브리드 AI가 중요해지고 있음 : 이유는 여기(ADP Live)

- '퀄컴 테크놀로지 CEO(포춘지)

① AI가 우리 삶의 구석구석을 만질 것

② 이를 실현하기 위해 우리의 장치가 어떻게 변화할 것인지는 다음과 같음

▶ 퀄컴 스냅드래곤의 생태계(노트북의 현대화) - CPU, GPU, NPU

- 연결성(5G, Wi-Fi)

- 카메라

- 센서

- 메모리

- 스토리지

- 디스플레이

- 임베디드 컨트롤러

- 터치

- OEM, ODM, IBV, ISV

- USB

- 배터리

[퀄컴 테크놀로지 - AI]

▶ 생성AI : 온-디바이스에서 실행되도록 활성화(Stable Diffusion)

- 퀄컴 스냅드래곤 스마트

- 퀄컴 AI 연구소

- 퀄컴 AI 스택

▶ 퀄컴 AI 엔진(3세대 퀄컴 스냅드래곤 8CX AP 프로세서)

- CPU

- GPU

- 헥사곤 프로세서

- 센싱 허브

▶ 퀄컴 AI 스택 주요 구성도

① AI 프레임워크 & 런타임 라이브러리(퀄컴 AI 엔진 다이렉트)

- AI 프레임워크 : 텐서플로우, 파이토치, 마이크로소프트 ONNX, Keras

- AI 런타임 라이브러리 : 퀄컴 신경 처리 SDK, 마이크로소프트 ONNX 런타임, TF Lite Micro, 다이렉트-ML, TF-LITE

☞ 일반 처리 구조 : AI 프레임워크 → 퀄컴 신경 처리 SDK → 퀄컴 AI 엔진 다이렉트 SDK(CPU & GPU 커널, 헥사곤 커널, LPAI 커널)

☞ 마이크로소프트 ONNX 런타임 처리 구조 : ONNX → ONNX 런타임 → 퀄컴 AI 엔진 다이렉트 SDK → 헥사곤 커널

※ 퀄컴 AI 스택 = 마이크로소프트 ONNX 런타임 환경 지원

② 개발자 라이브러리 & 서비스 : 수학 라이브러리, 컴파일러, 가상 플랫폼, 프로파일러 & 디버그, 프로그래밍 언어, 코드 라이브러리

③ 시스템 소프트웨어 : 시스템 인터페이스, SoC, 가속 드라이버, 에뮬레이션 지원

④ 운영체제(OS) : 구글 안드로이드, 윈도우 OS, 리눅스, Zephyr, 우분투 리눅스, CentOS 리눅스, QNX

⑥ 도구 : AI 효율성 모델 도구(AIMET), AIMET Model ZOO, NAS, 모델 분석기, 인프라스트럭쳐, 프로메테우스, 쿠버네트스, 도커

▶ AI 벤치마크 결과 내역표(MLCommons 사용)

- 분류 : 이미지 분류(싱글 스트림) | 이미지 분류(오프라인) | 객체 감지(싱글 스트림) | 분할 v2.0 | 자연어 처리(싱글 스트림) | 초고해상도(업스케일링)

- 데이터셋 : 이미지넷 | 이미지넷 | COCO | ADE20K | SQuAD | OpenSR

- 모델 : MobileNetEdge TPU | MobileNetEdge TPU | MobileDET_SSD | Mosaic | MobileBERT | EDSR

- 시나리오 : 싱글 스트림 | 오프라인 | 싱글 스트림 | 싱글 스트림 | 싱글 스트림

- 유닛 : QPS(Queries Per Second) | QPS | QPS | QPS | QPS | QPS

- 전원 모드 : 1,722.01 | 3,143.27 | 870.82 | 502.38 | 165.89 | 57.45

- 배터리 모드 : 1,427.47 | 3,072.50 | 722.38 | 436.54 | 155.85 | 47.07

※ MLCommons V3.0 - 비공개 디비전, 노트북

※ 퀄컴 테크놀로지 : 업계 선도적 역할의 퀄컴 AI 엔진으로 위의 벤치마크 범주에서 결과를 얻은 유일한 회사

▶ 퀄컴 AI 스튜디오 기능 발표!

[퀄컴 테크놀로지 - 스마트폰 AP]

▶ 온-디바이스 AI에 필수적인 전용 처리(스냅드래곤 AP 프로세서)

- CPU : 카이로

- GPU : 아드레노

- 헥사곤 프로세서

- 메모리

- 세션 허브

- 프로세서 보안

- 퀄컴 스펙트럼 ISP

- 5G RF 통신 시스템

- 패스트커넥트

▶ 3세대 픽셀컴 스냅드래곤 8CX AP프로세서(최대 5배 빠른 AI 성능)

※ UL Procyon AI 추론 벤치마크(비교 대상 : 3세대 퀄컴 스냅드래곤 8CX vs 인텔 12세대 모바일 CPU)

- 3세대 퀄컴 스냅드래곤 8CX AP(퀄컴 헥사곤 프로세서 가동) : 812

- 인텔 12세대 i5-1235U GPU 성능 : 303

- 인텔 12세대 i5-1235U CPU 성능 : 160

▶ 퀄컴 스냅드래곤(헥사곤) 프로세서 vs 일반 CPU의 AI 성능 비교

- 3세대 퀄컴 스냅드래곤 8CX AP(헥사곤) 프로세서 : PC에서 더 빠른 AI 처리를 구동함

- 슈퍼 샤프 AI

- Luminar Neo 프로그램의 렌더링 처리 비교

① 3세대 퀄컴 스냅드래곤(헥사곤) 8CX AP 프로세서(8.35초)

▶ 퀄컴 스냅드래곤 컴퓨팅 플랫폼 - 생태계 프로그램

- 생태계 파트너 : 연결성(5G, Wi-Fi), 카메라, 센서, 메모리, 스토리지, 디스플레이, 임베디드 컨트롤러, 터치, IBV, ISV, USB, 배터리

- 소비자 : OEM, ODM, 운영자, 개발자, 시스템 통합자, 조립 PC

② 일반 CPU(2분)

▶ 퀄컴 스냅드래곤(차세대 스마트 PC 플랫폼를 제공함) - [CPU : 퀄컴 ORYON]

- 와트당 최고의 성능

- 고급 카메라 및 오디오

- 멀티 날짜에 최적화된 배터리 수명

- 초고속 5G 및 Wi-Fi 연결

- 슬림화 사이즈

- 전용 AI 엔진

- 운영체제 : 마이크로소프트 윈도우 11 OS

- OEM 벤더사 : 마이크로소프트, HP, ACER, 레노버, 삼성전자, 아수스, 델 테크놀로지

[퀄컴 스냅드래곤(H/W)]

▶ 퀄컴 스냅드래곤 AP 프로세서의 탑재 PC OEM 벤더사

- ACER

- 아수스

- HP

- 델 테크놀로지

- 레노버

- 마이크로소프트

- 삼성전자

- 샤오미

▶ 퀄컴 헥사콘 프로세서(융합된 AI 가속기 아키텍처)

- 텐서(컨볼루션)

- 스칼라(기억 운동)

- 벡터(완전 연결 레이어)

- 대형 공유 메모리

▶ 퀄컴 센싱 허브(초저전력 AI 지원)

- 상시 AI

- 내부 요소 : 메모리, DSP, AI 프로세서

- 구성요소 : 센서, 음성/오디오, 연결성, 활동 인식, 음성 활성화, Wi-Fi, GPS

▶ 퀄컴 스냅드래곤 컴퓨팅 플랫폼(3세대 퀄컴 스냅드래곤 8CX AP 프로세서)

- 사용자의 존재를 감지

- 노트북 디스플레이를 활성화 및 윈도우 헬로우로 로그인

- 개인 정보를 보호하는 데 도움이 될 수 있음.

- 클라우드 보안을 위한 반도체

※ 사용자가 받을 자격이 있는 프리미엄 경험을 위한 컴퓨팅 플랫폼

▶ 퀄컴 스냅드래곤 컴퓨팅 생태계 주요 벤더사

- OEM : ACER, 아수스, HP, 델 테크놀로지, 레노버, 마이크로소프트, 삼성전자, 샤오미

- IBV / UEFI 바이오스 : AMI, Insyde, 피닉스 테크놀로지

- ODM : COMPAL, Quanta Computer, Wistron 외 1개 추가

- 연결성 : Fibocom, FII(폭스콘 산업 인터넷), Quentel, 리얼텍(우리가 아는 꽃게 맞습니다), USI

- 카메라 : AzureWave, Himax, Omnivision, ShineTech

- USB : Analogix, Renesys, Infineon, ITE, Kandou, Parade, 텍사스 인스트루먼트 외 1개 추가

- 도킹 : LUXSHARE-ICT, PRIMAX, USI

- 임베디드 컨트롤러 : ITE, 마이크로칩, Nuvoton

- 패널 : AUO, BOE

- 소프트웨어 : ABSOLUTE, ArcSoft

[퀄컴 테크놀로지 - 윈도우 OS]

▶ 윈도우 11 OS 노트북 - 퀄컴 스냅드래곤 AP

▶ 퀄컴 스냅드래곤 AP 프로세서 탑재 기반 윈도우 11 OS 노트북(Stable Diffusion 기능 활성화)

- 장치에 생성 AI를 완전히 실행

- 퀄컴 AI 엔진 탑재

- 퀄컴 AI 스택(한번 개발 시 다른 제품으로도 이동 가능)

- 하나의 통합 AI 소프트웨어 스택

① AI 프레임워크 & 런타임 라이브러리

② 개발자 라이브러리 & 서비스

③ 시스템 소프트웨어

④ 운영체제(OS)

※ 윈도우 11 OS 기반 스냅드래곤(https://qualcomm.com/developer/windows-on-snapdragon)

▶ 윈도우 OS의 혁신(ARM 홀딩스 아키텍처 생태계의 혁신)

- 디바이스

- 실리콘

- 생각

- 디펜더

▶ 퀄컴 스냅드래곤 & 마이크로소프트 윈도우 11 OS

- 플랫폼

- 실리콘 및 소자

- 소프트웨어 및 경험

※ Windows OS의 종단 간 도달 범위

▶ 마이크로소프트 빌드 2023 컨퍼런스 - 윈도우 11 OS의 '윈도우 CO-Pilot'