인텔은 5월 23~24일에 미국 캘리포니아주 샌프란시스코시의 The Palace of Fine Arts에서 AI 애플리케이 등의 개발자 이벤트 인텔 AIDC(AI DevCon)를 개최했습니다. 첫날 오전에는 인텔 집행 임원 겸 AI 제품 사업 본부 본부장 나빈 라오가 인텔의 AI 비전을 설명했습니다. 

 

작년 가을부터 특정 고객을 대상으로 샘플을 출하 중인 자사의 딥 러닝 NNP(Neural Network Processor)의 첫 제품인 Nervana NNP(코드네임 Lake Crest)의 성능을 처음으로 공개하고, 그 후속작인 Nervana NNPL-1000(Spring Crest)를 2019년에 상용화할 것이라 밝혔습니다. 

 

또 인텔은 올림픽 AI 파트너로 취임해 2020년 도쿄 올림픽에서 AI를 활용한 새로운 서비스를 제공할 계획이라고 밝혔습니다. 

 

 

다른 종류의 프로세서를 여럿 가진 인텔의 단점을 장점으로 바꾸는 nGRAPH 

 

AI는 매우 복잡하고 여러 기법이 있으며, 이를 실현하는 좋은 도구와 뛰어난 하드웨어, 커뮤니티가 필요합니다. 소프트웨어, 하드웨어, 커뮤니티의 필요성은 모든 개발 분야에 다 해당되는 말이겠지만, 어쨌건 인텔은 이 세가지로 나눠 설명했습니다. 

 

 

인텔 AI 사업부 소프트웨어 제품 책임자 제이슨 나이트는 인텔이 오픈 소스 라이브러리로 제공하는 Math Kernel Library for Deep Neural Network(MKL-DNN)가 구글이 제공하는 딥 러닝 프레임워크인 텐서플로우와 MKL-DNN에서 큰 성능 향상을 실현할 수 있다고 구글 담당자에게 설명했습니다. 

 

 

브로드웰과 스카이레이크 세대 제온 프로세서에서 텐서플로우와 MKL-DNN을 쓰면 추론 성능이 3배 향상됩니다. 64노드 클러스터로 학습할 경우에도 성능 차이는 6%.

 

 

지금까지 인텔은 딥 러닝을 연산하는 장치로 제온이나 코어 프로세서 같은 CPU, 여기에 내장된 GPU, NNP나 제온 파이 같은 가속 장치, FPGA의 여러 제품을 내놓았습니다. 따라서 프로그래머가 어떤 것을 목표로 연산할 것인지를 생각하면서 프로그래밍을 해야 했습니다. 

 

 

인텔이 도입한 nGRAPH에선 여러 종류의 딥 러닝 프로세서가 어떤 프레임 워크에서도 최적의 하드웨어를 선택해 실행할 수 있는 구조입니다. 하드웨어의 차이를 nGRAPH가 추상화하는 것.

 

 

인텔은 nGRAPH를 포함한 소프트웨어 툴킷인 OpenVINO를 발표했습니다.

 

 

이를 사용 시 코어 i7-7800X의 추론 성능은 NVIDIA 테슬라 P4의 2배, Arria 10 FPGA의 성능은 테슬라 P4의 1.4배, Movidius Myraid X는 테그라 TX2보다 전력 대 성능이 5배라고 설명했습니다.

 

 

제온과 FPGA를 비롯한 다양한 프로세서를 이용해 AI를 개발

 

 

인텔은 머신 러닝 분야에서 제온이나 코어 프로세서같은 CPU를 예전부터 사용해 왔고, 프로그래밍이 가능한 FPGA, 인텔이 인수한 Nervana가 개발한 NNP 등의 하드웨어를 제공하고 있습니다. 

 

 

딥 러닝 환경은 점점 복잡해지고 있습니다. 기존에는 학습에 초점이 맞추어져 있었으나 지금은 추론에 대한 요구도 높아지고 있습니다. 따라서 하나로 모든 것을 커버하지 못합니다. 현재 딥 러닝에선 NVIDIA의 점유율이 매우 높다는 상황을 의식해서인가, GPU 뿐만 아니라 다양한 프로세서를 제공하는 인텔의 장점이 빛을 볼 것이라 강조했습니다. 

 

 

제온의 머신 러닝과 딥 러닝 성능의 경우 하스웰을 1로 잡으면 2017년 5월에 나온 스카이레이크-SP는 학습이 100배, 추론이 198배가 됐습니다. 

 

 

페이스북에선 딥 러닝의 추론에 대한 수요가 점점 높아지고 있으며, 추론에선 제온 같은 CPU를 사용하는 것이 효율이 좋다고 주장했습니다. 

 

 

또 마이크로소프트의 브레인웨이브(FPGA로 실현한 AI 플랫폼)에 대해서도 언급했습니다. 

 

 

GPU와 FPGA를 써서 추론했을 경우의 성능 비교. FPGA 쪽이 압도적으로 좋습니다. 

 

 

1년 반 전에 인텔이 인수한 Movidius의 추론 가속 칩. 인텔은 VPU(Vision Processing Unit)라고 부릅니다. 

 

 

1W 이하의 낮은 전력으로 작동합니다. 

 

 

Movidius의 특징.

 

 

Movidius의 칩이 들어간 USB 스틱 개발 키트

 

 

사람이 키보드로 연주하면 AI가 거기에 맞춰 기타를 연주하는 데모

 

 

2019년 말까지 인텔 Nervana NNP -L1000를 상용 출시

 

 

그리고 인텔이 2016년에 개최한 AI Day에서 설명하고, 작년 10월에 인텔 Nervana NNP란 이름으로 발표된 Lake Crest NNP(Neural Network Processor)에 대해 설명했습니다.

 

 

레이크 크레스트는 12개의 텐서 코어로 구성된 딥 러닝 특화 프로세서로, GPU보다 높은 효율로 딥 러닝의 학습과 추론을 할 수 있는 게 특징입니다. 

 

 

레이크 크레스트는 현재 특정 고객에 샘플 공급 중이며, 소프트웨어 스택을 비롯해서 평가가 진행 중입니다.

 

 

또 레이크 크레스트의 성능도 공개했습니다. Chip X라고 쓴 경쟁사의 칩(그래봤자 NVIDIA겠지만)과 비교해서 스펙은 GPU가 높지만 실제 딥 러닝 연산 중에서 쓸 수 있는 성능은 높지 않다고 주장했습니다. 레이크 크레스트는 표기 스펙의 96.4%에 달하는 38TOP/s를 제공, 멀티 칩 구성에서 스케일링 성능도 96.2%, 오프 칩 대역폭은 2.4TB/s에 대기 시간은 790ns라며 레이크 크레스트의 장점을 강조했습니다. 단일 칩의 소비 전력은 210W 이하.

 

 

레이크 크레스트의 후속작으로는 Spring Crest라는 제품을 계획 중입니다. 레이크 크레스트의 3~4배 학습 성능을 갖춰 2019년 말까지 Nervana NNP -L1000라는 이름으로 출시될 것.

 

 

스프링 크레스트는 레이크 크레스트처럼 한정된 고객에게만 판매하는 것이 아니라, 원하는 사람이라면 누구에게나 판매할 것이라고 합니다. 인텔이 주장하는대로 스프링 크레스트의 성능이 나온다면 GPU보다 성능이 높을 것이고, 딥 러닝 학습에 보급될 가능성이 있습니다.

 

 

올림픽 AI 플랫폼 파트너로서 2020년 도쿄 올림픽에 AI 기술을 제공

 

 

인텔 AI 사업 본부 데이터 과학 부문 담당이 나와 올림픽에서 AI 활용에 대해 소개했습니다.

 

 

인텔은 올림픽의 공식 파트너로서 올해 2월에 열린 평창 동계 올림픽에선 인텔 기술을 이용한 VR 중계와 5G 데모가 있었습니다.

 

 

인텔은 올림픽에서 새로 AI 플랫폼 파트너가 되어, AI를 이용한 새로운 서비스가 도쿄 올림픽에서 열릴 것입니다. 클라우드 기반의 AI, 비즈니스 애플리케이션 등에서 AI를 도입해 올림픽에 편의를 제공하고 새로운 즐길거리를 내놓을 것.

 

또 AI 개발자가 올림픽에서 AI를 활용하는 아이디어도 모집 중. 1등 상금은 1만 달러입니다.