Nandan Nayampally(Vice President and General Manager, Compute Product Group, ARM)
차세대 Cortex-A 플랫폼인 DynamIQ
ARM이 새로운 CPU 클러스터 아키텍처 DynamIQ를 발표했습니다. DynamIQ은 앞으로 등장할 차세대 Cortex-A CPU 코어 제품군의 기반이 될 클러스터 아키텍처입니다.
핵심은 CPU 클러스터의 규모를 최대 8 코어로 확장하며, 클러스터 내부에 다른 종류의 CPU 코어가 섞여 있는 헤테로지니어스 멀티 코어 구성을 가능하다는 것입니다. 기존의 ARM CPU 클러스터는 최대 4코어에 같은 종류의 CPU 코어만 구성 가능했습니다.
결과적으로 DynamIQ 기반의 새로운 Cortex-A 제품군은 대규모 멀티 코어 구성이 쉬워집니다. big.LITTLE(대형 CPU 코어와 소형 CPU 코어의 조합)이 여러 종류의 CPU 코어 구성 전환이 빠르고 효율적입니다. 더욱 세밀한 CPU 제어로 전력을 더욱 줄일 수 있으며, CPU 코어 자체의 성능을 높이기가 쉬워집니다.
ARM은 DynamIQ에 맞춘 새로운 Cortex-A 계열 CPU 코어를 올해(2017년) 발표 할 것으로 보입니다. 차세대 Cortex-A는 CPU 마이크로 아키텍처가 변화하며, 명령 세트 확장도 추가됩니다(기본은 ARMv8-A 명령어).
클러스터 아키텍처와 CPU 코어를 쇄신
새로운 DynamIQ 클러스터의 개념도
새로운 DynamIQ의 big.LITTLE 구성
DynamIQ는 AI(Artificial Intelligence)와 ML(Machine Learning)과의 관련을 강조한 ARM의 마케팅 전략을 통해 AI/ML에 특화한 아키텍처라는 이미지를 갖고 있습니다.
그러나 DynamIQ은 AI/ML 워크로드에 특화보다, 멀티 코어 시대에 맞춰 CPU 코어 군을 통합하기위한 통용 클러스터 아키텍처라고 봐야 합니다. 적용 범위는 서버 및 네트워크 인프라에서 저비용 모바일까지 넓습니다.
새로운 CPU에 더해지는 명령 확장은 AI/ML을 대상으로 한 것입니다. DynamIQ 세대의 Cortex-A는 AI/ML에 적합한 코어지요. 허나 AI/ML 워크로드를 가속하는 코어와 GPU 코어는 DynamIQ 클러스터에 통합되지 않습니다.
DynamIQ는 CPU 코어 클러스터 아키텍처로 다른 코어와 일관된 인터커넥트를 씁니다. 그러나 DynamIQ 클러스터 외부의 가속과 응답도 DynamIQ 세대에서 빨라집니다.
모든 시장을 커버하는 DynamIQ
다수의 코어와 데이터 용량 증가에 대응하는 새로운 아키텍처
ARM이 DynamIQ을 내세운 배경에는 ARM CPU 코어의 시장이 점점 늘어나고, 멀티코어가 급속히 진행된다는 현상이 있습니다.
앞으로 5년간 출하가 예상되는 칩의 수는 1천억개에 달합니다. 용도는 센서부터 슈퍼 컴퓨터까지 다양하며, 5G 통신 시대에 돌입하면 데이터 량이 폭발적으로 늘어납니다.
이러한 기하 급수적인 코어 수/데이터 증가에 대응하기 위해 ARM의 CPU IP도 변화해야 한다고 ARM의 Nandan Nayampally(Vice President and General Manager, Compute Product Group, ARM)는 설명합니다.
컴퓨팅 리소스가 넘치는 시대에 대응
DynamIQ은 그러한 상황에 맞춘 ARM의 첫번째 답입니다. 앞으로 DynamIQ을 지원하는 차세대 Cortex-A 계열 CPU가 계속 나올 것입니다. DynamIQ 플랫폼의 모든 모습은 이들 요소가 모두 모일 올해 중반 이후에나 밝혀질 것입니다.
그러나 이것이 가리키는 방향은 명확합니다. DynamIQ 클러스터로 전환하여 ARM이 CPU 코어 마이크로 아키텍처를 혁신하고 big.LITTLE의 헤테로지니어스 멀티 코어를 효율적으로 하여 전력 효율을 더 높이고, 더 많은 CPU 코어를 탑재 할 수 있도록 클러스터 처리량을 높이려는 것입니다.
DynamIQ에서는 빅 코어와 리틀 코어를 결합한 big.LITTLE 구성의 헤테로지니어스 코어의 설계 자유도가 높아집니다. 3종류의 CPU 코어 조합과 1개의 대형 CPU 코어, 3개의 작은 CPU 코어 같은 식으로 big.LITTLE 시스템이 나올 수 있습니다.
또한 big.LITTLE을 사용하지 않는 경우에도 클러스터 크기가 커지기에 DynamIQ 클러스터를 여럿 탑재하여 대규모 멀티 CPU 코어 구성을 효율적으로 실현할 수 있습니다. 이것은 서버와 네트워크 인프라를 위한 칩에서 효과가 큽니다.
클러스터의 CPU 코어 수가 늘어나는 건 물론이고 DynamIQ을 지원하는 Cortex-A에 명령 확장이 더해집니다. 따라서 AI/ML 작업은 앞으로 3~5 년간 성능이 최대 50배 상승합니다. 이것은 낮은 데이터 정밀도에 맞춘 SIMD(Single Instruction, Multiple Data)가 추론 단계를 수행하는 것으로 추측됩니다.
확장성을 높인 클러스터 아키텍처
앞으로 CPU 클러스터는 AI/ML 워크로드의 성능이 오릅니다.
이번 DynamIQ에 포함되지 않은 건 CPU 클러스터의 외부 요소입니다. GPU 코어와 AI/ML 가속 코어, 온 다이 인터커넥트, 메모리 인터페이스 등의 확장은 이번 발표에 포함되지 않았습니다.
DynamIQ은 어디까지나 차세대 Cortex-A 계열의 플랫폼 클러스터이며 CPU 이외의 요소는 들어있지 않습니다. 또한 Cortex-R이나 Cortex-M 등 하위 클래스의 CPU도 DynamIQ를 지원하지 않습니다.
big.LITTLE의 약점을 커버하는 DynamIQ
DynamIQ은 big.LITTLE형 멀티 코어 구성과 일반 멀티 코어 구성 클러스터에 모두 대응할 수 있습니다. DynamIQ의 특징은 현재 big.LITTLE 시스템이 안고 있는 문제점의 해결책입니다.
big.LITTLE 아키텍처는 ARM이 제공하는 헤테로지니어스 멀티 코어 아키텍처입니다. 빅 CPU 코어와 리틀 CPU 코어를 탑재해. 부하가 높은 작업은 큰 CPU 코어에서 실행하고 부하의 작은 작업은 작은 CPU 코어에서 실행. 2개의 코어를 자유롭게 바꾸거나 전환하여 최적의 성능과 전력을 제공합니다.
big.LITTLE의 장점
big.LITTLE은 부하가 높은 작업을 리틀코어에서 빅코어로 옮기거나, 그 반대로 빅에서 리틀로 옮겨야 하는 상황이 발생합니다. 이러한 작업의 마이그레이션이 효율적이고 빠를 때 big.LITTLE의 효율성이 높아집니다. 소프트웨어 측면에서는 현재 OS 스케줄러에 이 작업을 할당하고 있습니다.
그러나 현재 big.LITTLE에서 빅 CPU 코어와 리틀 CPU 코어는 다른 CPU 클러스터입니다. 지금의 클러스터 아키텍처는 CPU 코어마다 캐시 계층이 있습니다. 클러스터 사이에는 캐시 일관성 프로토콜로 일관성을 갖춥니다. 클러스터의 범주를 넘어선 공유 캐시는 일부를 제외하면 지원하지 않습니다.
2개의 CPU 클러스터를 탑재하는 기존의 big.LITTLE 구현
따라서 빅 CPU와 리틀 CPU 사이에서 작업을 마이그레이션하는 경우에는 캐시가 걸림돌이 됩니다.
예를 들어 빅 CPU 코어의 작업을 스몰 CPU 코어로 마이그레이션한 직후엔, 클러스터가 바뀌며 캐시도 다르기에 처음엔 캐시의 효과가 없습니다.
또한 작업에서 필요로 하는 메모리 내용이 원래의 빅 클러스터에 캐시되는 경우 클러스터 사이의 캐시 스눕 및 데이터 전송의 손실이 생깁니다. 캐시 미스로 인한 성능 저하와 불필요한 트래픽에 의한 전력 소비가 늘어납니다.
이처럼 클러스터 단위로 분할된 캐시 계층 때문에, 클러스터를 넘어서는 기존의 big.LITTLE 시스템에는 단점이 있었습니다. 그러나 DynamIQ는이 문제를 근본적으로 해결할 것으로 보입니다.
ARM은 아직 DynamIQ의 캐시 계층에 대한 세부 사항을 공개하지 않았습니다. 그러나 코어 사이에 메모리를 공유함은 확실합니다. DynamIQ 클러스터 내부에는 모든 CPU가 클러스터의 라스트 레벨 캐시를 공유하는 구조가 되는 건 틀림없습니다.
DynamIQ 시스템 구성의 추정
Cortex-A CPU의 메모리 계층 구조 개편
이러한 배경이 있기에 DynamIQ는 ARM에게 있어 CPU의 캐시 계층을 근본적으로 개혁하는 계기가 됩니다.
ARM은 기존의 Cortex-A 계열 CPU 클러스터는 공유 L2 캐시와 CPU 코어마다 제각각의 L1 캐시까지 2레벨의 캐시가 있었습니다. L3 캐는 ARM은 SoC 인터커넥트 패브릭에 L3 캐시를 통합한 솔루션(CCN-508 등)를 제공했지만 그건 제한된 용도였습니다.
고성능 CCN-508 인터커넥트
DynamIQ 클러스터의 캐시 계층은 아직 모르지만 클러스터의 캐시가 최대 3레벨이 될 가능성이 있습니다. 실제로 ARM 관계자는 DynamIQ 세대에서 L3 캐시도 시야에 넣고 있음을 시사합니다.
또한 캐시 용량의 자유도도 높아집니다. 지금까지 캐시 용량을 크게 늘리면 태스크를 코어 사이에 전환시킬 경우 손실이 커집니다. 그러나 DynamIQ가 다른 코어 사이에 캐시 공유를 가능하게 한다면 그러한 제약도 없어집니다.
DynamIQ 캐시 메모리를 공유하는 big.LITTLE 구성을 구현한다면 CPU 코어 사이에 태스크 마이그레이션의 캐시 패널티가 매우 작아집니다.
ARM은 이외에도 태스크 마이그레이션을 가속화하는 방법을 DynamIQ에 도입한다고 설명합니다. 따라서 DynamIQ 세대에서는 빠른 태스크 마이그레이션을 사용한 효율적인 big.LITTLE 제어가 가능해진다고 합니다.
또한 DynamIQ 세대의 Cortex-A에서는 보다 세밀하게 동작 클럭/전압 변환이 코어 단위로 가능해 전력 효율이 상승합니다. 절전 스테이트에 인/아웃 등 전력 스테이트 전환도 가속화됩니다. 메모리의 전력 제어를 자동으로 최적화하는 것이죠. DynamIQ 플랫폼의 CPU 코어의 전력 효율성은 점진적으로 진행돼 다음 세대에선 보다 효율적으로 될 것입니다.
전력 제어도 DynamIQ의 기능입니다.
빅-미들-리틀의 3계층 구성도 쉬워짐
CPU 종류마다 클러스터가 나뉘어지는 기존의 big.LITTLE는 두가지 이상의 CPU 코어를 섞은 구성이 어려웠습니다.
대형 코어와 소형 코어 외에도 중간 정도의 코어를 넣은 big.Medium.LITTLE 구성이라면 CPU 클러스터는 3가지로 나뉘어집니다. 클러스터마다 캐시가 분할되기에 태스크 마이그레이션 효율이 나빠집니다.
미디어텍은 모바일 SoC Helio X20에서 고성능 Cortex-A72를 2개, 미들 레인지인 Cortex-A53를 4개, 저전력 Cortex-A53를 4개로 3가지 계층의 멀티 코어 구성을 썼습니다. 이를 위해 3개의 CPU 클러스터를 인터커넥트로 연결했습니다. 현재 ARM Cortex-A 아키텍처는 3종의 서로 다른 멀티 코어 구성이 따로 실현할 방도가 없습니다.
미디어텍의 3가지 멀티코어 구성
그러나 DynamIQ는 모든 코어가 캐시를 공유할 것으로 보입니다. 이로서 3가지 코어 구성의 big.LITTLE 설계가보다 쉬워집니다.
태스크 마이그레이션을 할 때 캐시 미스가 없기에 3단계로 조금씩 코어를 전환해 손실이 적습니다. 쓸데없는 스누프 트래픽도 없어집니다. 원래 ARM의 설계는 2종류의 big.LITTLE 구성만 지원되며 미디어텍처럼 3종류의 big.LITTLE은 불규칙했지만 DynamIQ에서는 공식 지원합니다.
"DynamIQ에서는 기존과 다른 디자인 포인트의 big.LITTLE이 가능합니다. 예를 들어 2개의 빅 코어와 2개의 중간 코어, 4개의 리틀 코어 같은 구성입니다. 모바일 시스템에서는 이러한 구성도 바람직합니다"라고 Ian Smythe(Senior Director of Marketing Programs, ARM)는 설명합니다.
Ian Smythe(Senior Director of Marketing Programs, ARM)
저가형 스마트폰의 싱글 스레드 성능을 향상시킬 DynamIQ
DynamIQ는 big.LITTLE이 효율적으로 되는 것이 전부가 아닙니다. DynamIQ을 사용해 big.LITTLE 구성을 저렴한 스마트폰 SoC로 확장 가능합니다.
big.LITTLE의 빅 코어와 스몰 코어 조합은 하이엔드 모바일 SoC에서 일반적입니다. 그러나 저가형 모바일 SoC는 스몰 코어로만 구성한 경우가 여전히 많습니다.
기존의 아키텍처는 big.LITTLE 구성으로 CPU 클러스터를 2개 탑재하며, CPU 코어 수가 적은 경우엔 설계 효율이 별로 높지 않았습니다. 그러나 DynamIQ는 작은 구성의 big.LITTLE 구성이 쉬워집니다.
"big.LITTLE은 프리미엄부터 중급형까지의 모바일 시장을 공략했습니다. 그러나 DynamIQ는 big.LITTLE을 저가형 디바이스의 설계에도 적용할 수 있게 해줍니다. 저렴한 모바일은 현재의 설계에서 (소형 CPU 코어다보니) 싱글 스레드 성능이 낮습니다. 이러한 저가형 디바이스는 1개의 빅코어를 넣는 것만으로 싱글스레드 성능을 충분히 높일 수 있습니다.
보급형 모바일 디바이스는 (제조 비용을 줄이기 위해)보다 간단한 CPU 구성이 요구됩니다. DynamIQ는 1 + 3, 즉 1개의 빅 코어와 3개의 리틀 코어 같은 구성이 가능해집니다. 따라서 보급형 모바일에서도 빅 코어를 탑재하기가 쉬워집니다. DynamIQ로 CPU 코어의 제어가 세밀해지면서 전력도 줄일 수 있습니다."라고 Smythe는 말합니다.
보급형 모바일 DynamIQ 솔루션
기존 아키텍처는 1개의 빅 코어와 3개의 리틀 코어의 2가지 클러스터라 회로에서 낭비가 많았고 효율적인 구현은 아니었습니다.
그러나 DynamIQ는 이런 구성도 현실적인 구현이 됩니다. 저가형 스마트폰에서도 big.LITTLE 아키텍처가 보급돼 저가형 스마트폰의 싱글 스레드 성능을 향상시킬 수 있습니다.
CPU 클러스터의 외부는 기존의 인프라를 사용
한 가지 중요한 점은 DynamIQ로 바뀌는 점이 CPU 클러스터의 내부에만 국한된다는 점입니다. "클러스터의 외부는 모두 현재와 똑같이 사용할 수 있으며, 같은 AMBA와 ACE를 유지합니다. 변화는 클러스터 내부 뿐입니다"라고 Ian Smythe(Senior Director of Marketing Programs, ARM)는 설명합니다.
ARM은 SoC의 많은 구성 요소와 이를 연결하는 인터커넥트 IP를 제공하며, 인터페이스도 규격화하여 공개하고 있습니다. 이 플랫폼은 DynamIQ 세대 클러스터에서도 다르지 않습니다.
ARM의 SoC 칩 인터커넥트는 오픈 규격인 AMBA(Advanced Microcontroller Bus Architecture)를 따릅니다. AMBA는 SoC를 구성하는 데 필요한 인터페이스와 패브릭에 대한 일련의 규격 군으로 구성됩니다. 현재 메인스트림은 AMBA 4로 용도나 기능에 따라 여러 인터페이스 규격이 있습니다.
AMBA 4에서 CPU 클러스터에서 내부 버스 인터페이스 표준은 AXI4 (Advanced eXtensible Interface) 규격이 정의됩니다. 또한 일부 AXI4-Lite나 마스터에서 슬레이브 방향인 AXI4-Stream이 있습니다.
AXI4는 캐시 일관성을 지원합니다. AXI4 양방향 일관성 프로토콜 규격은 AXI Coherency Extensions (ACE), I/O 일관성 규격은 ACE-Lite가 있습니다.
ACE의 일관성은 현재 클러스터 사이에서의 big.LITTLE에는 빠뜨릴 수 없습니다. 또한 보다 광대역으로 확장 가능한 인터페이스로 AMBA 5세대인 CHI (Coherent Hub Interconnect)가 있습니다.
AMBA는 SoC의 내부에서 각 코어와 장치를 연결하는 인터커넥트 표준도 개발하고 있습니다. CoreLink Interconnect 제품군, 모바일에서 채용된 CoreLink CCI (Cache Coherent Interconnect), 서버 및 인프라 제품에 대한 CoreLink CMN (Coherent Mesh Network), CoreLink CCN (Cache Coherent Network), 더 느린 CoreLink NIC (Network Interconnect) 등이 있습니다.
DynamIQ에서는 이러한 인터페이스 및 인터커넥트, 또한 DRAM 컨트롤러 등의 주변 장치는 변하지 않습니다. 모든 변화는 CPU 클러스터 내부에서만 이루어졌습니다. 덧붙여서 ARM의 AMBA는 오픈 규격이나 ARM은 CPU 클러스터 상호 연결은 공개하지 않았습니다.
DynamIQ 클러스터는 차세대 Cortex-A 패밀리를 위한 것입니다. 새로운 Cortex-A 계열 CPU 코어의 IP 라이센스를 ARM에서 받은 칩 제조사는 DynamIQ 클러스터의 라이센스도 받을 수 있습니다.
그러나 ARM의 아키텍처 라이센스로 칩 공급 업체가 자체 개발한 CPU 코어를 ARM의 DynamIQ 클러스터에 넣진 못합니다.
사실 ARM은 지금까지 CPU 클러스터 형태로 파운드리에서 하드 매크로의 제공과 파운드리 특정 프로세스에 최적화한 POP (Process Optimization Pack)을 제공했습니다. DynamIQ도 차세대 Cortex-A와 함께 매크로와 POP를 제공한다고 볼 수 있습니다.
DynamIQ가 등장하면서 ARM이 올해부터 Cortex-A 제품군의 아키텍처 혁신을 단행하는 건 분명해졌습니다. ARM Cortex-A 제품군의 새로운 발전을 볼 수 있게 됩니다.
아키텍처 라이센스를 받은 업체(퀄컴, 애플, 삼성, NVIDIA)가 모두 명령 병렬도가 높은 고성능 코어를 내는 가운데, ARM의 Cortex-A 계열은 성능면에서 다소 소극적인 라인업을 내 왔습니다. DynamIQ에선 그것이 변할지도 모릅니다.
ARM의 Cortex-A 라인업
