AMD가 Naples 서버 CPU를 2 분기에 투입

 

AMD가 만반의 준비 끝에 차세대 서버 CPU인 Naples의 개요를 발표했습니다.

 

올해 2분기 출시를 계획하는 Naples은 하이엔드 서버 요구에 부응하는 고성능 서버 CPU입니다. CPU 코어는 새로 개발한 젠 마이크로 아키텍처로 바뀌고, CPU 1개 코어의 클럭 당 성능은 52% 향상됩니다. 각각의 CPU 코어는 2 스레드를 병렬로 실행 가능합니다. Naples은 젠 코어를 32개 탑재해 64 스레드를 병렬 실행할 수 있습니다. Naples는 멀티 소켓을 지원해 2소켓 구성에선 64 코어 / 128 스레드가 됩니다. 강력한 매니 코어 CPU죠.

 

 

하이엔드의 수요에 부응하는 서버 CPU. Naples

 

 

32 코어 64 스레드 Naples

 

 

8채널 DRAM을 직접 연결

 

AMD의 Naples는 DDR4 메모리 인터페이스를 CPU에 직접 통합합니다. 메모리 허브 칩을 쓰지 않고 직접 연결하기에 메모리 레이턴시와 전력에서 유리합니다. 메모리 채널은 총 8채널로 각 채널 당 최대 2 DIMM이니 모두 16 DIMM을 지원합니다. 16GB DIMM의 경우 메모리 총 용량은 512GB가 됩니다. 비휘발성 메모리 DIMM의 지원은 아직 공식적으로 발표하지 않았으나 해당될 것이라 봅니다.

 

Naples 패키지는 128 레인의 고속 I/O도 갖춥니다. 고속 I/O의 PHY는 조절 가능해 다른 프로토콜 I/O가 쓸 수 있습니다. PCI Express Gen3, SATA NVMe이 모두 포함되며, PLX의 스위치 칩이나 I/O 허브 칩을 통하지 않고 CPU에 직접 접속합니다. 따라서 로컬 스토리지의 대기 시간도 짧습니다. 이것은 대량의 작업 세트를 네트워크 스토리지에서 로컬 스토리지로 복사하는 식으로 높은 IOPS 스토리지 성능을 내는 구성에 적합합니다.

 

또한 Naples의 고속 I/O는 AMD 고유의 인터커넥트인 인피니티 패브릭도 쓸 수 있습니다. 2 소켓 구성은 2개의 Naples를 연결할 때 64 레인의 인피니티 패브릭을 씁니다. 하드웨어적으로 메모리 일관성 갖춘 인터커넥트며, 인피니티 패브릭을 사용하면 각 CPU 당 64 레인을 CPU의 상호 연결에 사용하고 나머지 64 레인을 다른 I/O 연결에 씁니다.

 

또한 AMD는 CPU 외에 다른 AMD 제품을 연결하는 것도 염두에 두고 있습니다. 그러나 인텔의 옴니 패스 Omni-Path처럼 노드 사이를 연결하는 건 아닙니다. 어디까지나 컴퓨팅 노드에서 AMD 칩을 연결하는 인터커넥트입니다.

 

 

128레인의 설정 가능한 고속 I/O 레인을 갖춤

 

 

2 소켓 구성은 64 레인을 칩 사이의 연결에 사용

 

 

CPU 부하가 높은 작업은 인텔 듀얼 소켓 제온의 2배 성능

 

 

젠은 칩의 인터커넥트도 인피니티 패브릭을 씁니다. CPU 코어의 클러스터인 CCX 사이를 연결하고 메모리 컨트롤러를 잇는 데에도 인피니티 패브릭이 등장합니다.

 

오프 칩 패브릭과 온 칩 패브릭의 물리적 구현은 다르지만 프로토콜은 공통점이 있습니다. 따라서 칩 사이의 연결에서 프로토콜 변환 등에 들어가는 오버 헤드도 작아집니다.

 

또한 AMD가 아직 공개하진 않았으나, 패키지 내에서 다이 사이를 연결할 때에도 인피니티 패브릭을 사용할 가능성이 높습니다.

 

 

AMD CPU 내부의 인피니티 패브릭

 

 

온 칩부터 오프 칩을 모두 지원하는 인피니티 패브릭

 

AMD는 Naples가 플랫폼 칩셋을 필요로 하지 않는 SoC(System on a Chip)라고 설명합니다. 따라서 USB와 같은 저속 I/O도 Naples에 통합될 것으로 보입니다.

 

인텔 듀얼 소켓 CPU의 최고봉인 제온 E5-2699 v4(브로드웰-EP)는 22코어 44스레드며, DDR4 메모리는 CPU 1개당 4채널, I/O 레인은 PCI Express Gen 3 40 인입니다.

 

AMD의 Naples은 CPU 코어 수 외에도 메모리 채널과 I/O 레인에서 경쟁 상대를 능가합니다. 2 소켓 시스템의 경우 Naples의 I/O 레인은 2 CPU가 총 128으로 인텔 듀얼 소켓보다 많습니다. 이 구성에서 CPU 부하가 높은 지진 분석 벤치 마크를 수행하면 같은 클럭일 경우 Naples가 2배 빠르며, 클럭을 인텔보다 50% 정도 높게 하면 2.5배 빨라진다고 합니다.

 

 

지진 해석의 비교 결과입니다. 둘 다 인텔의 정격 클럭에 맞추고 메모리는 1866MHz면 AMD가 두배.

 

 

2400Mhz로 높이면 2.5배.

 

 

작업 셋트를 4배로 늘리면 인텔은 메모리 로드가 불가

 

 

AMD Naples 시스템과 인텔 시스템의 비교

 

 

AMD GPU와 최적의 조합

 

AMD는 예전에 옵테론으로 서버 시장을 공략했습니다. 그러나 불도저 계열 CPU 코어에선 서버 시장에서 존재감이 희미해졌습니다. 멀티 소켓 서버 CPU도 32nm 프로세스에 그쳤으며 CPU 코어 수는 8모듈 16스레드에 머물러 있었습니다.

 

28nm 공정에서는 PC 용 APU(Accelerated Processing Unit)만 생산됐고 서버용 CPU는 제조되지 않았습니다. 따라서 프로세스 미세화와 멀티 CPU 코어화를 추진하는 인텔의 제온 계열 서버 CPU에 크게 뒤쳐졌습니다. 

 

Naples는 그러한 상황을 근본적으로 뒤집을 가능성을 가지고 있습니다. Naples는 32코어 64스레드와 인텔 제온에 필적하는 매니코어 제품이며, 제조 공정 기술은 14nm 프로세스로 인텔을 바짝 추격했습니다.

 

캐시 용량은 젠 아키텍처의 CPU 클러스터인 CCX(Core Compulex) 한개에 L2와 L3가 총 10MB입니다.

 

 

Naples가 PC 용 젠과 같은 CCX 구성이면 CPU 전체를 봤을 때 80MB의 캐시를 갖추게 됩니다. 소켓 사이의 트래픽을 억제하기에 충분한 양입니다. 또한 새로운 CPU 코어인 젠은 스레드 당 성능에서도 인텔의 14nm 세대 CPU 코어에 필적합니다. 특히 기존의 서버에서 중요해지는 정수 연산 성능에서 높은 수치를 나타냅니다.

 

뿐만 아니라 AMD는 고성능 GPU 제품인 라데온 제품군을 갖고 있습니다. AMD는 서버용 GPU인 라데온 인스팅트를 내놓기 시작했으며, 올해 중반에는 새로운 GPU 코어인 베가 기반 제품도 출시합니다. 베가는 딥 러닝 워크로드를 가속화하는 기능을 갖추고 있습니다. 구체적으로는 딥 러닝에서 많이 쓰이는 FP16(16비트 부동 소수점 연산)을 1개의 칩에서 25TFLOPS로 수행할 성능을 달성할 것으로 전망됩니다.

 

 

AMD의 GPU 컴퓨팅 GPU 제품 라데온 인스팅트 

 

고성능 GPU의 기능을 활용하려면 고성능 CPU가 필요합니다. Naples과 라데온 인스팅트는 강력한 조합이 됩니다. 베가 기반 라데온 인스팅트 4개와 젠을 조합한 GPU 컴퓨팅은 하나의 노드로 FP16 연산에서 100TFLOPS의 성능을 냅니다. 1개의 랙으로 몇 PFLOPS 이상의 시스템이 가능해집니다.

 

Naples은 128 레인의 고속 I/O를 갖추고 있어 1개의 Naples가 전체 대역으로 최대 4 개의 GPU를 직접 PCI Express에 연결할 수있습니다. 다수의 GPU를 연결하는 PLX 스위치 등이 필요 없어 광대역과 낮은 지연 시간의 GPU 컴퓨팅 시스템이 가능합니다. AMD 프로세서뿐만으로 빅 데이터 분석과 딥 러닝에 최적화된 시스템 구성을 실현할 수 있습니다.

 

 

GPU를 풀 대역으로 4개 직접 연결 가능한 Naples

 

 

멀티 스레드 아키텍처가 달라진 젠

 

왜 Naples의 성능이 높을까요? 그것은 CPU 코어 마이크로 아키텍처를 완전히 바꿨기 때문입니다. 젠은 스레드 당 성능에 대한 개념이 기존의 AMD 코어와 완전히 다릅니다.

 

AMD는 원래 불도저 마이크로 아키텍처를 CPU에 사용했습니다. 불도저 계열 CPU 코어의 가장 큰 특징은 CPU 코어를 2개 융합한 모듈이라는 점입니다. 이는 클러스터 기반 멀티 스레딩(Cluster-based Multithreading)이라 하며 인텔 CPU의 멀티 스레딩과는 전혀 다른 방식입니다.

 

불도저는 2개의 CPU 코어 중 공유해도 성능 문제가 적은 부분을 공유하고, 성능에 영향이 큰 부분을 각각의 전용 리소스로 꾸몄습니다. 구체적으로는 정수 연산 유닛과 데이터 캐시, 로드/스토어 등 정수 연산에 관련된 부분은 2개의 스레드가 개별 리소스를 갖고 있으나, 부동 소수점 연산 유닛은 사용 빈도가 낮다고 판단해 공유 자원으로 돌렸습니다. 또 공유하지 않으면 비효율적인 명령 디코더(다음 세대에서 분리)도 공유했습니다.

 

이처럼 불도저는 2개의 CPU 코어가 합쳐져 있으나 정수 연산에선 개별 자원을 유지합니다. 이런 방식의 장점은 듀얼코어에 가까운 멀티 스레드 성능을상대적으로 낮은 비용 증가로 얻을 수 있다는 점입니다. CPU 당 실행 스레드 수를 높일 수도 있습니다.

 

그러나 불도저는 단점도 있었습니다. 그것은 2개의 CPU 코어를 융합시키기 위해 단일 스레드 당 정수 연산 자원을 줄였기 때문입니다. 따라서 1 스레드 당 성능은 상대적으로 낮게 억제됐습니다.

 

 

왼쪽이 젠, 가운데가 불도저, 오른쪽이 초기 옵테론의 K8 코어

 

 

반면 이번 ​젠 코어는 SMT(Simultaneous Multithreading) 방식의 멀티 스레딩을 씁니다. 이것은 연산 자원이 풍부한 CPU 코어를 만들고 코어 자원 대부분을 2개의 스레드가 공유하는 방식입니다. 2개 스레드의 명령을 혼합하여 1개의 CPU 코어에서 병렬로 실행합니다. 인텔 하이퍼스레딩도 이 방식을 씁니다. 젠에선 일부 큐 등을 제외한 대부분의 자원을 2개의 스레드에서 동적으로 공유하고 있습니다.

 

 

싱글 스레드와 멀티 스레드 처리 성능이 모두 높은 젠

 

SMT의 장점은 싱글 스레드의 최대 성능이 높아진다는 겁니다. 반면 2개의 스레드를 실행할 경우 리소스가 충돌해 성능이 떨어질 수도 있습니다. 그러나 이 경우에도 SMT를 꺼서 성능을 높일 수 있습니다. 싱글 스레드 성능을 높이면서 멀티 스레드의 성능을 향상시킬 수 있어 범용성이 높은 방식입니다.

 

 

젠과 불도저의 멀티 스레딩 방식 차이

 

불도저의 클러스터 기반 멀티 스레딩은 오라클(이전엔 선 마이크로시스템)의 SPARC T 시리즈와 일부 닮은 점이 있습니다. 처리량을 중시하다보니 최고 성능에선 손해를 봤지요. 이에 비해 젠은 스레드 성능 향상을 추구하면서 SMT로 멀티 스레드 성능도 확보하고 있습니다. 이것은 CPU 부하가 높은 서버 워크로드에서도 성능을 발휘할 수 있음을 의미합니다.

 

실제로 불도저는 스레드 당 정수 연산 유닛은 2개였으나 젠은 총 4개의 정수 연산 유닛을 갖추고 있습니다. 불도저는 스레드 당 2개의 정수 연산을 병렬로 실행할 수 있었지만 젠은 4개의 정수 연산을 병렬 실행할 수 있습니다. SMT에서도 실행중인 스레드 중 한쪽이 메모리 액세스를 기다릴 경우 다른 스레드가 리소스를 최대한 사용할 수 있습니다. SMT를 끄면 싱글 스레드 성능을 안정적으로 유지하는 것도 가능합니다.

 

결과적으로 젠은 단일 스레드 부하가 높은 애플리케이션과, 멀티 스레드 처리가 필요한 애플리케이션에 모두 대응할 수 있는 CPU가 됐습니다.

 

 

뉴럴 네트워크 하드웨어를 내장

 

AMD는 젠 코어 기반의 데스크탑 CPU인 라이젠 7을 발표했을 때 젠은 불도저 세대의 마지막 CPU 코어인 엑스케베이터보다 52%나 IPC(Instruction-per-Clock)가 향상됐다고 설명합니다. 같은 클럭에서 동작시켜도 젠은 엑스케베이터보다 평균 52% 더 많은 명령을 실행할 수 있습니다. 그만큼 클럭 당 성능이 높습니다. IPC가 높아진 건AMD가 클러스터 멀티 스레딩의 불도저에서 SMT를 쓰는 젠 코어로 전환해서입니다.

 

 

기존 코어보다 IPC(Instruction-per-Clock)가 52% 높은 젠 코어

 

 

젠 마이크로 아키텍처

　

그러나 그게 다가 아닙니다. 젠은 마이크로 아키텍처에 새로운 기능을 다수 추가했습니다. CPU의 실행 효율에 큰 영향을 주는 분기 예측은 뉴럴 네트워크 기반의 예측 기능을 채용, x86/x64 명령에서 레이턴시와 소비 전력이 큰 명령 디코드를 건너뛰는 내부 명령 캐시를 탑재했고, 정수 연산은 4 유닛에 2 로드/스토어를 실행합니다. 기능적으로는 같은 세대의 인텔 CPU 코어와 거의 같습니다.

 

 

젠과 인텔 스카이레이크 코어의 비교

 

 

현재 고성능 CPU는 파이프라인을 도입했으며 프로그램의 연속된 명령은 파이프 라인을 통해 순서대로 실행합니다. 문제는 조건에 따라 프로그램의 흐름이 분기되는 조건 분기 명령이란 것입니다. 조건이 성립될 때까지 분기 명령에서 다음 명령의 실행을 중지하면 CPU가 제 성능을 내지 못하게 됩니다. 따라서 조건 분기 명령이 언제 분기할지를 예측하고 예측된 명령을 실행하는 Speculative Execution를 도입했습니다.

 

이 방식은 분기 예측을 잘못 수행했을 경우 실행했던 명령 결과를 모두 없애야 합니다. 따라서 분기 예측을 정밀하게 할 필요가 있습니다. 분기 예측의 정확도가 높으면 CPU의 파이프 라인은 원활하게 작동하고 성능이 올라 소비 전력이 떨어집니다. 전력 효율이 생명인 현재의 CPU에서 분기 예측은 가장 중요한 기술입니다.

 

젠에선 여기에 뉴럴 네트워크를 응용한 분기 기술을 도입했습니다. 지난번의 분기에서 패턴을 분석해 복잡한 분기 패턴에도 대응이 가능합니다. 동종 기술에 대한 논문을 보면 회로 규모가 큰 경우 뉴럴 네트워크에 의해 예측 정확도가 향상된다고 합니다. 젠의 CPU 코어는 분기 예측 부분이 매우 커졌으며 정밀도가 높을 것으로 예상됩니다.

 

 

젠 코어. 왼쪽의 분기 예측 부분이 매우 큽니다.

 

 

뉴럴 네트워크 기반 분기 예측

 

 

젠이 고성능 저전력을 실현한 방법

 

현재 고성능 CPU는 불러온 CPU 명령을 실행 가능한 내부 명령(마이크로 오퍼레이션 : 마이크로 OP)으로 변환한 다음 실행합니다. 이 명령 변환을 명령 디코드라고 부릅니다.

 

그러나 x86/x64 CPU 명령은 길이가 고정되지 않아 명령 디코드가 매우 복잡하고 디코딩 장치의 회로 규모도 큽니다. 따라서 명령 디코드에선 몇 사이클 정도 불필요한 지연이 생기고 쓸모없는 전력 사용량도 생갑니다.

 

그래서 젠은 디코딩한 내부 명령인 마이크로 OP를 캐싱해 전력 효율과 성능을 향상시켰습니다. x86/x64 명령에서 변환된 마이크로 OP는 실행됨과 동시에 OP 캐시에 저장됩니다.

 

그리고 같은 명령이 실행될 때엔 x86/x64 명령이 아니라 OP 캐시에 저장된 마이크로 OP를 판독해 실행합니다. OP 캐시가 적중되면 명령 디코드를 생략하니 지연이 짧아지고 전력 소비가 줄어듭니다.

 

또한 명령 디코더는 1사이클에 4개의 마이크로 OP만 큐에 전송하나, OP 캐시는 1사이클에 최대 8개의 마이크로 OP를 보냅니다. 따라서 명령의 병렬 실행 수준도 높습니다.

 

 

젠 아키텍처의 OP 캐시

 

 

젠의 명령 디코드 구조

 

젠은 마이크로 OP를 명령 발행 스테이지에서 더욱 자세한 마이크로 OP에 분해해 각각의 실행 유닛에 보냅니다. 실행 유닛은 정수 연산 유닛이 4개이며 인텔 CPU와 같습니다. 즉 젠은 인텔 제온과 마찬가지로 1사이클에 4개의 정수 연산을 실행할 수 있습니다. L1 데이터 캐시는 32KB로 각 CPU 코어에 512KB의 L2 캐시가 부속됩니다.

 

젠은 아웃 오브 오더 실행 윈도우가 192개, 정수 물리 레지스터가 168개, 부동 소수점 연산 레지스터가 160개로 실행 자원이 풍부합니다. 그만큼 많은 명령을 스케줄링하여 병렬 실행하기 쉽습니다. 데이터를 메모리에서 읽거나 쓰는 로드/스토어 유닛은 2개의 로드와 1개의 스토어를 병렬 실행 가능합니다. 또한 필요한 데이터를 예측하는 프리 페치 기능과 저장된 데이터를 로딩하는 기능도 강화했습니다. 이렇게 향상된 기능 덕분에 젠은 성능 향상은 물론 전력도 절감됐습니다.

 

 

젠 마이크로 아키텍처

 

 

CPU 캐시 아키텍처를 수정한 젠 아키텍처

 

젠 아키텍처는 4개의 CPU 코어가 1개의 클러스터 CCX(Core Compulex)를 구성합니다. Naples도 CCX를 사용할 것으로 보입니다. CCX는 8MB의 L3 캐시도 통합됩니다. 젠 캐시는 L1과 OP 캐시에 저장된 내용은 L2에도 유지됩니다. 그러나 L3 캐시는 L2와 중복되지 않습니다. L3는 L2에서 제외된 내용들이 저장됩니다.

 

 

젠의 CCX 구성. 4개의 CPU 코어 중앙에 L3 캐시가 배치됩니다

 

이런 구조의 캐시는 효율을 높이고 L2 용량을 늘리기 쉽다는 장점이 있습니다. 젠의 경우 1개의 CCX에 탑재되는 8MB의 L3와 2MB의 L2가 각각 고유의 데이터를 저장합니다. 따라서 총 10MB의 데이터를 저장할 수 있습니다. 또한 L2 캐시를 상대적으로 크 늘려도 낭비가 적습니다. 따라서 젠은 각 코어가 512KB로 꽤 큰 L2를 탑재합니다.

 

그러나 여기에는 단점도 있습니다. 캐시 메모리가 일관성을 유지하면 L3 캐시만 찾으면 되니 스누프 트래픽이 적지만, AMD의 방식에선 L3 뿐만 아니라 L2까지 찾아야 한다는 단점이 있습니다. 이것은 전력과 대역폭의 낭비를 불러오며, 작업 셋트가 큰 서버 워크로드에선 상당히 불리한 점입니다.

 

 

젠 캐시 계층 구조

 

 

젠 캐시의 대기 시간은 상대적으로 짧습니다.

 

 

젠의 쉐도우 태그

 

이 문제를 줄이기 위해 젠에선 L2 캐시의 태그 내용 일부를 복사해 L3에 저장함으로서 캐시 스누프 트래픽을 줄입니다. L3 캐시에 원하는 내용이 없으면 L3에서 L2 태그를 참조하며, 그래도 데이터가 없으면 L2를 스누프하지 않습니다. 따라서 불필요한 L2 스누프가 발생하지 않고 전력 사용량도 줄어듭니다.

 

 

또한 AMD는 지금까지의 서버 CPU에서도 다른 소켓 사이에서 스누프 필터링 기능을 구현했습니다. 멀티 소켓 Naples에도 이런 스누프 필터가 구현될 것으로 보입니다.

 

 

코어 단위의 전압 제어 가능성

 

데스크톱 버전의 젠 아키텍처 프로세서인 라이젠 7은 2개의 CCX를 탑재하여 총 8개의 젠 CPU 코어가 있습니다. 코드네임 서밋 릿지의 라이젠 7 다이는 CPU 코어 외에 DDR4 메모리 인터페이스와 설정을 변경할 수 있는 고속 I/O가 있습니다.

 

I/O는 앞서 설명한대로 PCI Express Gen3과 SATA, NVMe를 인피니티 패브릭을 통해 이용 가능합니다. 인피니티 패브릭에선 메모리 일관성을 하드웨어 레벨에서 유지할 수 있습니다.

 

 

데스크탑 버전인 서밋 릿지의 다이

 

 

Naples은 실제로 서밋 릿지 다이를 4개 연결한 멀티 다이 제품으로 추측됩니다. 8개의 CPU 코어를 탑재한 다이를 CPU 패키지에서 인피니티 패브릭으로 연결해, CPU 사이에 낮은 지연 시간과 넓은 대역으로 연결됐을 가능성이 높습니다. 서밋 릿지의 다이에서는 I/O의 물리 계층으로 추측되는 부분이 어느 정도 넓은 면적을 가지고 있습니다. 데스크탑 PC에서 활성화되지 않은 고속 I/O가 Naples에서 사용될 것으로 생각됩니다.

 

AMD의 젠 계열 CPU 공정 기술은 글로벌 파운드리의 14nm 프로세스 14LPP입니다. 3D 트랜지스터를 사용했다는 점에서 인텔의 14nm 프로세스와 비슷한 점이 있습니다. 14LPP는 높은 성능을 추구한 2세대 14nm 공정으로 삼성에서 라이센스를 받았습니다. 14LPP에서는 소비 전력이 늘어나는 원흉인 누설 전류를 크게 줄일 수 있어 기존 AMD CPU에 비해 공정 기술도 크게 발전했습니다.

 

 

 

또한 AMD는 데스크탑 버전의 젠 CPU 라이젠에서 CPU 코어마다 구동 전압을 조정하는 온 패키지 전압 레귤레이터를 발표했습니다. 각각 CPU 코어의 워크로드에 따라 CPU 코어의 구동 전압을 조절합니다. 최적의 전압에서 CPU 코어가 작동하기에 전력 소비가 최적화됩니다. 이 기능은 매니코어 서버에서 매우 효과적이라 Naples에도 채용될 것으로 추측됩니다.

 

또한 이 기술을 도입하기 위해 라이젠 7에선 CPU 패키지에 RDL(ReDistribution Layer)를 도입했습니다. RDL은 아이폰 7 SoC(System on a Chip)에 채용된 것으로 유명하며, 패키지의 배선 저항을 줄여 전력 소비를 낮춥니다. Naples에도이 기술이 도입됐을 가능성은 높습니다.