ISSCC에서 제플린의 베일을 한층 벗기다

AMD는 젠 기반의 새로운 CPU 제품군을 위해, 동일한 설계의 다이로 데스크탑부터 서버까지 다양한 제품 라인업을 파생시켰습니다. 

 

8코어 CPU 다이를 개발하고, 1개의 다이로 데스크탑 PC인 라이젠, 2개의 다이로 하이엔드 데스크탑인 라이젠 스레드리퍼, 4개의 다이로 서버용인 EPYC까지 성격이 다른 4개의 제품군을 실현했습니다. 서버용인 EPYC에서는 최대 32개의 젠 CPU 코어와 64스레드를 실행할 수 있습니다. AMD 역대 최대의 병렬 코어 수를 자랑하는 CPU입니다.  

 

AMD 서버 CPU의 계보 

 

 

하나의 다이에서 3개의 제품군을 파생시킴 

 

 

3개의 제품군

이를 위해 젠 기반 SoC인 제플린(Zeppelin)은 매우 유연하고 확장성이 높은 시스템 아키텍처를 사용했습니다. AMD는 미국 샌프란시스코에서 2월 11~15일에 개최된 반도체 국제 회의 ISSCC (IEEE International Solid-State Circuits Conference)에서 제플린의 세부 사항을 공개했습니다.

 

제플린의 가장 큰 특징은 여러 다이의 칩을 구성하는 걸 전제로 설계됐다는 점입니다. 이를 위해 제플린은 패키지 내부에 다이 사이를 연결하는 인터페이스가 구현됐습니다. 또 소켓 사이의 연결을 위한 인터페이스도 PCI Express와 공유 SerDes / PHY로 구현됩니다. ISSCC에선 SoC의 내부 구조와 디바이스 배치도 멀티 다이 구성에 최적화됐음이 밝혀졌습니다.

 

ISSCC에서 공개된 제플린의 다이 레이아웃

구체적으로는 온 패키지 연결인 IFOP (Infinity Fabric On-Package)는 다이의 4곳에 분산 배치, DRAM 인터페이스는 다이의 한쪽에 배치, 패키지 사이를 연결하는 IFIS (Infinity Fabric Inter -Socket)는 다이의 다른 모서리에 배치했습니다. 이렇게 배치하면 CPU 패키지에 다이를 4개 배치했을 때, 다이 사이의 연결 배선과 패키지 밖에 있는 DRAM과 패키지 사이의 연결, 또는 I / O 배선이 절묘하게 라우팅됩니다. 또한 온칩 인터커넥트도 대기 시간을 최소화하도록 설계됐습니다.

 

제플린의 다이 레이아웃 

 

 

4다이 MCM 연결을 전제한 설계

 

 

ISSCC에서 설명한 다이 레이아웃과 패키지의 관계

 

일관성 프로토콜을 확장한 젠

AMD는 지금의 프로세서 제품군에서 상호 연결 패브릭에 인피니티 패브릭을 사용합니다. 이는 마케팅적인 이름일 뿐, 실제로는 데이터 전송의 Infinity Scalable Data Fabric (SDF)와 제어 신호를 전달하는 Infinity Scalable Control Fabric (SCF)의 두가지 계통이 있습니다.

 

제플린 SoC 다이의 내부 SDF에서 핵심 구성 요소인 SDF Plane에 각각의 유닛이 연결됩니다. SDF 플레인은 코어 사이에서 일관성 트래픽을 제공합니다. 

 

HotChips에서 인피니티 패브릭의 설명

SDF는 캐시 일관성 프로토콜에 AMD의 인터커넥트인 Coherent HyperTransport 프로토콜을 확장해 사용합니다. AMD는 작년 8월의 칩 컨퍼런스 HotChips에서 인피니티 패브릭/젠 아키텍처의 캐시 일관성 프로토콜은 7 스테이트의 MDOEFSI 임을 분명히 밝혔습니다.

 

캐시 일관성 프로토콜은 MESI (Modified (변경) / Exclusive (단독) / Shared (공유) / Invalid (무효))를 많이 쓰는데, AMD는 여기에 Owned (소유)를 더한 MOESI를 채택했습니다. 인피니티 패브릭은 Dirty 등을 더한 7 스테이트의 MDOEFSI로 더욱 세분화된 프로토콜입니다. 프로토콜 자체는 다이와 소켓 사이에서도 공통된 것으로 보입니다. 

 

HotChips에서 인피니티 데이터 패브릭 캐시가 일관성 프로토콜을 사용함을 밝힘 

 

SDF에서 CPU를 비롯한 코어는 Cache-Coherent Master (CCM) 인터페이스에서 SDF 플레인에 연결됩니다. DRAM 메모리 인터페이스는 Unified Memory Controller (UMC)를 통해 연결됩니다. I / O 바인딩인 IO Complex는 IO Master / Slave를 사용합니다. PCI Express, SATA, USB 등의 I / O 시스템은 모두 SDF를 쓰지 않고 IO Complex에 연결됩니다. IO 컴플렉스는 단방향 IO 일관성 프로토콜로 보입니다.

 

제플린의 상호 연결 구성

 

 

제플린의 시스템 블럭 다이어그램 

 

FLIT 패킷으로 SerDes에 전송
　

제플린 SDF의 모든 구성 요소는 메모리와 동기화된 클럭으로 동작합니다. 이것은 서로 다른 클럭 도메인을 넘어가는 시간을 줄이기 위해서입니다. 제플린은 DDR4 메모리를 지원해 표준 클럭에선 2,667Mtps까지의 전송 속도를 커버합니다. DDR4 메모리는 128비트 채널(2개의 64비트 채널) 메모리 클럭의 배속으로 데이터를 전송합니다. SDF 인터페이스 폭은 기본 256비트(32바이트)라고 작년의 GDC (Game Developers Conference)에서 공개했습니다. 256비트 폭에 1.33GHz의 속도로 전송하는 것으로 보입니다.

 

SDF에는 다이 사이를 연결하는 인터페이스인 IFOP (Infinity Fabric On-Package)와 패키지 사이의 인터페이스 IFIS (Infinity Fabric Inter-Socket)도 연결됩니다. IFOP와 IFIS는 Coherent AMD Socket Extender (CAKE) 구성 요소를 통해 연결됩니다. IFOP와 IFIS는 모두 인피니티 패브릭이란 이름을 붙여 프로토콜 레벨에서 일반화됩니다. 그러나 물리 계층의 구현은 다릅니다. 데이터는 SDF의 전송 계층(Transport Layer)에서 CAKE를 거쳐 IFOP과 IFIS에서 전송 가능한 형태로 인코딩됩니다.

 

Scalable Data Fabric과 각 유닛의 연결 관계

CAKE는 양방향 인터페이스로 각 CAKE 사이클마다 128비트의 FLIT (Flow control unit)으로 인코딩합니다. FLIT 패킷으로 만들어 다른 형태의 SerDes에 맞춥니다. FLIT 다이 사이의 IFOP (Infinity Fabric On-Package) SerDes, 패키지 사이의 IFIS (Infinity Fabric Inter-Socket) SerDes에 의해 전송됩니다. 두 인터페이스는 물리적인 전송 방식이 다르고 SerDes도 다릅니다.

 

 

2pJ / bit의 낮은 에너지로 전송이 가능한 다이 외부 인터페이스

AMD 아키텍처에서 서로 다른 다이를 연결하는 IFOP (Infinity Fabric On-Package)는 32비트 폭의 인터페이스로 제플린은 다이에 IFOP 인터페이스가 4개 배치됩니다. IFOP의 가장 큰 특징은 저전력과 낮은 대기 시간에 최적화됐다는 것입니다. 2pJ / bit (picoJoule / bit : 피코줄 / 비트)의 매우 낮은 에너지만 사용해 전송합니다.

 

패키지 내부의 인터페이스에선 1pJ / bit 이하의 에너지를 목표로 합니다. IFOP는 그 수준에 꽤 가까워졌습니다. 배선이 IFOP보다 더 짧은 인텔 eDRAM의 OPIO (On Package I / O)는 1pJ / bit 정도입니다.

 

IFOP는 MCM (Multi-Chip Module)에서 패키지 내부의 짧은 배선에 최적화됐습니다. 저전압 스윙에서 싱글 엔디드 시그널링을 가지고 같은 수준의 전송 차동 신호보다 50%의 전력만 사용해 전송 가능합니다. 클럭은 임베디드가 아닌 포워딩입니다. 대기 시간을 단축하고 전력 소비를 억제하기 위해서입니다. 이 밖에도 저전력 드라이버 스테이트와 데이터 비트 인 버전 등의 전력 절감 기술을 도입했습니다.

 

AMD의 IFOP는 2pJ / bit 매우 낮은 에너지로 전송이 가능

IFOP의 SerDes는 클럭 당 32비트씩 전송합니다. 따라서 128비트의 CAKE FLIT 4 사이클에 거쳐 전송합니다. IFOP의 SerDes는 Infinity Scalable Data Fabric (SDF)의 4배의 클럭으로 전송을 하며, IFOP의 비트 레이트는 5.33Gbps가 됩니다.

 

IFOP의 단방향 전송 대역폭은 21.3GB/sec, 양방향은 42.6GB/sec가 됩니다. DRAM 쪽에는 1채널 64비트(실제로는 ECC를 더해서 72비트)니 전송 속도가 2.667Gbps입니다. DRAM은 단방향이니 채널 당 21.3GB/sec, 2채널 42.6GB/sec입니다. 제플린의 SDF는 모든 메모리 클럭과 동기화하기에 DRAM에서 FIOP까지 대역이 일치되며 클럭 동기화에 손실이 발생하지 않습니다.

 

제플린의 DRAM에서 다이 사이 전송까지의 경로 

 

 

EPYC을 발표할 때 설명한 IFOP

 

IFIS와 PCI Express의 두가지 시리얼 인터페이스를 지원

인피니티 패브릭에서 패키지 사이를 연결하는 IFIS는 패키지의 IFOP와는 많이 다른 인터커넥트입니다. 패키지 내부의 IFOP가 단거리 배선에 최적화됐다면, 소켓 사이를 잇는 IFIS는 기판에서 일정 거리를 둔 배선과 CPU 소켓을 전제로 합니다.

 

IFIS의 가장 큰 특징은 PCI Express와 PHY의 공통화입니다. 하나의 PHY를 IFIS와 PCI Express에 모두 쓸 수 있습니다. 차동 신호인 PCI-E와 같다는 건 IFIS도 차동 신호라는 이야기입니다. 전송 에너지는 약 11pJ / b로 IFOP의 약 5배입니다. 그러나작년에 AMD는 EPYC을 발표하면서 9pJ / b라고 설명했으니 조건에 따라 차이가 있을 수 있습니다. IFOP와 비교하면 전력 사용량이 상대적으로 큰 인터페이스이지만 그래도 많이 줄였습니다. 

 

PCI Express와 공통화된 IFIS는 1링크가 16비트의 데이터 레인으로 구성됩니다. 따라서 IFIS는 CAKE 클럭의 1/8입니다. 간단히 말해서 IFIS는 IFOP의 절반에 해당되는 인터페이스 폭에 2배로 빠른 속도를 사용합니다. 단순히 계산하면 총 데이터 대역폭은 IFOP와 같으나, 실제로는 대역 CRC 오버헤드가 있어 링크 당 대역폭은 약 8/9인 32GB / sec가 됩니다. 제플린 다이는 16비트 레인 IFIS가 2 링크 탑재됩니다.

 

제플린의 16비트 레인 시리얼 I / O는 멀티 프로토콜 I / O로 설계됐습니다. IFIS, PCI Express SATA로 설정 가능합니다. 그러나 각각의 프로토콜은 서로 다릅니다. IFIS는 일관성 프로토콜 인피니티 패브릭의 Scalable Data Fabric (SDF)에 CAKE으로 직접 연결됩니다. 반변 PCI Express와 SATA는 각각의 프로토콜 계층에서 IO 컴플렉스에 연결됩니다.

 

따라서 제플린에선 SDF와 IO 컴플렉스 모두 IFIS / PCI Express PHY에 연결하는 구조입니다. 구체적으로는 한쪽 16비트 레인은 CAKE를 통한 SDF 플레인에 연결, 다른쪽은 PCI Express의 IO 컴플렉스에 연결하며, 이 2가지가 MUX (멀티플렉서)를 통해 전환됩니다. MUX 오버헤드는 채널 클럭에서 1 클럭만 차지합니다.

 

ISSCC에서 나공개한 제플린 I / O 서브 시스템의 구조

 

 

HotChips에서 공개한 제플린 I / O 서브 시스템의 구조

다른 16비트 레인도 같은 구조이나 SATA 프로토콜까지 더합니다. 16레인 중 8레인을 SATA로 쓸 수 있습니다. 니어 16비트 레인도 IFIS 프로토콜을 지원합니다. 4개의 다이를 배치했을 때 다이를 회전시키기 위해 IFIS에서 사용합니다.

 

 

EPYC의 DRAM 액세스 대기 시간

제플린 아키텍처는 인피니티 패브릭에 따라 확장이 가능한 설계를 사용합니다. 4개의 CPU 코어 클러스터가 2개 연결돼 하나의 다이에 포함되며, 그 다이 4개를 연결해 하나의 CPU 패키지에 넣고, 2개의 CPU 패키지를 연결하는 멀티 소켓 구성이 가능합니다. 다이 내부에서  SDF로 CPU 컴플렉스끼리 연결하며, IFOP 연결된 소켓 사이는 IFIS로 연결됩니다.

 

CPU는 로컬 다이에 연결된 DRAM에 액세스할 뿐만 아니라 패키지 내부의 다른 다이에 연결된 DRAM이나 다른 패키지의 다이에 연결된 DRAM에 액세스할 수 있습니다. 액세스 경로와 지연 시간은 아래의 그림대로입니다

 

 

로컬 메모리 액세스

 

 

다른 다이나 패키지의 메모리 액세스

 

 

제플린 아키텍처 EPYC의 DRAM 액세스 비교