MCM (Multi-Chip Module)에 최적화된 레이아웃

AMD는 앞으로 컴퓨팅 칩에서 여러 다이를 하나의 패키지에 통합한 멀티 다이를 목표로 하고 있습니다. 앞으로 공정 기술의 발전에 비춰볼 때, 멀티 다이를 도입해야 제조 비용 상승을 억제하면서 칩의 기능과 성능을 일정한 비율로 늘릴 수 있다고 판단했기 때문입니다. AMD는 이러한 전망을 2017년 12월에 미국 샌프란시스코에서 개최된 반도체 학회 IEDM (IEEE International Electron Devices Meeting)에서 발표했습니다.

 

AMD의 궁극적인 목표는 TSVThrough Silicon Via) 기술과 인터포저를 사용하는 것이나, 지금은 보통의 상용 칩에 그런 기술을 도입하기가 가격적으로 부담됩니다. 그래서 먼저 기존의 기술에서 해결되는 멀티 다이를 도입하려 합니다. 그것이 새로운 CPU인 젠 아키텍처 기반의 서버 CPU, EPYC입니다.

 

EPYC는 SoC(System on a Chip) 다이 제플린을 4개 사용해 36코어 서버 CPU를 실현했습니다. 또 하이엔드 데스크탑 CPU 라이젠 스레드리퍼 역시 제플린의 2다이 16코어 구성입니다.

 

제플린 칩 아키텍처는 멀티 다이 구성에 최적화해 설계됐습니다. 이를 위해 다이 사이의 연결 인터페이스를 구현하고, 구성 요소의 위치도 멀티 다이를 전제로 조심스럽게 배치했습니다. AMD는 미국 샌프란시스코에서 2월 11~15일에 개최된 반도체 국제 회의 ISSCC(IEEE International Solid-State Circuits Conference)에서 이러한 제플린의 설계를 밝혔습니다. 아래는 ISSCC에서 공개한 제플린의 다이 단위 레이아웃입니다.

 

 

제플린의 다이 레이아웃

 

위의 다이 레이아웃 이미지와 EPYC을 발표할 때 공개한 아래의 다이 레이아웃을 보면 유닛 배치가 뒤집어져 있는데, 이는 다이를 어느 쪽에서 보는지에 따라 달라집니다. 일반적으로 배선층에서 본 이미지다보니 아래같은 레이아웃이 일반적입니다. 그러나 ISSCC에선 칩 외부 배선을 설명하기 위해 다이 트랜지스터에서 본 이미지를 올린 것으로 추측됩니다.

 

 

EPYC을 발표할 때 공개한 제플린의 다이 레이아웃

 

 

절묘한 인터페이스 배치 

 

AMD의 CPU와 GPU, APU는 인터커넥트 패브릭에 AMD가 개발한 Infinity Fabric을 사용합니다. 인피니티 패브릭에는 데이터 전송의 Infinity Scalable Data Fabric(SDF)과 제어 신호를 전달하는 Infinity Scalable Control Fabric(SCF)의 두가지 계통이 있습니다. 데이터 SDF는 다양한 구현이 있습니다. 우선 SDF는 SoC 안에서 각 디바이스를 연결합니다. 또 멀티 다이 MCM 패키지에서 다이 사이를 연결하는 인터페이스에도 인피니티 패브릭을 씁니다. CPU 패키지끼리를 연결하는 소켓 사이의 인터페이스도 인피니티 패브릭입니다. 물리적인 구현 방법은 다르나 프로토콜은 같습니다.

 

 

HotChips에서 나온 인피니티 패브릭의 설명

 

제플린 다이에서 각각의 인터페이스 배치는 매우 특징이 있습니다. 우선 2채널 DRAM 인터페이스는 다이의 긴 쪽에 배치했습니다. 이는 다이를 4개 나열했을 때, 패키지 양쪽에 4채널씩 DRAM 인터페이스를 배치하기 위해서입니다.

 

CPU 패키지 사이를 연결하는 IFIS(Infinity Fabric Inter-Socket)는 PCI Express와 공유 PHY를 사용하는 멀티 프로토콜 아키텍쳐입니다. 제플린은 16 레인 IFIS / PCIe 2링크가 탑재됩니다. 2개의 링크는 다이 모서리에 1링크씩 나뉘어져 배치되는데, 이는 패키지 위아래에 IFIS와 PCI Express 핀을 배치하기 위해서입니다. 패키지 외부에 인터페이스 핀을 상하좌우로 배치하는 것을 목표로 DRAM, IFIS / PCI Express 인터페이스를 절묘하게 배치했습니다.

 

CPU의 다이 사이를 연결하는 IFOP(Infinity Fabric On-Package)는 제플린 다이에 4링크가 탑재되며, 다이의 긴 쪽에 2링크씩 배치됩니다. 다이를 나열하면 1링크가 안쪽, 1링크가 바깥쪽으로 향하게 됩니다. 3링크만 있어도 충분하나, 다른 인터페이스에 맞춰 회전 배치하다보면 쓰지 못하게 되는 1링크를 포함해 4링크를 배치했습니다.

 

 

ISSCC에서 설명한 다이 레이아웃과 패키지의 관계

 

 

4개의 제플린 다이 EPYC 패키지. 좌우로 DRAM 핀, 위아래로 I/O와 패키지 사이의 연결 핀이 나옵니다.

 

 

제플린의 시스템 블럭 다이어그램

 

패키지 안을 좀 더 자세히 보면, 4개의 제플린 다이가 좌우 2개씩 180도로 회전해 배치됩니다. 그래서 각 다이에 내장된 2채널 DRAM 인터페이스는 패키지 좌우의 모서리에 배치됩니다. 2다이 2채널, 총 4채널 패키지가 좌우에 나뉘어집니다.

 

 

4개의 제플린 다이 배치와 인터페이스의 위치 관계

 

다이를 서로 연결하는 IFOP는 위의 슬라이드에서 녹색으로 표시됐습니다. IFOP는 다이 좌우에 2개씩 배치됩니다. 좌우에 붙어있는 다이끼리는 이 IFOP로 연결됩니다. 대각선에 배치된 다이는 패키지 중앙에 대각선으로 교차하는 배선 내부 IFOP끼리 연결됩니다. 상하 다이는 반대쪽의 IFOP끼리 연결됩니다. 각 다이에 1개씩 IFOP가 남지만, 대신 DRAM의 배선을 거치지 않고 IFOP의 배선을 배치하도록 만들었습니다. 2개의 패키지 계층으로 IFOP를 수행하려면 4개의 IFOP 링크가 필요하다고 계산했습니다. 쓰지 않는 1링크의 IFOP는 클럭 게이트 처리합니다.

 

오프 패키지 I / O와 패키지 사이의 IFIS 연결 인터페이스는 다이의 모서리에 배치됩니다. 위의 슬라이드에선 주황색으로 표시됩니다.

 

위 슬라이드에서 다이 왼쪽 상단 모서리의 IFIS / PCIe는 CPU 패키지 사이의 연결을 위한 IFIS로 쓰입니다. 다이의 오른쪽 하단 모서리의 IFIS / PCIe는 I / O 디바이스의 연결을 위한 PCI Express / SATA로 씁니다. 다이 왼쪽 상단 모서리 위의 배선을 연장하고 오른쪽 하단 모서리에서 아래로 배선을 연장합니다. 16레인 시리얼 링크는 IFIS와 PCI-E 프로토콜을 모두 쓸 수있습니다. 이를 위해 다이를 회전 배치, 위아래에 각각 IFIS와 PCI Express 핀을 배치할 수 있게 됩니다.

 

 

8채널의 DRAM 배선과 복잡한 다이/패키지 사이의 인터커넥트 연결 배치

4다이 제플린의 MCM 패키지 와이어는 아래 슬라이드처럼 나옵니다. 우선 빽빽한 DRAM 인터페이스 배선은 좌우 1채널씩 1패키지 레이어에 배치됩니다. 아래의 슬라이드 레이어 A와 레이어 B는 각각 레이어에서 좌우에 1채널씩 DRAM 배선이 배치됩니다. 각 레이어마다 좌우 2채널의 DDR4 배선이 있습니다. 또 IFOP의 6링크 연결을 두 계층에 분산해 연결됩니다.

 

 

DDR4 메모리와 IFOP의 배선

 

DDR4 메모리는 레이어 C와 레이어 D에서 좌우에 1채널씩 2채널 DDR4가 연결됩니다. 레이어 A에서 D까지의 4층에 각각 2채널씩 총 8채널 DDR4의 배선이 실현됩니다. 또 레이어 C와 D는 IFIS 링크가 따로 이어집니다.

 

 

DDR4 메모리와 IFIS의 배선

 

이처럼 다이 인터페이스를 성공적으로 배치해 비좁은 배선 공간으로도 4배선 레이어로 패키지에 맞췄습니다. 결과적으로 4다이 구성에서 패키지의 데이터 총 대역폭은 256GB/s, 오프 패키지 대역폭은 450GB/s 이상이라는 강력한 구성이 나옵니다. 고속 인터페이이스의 핀은 1760개, 패키지는 4094핀 LGA입니다.

 

 

실제 CPU의 다이와 인터페이스

이렇게 실현한 4다이 MCM 패키지의 시스템 구성은 아래 슬라이드대로입니다. 패키지 사이는 4개의 16레인 IFIS로 연결합니다. 모두 더하면 PCI Express와 SATA의 고속 I/O는 128레인, 그래픽카드나 가속 장치 같은 PCI-E 디바이스를 여럿 탑재 가능합니다. I/O가 풍부한 시스템을 구축하는 것도 제플린 기반 EPYC의 장점입니다.

 

 

4다이를 사용한 EPYC의 듀얼 소켓 구성

 

 

제플린 4다이로 구성된 EPYC은 I/O도 풍부해집니다.

 

2다이 하이엔드 데스크탑용 CPU인 라이젠 스레드리퍼는 아래와 같은 구성이 나옵니다. 가장 큰 특징은 2개의 다이가 2링크 IFOP에 연결되는 것. 또 64레인 PCI-E가 상하로 배치됩니다. 다이 자체의 레이아웃은 4다이 구성과 같습니다. 이 중 2개의 다이만 사용하며 나머지 2개의 다이는 더미 다이입니다.

 

 

라이젠 스레드리퍼 구성

 

싱글 다이의 데스크탑 PC용 CPU인 라이젠은 아래와 같습니다. 시리얼 인터페이스는 24레인이 활성화됩니다.

 

 

PC용 라이젠

 

 

3개의 제품군

 

 

1개의 다이로 3개의 제품군을 파생

 

 

코어 단위의 전압 레귤레이터 제어 

 

EPYC 4다이 MCM 패키지의 전력 공급은 아래 슬라이드대로입니다. 위쪽에선 다이 코어 부분에 대한 전력 공급이, 아래는 언코어 부분의 공급이, 좌우에는 DRAM과 그 인터페이스 부분의 공급이 이루어집니다.

 

 

4다이 패키지의 전원 핀

 

젠은 디지털 LDO(Low Drop-Out) 형태의 전압 레귤레이터로 코어 단위로 전압을 제어합니다. CPU 코어마다 별도의 전압을 공급해, 전체 칩의 전력을 줄여줍니다.

 

CPU 코어는 구동 전압에 따라 동작 클럭이 차이닙니다. 낮은 전압에서 높은 클럭으로 동작하는 코어도 있고, 높은 전압을 줘도 일정 클럭으로만 동작하는 코어도 있습니다. 따라서 CPU 코어 전체에 한가지 전압으로 전력을 공급하면 가장 느린 코어에 맞는 전압으로 공급하며, 이러면 빠른 코어에서 전력을 낭비하게 됩니다.

 

제플린은 코어마다 LDO 전압 절감이 가능합니다. 온보드 플랫폼 전압 레귤레이터(VRM)에서 CPU 코어의 가장 높은 VID 입력에 맞춰 코어 전압 RVDD를 각 코어마다 별도의 VDD로 낮춰줍니다. CPU에 최적의 전압을 넣기에 전력 효율이 향상됩니다. 

 

 

코어마다 다른 전압이 공급

 

젠에선 CPU 컴플렉스에 온 다이 클럭 센서를 구현했습니다. 임계 경로의 복제 회로는 CPU 코어가 어느 정도의 전압에서 특정 클럭으로 작동 가능한지를 감지합니다. 이를 기반으로 LDO에 의해 각 코어에 적합한 전압으로 전력을 공급합니다. 또 아이들 CPU 코어는 파워 게이트 처리합니다.

 

 

 

EPYC에서 LDO를 사용해 코어마다 전압을 최적화

 

제플린 다이는 전력 제어를 포함해 시스템을 관리하는 System Management Unit (SMU)가 탑재됩니다. AMD 인피니티 패브릭은 데이터를 전송하는 Infinity Scalable Data Fabric(SDF) 외에, 제어 신호를 전달하는 Infinity Scalable Control Fabric(SCF)가 있습니다. SMU는 SCF를 통해 전력 등을 제어합니다.

 

HotChips에서 인피니티 패브릭의 설명

 

 

제플린의 상호 연결 구성

 

제플린 SMU는 다른 다이나 패키지의 SMU와 연결합니다. SMU 사이의 통신은 싱글 레인의 전용 IFIS를 사용합니다. 1개의 SMU가 마스터, 다른 SMU는 슬레이브가 되어 통신합니다.

 

SMU끼리의 통신 방법