CPU 컨퍼런스에서 AMD가 기조 연설
매년 8월에 반도체 칩 컨퍼런스 Hot Chips가 열립니다. 최첨단 프로세서가 선보이는 장소로, 2019년엔 미국 스탠포드 대학의 The Memorial Auditorium 강당에서 8월 18일부터 20일까지 열렸습니다. 첫날 기조 강연은 AMD 리사 수 CEO가 진행했으며, 고성능 프로세서의 세션을 비롯해 14개의 세션이 열렸습니다.
리사 수는 고성능 프로세서를 비롯한 현재의 반도체 기술 상황을 설명하고, 앞으로의 고성능 시스템에 필요한 요구 사항을 전망했습니다. 리사 수는 2017년 12월에 미국 샌프란시스코에서 개최된 반도체 학회, IEDM (IEEE International Electron Devices Meeting) 이후 같은 주제를 이야기했으나, 이번에는 실제 7nm 공정을 사용한 제품이 나오면서 구체적인 제품과 시스템을 예로 들어 설명했습니다.
그 핵심은 이렇습니다. 지난 10년 간 하이엔드 CPU는 2.5년마다 2배, 하이엔드 GPU는 2.25년마다 2배씩 성능이 향상됐습니다.
이는 제조 공정 기술의 진보와 더 커진 다이, 마이크로 아키텍처의 개선, 시스템 온 칩 통합 덕분이었습니다.
그러나 무어의 법칙이 둔화되고,
칩 제조 비용이 급상승하며,
다이 크기가 늘어나고 전력을 감당하기 힘들어지면서 새로운 접근이 필요해졌습니다.
반도체 관련 학회에선 그 다음에 3D 패키징을 다루지만, 프로세스 위주인 핫 칩스에선 컴퓨팅과 인터커넥트에 초점을 맞췄습니다. 실리콘 칩 설계, 시스템 설계, 소프트웨어 레벨 최적화를 이야기하는군요.
AMD는 마이크로 아키텍처의 향상으로 IPC(Instruction-per-Clock)를 끌어 올리고,
칩 렛을 도입해 모듈형 설계를 사용해 CPU 성능 향상, 그리고 하드웨어 가속이 중요하다고 설명합니다.
모듈 설계와 아키텍처 향상 덕분에 에픽의 성능이 크게 올랐습니다.
특정 분야에 특화된 하드웨어 전용 가속을 효율적으로 수행하려면 CPU, FPGA, 세미 커스텀 FPGA가 효과적입니다. HPC(High Performance Computing)과 머신 러닝에선 CPU만으로는 필요한 컴퓨팅 성능을 제공하지 못합니다. 그래서 이런 가속 장치를 어떻게 통합하는지가 중요합니다.
특정 애플리케이션에선 GPU나 세미 커스텀 SoC, FPGA의 효율이 좋습니다.
AMD는 CPU와 GPU를 PCI-e로 연결하고, GPU는 인피니티 패브릭으로 연결합니다. AMD의 서버용 CPU인 에픽은 4개의 GPU를 직접 연결할 수 있고, CPU 소켓의 고속 I/O 레인이 많습니다. 이로서 CPU+GPU를 통한 워크로드를 가속합니다. 앞으로는 칩 사이의 인터커넥트와 메모리 광대역이 중요하다고 봅니다.
또 소프트웨어 라이브러리를 제공해 소프트웨어 확장을 제공합니다.
상당히 많은 워크로드가 CPU+GPU 조합을 통해 효과적으로 수행됩니다.
CPU와 GPU를 조합한 작업.
CPU와 GPU를 모두 운용하는 대표적인 시스템이 미국에서 가장 강력한 슈퍼 컴퓨터인 프론티어입니다. 오크릿지 국립 연구소의 차세대 슈퍼 컴퓨터지요.
프론티어는 1엑사플로스 이상의 성능을 냅니다. 2021년부터 가동할 예정.
모두가 다 아는 그 분. 리사 수(President and Chief Executive Officer, AMD)
3종류의 다이로 구성된 AMD 젠 2 아키텍처
범용 CPU 세션에서는 AMD, Arm IBM의 3개 회사가 발표했습니다. 인텔은 메인스트림 CPU 코어를 다루지 않았으나 4건의 발표를 했습니다.
AMD는 7nm 공정의 신형 CPU 코어인 젠 2의 상세 정보를 공개했습니다. 공정 말고 칩으로서의 가장 큰 특징은 CPU와 I/O를 다른 다이로 나눈 모듈형 설계입니다. 젠 계열 CPU는 4개의 CPU 코어와 L3 캐시를 합친 클러스터 CCX(Core Complex)로 이루어졌습니다. 7nm의 젠 2에선 2개의 CCX로 8개의 CPU 코어를 한개의 다이인 CCD로 모았습니다. 7nm CCD의 다이 크기는 74제곱mm, 트랜지스터 수는 38억개입니다.
I/O 칩은 클라이언트와 서버의 2 종류가 있습니다. 클라이언트용 젠 2는 마티스, 클라이언트용 I/O 다이는 clOD(Client I/O Die)입니다. cIOD는 최대 2개의 CCD를 연결하며 최대 8코어 CPU, 듀얼채널 DDR4 메모리 인터페이스, PCIe 인터페이스 32레인이 있습니다. 핫 칩스에선 I/O 다이의 스펙이 공개됐는데, 트랜지스터 수는 20.9억개, 다이 크기 125제곱mm입니다. 제조 공정은 14nm로 알려져 있었으나 실제로는 거기서 파생된 12nm 프로세스입니다.
서버용 젠 2인 로마(Rome)은 서버용 I/O 다이인 sIOD(Server I/O Die)를 씁니다. 트랜지스터 수가 83.4억개, 다이 크기는 416제곱mm입니다. sIOD의 트랜지스터 수가 매우 많은 이유는 버퍼 SRAM의 탑재 때문이라 추측됩니다. sIOD에는 8채널 DDR4와 128 레인 PCIe 4.0이 있습니다. 제조 공정은 clOD와 마찬가지로 12nm입니다.
클라이언트용 라이젠
7nmn 에픽. 다이 면적을 다 합치면 1000제곱mm지만, 비싼 7nm는 CPU 코어에만 사용해 수율을 높였습니다.
각 CPU 패키지에 8개의 CCD, 2소켓이니 128개 CPU 코어가 나오는 에픽의 2소켓 시스템. 소켓 사이는 시리얼 버스인 인피니티 패브릭으로 연결합니다.
AMD는 모듈러 디자인을 통해 CCD, cIOD, sIOD의 3가지 다이를 만들어 메인스트림부터 하이엔드 서버까지 다양한 라인업을 커버합니다. 또 클라이언트용과 서버용 CPU 모두를 최신 공정으로 거의 동시에 생산해 냈습니다.
David Suggs(CPU Microarchitect, Fellow at AMD)
젠 2의 성능 혁신
젠 2 프론트 엔드
젠 2 정수 연산 코어
젠 2의 부동소수점 연산 파이프
젠 2 로드/스토어와 메모리
젠 2 마이크로 아키텍처
Arm의 서버용 CPU, Neoverse N1
저전력 CPU IP를 다루는 Arm은 서버용 CPU인 네오버스(Neoverse)를 소개했습니다. Arm은 지금까지 서버용 CPU 코어를 써드파티에게 맡겼으나 결과적으로 잘 되지 않았습니다. 그래서 전략을 바꿔 CPU 코어와 온 다이 인터커넥트를 자체 개발해 라이센스하기로 방침을 바꿨습니다.
네오버스 N1은 4웨이 디코딩, 최대 8 명령 이슈의 슈퍼 스칼라 CPU로, 싱글스레드 성능을 높인 Cortex-A76를 기반으로 삼았습니다. 명령어 세트는 Arm v8.2.
서버 CPU에서도 전력 효율을 추구한 소형/저전력 CPU 코어 디자인을 채택했습니다. 네오버스 N1 CPU 코어와 L2 캐시의 전력 소비는 1~1.8W(2.6~3.1GHz), 다이 면적은 1.15~1.4제곱mm (512KB/1MB L2 캐시, 7nm). 64 CPU 코어 SoC의 성능은 1300 SPECint06 이상, SoC 전체 전력은 105W 미만입니다.
Arm은 네오버스 N1을 웹 서버, 프록시, API, 게이트웨이 등의 분야에 보급하려 합니다. 합 칩스에선 오픈소스 웹서버인 NGINX에서 메모리 레이턴시와 대역폭, 컨텍스트 스위치, CPU 프론트엔드 효율 등의 최적화가 중요하다며, 네오버스 N1은 마이크로 아키텍처를 여기에 맞춰 최적화했다고 설명했습니다.
구체적으로는 캐시 계층과 Translation Lookaside Buffer(TLB), 분기 예측을 강화해 분기가 많은 워크로드 환경에 최적화했습니다. 또 OS/파이퍼스레딩의 활동이 많은 걸 고려해 컨텍스트 스위치의 지연 시간도 줄였습니다.
그 결과 지금까지 Arm 코어 서버에 들어갔던 Cortex-A72보다 NGINX에서 처리량을 크게 높일 수 있었습니다.
또 런타임 소프트웨어 환경을 위해 베이지 컬렉션 및 개체 관리도 개량했습니다.
그 외에도 인프라 애플리케이션을 위한 마이크로 아키텍처도 확장했습니다. 메모리 대역폭과 지연 개선뿐만 아니라 로드/토어의 아웃 오브 오더 윈도우를 확장했습니다.
네오버스를 위한 메쉬 네트워크도 제공합니다. 최대 64/128코어 구성이 가능한 매니코어 메쉬 네트워크입니다. Arm의 7nm 레퍼런스 디자인은 64코어, 128레인의 PCIe 4.0, 8채널 DDR4 인터페이스를 갖춥니다.
2x-4x의 CCIX 링크에서 가속 칩의 연결도 가능합니다.
메쉬 네트워크는 1x2에서 8x8까지 확장됩니다.
네오버스 N1은 CPU 코어마다 64KB의 L1 명령 캐시와 64KB의 L1 데이터 캐시, 512KB나 1MB의 L2 캐시를 갖춥니다. 또한 시스템 전체가 공유하는 캐시가 2개의 CPU 클라스마다 배치돼 메쉬 네트워크에 연결됩니다.
Arm의 Andrea Pellegrini(Senior Principal Engineer, Infrastructure Line of Business, Arm)
IBM의 Power 9 AIO는 OpenCAPI 메모리 인터페이스 버전을 구현
IBM은 Power CPU의 로드맵을 발표했습니다. 2017년에 Power 9를 출시하고, 2020년엔 I/O를 확장한 어드밴스드 I/O(AIO)를 출시, 2021년에는 다음 아키텍처인 Power 10이 나옵니다.
Power CPU는 NVIDIA의 하이엔드 GPU와 함께 슈퍼 컴퓨터에 들어갑니다. Power 9는 14nm 공정, Power 10은 7nm 이후 공정을 사용하리라 추측됩니다.
앞으로 Power 시리즈는 I/O와 메모리 대역폭이 강화됩니다. IBM은 I/O 향상과 메모리 대역 확장을 똑같은 구조로 실현합니다.
Power 9 AIO(Advanced I/O)의 DDR4 메모리 대역은 서스테인에서 650GB/s입니다. CPU와 메모리 인터페이스는 DDR4가 아니라 Open Memory Interface(OMI)라는 새로운 인터페이스를 사용합니다. OMI는 가속 인터페이스 OpenCAPI의 메모리 인터페이스 버전입니다. 차동 전송으로 25.6Gbps의 데이터 전송, x8 링크는 1채널 사용합니다. Power 9 AIO는 OMI 25Gbps x8 구성의 채널을 총 16채널 갖습니다. 양방향 피크는 800GB/s, 서스테인 대역은 650GB/s가 됩니다.
DIMM에는 OMI를 지원하는 마이크로 칩의 버퍼 칩인 Microchip SMC 100를 탑재합니다. 여기서 SMC 100 OMI 인터페이스를 DDR4 인터페이스로 변환합니다. DIMM은 대역폭 최적화 버전과 대용량 버전의 2가지가 있습니다. 대역폭 최적화 버전은 SMC 100 버퍼 칩과 DDR4 칩을 4개 연결합니다. 대용량 버전은 Power 9 AIO 칩을 통틀어 512GB며 대역폭은 650GB/s가 됩니다. 대용량 버전은 DDR4를 x8로 2레벨 18칩 연결합니다. 그 용량은 Power 9 AIO에서 4TB지만 서스테인 대역폭은 320GB/s입니다.
버퍼 칩은 대용량 메모리 서버에서는 일반적이나, OMI를 사용하는 Power 9 AIO는 인터페이스가 빨라졌다는 차이점이 있습니다. Power 9 Scale UP에서도 버퍼를 쓰지만 버퍼 칩과 DMI는 9.6Gbps입니다. OMI DIMM은 JEDEC에서 표준화 작업도 진행 중입니다.
Power 9 AIO의 메모리 인터페이스는 PHY에 들어가기에 전체 DRAM 액세스 대기 시간을 최소화합니다. 일반 LRDIMM보다는 4ns, RDIMM보다 5~10ns 늘어난 수준입니다.
또 IDM은 가속 인터페이스 OpenCAPI의 구현 계획도 있습니다. Power 9 AIO는 OpenCAPI 4.0, 2021년 Power 10에서는 OpenCAPI 5.0을 지원합니다. OpenCAPI 5.0의 전송 속도는 32/50Gbps까지 올라갑니다.
Power 9 AIO는 14nm 공정으로 728제곱mm의 다이 크기, 80억개 트랜지스터, 24개의 SMT(Simultaneous Multithreading), 4코어, 120MB의 L3 eDRAM 캐시를 갖춥니다.
또한 25Gbps의 고속 시리얼 인터페이스 PowerAXON를 통해 멀티 소켓의 SMP (Symmetric Multi-Processing)과 연결, NVIDIA GPU의 NVLink 연결인 OpenCAPI 4.0에 사용합니다. NVLink는 최대 x48, OpenCAPI 최대 x48입니다.
Power 9 AIO를 발표한 Jeff Stuecheli (Power Systems hardware architect, IBM)
까마귀
