AMD는 인스팅트 MI300A와 MI300X를 발표했지만 발표 당시에 그 상세 스펙은 공개하지 않았습니다. 이번에는 패키지가 어떻게 됐는지가 나왔네요.
이게 MI300X의 실물 사진이고요.
MI300X는 이렇게 구성됐을 것으로 보입니다. 여기에서 주황색은 HBM3의 인터커넥트나 패브릭으로 추측됐으나, 실제로는 아무것도 아니라고 합니다. 높이를 맞추고 공간을 채우려고 넣은 거라고 하네요.
구조는 이렇습니다. 4개의 IOD를 바닥에 깔고 그 위에 GPU를 2개씩 올립니다. HBM은 IoD 옆에 있으며, IoD와 HBM은 실리콘 인터포저로 연결합니다. MI300X는 12개, CPU가 포함된 MI300A는 13개의 칩렛으로 구성되는데, 이 칩렛의 갯수에서 실리콘 인터포저는 계산에 넣지 않습니다.
그리고 위 이미지만 보면 거대한 인터포저 하나를 넣은 것처럼 보이지만 그건 아닐 겁니다. 저 칩렛들을 다 커버하는 거대한 실리콘 인터포저를 만들기가 힘들기 때문입니다.
인스팅트 MI250의 경우 EFB(Elevated Fanout Bridge)라는 방법으로 패키지를 했으며
MI300A/MI300X는 가장 오른쪽의 패키지를 썼을 겁니다.
이건 CPU가 포함된 MI300A입니다. 오른쪽 아래에 GPU 대신 CPU 칩렛이 들어가는데요. 이 CPU 다이는 코드네임 제노아 다이를 그대로 넣었다고 합니다.
그래서 이 IoD는 TSMC N6에서 생산하고, CPU/GPU 다이 연결, 인피니티 캐시, 인피니티 패브릭의 I/F, HBM3의 I/F라는 다양한 기능을 제공하게 됩니다.
1개의 IoD 안에 탑재된 2개의 GPU 다이도, 또 4개의 IoD의 연결에도, 한술 더 떠서 다수의 MI300A/MI300X 프로세서도 다 인피니티 패브릭을 써서 연결합니다.
성능은 대놓고 공개하지 않았으나, MI300X가 400억개의 파라미터를 메모리에 저장할 수 있다고만 썼습니다. 여기서 '경쟁사 80GB'는 NVIDIA H100으로 보입니다. GPT-3의 1750억 개 파라미터를 MI300X 5개만 쓰면 커버할 수 있습니다.
원문에서는 나름대로 계산을 통해 성능을 추측하고 있는데, 어디까지나 추측이라 그건 넘어갑니다. 관심있으시면 가서 보세요.