HBM에 남은 문제는 발열, 가격, 제조 공정, 생태계 등입니다.

HBM은 DRAM의 다이를 최대 8개까지 적층해 스택으로 만들면서, 작은 면적에 비교적 높은 열이 쌓이기가 쉽습니다. 문제는 DRAM이 열에 약하다는 것입니다. 온도가 올라가면 누설 전류가 늘어나며 DRAM 메모리 셀에서 누설 전류가 커집니다. 그러면 DRAM 메모리에 저장된 데이터를 유지하기 위해 재충전의 횟수를 늘려야 합니다. 그러면 재충전이 반복되면서 발열이 더욱 많아지게 됩니다.

"DRAM은 온도를 85℃ 아래로 유지하는 게 바람직합니다. 95℃로 온도가 높아지면 누설 전류가 늘어나고 재충전 모드의 최적화가 필요합니다. 105℃의 높은 온도가 되면 빈번한 리프레싱이 필요합니다. 그래서 다이 온도를 낮추기 위한 효과적인 냉각 솔루션이 필요합니다"라고 AMD의 Joe Macri(CVP and Product CTO)는 설명합니다.

삼성은 Memcon에서 2.5D 솔루션의 HBM의 온도를 측정한 결과를 선보였습니다. 여기에 효과적인 서멀 솔루션 기술을 HBM에 사용한 결과 4스택에서는 모든 다이가 양호한 수준의 온도를 지킬 수 있었다고 합니다. 삼성 주장대로라면 HBM에서는 이제 발열은 문제는 아니라고 합니다.

삼성의 2.5D 솔루션에서 HBM의 발열 테스트를 한 결과

HBM의 일부 열 관리 기술에 대해선 SK 하이닉스가 2014년 8월의 Hot Chips에서 설명한 바 있습니다. DRAM의 실리콘 자체는 열 전도성이 좋으며 TSV와 마이크로 범프도 열 전도성이 좋습니다. 그러나 HBM의 DRAM 스택은 TSV 이외의 부분에서 다이가 완전히 밀착하진 않습니다. 그래서 다이 사이의 열 전도 효율은 낮습니다. 결과적으로 일반적인 HBM에서 TSV에 따라 스택을 만들면 최하층의 로직 다이 온도는 매우 높아지며 그 위의 DRAM 다이의 온도도 위험한 수준인 95℃ 이상으로 올라갑니다.

범프를 뚫어 열 전도를 높여 열 배출 효율을 높임

그래서 SK 하이닉스는 다이 사이에 열 전도를 위한 범프를 배치했습니다. 신호를 보내는 것이 아니라 단순히 열 전도를 위한 범프입니다. 이 범프 덕분에 다이 사이의 열 전도가 극적으로 개선돼 열 방출이 순조롭게 처리됐다고 합니다. 또 범프만 뚫어놓은 것이라 기계적인 신뢰성 문제도 발생하지 않는다네요.

싱글 뱅크 전환을 지원

또 리프레시의 경우 HBM은 온도에 따라 리프레쉬율을 변화시키는 Temperature Compensated Self Refresh를 지원합니다. 위에서 Macri가 언급한 것도 그 기능입니다.

또 GDDR5와 달리 HBM에서는 리프레시 동작도 뱅크 단위에서 개별적으로 수행하는 Single-Bank Refresh를 지원합니다. 기존의 PC용 DRAM은 DRAM 칩 전체가 리프레시 동작을 하도록 돼 있습니다. 전환 동작 중에는 데이터 액세스를 할 수 없었기에 메모리의 실제 대역폭에 영향을 줍니다. 밤녀 HBM은 각각의 뱅크 단위로 리프레시를 할 수 있습니다.

DRAM의 효율을 높이는 싱글 뱅크 전환

HBM은 1스택 당 8채널의 구성이며 1채널당 8또는 16뱅크입니다. 1개의 뱅크를 리프레시하는 동안 다른 뱅크에 명령 발행과 동작을 같이 수행 가능합니다. 그래서 대역폭과 레이턴시가 개선됩니다.

양산을 통해 인터포저의 단가 절감을 기대

HBM의 제조 단가는 여전히 문제가 남아 있습니다. 현재의 HBM 제품은 DRAM 다이의 스택에 로직 인터페이스 다이, 그리고 실리콘 인터포저를 사용합니다. 단순한 다이 비용만 따져도 로직 다이와 실리콘 인터포저의 제조 원가가 DRAM의 가격에 더해지게 됩니다.

HBM은 Through Silicon Via(TSV) 다이 스택 기술을 쓰지만 TSV스택에는 CPU와 GPU에 직접 DRAM 다이를 적층하는 3D와 실리콘 인터포저에 CPU와 GPU와 DRAM 스택을 나란히 연결하는 2.5D의 2가지 방법이 있습니다. 3D 스태킹에서는 GPU/CPU/SoC의 로직 칩에도 TSV로 구멍을 뚫어야 합니다. 그에 비해 2.5D라면 로직 칩에 TSV의 구멍을 뚫지 않아도 되니까 CPU와 GPU 제조사가 적용하기 쉽습니다.

2.5D와 3D 솔루션의 차이

실리콘 인터포저는 위 그림처럼 TSV의 VIA가 배선된 실리콘 칩입니다. 인터포저, CPU, GPU 등의 로직 칩과 DRAM을 적층합니다. 인터포저는 마이크로 범프로 접속합니다. DRAM을 더할 경우 TSV로 적층합니다. 인터포저 자체는 평범한 범프로 기판에 접속합니다.

HBM의 2.5D 솔루션

HBM이 2.5D에 주력하는 이유는 2가지입니다. 하나는 열 배출의 문제로 전력 소비가 큰 고성능 GPU/CPU/SoC의 발열을, 열에 약한 DRAM을 통해 배출하기가 어렵다는 점입니다. 다른 하나는 첨단 프로세스 기술에서 TSV를 이용 가능하게 하려면 시간과 비용이 필요합니다. AMD의 Joe Macri(CVP and Product CTO)는 다음과 같이 설명합니다.

이에 따라 고성능 적층 DRAM은 마이크론이 HMC, SK 하이닉스와 삼성이 HBM을 선택하며 서로 갈라서게 됐습니다. 물론 삼성이 HMC를 제조할 가능성은 아직 남아 있지만 3강 2규격으로 나뉜 셈입니다. AMD의 Joe Macri(CVP and Product CTO)는 HBM과 HMC에 대해 다음과 같이 설명합니다.

"HBM과 HMC는 본질적으로 목표로 삼은 영역이 다른 메모리 기술입니다. HMC는 (메모리 컨트롤러에서) 먼 곳에 배치하는데 최적화했습니다. 그에 비해 HBM은 (메모리 컨트롤러와) 가까운 거리에 배치하는데 최적화했습니다. 메모리와 배치가 멀어질수록 전력 사용량에서 불리합니다.

HMC의 경우엔 DRAM 스택 내부에 매우 넓은 데이터 패스가 있습니다. 그러나 바깥(DRAM 스택과 컨트롤러 사이)는 좁은 데이터 패스로 묶고 있기에 데이터 패스를 좁히면 데이터 전송 속도와 클럭을 높여야 합니다. 그래서 HMC는 SerDes처럼 보다 복잡한 전송 기술을 필요로 합니다. SerDes는 피드백 루프라서 전력 사용량이 늘어납니다. HMC가 HBM보다 더 전력을 소비하며 발열도 많다는 건 의심할 여지가 없습니다. 보텀 로직의 다이가 복잡하고 더 높은 클럭으로 동작시켜야 하기 때문입니다.

그러나 HMC의 목적을 생각하면 HMC의 발열도 시스템 구성에서 문제가 되지 않습니다. CPU와 거리를 벌려 메모리를 배치하면 DRAM의 냉각을 돕기에 그렇습니다. 그리고 HMC 같은 아키텍처가 중요한 경우도 있습니다. HMC에 잘 맞으나 HBM와는 어울리지 않는 시스템에 쓸 수 있으니 HMC도 합당한 기술이라 생각합니다.

그렇다고 그것 하나 때문에 JEDEC가 HBM보다 HMC에 더 신경을 쓰는 건 아닙니다. 실제로는 JEDEC에서도 HBM의 다양성에 대해 토의한 적이 있습니다. 그러나 여기에는 시스템에서 포기해야 할 점이 있어 도입이 쉽지 않았습니다. JEDEC은 순수하게 사용자의 요구에 따라 메모리를 규격화하는지라 그런 선택지는 뽑지 않았습니다."