HBM이 드디어 2015년 1분기부터 양산

차세대 광대역 메모리인 HBM(High Bandwidth Memory)이 드디어 2015년 1분기에 양산을 앞두고 초읽기에 들어갔습니다. 10월에 개최된 메모리 관련 컨퍼런스인 MemCon 2014에서 메모리 제조 업체 SK 하이닉스는 컨슈머용으로 양산하기 전 최종 샘플 단계의 HBM을 이미 제공 중이라 설명했습니다. 양산의 마지막 단계를 넘었으니 출시가 임박한 것입니다. SK 하이닉스 뿐만 아니라 삼성도 HBM의 출시를 MemCon 2014에서 밝혔으니 HBM은 적어도 2곳의 공급처를 확보한 셈입니다.

Memcon에서 SK 하이닉스는 HBM1의 준비가 거의 갖춰졌다고 설명

1세대 HBM은 최종 샘플을 출시 중

HBM과 다른 DRAM 규격

NVIDIA는 HBM을 사용하는 GPU인 파스칼을 개발 중

SK 하이닉스의 스택 DRAM 제품 계획

DRAM규격을 책정하는 JEDEC의 JC-42.3 Subcommittee에서 의장을 맡은 AMD의 Joe Macri(CVP and Product CTO)는 HBM의 현 상황을 이렇게 설명합니다.

"메모리 업계는 HBM(High Bandwidth Memory) 그 자체를 구성하는데 주력하고 있습니다. AMD에 대해서는 말할 수 없지만 업계 전체로 보면 HBM 1세대와 HBM 2세대 모두 괜찮은 반응을 보이기에 여러 제품에서 사용될 것으로 전망됩니다."

또 HBM의 2세대가 되는 HBM2의 스펙도 일부 공개됐습니다. HBM2는 2Gbps의 전송 속도로 1스택 당 최대 256GB/sec. 4스택을 사용할 경우 1TB/sec의 메모리 대역을 실현할 수 있는 기술입니다. HBM2를 사용하는 회사들도 이미 디자인에 들어갔다고 SK 하이닉스는 설명합니다. JEDEC(반도체 표준화 단체)는 HBM2에서 고속화 외에도 HBM 규격을 확장해 레이턴시를 줄이는 등 성능 강화를 이끌어낼 것입니다. 이는 앞으로 확대되는 HBM의 시장 수요에 부응하기 위한 것이라고 합니다.

여러 DRAM 규격의 전송 속도와 대역폭

삼성이 MemCon 2014에서 나타낸 HBM 아키텍처

HBM의 시장

DRAM 제조사는 HBM의 시장이 초반기에 기대되는 그래픽 외에도 네트워크 기기 및 HPC(High Performance Computing), 그리고 고성능 클라이언트까지 번지고 있다고 봅니다. HBM 같은 스택 메모리인 HMC(Hybrid Memory Cube)과 경쟁하는 관계지요. 또 해결해야 할 점이었던 에코시스템의 확립이 해결됐고 또 다른 해결 대상인 제조 단가도 앞으로 줄어들 가능성이 보인다고 합니다.

삼성이 에측하는 HBM의 기대 시장

HBM을 기대중인 시장을 표시한 SK 하이닉스의 슬라이드

발열은 문제되지 않는다고 설명한 삼성의 슬라이드

더미 범프를 내서 스택된 메모리 내부의 열 전도율을 높임

HBM의 등장으로 앞으로 시스템 메모리는 가깝고 광대역인 메모리와 멀지만 대용량인 메모리의 2가지로 계층이 나뉠 것으로 메모리 제조사는 보고 있습니다. 그 경우 대역폭이 서로 다른 두 종류의 메모리가 연속되는 메모리 어드레스를 사용하기에 OS와 런타임에서 메모리 관리에 신경을 써야 할 것입니다. 또 멀지만 대용량인 메모리는 기존의 메모리 모듈 기반 DDR을 당장 사용하지만 장기적으로 보면 비휘발성 메모리로 대체될 것으로 메모리 업계에선 보고 있습니다.

메모리 계층화를 예상하는 AMD의 슬라이드

1024비트의 인터페이스를 8채널로 분할하는 HBM

HBM은 Through Silicon Via(TSV) 기술을 사용한 다이 스택에 따라 1024비트의 초 광대역 인터페이스로 DRAM을 접속하지만 1024를 단일 채널로 취급하는 게 아니라 DRAM 인터페이스를 8채널로 분할합니다. 각 채널은 각각 128비트 폭의 인터페이스로 완전히 독립해 동작합니다. 메모리 컨트롤러 측에서 보면 8채널의 독립된 DRAM에 접속된 것처럼 보입니다.

JEDEC이 책정한 각 메모리 규격의 인터페이스 폭

HBM은 CPU에 직접 적층하는 것도 가능하지만 당분간은 인터포저를 쓴 2.5D가 주류가 될 것입니다.

HBM의 Via 스택 아키텍처

TSV 기술을 사용하는 HBM

하나의 DRAM 다이로 8채널 인터페이스에 대응시키는 것이 아니라 각각의 다이는 2채널로 구성됩니다. DRAM 다이를 적층할 때마다 채널 수가 늘어나며 4개의 다이를 적층해서 8채널 인터페이스가 나온다는 구조입니다. 기본적으로는 4개나 8개의 다이를 적층하는 사용법을 염두에 두고 있습니다. 다만 이 구성은 HBM에서 규정하는 것이 아니라 DRAM 제조사는 자유롭게 채널/다이의 구성을 바꿀 수 있습니다.

HBM의 아키텍처

HBM의 제품화에 앞장선 SK 하이닉스는 MemCon 2014에서 2세대 HBM2의 스펙을 설명했습니다. 그동안 HBM2는 전송 속도가 1세대 HBM의 2배로 높아지고 8Gb 다이가 추가되며, 8층 8Hi 스택이 가능하다는 것 등이 밝혀졌었는데요. SK 하이닉스는 여기에 추가로 레이턴시 절감과 대역폭 확장에 효과가 있는 Pseudo Channel 모드를 갖춘다고 설명했습니다.

SK 하이닉스가 설명하는 HBM1과 HBM2의 차이

HBM2는 채널 분할 모드로 레이턴시를 개선

Pseudo Channel은 1개의 채널을 비슷하게 분할하는 모드입니다. HBM은 1024비트를 8채널로 분할하기에 1채널 당 인터페이스 폭은 128비트입니다. HBM2의 Pseudo Channel 모드에서는 128비트의 채널을 2개로 비슷하게 분할합니다. 1채널 당 64비트의 Pseudo Channel인 것입니다. 1개의 스택에선 총 16개의 Pseudo Channel이 나오게 됩니다.

각각의 메모리 채널을 2개의 Pseudo Channel로 분할

실제로 2개로 분할된 Pseudo Channel 1개의 AWORD(Address Buffer)를 공유합니다. 그러나 각각의 Pseudo Channel은 분할된 DRAM 뱅크에 독립된 64비트 인터페이스로 접속합니다. 마치 64비트의 채널이 각 채널마다 2개씩 있는 것처럼 작동합니다.

벌크 액티베이션의 명령은 각각의 Pseudo Channel마다 발행

다만 AWORD는 공유하기에 완전히 병렬 동작하는 건 아닙니다. 또 HBM의 레거시 모드에서 버스트 길이(BL)는 BL2와 BL4가 모두 가능하나 Pseudo Channel 모드에서는 BL4만 쓸 수 있습니다. 그래서 1번에 액세스하는 메모리의 액세스 크기는 BL2의 레거시 모드와 다를 게 없습니다. 다시 말하면 Pseudo Channel는 가속 수준을 낮추기 위한 구조입니다.

SK 하이닉스는 Pseudo Channel의 가장 큰 목적은 대역의 효율을 높이는 것이라고 말합니다. 레거시 모드에선 4뱅크 액티베이션에 레이턴시를 주는 tFAW(4 activate window)의 제약으로 불필요한 갭이 생기고 있습니다. tFAW 사이에 명령을 발행할 수 없는 갭이 생기는 것입니다. 그래서 실효 대역이 줄어드는 것으로 알려졌습니다.

레거시 모드에서 생기는 갭

그러나 Pseudo Channel 모드에서는 채널을 분할함으로써 총 8뱅크에 연속된 액티베이션 명령을 발행할 수 있게 됐습니다. 그래서 tFAW의 갭을 효율적으로 채울 수 있게 됐다네요. tFAW Restriction 사이클 동안 연속해서 4뱅크를 액티베이션할 수 있기 때문입니다. 실제 DRAM에서는 페이지 크기가 레거시 모드에선 2KB인데 Pseudo Channel에서는 1KB로 절반 줄이는 것이 가능해졌습니다. 페이지 크기 단위를 줄임으로서 병렬화를 높이는 것입니다. 또 tFAW를 비교했을 경우의 레이턴시도 줄었습니다.

Pseudo Channel 모드에서는 tFAW에 의해 생기는 갭을 채울 수 있습니다.

Pseudo Channel 모드에서 레이턴시도 절감

HBM은 ECC를 옵션으로 지원

HBM은 HPC에서도 확산되고 있습니다. 이는 HPC에 GPU 컴퓨팅이 보급되며 하이엔드 GPU의 메모리는 앞으로 HBM로 이행하기에 그렇습니다. 그러나 HPC에서는 ECC가 중요하기에 HBM에서 ECC의 도입이 급선무였습니다.

 

MemCon 2014에서 삼성은 원래 HBM 규격에 ECC가 없었지만 JEDEC에서 ECC 옵션을 추가했다고 설명했습니다. AMD의 Macri는 ECC가 HBM2의 확장이 아니라 현재의 HBM1에서도 옵션으로 ECC 버전이 들어갔다고 말합니다.

 

HBM의 ECC는 NVIDIA가 2014년 6월의 컴퓨터 아키텍처 학회인 ISCA(International Symposium on Computer Architecture)의 워크샵 The Memory Forum에서 언급했습니다. 기존의 ECC DIMM과 다른 것은 ECC 비트가 DRAM 칩에 포함된다는 것입니다. 이것은 ECC 버전과 ECC가 아닌 버전이 같은 인터페이스를 사용할 수 있고, ECC화로 전력 소비를 줄인다는 장점이 있습니다. 하지만 ECC 기능으로 인한 단점도 있습니다.

 

 

 

NVIDIA는 HBM에서 옵션인 ECC 기능을 설명

 

MemCon 2014에서 SK 하이닉스는 1세대 HBM이 스택 패키지의 실장 크기에도 장점이 있음을 강조했습니다. DRAM의 실장 면적이 줄어드는 것도 HBM의 큰 장점으로 SK 하이닉스의 1세대 패키지는 4Hi(4스택)로 1GB의 모듈(1개의 다이는 2Gbit)이 아스피린 알약보다 작은 크기라 합니다. 실제 HBM의 1세대 KGSD 패키지는 5.48×7.29mm로 아스피린 알약의 구경 7.2mm보다도 폭이 작습니다. SK 하이닉스의 June Ahn는 아스피린보다 작다는 걸 강조하면서 HBM의 가격, 생태계, 열전도에 불필요한 요소가 많지 않음을 강조했습니다.

 

 

아스피린보다 작은 HBM 패키지

 

 

HBM 1세대의 패키지 크기

 

 

HBM 1세대의 다이