서버나 PC, 스마 폰 등의 메인 메모리는 보통 DRAM을 씁니다. 탑재되는 DRAM의 수는 용도에 따라 다릅니다. 탑재된 양이 많은, 즉 메인 메모리의 저장 용량이 큰 경우엔 다수의 DRAM을 DIMM(Dual-Inline Memory Module)이라 부르는 모듈에 장착합니다. DIMM은 직사각형 형태의 기판이며 메인보드의 DIMM 커넥터에 꽂아 씁니다.

 

일반적으로 DIMM 기반 대용량 메인 메모리를 필요로 하는 시스템은 서버나 하이엔드 PC입니다. 저장 용량의 크기가 한정된 노트북이나 스마트폰 등의 모바일 디바이스는 DIMM을 쓰지 않습니다. 쓴다고 해도 특수한 형태의 소형 DIMM(예를 들면 SO-DIMM)입니다.

 

이건 PC 사용자에게는 지극히 당연한 이야기입니다. 그러나 이런 전제를 설명해야 "DIMM 메모리가 본격적으로 바뀌려는 미래"를 설명할 수 있습니다.

 

DIMM은 왜 DRAM을 탑재할까요? 혹은 메인 메모리에 왜 DRAM을 쓰는 걸까요? DRAM은 다음과 같은 특징이 있습니다. 빠른 읽기/쓰기, 큰 저장 용량, 저렴한 비용의 3가지입니다. 엄밀히 말하면 이 세 가지 특징의 균형이 가장 좋은 메모리가 DRAM입니다. 이런 장점이 있기에 DRAM이 1970년대 초반에 등장한 이후 온갖 종류의 컴퓨터에서 메인 메모리로 채용됐다고 할 수 있습니다.

 

 

메인 메모리의 대용량화, 드러나는 DRAM의 단점

그러나 DRAM에 단점이 없는 건 아닙니다. 휘발성과 리프레시가 있습니다. 휘발성은 전원 전압이 크게 떨어지거나 전원 공급이 끊어지면 데이터가 손실되는 것입니니다. UPS를 써서 정전을 대비하고 전원 공급 능력에 여유를 둬도 근본적인 해결책은 아닙니다.

 

리프레시는 DRAM이 대기, 즉 메모리 액세스가 없어도 일정 전력을 계속해서 소비하는 것을 의미합니다. 메모리 셀에 저장된 데이터를 일정 시간 안에 다시 기록하는 동작이 DRAM에선 필수입니다. DRAM은 콘덴서를 충전해 데이터를 유지합니다. 캐패시터에 충전된 전하는 충전이 끝나면 바로 방전하기 시작합니다. 그래서 신호 전하가 손실되기 전에 DRAM의 모든 데이터 값을 다시 읽어와서 데이터를 재기록, 물리적으로 캐패시터를 충전합니다. 메모리 액세스 유무와 관계없이 DRAM에서는 데이터의 읽기/쓰기가 발생한다고 할 수 있습니다.

 

휘발성과 리프레시의 두가지 단점은 메인 메모리의 저장 용량이 빠르게 늘어나면서 드러나기 시작해, 이제는 무시할 수 없는 문제가 됐습니다. 2013~2014년 무렵부터 이 두가지 문제를 해결하기 위한 DRAM 모듈이 출시되기 시작했습니다. 주로 DDR3 DIMM 슬롯에서 낸드 플래시 메모리를 DIMM 기판에 넣는 식으로 문제를 해결하려 했습니다.

 

 

NVDIMM. 많은 백업 기능을 갖춘 DRAM DIMM

NAND 플래시 메모리를 DIMM 보드에 탑재하는 제품은 크게 2가지로 나뉩니다. 하나는 DRAM DIMM과 거의 비슷하게 생겼는데, 정전을 감지해 DRAM의 데이터를 NAND 플래시 메모리로 피난시키는 기능을 갖춘 DIMM입니다. DRAM의 단점 중 하나인 휘발성을 해결한 제품이라고 할 수 있습니다. 다른 하나는 DDR DIMM 보드에 NAND 플래시 메모리와 컨트롤러를 탑재한 제품입니다. DRAM의 또 다른 단점인 리프레시와 휘발성을 모두 해결하면서 DRAM DIMM보다 훨씬 큰 저장 용량을 제공합니다.

 

이 두 종류의 DIMM 제품 중에서 비휘발성 DIMM이나 NVDIMM (Non-Volatile Dual-Inline Memory Module같은 이름으로 판매된 것이 전자입니다. 따라서 NVDIMM를 백업 기능 DRAM 모듈이라 생각하는 사람도 적지 않습니다. 정확하게는 NVDIMM-N이라는 범주로 분류합니다.

 

백업 기능 DRAM 모듈인 NVDIMM-N의 기본 구성. DRAM과 NAND 플래시 메모리, 백업 전원(슈퍼 커패시터), 전용 컨트롤러 등으로 구성됐습니다. 

 

 

백업 기능 DRAM 모듈인 NVDIMM-N 제품. 왼쪽이 백업 전원(슈퍼 커패시터). 케이블을 통해 DIMM 보드와 백업 전원을 연결합니다

 

AMD CPU와 윈도우 10 OS가 DDR4의 NVDIMM-N을 지원

백업 기능 DRAM 모듈인 NVDIMM-N은 일부 서버에만 쓰여 왔습니다. 표준이 정해지지 않아 OS나 CPU 지원이 되지 않는 문제가 있어서입니다. 서버 시스템의 메인 메모리에 쓰기 위해 넘어야 할 장애가 많았습니다. 그러나 2017년 가을 쯤에는 이런 문제의 대부분이 해결됐습니다. DDR4 DRAM 메인 메모리와 시스템에서는 NVDIMM-N을 도입할 환경이 상당 부분 갖춰졌다고 할 수 있습니다.

 

우선 표준 규격의 경우 주요 반도체 공급 업체와 대기업 반도체 사용자의 업계 단체인 JEDEC이 DDR4 메모리용 NVDIMM-N의 기술 스펙(JESD248)을 책정해 작년 가을에 공개했습니다. 운영체제는 리눅스에서 지원하기 시작해 윈도우에서도 추가됐습니다. 2016년 1월에 출시된 리눅스 커널 4.4와 2016년 9월에 나온 윈도우 서버 2016이 NVDIMM-N을 지원합니다. 윈도우 10에서도 추가됐습니다. 2017년 8월에 발표된 Windows 10 Pro for Workstations(가을 출시 예정)이 NVDIMM-N을 지원합니다.

 

 

리눅스 커널 4.4에서 NVDIMM-N 지원

 

 

윈도우 서버 2016에서 NVDIMM-N 지원. 스토리지와 같은 블럭 액세스, DRAM과 같은 바이트 액세스(DAX)의 두가지 모드를 제공.

 

그리고 CPU에선 AMD가 2017년 6월에 발표한 서버용 CPU인 EPYC 7000 패밀리가 DDR4 NVDIMM-N을 지원 메모리에 추가했습니다.  

 

 

NVDIMM-N의 장점과 단점

백업 기능 DRAM 모듈, NVDIMM-N의 장점은 앞서 말한대로 전원 전압 강하나 정전에 대비하는 비용이 줄어든다는 것입니다. 여기서 말하는 비용은 UPS의 도입과 유지, 다운 타임 단축(일반적인 메모리는 전원 복구 후 스토리지에서 DRAM에 데이터를 다시 불러오는 반면, NVDIMM-N은 메모리 보드의 NAND 플래시 메모리에서 DRAM에 데이터를 쓰기에 시간이 훨씬 짦음)이 있습니다. 데이터센터나 웹 서버 같은 실시간 처리가 필요한 시스템에서 다운 타임은 곧 금전적인 손해입니다. 이게 짧을수록 좋습니다.

 

NVDIMM-N의 단점은 우선 DIMM의 비용 상승이 있습니다. 부품 비용만 따져도 NAND 플래시 메모리와 컨트롤러, 백업 전원용 슈퍼 커패시터의 비용을 일반 DRAM DIMM에 더해야 합니다. 또 기존의 애플리케이션은 NVDIMM-N을 지원하지 않습니다. 애플리케이션에서 NVDIMM-N을 커버하는 구조가 필요합니다.

이러한 장점과 단점을 감안해 우선 24시간 가동을 전제로 하는 고가의 시스템부터 도입될 것으로 보입니다. 처리가 중단된 시간이 길어질수록 금전적인 손실이 기하급수적으로 증가하는 시스템에서는 메인 메모리가 정전을 대비하는 게 매우 반가운 일입니다. 연속해서 발생하는 방대한 데이터를 처리하면서 분석 결과를 출력하는 실시간 분석 등이 특히 기대되는 분야입니다.

 

NVDIMM-N에서 기대되는 응용 분야. 메모리 데이터베이스, 기존 데이터베이스(온 디스크 데이터베이스), 엔터프라이즈 스토리지, 가상화, 고성능 컴퓨팅 등이 있습니다.

 

대형 컴퓨터의 메모리 계층 구조가 변화

NVDIMM의 등장과 보급은 서버를 비롯한 대형 컴퓨터의 메모리/스토리지 계층을 바꿔 나갑니다. 정리하면 메인 스토리지 계층 분화, 메모리 및 스토리지 융합입니다.

 

메모리 계층의 분화는 스토리지가 빠릅니다. 2011~2012년 무렵에 등장한 SSD는 스토리지 계층화를 촉구했습니다. 그 전까지는 하드디스크 뿐이었으나 이제는 SSD가 그 위에 고속 스토리지 계층을 형성했습니다. 이제 SSD는 하드디스크의 호환이라는 처음 위치를 넘어서, 자신만의 고속 인터페이스를 통해 초고속 스토리지의 위치를 ​​굳혀나가고 있습니다.

 

지금까지 메인 메모리에 사용한 메모리는 모두 고속/휘발성이라는 장단점을 갖고 있었습니다. NVDIMM 스토리지는 비휘발성을 갖추게 되면서 한편으로는 메모리, 다른 한편으로는 스토리지로 취급할 수 있게 됩니다. 기존의 DRAM DIMM에 비해 NVDIMM의 속도는 같거나 느리며, DRAM DIMM보다 빠르진 않습니다. 따라서 메인 메모리는 조만간 DRAM DIMM이 상위 단계, NVDIMM이 하위 단계로 나뉘어질 가능성이 적지 않습니다. 

 

한편 캐시와 메인 메모리를 보면 초고속 DRAM 모듈의 HBM이 등장하고 이미 일부 하이엔드 시스템에 쓰이고 있습니다. HBM은 캐시가 아닌 고속 메인 메모리입니다. 지금은 초고속 메모리 버퍼로 많이들 사용합니다. 이후 메인 메모리에 HBM과 NVDIMM이 등장해 계층이 나뉘게 됩니다. HBM은 캐시와 DRAM DIMM의 성능 격차를 해소합니다. 그리고 NVDIMM는 스토리지와 DRAM DIMM의 성능 격차를 해소합니다.

또한 앞으로는 시스템에 따라 DRAM DIMM의 계층 구조가 없어지고 메인 메모리는 HBM과 NVDIMM만으로 구성될 수 있습니다. NVDIMM-N은 단지 시작에 불과합니다. NVDIMM 기술의 자유도는 DRAM DIMM을 전부 대체할만한 잠재력을 지니고 있습니다.

 

 

3종류의 NVDIMM

 

NVDIMM은 엄밀히 따져 3가지 모듈이 있습니다. NVDIMM-N, NVDIMM-F, NVDIMM-P입니다. 모두 업계 단체인 JEDEC에서 스펙을 책정 중입니다. 위에서 설명한 NVDIMM-N의 스펙 책정은 끝나 공개 중이며, 지금은 NVDIMM-P을 책정 중입니다.

 

NVDIMM-N이 가장 먼저 규격화 된 건 DRAM DIMM과 차이가 가장 적기 때문입니다. 여기에 대해선 위에서 말했죠. 이미 상품화도 되어 있는 상태입니다. 

 

 

다음은 NVDIMM-F입니다. NVDIMM-F 개념은 매우 단순합니다. DIMM 보드에 DRAM 대신 NAND 플래시 메모리를 꽂습니다. 이걸로 DRAM DIMM을 넘어서는 용량과 DRAM DIMM보다 낮은 소비 전력을 실현합니다.

 

DIMM 보드의 면적이 한정되니 여기에 넣을 수 있는 반도체 칩의 수는 제한됩니다. 따라서 실리콘 다이의 저장 용량에 따라 DRAM 모듈의 최대 용량이 정해집니다. DRAM의 최대 용량은 8Gbit지만 낸드 플래시는 512Gbit, 그 차이는 64배입니다. DRAM DIMM 16GB 모듈과 같은 수의 다이를 장착한 낸드 플래시 메모리 DIMM 모듈은 최대 1TB의 용량이 나옵니다.

 

NVDIMM-F도 규격화 이전에 모듈 제조사가 제품화를 먼저 진행했습니다. 대표적인 제품은 샌디스크(웨스턴 디지털)의 ULLtraDIMM, Diablo Technologies의 MCS(Memory Channel Storage)일 것입니다. DDR3 DIMM 슬롯의는 보드 모듈에 200GB와 400GB 제품을 준비했습니다.

 

처음 이들 제품이 선보였던 건 2015년 하반기며, 당시에 JEDEC은 NVDIMM-F의 규격을 책정 중이었으나 이후 표준 개발 작업이 진행되지 않았습니다. 그 이유 중 하나가 SSD의 속도가 대폭 개선되서입니다. PCI Express 인터페이스를 물리 계층으로 삼아 빠르면서도 지연이 낮은 SSD 인터페이스 규격인 NVMe (Non Volatile Memory Express) 기반 SSD가 빠르게 등장했습니다.

 

 

원래 NVDIMM-F는 기존 SSD보다 지연 시간이 낮다는 걸 전제로 삼은 스토리지로 개발했습니다. 당시 SSD는 하드디스크의SATA 인터페이스를 그대로 사용해 지연 시간이 100μs를 넘어섰습니다. 이에 비해 ULLtraDIMM과 MCS의 지연 시간은 5μs. 1/5로 줄어듭니다. 그러나 PCI-E가 개선돼 NVMe 인터페이스로 SSD에 보급되면서 NVMe SSD의 지연 시간이 약 10μs, SATA SSD의 1/10, NVDIMM-F의 차이도 1/2이 됐습니다.

 

이렇게 되면 NVDIMM-F (ULLtraDIMM와 MCS)는 NVMe SSD와 비교하게 됩니다. 문제는 NVDIMM-F에 용량의 한계가 있다는 겁니다. NVMe SSD에 탑재할 수 있는 칩의 수는 DIMM보다 많습니다. 최근 엔터프라이즈용으로 나오는 PCI-E 카드 형태의 NVMe SSD는 10TB도 그리 어렵지 않게 달성합니다. 반면 NVDIMM-F의 보드에 10TB를 넣는 건 매우 어렵습니다.

 

 

DRAM과 비휘발성 메모리를 함께 쓰는 NVDIMM-P 기술

NVDIMM-F 기술의 보급에서 가장 큰 문제는 JEDEC가 차세대 메인 메모리를 위해 스펙을 책정하는 NVDIMM-P입니다. NVDIMM-P는 DRAM과 비휘발성 메모리을 함께 사용하는 걸 전제로 하는 기술 스펙입니다. 메모리에 데이터를 다 저장한다는 점에서 NVDIMM-N과 많이 다릅니다.

 

여기에서 비휘발성 메모리의 후보는 NAND 플래시 메모리만이 아닙니다. NAND 플래시 메모리, 3D XPoint 메모리, 자기 메모리(STT-MRAM), 저항 변화 메모리 (ReRAM) 등이 모두 거론 중입니다. 그리고 DRAM을 1만큼 장착하면 비휘발성 메모리는 2~8을 장착합니다. 제한된 보드 공간을 효율적으로 활용하기 위한 방법으로 보입니다.

 

 

NVDIMM-P 기술은 NVDIMM 기술의 장점인 대용량, 저전력, 정전 시 데이터 보호를 실현하면서도, DRAM 수준의 빠른 속도를 냅니다. 서버와 데스크탑의 메모리 용량을 늘리면서 정전 시 데이터가 유지되며, 소비 전력을 줄일 수 있다는 게 특징입니다. 다만 NVDIMM-P 규격 제품은 아직 없습니다. DDR4 DRAM DIMM 슬롯 기반 표준 책정 작업을 JEDEC이 진행 중입니다. DDR4 DRAM DIMM 슬롯에 맞춘 표준은 내년 초에 완성되지만 그보다 늦을 것 같습니다.

 

여기에 들어가는 비휘발성 메모리는 현실적으로 두가지가 있습니다. 하나는 당연히 NAND 플래시 메모리입니다. 그러나 NAND 플래시 메모리는 읽기 동작이 DRAM만큼 빠르지만 쓰기 작업은 DRAM보다 느립니다. 컨트롤러에서 이 움직임을 완화하고, NVDIMM-P 표준에서 이 차이를 염두에 두고 작동하는 프로토콜을 개발 중입니다.

 

3D XPoint DIMM의 행방은 NVDIMM-P 책정이 중요

또 다른 비휘발성 메모리의 주요 후보는 3D XPoint 메모리입니다. 3D XPoint 메모리는 저장 용량당 실리콘 면적이 DRAM의 1/3~1/6이며, 실리콘 다이의 저장 용량은 128Gbit로 DRAM(8Gbit)의 16배입니다. 저장 용량당 생산 비용이 DRAM보다 낮을 가능성이 충분합니다(다만 지금은 개발 비용과 생산 규모 때문에 DRAM보다 높을 것 같습니다)

 

3D XPoint 메모리는 읽기/쓰기/액세스 시간이 DRAM 수준으로 빠르면서도 낸드 플래시 메모리보다 쓰기 편합니다. 다르게 말하면 백업 위주의 NVDIMM-N 규격 보드에 3D XPoint 메모리를 넣는 건, 3D XPoint 메모리의 높은 성능을 고려했을 때 너무 아까운 방법입니다. NVDIMM-P 기술이 표준화되야 3D XPoint 메모리가 성능을 충분히 발휘할 수 있습니다.

 

이런 사정을 고려하면 3D XPoint 메모리가 SSD 폼팩터로 상품화됐음에도, DIMM 폼펙터로 아직 제품화되지 않은 이유가 짐작이 됩니다. NVDIMM-F 표준이 완성돼 공개한다면 사정이 달라지겠지만, 지금의 상황은 NVDIMM-P 규격이 자세하게 정해지기 전까지 DIMM 타입 3D XPoint 메모리가 상품화되긴 힘들 것 같습니다.