학회서 HBM-PIM, AXDIMM, LPDDR5-PIM 신기술 공개
한계로 인식된 '폰 노이만 병목현상', 삼성 PIM 기술로 깨고 제품화까지

 

 

 

삼성전자는 24일 온라인으로 개최된 핫칩스(Hot Chips) 학회에서 지난 2월 업계 최초로 개발한 HBM-PIM(Processing-in-Memory)과 PIM 기술을 적용한 'AXDIMM(Acceleration DIMM)', 'LPDDR5-PIM' 기술 등 혁신 제품들을 소개했다.

AXDIMM은 PIM 기술을 칩단위에서 모듈단위로 확장한 것으로 D램 모듈에 AI엔진을 장착한 제품이다. D램 모듈의 동작 단위인 각 랭크(Rank)에 AI엔진을 탑재하고 병렬 처리를 극대화해 성능을 높였다. AI엔진을 통해 D램 모듈 내부에서 연산이 가능해져 CPU와 D램 모듈간의 데이터 이동이 줄어들기 때문에 AI 가속기 시스템의 에너지 효율을 높일 수 있다.

또한 기존 D램 모듈에 탑재된 버퍼칩에 AI 엔진을 탑재하는 방식으로 기존 시스템 변경 없이 적용이 가능하다. 현재 AXDIMM은 글로벌 고객사들의 서버 환경에서 성능 평가가 진행되고 있다. 성능은 약 2배 향상, 시스템 에너지는 40% 이상 감소가 확인됐다.

삼성전자는 초고속 데이터 분석 영역뿐 아니라 모바일 분야까지 PIM을 확대 적용한 'LPDDR5-PIM' 기술을 공개했다. PIM 기술이 모바일 D램과 결합하면 데이터센터와 연결 없이 휴대폰 독자적으로 AI 기능을 수행할 수 있다. 이는 기기 자체의 AI의 성능과 에너지 문제를 효과적으로 해결할 수 있게 된다는 얘기다. 실제 시뮬레이션 결과 음성인식, 번역, 챗봇 등에서 2배 이상의 성능 향상과 60% 이상의 에너지 감소가 확인됐다.

삼성전자는 지난 2월 공개한 HBM-PIM을 실제 시스템에 탑재한 검증 결과도 학회에서 발표했다. 회사는 프로그래머블 반도체(FPGA) 개발 업체인 미국 자일링스에서 이미 상용화 중인 AI 가속기 시스템에 HBM-PIM을 탑재했을 경우 기존 HBM2를 이용한 시스템 대비 성능은 약 2.5배 높아지고, 시스템 에너지는 60% 이상 감소된다고 밝혔다.

 

삼성전자는 PIM 기술이 빅데이터 시대의 새로운 메모리 패러다임이 될 것이라고 강조했다.

김남승 삼성전자 메모리사업부 D램 개발실 전무는 "HBM-PIM은 업계 최초의 AI 분야 맞춤형 메모리 솔루션으로, 이미 고객사들의 AI 가속기에 탑재돼 평가되고 있어 상업적 성공의 가능성을 보였다"며 "향후 표준화 과정을 거쳐 차세대 슈퍼컴퓨터 및 AI용 HBM3, 온-디바이스 AI용 모바일 메모리, 데이터센터용 D램 모듈로 확장할 예정"이라고 설명했다.

CPU-메모리로 이뤄진 전통적인 컴퓨터 설계기법인 폰 노이만 구조에서는 CPU와 메모리 사이에 하나의 통로로 통해 순차적으로 데이터가 이동하며 처리되는데(직렬처리), 처리해야 할 데이터 양이 많아지면 지연현상이 생긴다. 이를 '폰 노이만 병목현상'이라고 한다.

이를 해결하기 위해 반도체 학계나 업계에서는 메모리 내부에서 일부 연산과 병렬처리가 가능한 PIM 구조가 제안됐고, 삼성전자가 AI엔진을 HBM에 탑재해 제품화를 성공한 것이다. PIM 기술을 통해 고객들은 기존 하드웨어나 소프트웨어의 큰 변경없이 보다 강력한 AI 가속기 시스템을 구축할 수 있게 됐다.