HBM-PIM 이란? 인공지능(AI) 시스템 구축의 기반

오늘 삼성전자에서 HBM-PIM을 개발했다고 발표했습니다. HBM-PIM을 통해 보다 더 뛰어난 성능을 구현할 수 있다고 하는데요. 특히, 강력한 인공지능(AI) 가속기 구축이 가능하다고 합니다. 

 

그런데 HBM-PIM가 무엇일까요?

이 질문에 대답하기 위해서는 HBM이 무엇인지, 그리고 PIM이 무엇인지 각각 알아볼 필요가 있습니다. 

 

HBM이란?

HBM은 High Bandwith Memory의 약자입니다. 고대역폭 메모리 또는 광대역폭 메모리라는 의미입니다. HBM의 핵심은 아래에 HBM 구조도에서 보는 것처럼 DRAM이 여러개가 적층된 형태로 구현된다는 점입니다. HBM은 여러개의 DRAM을 TSV(Through Slicon Via)를 통해 연결합니다. TSV는 적층된 DRAM을 연결해주는 구멍이라고 생각하시면 됩니다. HBM은 TSV를 이용하여, 마치 차선의 수가 증가된 고속도로를 구축합니다. 당연히 차선이 많아지면 차들이 교통체증 없이 빨리 다닐 수 있는 것처럼, 데이터 전송의 속도도 증가됩니다. 

 

HBM 구조도 <출처: JEDEC Updates HBM Spec to Boost Capacity & Performance: 24 GB, 307 GB/s Per Stack (anandtech.com)>

 

PIM이란?

PIM은 HBM하고는 조금 다른 문제입니다. 폰 노이만 구조의 컴퓨터는 CPU와 메모리가 서로 구분되어 있습니다. 

 

폰노이만 구조

위 그림에서 보는 바와 같이, 폰 노이만 구조는 연산장치(CPU)는 메모리에서 데이터를 불러와서 연산을 수행한 후에, 다시 메모리로 전송하여 저장합니다. 연산장치가 데이터를 메모리에서 불러오고, 또 전송하는 과정에서 필연적으로 병목현상이 발생할 수밖에 없습니다. 

 

PIM은 Processing In Memory의 약자입니다. 즉, 메모리 안에 연산장치가 있는 것입니다. 따라서 메모리에서 바로 연산을하고 다시 저장을 하기 때문에, 폰 노이만 구조가 가지는 필연적인 병목현상을 피할 수 있습니다. 특히 인공지능(AI)에 있어서는 여러 가지 연산을 병렬적으로 수행하는 것이 중요해졌는데요. 이와 같은 PIM을 이용할 경우 인공지능(AI)의 구현에 유리할 수밖에 없습니다. 

 

그렇다면 HBM-PIM은 무엇일까?

 

KAIST 김정호 교수님의 PIM-HBM

HBM-PIM이란 결국 TSV를 이용한 적층 구조를 가지되, 그 메모리에 PIM이 포함된 것을 의미합니다. 삼성전자에서 구현한 HBM-PIM 제품이 어떤 구조를 가지고 있는지는 정확하지는 않지만, 보도자료에서 삼성의 HBM2 아쿠아볼트에 AI 엔진을 탑재한 것으로 설명하는 것을 보면, 위 카이스트의 김정호 교수님이 제안한 PIM-HBM 구조와 같이 HBM의 Ligic Die에 PIM에 설치되는 형태로 예상됩니다. 

 

현재 다양한 분야에서 인공지능(AI) 개발이 활발하게 이루어지고 있는데요. 삼성전자의 HBM-PIM 제품은 이러한 인공지능 산업의 기반이 될 수 있으리라 봅니다. 

 

박광일 삼성전자 전무도 "HBM-PIM은 AI 가속기 성능을 극대화할 수 있는 업계 최초의 AI 맞춤형 PIM 솔루션"이라고 하여, HBM-PIM의 AI 시장 개척에 기대를 표현했습니다.

-FIN-