반도체 일상 14. HBM

 이전 포스팅 반도체 일상 13. GPU에서 인공지능에 꼭 필요한 반도체는 GPU와 HBM이라고 언급했다. HBM은 GPU에 연결되는 메모리로, 현재 우리나라에서 아주 잘 팔리는 기념비적인 반도체이다. HBM은 "High Bandwidth Memory"의 약어이다. "High"는 '높다'는 뜻이고 "Memory"는 '메모리'라는 뜻인데, "Bandwidth"는 무슨 의미일까?

 

 메모리 반도체와 GPU가 상호작용하려면 배선이 연결되어 있어야 한다. 배선은 한 가닥으로 연결될 수도 있고, 열 가닥이나 천 가닥으로 연결될 수도 있다. 연결된 배선의 수가 많아지면 점점 부피가 커지고 띠처럼 보인다. 이 띠의 넓이를 "Bandwidth"라고 한다. 물론 띠의 넓이를 줄자로 측정하진 않지만, 이 선의 개수를 "Bandwidth"라고 부른다.

 

 High bandwidth, 즉 GPU와 연결된 선이 많은 메모리가 HBM이다. 그냥 선만 많이 연결하면 되는데, 왜 이렇게 어려운 이름을 붙이고 복잡한 느낌을 주는 걸까? GPU와 연결된 배선이 많으려면 메모리 내부에도 엄청난 배선이 필요하다. 실제로 일반 메모리보다 필요한 배선 수가 50배 이상 많다. 일반 메모리에서 배선을 하나 추가하기도 힘든데, 50배인 거의 2000개의 배선을 어떻게든 우겨 넣어야 한다.

 똑똑한 누군가가 만들어줄 것 같지만, 이 배선을 그대로 우겨넣는 건 현실적으로 불가능하기 때문에 다른 구조를 사용해야 한다. 바로 여러 개의 메모리 반도체를 샌드위치처럼 쌓아서 구멍을 뚫어 연결하는 것이다. 위 그림에서 빨대가 배선이라고 생각하면 된다. 이렇게 만들면 배선을 복잡하게 배치할 필요 없이 송송송 구멍을 뚫기만 하면 된다. 여기서 송송송 뚫은 구멍을 TSV라 하고, 단순히 금속을 채워넣는다. 이 TSV가 GPU와 직접 연결되진 않고, 층층이 쌓은 메모리의 가장 아래층에 있는 다른 전극이 GPU와 연결한다.

 

 과연 이렇게 하면 무엇이 좋을까? 인공지능에는 엄청나게 많은 데이터가 빠르게 오가야 한다. 현재 가장 빠른 메모리 반도체인 GDDR7의 한 배선당 속도는 32 Gbps다. 이는 인류가 이룬 가장 빠른 메모리 배선 속도이다. 반면 HBM4의 배선 속도는 6.4 Gbps에 불과하다. 하지만 배선 수는 32개와 2048개로 엄청난 차이가 난다. 따라서 배선과 속도를 곱하면 GDDR7은 1024 Gbps, HBM4는 13100 Gbps의 데이터를 처리할 수 있다. 다른 메모리와 비교해보아도 한 번에 다룰 수 있는 양이 압도적으로 크기 때문에, 인공지능에 사용하기 위해서는 GPU에 HBM을 사용할 수밖에 없다.

 

 오늘은 삼성전자를 울상 짓게 했던 HBM에 대해 알아보았다. 언론에서 한 번쯤 접했다면, 샌드위치처럼 생긴 메모리와 TSV 같은 용어를 들어보았을 것이다. 물론 프랑스의 에펠탑처럼 시그니처가 되는 이미지이지만, 본질을 잊어서는 안 된다. HBM은 단지 배선이 많은 메모리라는 것을.