인공지능(AI) 반도체의 메모리 경쟁이 '더 빠르게'에서 '더 가깝게'로 진화하고 있다. 삼성전자가 AI 가속기 바로 위에 고대역폭메모리(HBM)를 수직으로 쌓아 올려 데이터 처리 속도를 대폭 끌어올린 차세대 3차원(3D) 메모리 아키텍처 'zHBM' 400단이 넘는 초고적층 낸드플래시 'zNAND-O'를 공개하면서다.
"HBM을 옆이 아닌 위에"…'Z축'으로 승부수 던진 삼성전자
8일 업계에 따르면 삼성전자는 최근 미국 캘리포니아주 샌타클래라 컨벤션센터에서 열린 세계 최대 규모의 메모리·저장장치 산업 전시·콘퍼런스 'FMS 2026'에서 차세대 3D 메모리 아키텍처인 'zHBM'과 'z낸드-O'를 처음 공개했다.이는 고성능컴퓨팅(HPC) 및 AI 인프라 수요 증가에 대응하고 AI 시스템 성능과 전력 효율을 극대화하기 위한 차세대 메모리 기술이다. 가로와 세로 방향의 평면 공간을 활용하던 2.5D 패키징에서 높이 방향인 Z축까지 활용하는 3D 패키징으로 전환했다. 이름에 'z'가 들어간 것도 이같은 이유에서다.
ADVERTISEMENT
zHBM은 기존 반도체 배치 방식을 바꾼 혁신 기술로 손색이 없다는 게 학계 분석이다. 그동안 HBM은 그래픽처리장치(GPU)와 같은 AI 가속기 옆에 배치돼 데이터를 주고받았다. zHBM은 이와 달리 AI 가속기 바로 위에 메모리를 수직으로 쌓아 올린다.
GPU는 계산에 필요한 데이터를 메모리에서 가져오는 데 시간이 걸리면 전체 시스템 속도가 저하된다. 고속도로를 달리는 자동차가 아무리 빨라도 톨게이트에서 막히면 목적지까지 오래 걸리는 것과 같은 이치다. AI 반도체에서 메모리와 GPU 사이의 데이터 이동이 새로운 병목으로 떠오른 이유이기도 하다.
ADVERTISEMENT
HBM이 처음 개발된 것도 이 문제를 해결하기 위해서다. HBM은 여러 장의 D램을 수직으로 쌓고 실리콘 관통 전극(TSV)이라는 미세한 수직 통로로 연결해 일반 D램보다 훨씬 많은 데이터를 한꺼번에 주고받을 수 있도록 만든 메모리다. HBM은 GPU 옆에 나란히 배치하고 두 칩 사이를 연결하는 구조다. 이 때문에 데이터가 오가는 길을 넓히는 데는 한계가 있다.
zHBM은 이 구조를 뒤집었다. 기존 HBM이 GPU 옆에 창고를 짓는 방식이라면 zHBM은 GPU 바로 위에 창고를 쌓아 올리는 방식이다. GPU가 필요한 데이터를 가져오기 위해 이동해야 하는 거리를 크게 줄였다.
삼성전자가 주목하는 것은 그만큼 짧아진 데이터 경로다. 데이터가 이동하는 거리가 줄면 신호 손실을 줄일 수 있고 데이터를 옮기는 데 필요한 전력도 낮출 수 있다. 동시에 메모리와 가속기 사이를 더 촘촘하게 연결해 데이터 처리량도 높이는 것이 가능하다.
삼성전자는 zHBM의 성능이 HBM5 대비 최대 8배 높아지고, 전력 대비 성능은 최대 3배 향상될 것으로 봤다. 열저항도 HBM5의 절반 이하로 낮출 수 있다고 설명했다. 단순히 HBM의 속도를 높이는 것이 아니라 메모리와 연산장치 사이의 연결 구조를 바꿔 성능과 전력 효율을 동시에 끌어올렸다는 것이다.
ADVERTISEMENT
여기서 중요한 기술이 하이브리드구리본딩(HCB)이다. HBM을 가속기 위에 여러 층으로 쌓으려면 각각의 D램을 극한으로 촘촘하게 연결해야 한다. 기존에는 마이크로범프라는 작은 돌기를 이용해 칩과 칩을 연결했다.
HCB는 구리를 이용해 칩 표면을 직접 연결한다. 연결 부위를 더 작고 촘촘하게 만들 수 있어 같은 면적에 더 많은 데이터 통로를 확보하는 데 유리하다. 쉽게 말해 기존 방식이 건물과 건물을 작은 다리 여러 개로 연결하는 방식이라면 HCB는 두 건물을 거의 맞붙여 통로를 대량으로 넓힌 셈이다.
ADVERTISEMENT
문제는 열이다. 반도체에서는 열을 얼마나 빨리 빼내느냐가 곧 성능의 한계와 직결된다. 온도가 올라가면 칩이 안정적인 작동을 위해 속도를 낮추는 '스로틀링'이 발생할 수 있기 때문이다. HBM을 GPU 위에 쌓으면 데이터 이동 거리는 줄어들지만 열을 빼내기는 더 어려워진다. GPU 자체가 많은 열을 발생시키는 상황에서 그 위에 고속으로 작동하는 메모리까지 올려야 하기 때문이다.
뜨거운 난로 위에 또 다른 난로를 올리는 것과 비슷하다. 삼성전자는 열을 별도의 경로로 빠르게 외부로 전달하는 열 방출 구조를 통해 이 문제를 해결한다는 개념을 제시했다. HBM과 AI 가속기 사이에 열이 이동할 수 있는 경로를 확보해 3D 적층으로 발생하는 열을 효과적으로 빼내겠다는 구상이다. 삼성전자는 zHBM의 열저항을 HBM5 대비 절반 이하로 낮출 수 있을 것으로 전망했다.
AI 반도체에서 데이터 이동은 갈수록 중요해지고 있다. AI 모델의 크기가 커지면서 메모리에서 가져와야 할 데이터가 폭증하고 있기 때문이다. 특히 추론 과정에서는 모델의 이전 문맥을 저장하는 'KV 캐시'가 늘어나면서 메모리 용량과 대역폭뿐 아니라 데이터를 얼마나 적은 전력으로 이동시키느냐가 중요한 문제가 되고 있다. 이 때문에 HBM 경쟁의 기준도 달라질 가능성이 높다.
ADVERTISEMENT
해당 사안에 정통한 한 엔지니어는 "지금까지는 D램 미세공정과 적층 단수, TSV, 대역폭, 수율이 핵심이었지만 앞으로는 3D 패키징, HCB, 열관리, 전력 공급, 로직 공정, AI 가속기와의 공동 설계가 함께 중요해진다"며 "삼성전자는 메모리와 파운드리(반도체 수탁생산), 첨단 패키징을 모두 보유하고 있는 만큼 AI 가속기와 메모리를 처음부터 함께 설계하고 최적화하는 '원스톱' 경쟁력으로 경쟁사를 압도할 것"이라고 목소리를 높였다.
낸드도 위로 쌓는다… 'zNAND-O' 공개
삼성전자가 이번에 함께 공개한 낸드솔루션도 주목해야 한다. 특히 zNAND-O는 기기 자체에서 AI를 구동하는 '온디바이스 AI'에 최적화된 고성능 낸드다. 반도체 칩에 미세한 구멍을 뚫어 칩 상하단을 전극으로 연결하는 TSV 기술을 활용해 실시간 초고속 데이터 처리를 지원한다.삼성전자는 수직으로 400단 이상을 쌓아 올린 10세대 V낸드(V10 BV-NAND)도 공개하며 낸드 기술 주도권을 공고히 했다. V10 BV-낸드는 두 장 이상의 웨이퍼를 수직으로 붙이는 기술인 웨이퍼 본딩과 3개의 낸드 묶음을 연결하는 3스택 기술을 적용했다. 이를 통해 전 세대(V9)보다 같은 면적에 저장할 수 있는 데이터 양을 약 58% 늘렸으며, 데이터 읽기·쓰기 성능·속도도 끌어올렸다고 강조했다.
이 외에도 신규 열관리 기술인 '히든패스블록(HPB)을 적용한 HBM5 모형과 메모리 내부에서 직접 연산을 수행하는 저전력더블데이터레이트(LPDDR)5X 기반 프로세싱인메모리(PIM) 등 고성능 컴퓨팅과 AI 데이터센터에 최적화된 차세대 메모리·스토리지 솔루션을 차례로 선보였다.
내부 사정에 정통한 한 삼성전자 관계자는 "이번 기술 발표는 전영현 부회장 겸 디바이스솔루션(DS) 부문장이 2024년 강조한 근원적 경쟁력 회복의 신호탄"이라고 말했다.
강경주 한경닷컴 기자 qurasoha@hankyung.com