이 기사는 국내 최대 해외 투자정보 플랫폼 한경 글로벌마켓에 게재된 기사입니다.
‘인공지능(AI)이 쓰는 메모리를 6분의 1, 20분의 1로 압축할 수 있다.’ 이 헤드라인에 메모리 반도체 주가가 우수수 휩쓸렸습니다. 지난 한 주 엔비디아와 구글이 각각 공개했다는 '메모리 압축' 기술에 마이크론, 샌디스크, 웨스턴디지털, 삼성전자, SK하이닉스까지 줄줄이 주가가 흔들린 이야기입니다. AI가 메모리를 덜 쓴다면, HBM(고대역폭메모리)과 DRAM·NAND 등 메모리와 스토리지용 반도체 수요도 그만큼 줄어드는 것 아니냐는 걱정이 안 그래도 많이 올랐던 메모리 기업들의 주가를 덮쳤습니다. 지난해 1월 엔비디아 주가를 하루 만에 17% 급락시켰던 중국발 '딥시크 쇼크'를 연상시키는 장면이었습니다.
딥시크가 그랬듯, 월가는 이런 공포가 과도하다고 선을 긋습니다. 글로벌 주요 메모리 기업 주가가 이미 반 년 만에 8배 뛴 만큼 '고점'에 대한 우려가 이미 있었고, 미국·이스라엘과 이란 전쟁으로 리스크 축소가 진행되고 있던 와중에 "이미 메모리 비중을 줄이려던 투자자들에게 매도의 빌미가 됐다(JP모건 트레이딩데스크)"는 것입니다. 메모리 주가가 악재에 취약해진 데엔 하이퍼스케일러들의 천문학적인 AI 자본지출(CAPEX)이 과연 지속 가능한지에 대한 우려도 깔려 있습니다.
오히려 업계 전문가들과 월가에선 이런 기술 혁신이 장기적으로 AI 확산을 가속화해 메모리 수요를 더욱 늘릴 것이라고 분석합니다. ‘기술이 효율화될수록 비용이 낮아지고 채택이 확산되면서 총수요가 증가한다’는 제번스의 역설이 작동할 것이란 뜻입니다. 모건스탠리는 "(공급망 전반을 체크한 결과) 메모리나 스토리지에 대한 수요가 감소하고 있다는 징후는 전혀 없다"면서 "(메모리 압축 기술로 인한) 메모리 사용량 감소는 일부 영역에 국한된 것에 불과하며, AI 성능 향상을 위해선 여전히 메모리가 핵심 요소"라고 강조했습니다.
씨티증권에 따르면 샌디스크는 26일(현지시간) 투자자들과 만난 자리에서 "압축 기술은 AI를 보다 효율적이고 광범위하게 도입할 수 있는 수단이자 하이퍼스케일러의 투자수익률(ROI)을 더 높이는 수단이 될 것"이라며 "더 낮아진 메모리 요구량은 전반적인 AI 도입 확대로 상쇄돼 추론 중심의 스토리지 수요를 오히려 뒷받침하게 될 것"이라고 했습니다.
사실 엔비디아와 구글의 메모리 압축 기술 모두 새로 나온 것이 아닙니다. 엔비디아는 작년 11월, 구글은 작년 4월 이 기술을 담은 논문을 처음 발표했습니다. 그럼에도 지금 주가에 이만큼이나 영향을 주고 있는 것은 왜일까요. 그래서 압축 기술이 뭐길래이번에 문제(?)가 된 메모리 압축 기술은 정확히 말해 'KV(키밸류) 캐시'를 더 작게 만드는 기술입니다. 엔비디아는 이를 목표로 'KV 캐시 트랜스폼 코딩(KVTC)'이란 기술을, 구글은 '터보퀀트'라는 알고리즘을 개발했습니다.
KV 캐시는 쉽게 말해 AI의 작업용 임시 메모장 같은 겁니다. 우리가 긴 대화를 할 때 빠르고 효율적으로 말을 이어가기 위해 그때그때 메모를 하듯, AI도 앞서 대답한 내용을 기억하기 위해 임시 메모리에 저장을 해놔야 합니다. 이 임시 메모장이 KV 캐시입니다.
문제는 우리가 AI와 나누는 대화가 더 길어지고 깊어질 수록, 추론의 비중이 높아질 수록, 또 에이전트 AI의 등장으로 업무가 훨씬 더 복잡해질 수록 이 메모장도 기하급수적으로 늘어난다는 겁니다. 정작 연산을 담당하는 GPU의 메모리와 대역폭을 다 잡아먹을 정도로 말이지요. 이 때문에 AI의 GPU는 더 빠르게 더 많은 일을 하고 싶어도 메모리로부터 데이터를 기다리느라 가동률이 떨어지는 문제까지 벌어지고 있습니다.
이 문제를 해결하기 위해 다양한 기술 혁신이 진행되고 있습니다. KV 캐시가 차지하는 데이터를 압축해 메모리 부담을 줄이자는 것도 그 중 하나입니다. 그리고 그것이 엔비디아 KVTC와 구글 터보퀀트의 핵심입니다. KVTC는 마치 사진과 영상을 압축하듯이 KV 캐시도 중복되거나 불필요한 정보는 압축해버리자는 기술입니다. 엔비디아에 따르면 정확도 손실은 거의 없으면서도 최대 20배, 특정 경우엔 40배 이상 KV 캐시를 압축할 수 있습니다. 구글은 터보퀀트 알고리즘으로 데이터 구조를 단순화해 압축한 뒤 오류를 후보정하면 KV 캐시 메모리를 최대 6배 압축하고, 특정 연산 속도를 최대 8배 높일 수 있다고 보고했습니다. "AI 더 확산시킬 호재" 이 기술을 두고 시장은 일단 KV 캐시가 잡아먹던 메모리 용량이 줄어들면 HBM과 DRAM, NAND 수요가 모두 줄어드는 것으로 해석했습니다. 반도체 주가가 줄줄이 흔들린 이유입니다.
그러나 월가와 전문가들은 이런 우려를 일축합니다. 모건스탠리는 이런 기술이 임시 메모리(KV 캐시) 부담을 덜어주지만, AI 자체를 학습시키는 데 필요한 메모리나 모델 자체의 가중치 저장을 담당하는 HBM 수요에는 전혀 영향을 주지 않는다고 강조합니다. KV 캐시 압축 기술이 앞으로 더 발전한다 하더라도 이를 통해 줄일 수 있는 메모리와, AI가 여전히 많이 필요로 하는 메모리는 서로 다른 종류라는 얘기입니다.
무엇보다 기술 혁신을 통해 토큰당 비용이 하락하면 오히려 메모리 제조사에 장기적으로 유리하다고 강조합니다. 이런 기술로 GPU의 효율이 높아지고 동일한 자원으로 더 많은 토큰을 생산할 수 있게 되면 오히려 AI 채택이 더 늘어나 장기적으로 메모리 수요도 더 늘어날 것이라는 뜻입니다. 기술 효율이 좋아져 단가가 하락하면 소비가 줄어드는 게 아니라 오히려 총수요가 기하급수적으로 늘어난다는 '제번스의 역설'입니다. 이 논리는 지난해 중국 딥시크의 저비용 AI 모델이 발표됐을 때도 제기됐습니다. 결국 사실로 판명됐지요.
지금도 하이퍼스케일러들은 폭증하는 수요를 따라가지 못해 급급한 상황입니다. 그런데 AI 효율이 높아지고 토큰당 비용이 낮아지면 지금까진 비용 부담 때문에 주저하던 기업과 개인들도 AI 제품을 도입할 수 있습니다. 하이퍼스케일러와 AI 플랫폼 기업 입장에선 'AI가 돈이 되느냐'는 시장의 의구심을 푸는 데 도움이 됩니다. 메모리 제조사 입장에선 결국 전체 시장의 파이가 커지니 괜찮습니다. 에이전트 넘어 피지컬 AI까지전체 파이가 어디까지 커질 수 있느냐에 대한 의구심은 남을 수 있습니다. 하지만 단순 챗봇을 넘어 AI가 추론 능력과 실제 업무 수행 역량을 갖춘 에이전트로, 또 휴머노이드·자율주행차 등의 형태로 물리 세계에서 움직이는 피지컬 AI로 나아가면서 메모리에 대한 갈증은 더욱 심해질 전망입니다. AI가 고도화할 수록 더 많은 맥락을 담고 처리할 수 있는 하드웨어도 더 많이 필요해지기 때문입니다.
노무라증권에 따르면 단순 질의응답을 주고받는 AI 챗봇이 20개의 출력 토큰을 생산한다면, 모델을 만들고 보고서를 작성하는 에이전트 AI는 1만 개, 1시간짜리 영상을 생성하는 AI는 1억 개의 출력 토큰을 생산했습니다.
현실 세계에서 끊임없이 보고 듣고 움직이고 추론하며 판단해야 하는 피지컬 AI는 어떨까요. 로봇이 방 안을 가로질러 책상 위 물건을 집으려면 몇 초 전 사람의 지시, 방금 본 장애물의 위치, 현재 손의 위치, 이전에 시도했다 실패한 동작 등을 모두 기억하면서 쉼 없이 움직여야 합니다. 상상하기 어려울 만큼 많은 토큰과 메모리를 필요로 할 가능성이 높습니다. 마이크론에 따르면 현재 휴머노이드 로봇 한 대에 필요한 DRAM은 64~128GB, NAND는 1~2TB입니다. 휴머노이드가 상용화할 만큼 그 성능과 규모가 확장될 즈음엔 압축 기술이 아무리 발전해도 엄청난 메모리가 필요해질 것으로 보입니다. 용량 확장 대신 효율 전쟁으로 결국 이번 이슈의 진짜 메시지는 메모리 슈퍼사이클이 끝났다거나, 메모리가 덜 중요해진다는 것이 아닙니다. 오히려 AI의 병목과 하드웨어 투자의 초점이 '용량 확장'에서 '효율 제고'로 넘어가고 있다는 데 주목할 필요가 있습니다.
앞서 살펴본 것처럼 AI 산업에 대한 시장의 걱정은 수요가 아닙니다. 수요는 기하급수적으로 늘어나는데 전력은 부족하고, 메모리 공급 부족도 2028년은 돼야 풀린다고 합니다. 첨단 칩과 메모리 가격은 천정부지로 뜁니다. 4대 하이퍼스케일러는 올해도 6500억 달러를 AI 투자에 쏟아붓고, 엔비디아는 75%, 마이크론은 81%(2분기 가이던스)의 마진을 올립니다. 이런 상황이 지속될 수 있느냐는 게 시장의 걱정입니다.
물론 메모리 기업들의 마진이 얼마가 됐든, AI 수요가 폭증하는데 공급이 부족하면 기업들은 아무리 비싸도 메모리를 사야 합니다. 일론 머스크 테슬라 CEO가 "마이크론과 삼성전자, TSMC 등으로부터 '앞으로도 당신들이 만드는 칩을 다 사겠다'고 했지만 그래도 부족하다"면서 직접 반도체 공장(테라팹)을 짓겠다고 선언한 것만 봐도 알 수 있습니다.
그래도 이 정도로 공급 부족과 가격 상승이 장기화하면 자구책이 절실해집니다. '제한된 자원으로 어떻게 더 효율적으로 AI를 돌릴 것인가'가 모두의 관심사가 된 이유입니다. 젠슨 황 엔비디아 CEO도 이번 GTC에서 "AI 팩토리 성패를 좌우하는 것은 단순 성능 뿐 아니라 토큰 비용과 토큰 처리 속도, 전력당 성능"이라는 메시지로 이 부분을 핵심 공략했습니다. 루빈 GPU가 절대 가격은 비싸 보여도 추론 토큰 비용을 블랙웰 대비 최대 10배 낮추기 때문에 결코 비싼 게 아니라는 논리였습니다.
엔비디아가 KVTC 같은 KV 캐시 압축 기술이나 KV 캐시를 위한 별도 메모리 계층 설계, 저지연 추론 전용 칩(LPU) 등을 내놓는 것도 결국 이 '효율 전쟁'을 주도하기 위함입니다. 기술 업계는 이밖에도 전력 효율, 칩 간 연결, 냉각, CXL(컴퓨트익스프레스링크), PIM(프로세싱인메모리) 등 다양한 혁신을 시도하고 있습니다.
이렇게 AI 인프라 전쟁의 초점이 '더 많이 깔기'에서 '더 효율적으로 돌리기'로 이동하면서 AI 투자의 수혜 범위도 확산될 가능성이 높습니다. 챗GPT가 처음 등장했을 땐 엔비디아의 GPU가, 그 다음엔 HBM이, 이어 전력 인프라와 메모리·스토리지가 시장을 이끌었습니다. 이제 다음 국면에선 효율을 극대화하는 기술들이 새로운 수혜 축으로 부상할 수 있습니다. 데이터 지연을 최대한 없애고 전력 효율적으로 칩을 연결하기 위한 광모듈·광트랜시버·네트워크 장비 등이 최근 급등한 것도 이런 맥락입니다.
앞으로도 이런 효율화를 위한 기술 혁신은 계속될 것입니다. 그러나 AI의 진화는 이제 시작이라는 판단에 동의한다면 그때마다 메모리 시대는 이제 끝났다는 공포에 휩쓸릴 필요는 없습니다. 투자자 관점에서 중요한 건 AI가 진화하는 한 병목은 계속 바뀌고, 그 병목을 푸는 기술이 다음 국면의 수혜를 만든다는 점입니다.
(※구체적인 종목에 대한 분석을 포함한 보다 자세한 내용은 한경글로벌마켓 유튜브 채널 <빈난새의 빈틈없이월가> 동영상을 통해 보실 수 있습니다. 매도·매수 추천이 아닙니다.)
뉴욕=빈난새 특파원 binthere@hankyung.com