“이것은 구글의 딥시크다.”
사이버보안기업 클라우드플레어의 최고경영자(CEO) 매슈 프린스는 구글이 25일(현지시간) 공개한 첨단 메모리 압축 기술 터보퀀트를 이렇게 평했다.
인공지능(AI) 모델 개발이 ‘AI 칩 물량 공세’로 이뤄지던 흐름을 중국 딥시크가 ‘효율적 알고리즘’으로 돌려놨듯, 구글이 AI 연산 최대 병목점인 메모리 문제를 반도체가 아니라 소프트웨어로 해결했다는 의미의 비유다. 터보퀀트가 공개된 이날 메모리 칩 수요 감소 우려로 삼성전자, SK하이닉스 등의 주가가 하락했다.
◇메모리 용량 6분의 1로
터보퀀트는 AI 모델의 메모리 사용량을 대폭 줄일 수 있는 데이터 압축 기술이다. AI 모델은 인간 언어와 이미지를 숫자의 나열이자 데이터 표현의 기본 단위인 ‘벡터’로 이해한다. 벡터는 2·3차원 등 n차원 벡터로 표현된다. 28×28 픽셀의 흑백 이미지는 784차원의 벡터가 되는 식이다.
이미지와 영상 등 복잡한 정보를 담아내는 고차원 벡터는 더 많은 메모리 용량을 차지한다. 고차원 벡터가 쌓이면 AI와 사용자가 나눈 대화의 맥락을 저장하는 KV캐시(key value cache)에 병목 현상이 발생한다. 인터넷 브라우저에 캐시가 많이 쌓이면 웹서핑이 느려지는 이치와 같다.
KV캐시는 AI가 정보의 맥락인 키(key)와 정보값인 밸류(value)를 담아두는 ‘임시 메모장’ 역할을 한다. KV캐시가 없으면 AI는 사용자와의 이전 대화를 기억하지 못해 늘 새로운 대화를 하게 된다. AI를 일상적으로 쓰는 사용자가 늘자 엔비디아 등 반도체기업이 자사 AI 칩에 장착되는 KV캐시 비중을 더욱 높이는 이유다. 고대역폭메모리(HBM) 수요가 급증한 것도 KV캐시를 주로 HBM에 저장해서다.
빅테크는 KV캐시 병목을 해결하기 위해 고차원 벡터를 압축하는 ‘벡터 양자화’ 기술을 활용했다. 어깨·가슴·팔 치수를 센티미터(㎝) 단위로 표기하는 대신 L·M·S 사이즈로 규격화하듯 데이터를 표준화해 묶는다. 이 방식은 치수표를 따로 보관하듯 압축된 데이터를 해석하는 데 필요한 별도 데이터가 또다시 메모리를 차지하는 문제가 있었다.
◇“기기용 메모리 수요 늘 것”
구글은 극좌표를 활용한 압축 기술을 적용했다. 기존에 AI 데이터를 X·Y·Z축으로 이뤄진 ‘직교좌표계’ 위에 저장했다면 터보퀀트는 이를 각도와 거리를 이용한 극좌표계 위로 올린 것이다. “‘동쪽으로 3블록, 북쪽으로 4블록 이동’하던 방식을 ‘5블록만큼 37도 이동’으로 바꾸는 것과 비슷한 방식”이라고 구글은 설명했다. 직교좌표계에서는 한 축의 데이터 값이 극단적으로 높으면 메모리 용량이 급증하는 데 비해 극좌표계에서는 거리·각도 데이터가 균일하게 유지돼 메모리를 압축할 수 있다.
구글은 터보퀀트 기술을 오픈소스 AI 모델인 구글 젬마와 미스트랄 등에 적용한 결과 데이터를 거의 손실하지 않고 KV캐시 용량을 6분의 1로 줄였고, 엔비디아의 H100 그래픽처리장치(GPU) 성능을 여덟 배 높였다고 밝혔다. 구글은 자사 AI 모델 제미나이와 검색 기능에 이 기술을 적용할 계획이다.
터보퀀트 기술이 공개되자 메모리 반도체 회사들의 주가가 급락했다. 26일 삼성전자는 전 거래일보다 4.71% 하락한 18만100원에 거래를 마쳤다. SK하이닉스는 6.23% 내린 93만3000원에 장을 마감했다. 마이크론(-3.4%) 샌디스크(-3.5%) 키옥시아(-5.7%) 등 글로벌 메모리 칩 기업도 충격을 피하지 못했다.
일시적인 충격에 불과하다는 반론도 나온다. 앤드루 잭슨 오터스어드바이저스 애널리스트는 “극심한 메모리 칩 공급 제약을 고려할 때 터보퀀트는 수요에 큰 영향을 미치지 못할 것”이라고 했다. 생산 효율성이 향상돼 수요가 오히려 늘어나는 ‘제번스의 역설’이 메모리 칩 시장에서 일어날 것이라는 전망도 나온다. 브렛 로즌솔 ARMR인베스팅 창업자는 “메모리의 한계로 데이터센터에서만 구동되던 AI 모델을 PC, 스마트폰에 장착할 수 있게 돼 디바이스용 메모리 칩 수요가 늘어날 수 있다”고 했다.
모건스탠리는 터보퀀트 기술이 추론 단계의 KV캐시에만 영향을 미칠 뿐 AI 모델의 학습과는 무관하다고 지적했다.
실리콘밸리=김인엽 특파원 inside@hankyung.com