이 기사는 국내 최대 해외 투자정보 플랫폼 한경 글로벌마켓에 게재된 기사입니다.
오픈AI의 챗GPT냐, 구글의 제미나이냐. 엔비디아의 그래픽처리장치(GPU)냐, 구글의 텐서처리장치(TPU)냐. 인공지능(AI) 버블론을 구실로 한동안 조정을 겪던 기술주가 이젠 구글이 일으킨 지각변동에 따라 울고 웃고 있습니다.
구글의 제미나이 3.0과 나노 바나나 프로가 챗GPT와 소라를 능가했다는 평가가 쏟아지면서 구글이 제미나이로 'AI 모델 대장' 자리는 물론, 그 제미나이를 훈련시킨 자체 개발 칩 TPU로 엔비디아의 아성까지 노린다는 서사가 부상했기 때문입니다. 엔비디아 칩에 의존하고 있는 메타가 구글 TPU의 직접 구매까지 논의하고 있다는 지난 24일(현지시간) 보도는 여기에 더 불을 붙였습니다.'
이런 스토리에 지난 며칠 고초(?)를 겪은 것은 이른바 '오픈AI 진영'으로 묶인 기업들입니다. 오라클은 26일까지 지난 한 달 간 27% 하락하며 9월 오픈AI와의 파트너십 발표 이후 주가 상승분을 고스란히 반납했고, 마이크로소프트(-8.7%) AMD(-17.5%) 그리고 엔비디아(-5.9%)까지 주가 부진이 두드러졌습니다.
반면 구글은 한 달 새 19%, TPU 제조 파트너 브로드컴은 10% 뛰었습니다. 구글은 무려 6년 만에 마이크로소프트를 제치고 시가총액 3위에 등극했지요. 하이퍼스케일러 가운데 유일하게 AI 수직 계열화를 완성한 '풀 스택(full stack)' 기업으로서의 잠재력을 드디어 발산하기 시작한 겁니다. 조만간 시총 4조 달러 선을 넘어 1위 엔비디아의 왕좌를 넘보는 것 아니냐는 기대도 큽니다.
지금 시장을 흔들고 있는 구글의 AI 풀 스택 전략 핵심은 자체 제작 AI 칩인 TPU입니다. TPU가 뭐길래 AI 가속기 시장을 사실상 독점하고 있는 엔비디아마저 이 스토리에 흔들리고 있는 걸까요? 정말 구글이 엔비디아를 대체하는 게 과연 가능할까요?
"구글, '풀 스택 AI' 갖춘 유일한 회사"
순다르 피차이 알파벳(구글) CEO는 지난 10월 말 실적 발표 당시 구글의 차별적이고 지속적인 AI 경쟁력으로 "풀 스택 AI를 구축했다"는 점을 수 차례 강조했습니다. “데이터센터와 네트워크, TPU 같은 커스텀 실리콘(반도체), 제미나이 모델, 그리고 검색·유튜브·크롬·안드로이드 등 사람들이 매일 쓰는 제품까지” 수직적으로 연결된 AI 인프라-기술-애플리케이션 전체를 직접 구축하고 통제한다는 겁니다. 덕분에 AI 수요 증가에 맞춰 모든 층에서 혁신과 최적화를 이룰 수 있어 비용·성능·속도 면에서 유리하다는 논리입니다.실제로 구글은 자체 연구소 구글 딥마인드에서 파운데이션 모델(제미나이)을 직접 개발하고, 이를 자체 제작 칩(TPU)과 독자적인 데이터센터를 이용해 훈련시킵니다. 직접 클라우드 서비스(구글 클라우드)도 운영하니 모델을 가동하고 호스팅하는 데에도 어려움이 적습니다. 전 세계 20억 명 소비자의 손에 직접 AI 서비스를 전달할 수 있는 플랫폼(크롬·유튜브·검색·안드로이드·워크스페이스·웨이모·픽셀 등)도 풍부합니다.
반면 오픈AI는 파운데이션 모델(GPT)과 애플리케이션(챗GPT)은 강하지만 자체 하드웨어가 아직 없습니다. 마이크로소프트는 윈도우·코파일럿·오피스 등 애플리케이션 강자지만 자체 AI 모델(MAI)이나 자체 개발 칩(마이아) 모두 구글에 비해 많이 뒤처져 있습니다. 클라우드 1위 아마존웹서비스는 자체 칩(트레이니움)이 마이아보다는 앞서 있다는 평가를 받지만 TPU엔 열위입니다. 자체 모델(타이탄)도 그렇고요.
AI 연산 특화 가성비 TPU VS 만능이지만 비싼 GPU
이런 구글의 풀 스택 AI 전략의 핵심은 TPU입니다. 이제야 모두가 주목하지만 구글은 TPU를 이미 2013년부터 개발하기 시작했습니다. 머신러닝과 딥러닝이 성공하면 어마어마한 데이터센터 용량이 필요해질 것임을 일찌감치 깨달았기 때문입니다.
이에 대비해 구글은 특정 AI 연산(행렬 곱셈)을 가장 빠르고 효율적으로 할 수 있도록 특화한 맞춤형 반도체를 직접 설계하기로 했습니다. 피차이 CEO는 최근 로건 킬패트릭의 팟캐스트에서 "그때 이미 또 다른 플랫폼의 변화가 올 것을 직감하고 하드웨어부터 준비했다"고 말했습니다. 그게 바로 TPU입니다. 2015년 1세대 이후 현재 7세대까지 나왔습니다.
이렇다 보니 TPU는 GPU와 성능도 강점도 다릅니다. 엔비디아의 GPU는 말 그대로 그래픽 처리를 위해 개발된 장치입니다. AI 연산 뿐 아니라 3D 그래픽, 시뮬레이션, 데이터베이스 연산 등 다양한 종류의 병렬 계산을 동시에 엄청나게 많이 처리할 수 있도록 설계됐습니다. 특정한 작업만 잘하는 TPU와 달리 할 수 있는 일이 많고 전체 성능도 훨씬 뛰어납니다.
대신 TPU는 전력 소모가 많고 무거운 GPU보다 '가성비(가격 대비 성능)'가 좋습니다. 와트당 연산량을 극대화했다는 겁니다. 모건스탠리의 분석에 따르면 엔비디아 칩이 총 성능에서는 압도적이지만 전력 대비 성능 면에서는 구글 6세대 TPU가 엔비디아 GB200과 비슷한 수준이었습니다.
'엔비디아 세금' 구조 깬 구글
이런 자체 칩 개발이 중요한 이유 첫 번째는 수익성입니다. 75%에 달하는 엔비디아의 마진율이 보여주듯, 현재 하이퍼스케일러들은 사실상 AI 가속기 시장을 독점하고 있는 엔비디아로부터 아무리 비싸도 줄 서서 GPU를 사오는 상황입니다. 대체재가 없기 때문입니다. 전통적으로 50~70% 수준인 클라우드 회사들의 마진이 AI 워크로드에 한해선 20~35%대에 불과한 것도 이 때문이지요. '엔비디아 세금'이란 말이 나오는 이유입니다. 
그래서 마이크로소프트·아마존·메타·xAI·오픈AI 모두 맞춤형 반도체(ASIC) 개발에 힘쓰고 있지만, 이미 10년의 노하우를 쌓은 구글 TPU가 압도적인 우위에 있습니다. 덕분에 구글 클라우드는 2023년 1분기 이미 손익분기점을 돌파하고 영업이익이 가파르게 성장하고 있습니다. 결국 구글 TPU의 부상은 엔비디아의 높은 마진이 지금처럼 유지될 수 있을지에 대한 의구심을 자극하고 있습니다.
비용만의 문제는 아닙니다. 현재 모든 하이퍼스케일러와 AI 모델 회사들의 고민은 컴퓨팅 용량과 자원이 부족하다는 겁니다. 첨단 AI 칩을 만드는 데 필요한 TSMC의 생산 능력과 이를 배치할 전력의 한계 때문에 급증하는 AI 수요를 공급이 따라가지 못하고 있다는 것이지요. 엔비디아 GPU가 아무리 비싸도 모두가 줄 서서 사가는 이유입니다.
이런 상황에서 구글 TPU는 극심한 공급 갈증을 일부 해소해줄 수 있습니다. 이제까지 구글은 내부 용도로만 TPU를 사용했지만, 이런 수요를 노리고 올 여름부터 외부 판매 전략으로 선회했습니다. 지난달 아마존웹서비스 기반으로 운영하던 앤스로픽이 구글클라우드와 계약을 맺고 TPU 최대 100만 개를 활용하기로 한 게 그 첫 결실이었습니다. 만약 메타가 정말 TPU를 도입하면 하이퍼스케일러 가운데 첫 사례가 됩니다.
디인포메이션은 젠슨 황 엔비디아 CEO가 이런 동향을 치밀하게 파악하면서 TPU에 관심을 보이는 업체들을 가로채고 있다고 보도했습니다. 오픈AI에 1000억 달러 투자를 한 것도 올 상반기 오픈AI가 TPU에 관심을 보였기 때문이라는 겁니다. 번스타인 역시 "메타가 구글과 TPU 논의를 하는 것도 엔비디아와의 협상력을 높이기 위한 레버리지일 가능성이 크다"고 분석했습니다.
"엔비디아 GPU 대체는 불가능"
이런 사실들로 볼 때 구글 TPU가 대규모 모델을 돌리는 데 필요한 AI 연산 영역에서만큼은 엔비디아 GPU의 경쟁자로 부상하고 있다는 평가가 틀리지 않습니다. 그렇다면 정말 구글이 엔비디아를 대체할 수 있을까요? 결론부터 말하면 엔비디아를 대체하긴 쉽지 않아 보입니다. 첫째, 엔비디아 독점의 핵심 비결인 CUDA(쿠다) 기반 소프트웨어 생태계 때문입니다. CUDA는 개발자들이 GPU를 프로그래밍할 수 있도록 지원해주는 소프트웨어입니다. 이미 전 세계 개발자들의 기본 툴로 자리 잡았는데, 엔비디아 GPU에서만 작동합니다. 엔비디아는 더 나아가 350개 이상의 전문 기능 라이브러리(쿠다 X)까지 구축해 생태계 락인(lock-in) 효과를 공고히 하고 있습니다.
구글도 이 장벽을 넘기 위해 나름의 무기를 장착했습니다. 개발자용 코딩 도구 JAX와 가속기 컴파일러 XLA의 조합으로 개발자가 TPU를 쉽게 쓸 수 있게 소프트웨어를 함께 제공한 겁니다. 엔비디아 CUDA 역할을 하는 것이 XLA입니다. DA데이빗슨에 따르면 이 덕분에 올 2월~8월 TPU에서의 개발자 활동이 전년 대비 두 배 증가했다고 합니다.
하지만 여전히 한계는 있다는 게 전문가들의 중론입니다. 특히 엔비디아의 CUDA-X 라이브러리를 따라잡으려면 몇 년이 걸릴 수 있습니다. 뱅크오브아메리카는 "엔비디아가 여전히 AI 생태계를 압도하고 있다"고 했습니다.
이어 "주요 클라우드와 대부분의 대규모 언어모델(LLM)에서 GPU가 사용되고 있는 것과 달리 TPU는 구글 클라우드에서만 써야 한다는 것도 부담"이라고 지적했습니다. 가트너의 가우라브 굽타 애널리스트는 “AI 개발 속도상 고객의 모델이 바뀌면 범용성이 높은 GPU가 더 적합하기 때문에 GPU를 완전히 대체하는 것은 불가능하다”면서 "구글도 여전히 엔비디아의 주요 고객"이라고 했습니다.
나아가 지금의 생성형 AI 단계를 지나 물리적 AI 시대로 나아가면 더더욱 GPU와 TPU의 성능 격차가 두드러지게 됩니다. 물리 세계에서 다양한 데이터를 처리하고 직접 몸을 움직여야 하는 물리적 AI는 TPU만으로 구동하긴 어렵기 때문입니다.
AI 버블 대신 확산 가속 '윈윈'
10년 이상 칼을 갈아온 구글의 비상은 분명 AI 패권 경쟁의 판을 흔들고 있습니다. 특히 엔비디아 마진 축소 가능성은 단기적으로 주가 밸류에이션을 낮추는 요인입니다. 스카겐 투자의 알렉산드라 모리스 이사는 “엔비디아는 앞으로도 놀라운 성장을 이어가겠지만, 이제 시장은 경쟁 가능성을 더 경계하게 될 것”이라며 “데이터센터 구축에 필요한 칩을 엔비디아만 공급할 것이라는 기존의 내러티브는 더 이상 유효하지 않다"고 했습니다.뱅크오브아메리카의 비벡 아리아 애널리스트는 AI 데이터센터 시장이 2030년까지 약 5배 성장해 약 1조2000억 달러에 이를 것이라면서 "엔비디아는 이 시장에서 여전히 주도적 지위를 유지하겠지만, 점유율은 현재 추정치인 85%에서 75%로 다소 낮아질 것"이라고 했습니다.
하지만 여전히 엔비디아의 시장 리더 지위는 견고해 보입니다. 씨티는 "구글 TPU와 아마존 트레이니움을 포함한 맞춤형 XPU의 점유율 확대는 이들 회사에게 비용 우위를 제공할 것"이라면서도 "GPU의 매출 비중이 계속 높게 유지될 것으로 전망한다"고 했습니다. AI 가속기 시장에서 GPU 매출 비중 전망치는 2025년 90%, 2028년 81%로 제시했습니다.
이번 '구글의 난'은 AI 버블 우려를 잠재우는 데 도움이 될 수도 있습니다. 반도체 병목이 완화되고 AI 칩 가격이 내려가면 버블론의 핵심이었던 과잉투자와 수익화 우려를 덜 수 있기 때문입니다. 또 비용 부담이 낮아지면 더 많은 기업과 스타트업이 AI를 채택해 산업 가속화에 기여할 수 있습니다.
뉴욕=빈난새 특파원 binthere@hankyung.com