이에 비해 TPU는 특정 업무만 빠르게 처리하도록 만든 전용 칩에 가깝다. 공장에서 하나의 작업을 효율적으로 수행하는 특수 기계에 비유할 수 있다. 이 교수는 “딥러닝의 핵심인 행렬 계산에 최적화됐기 때문에 TPU가 GPU보다 높은 에너지 효율과 많은 처리량을 보이는 사례가 적지 않다”고 설명했다. 다만 특정 기능에 특화된 만큼 GPU처럼 범용적으로 쓰기는 어렵다.
그럼에도 구글, 메타, 아마존 등 빅테크가 ‘탈(脫)엔비디아’를 시도하는 가장 큰 이유는 비용이다. 최신 GPU 가격이 중형 세단 한 대 값에 육박하는 수준까지 가파르게 올라 AI 모델을 돌리는 비용이 기업 실적을 좌우할 정도로 커져서다. 기술 종속 우려도 빅테크의 리스크로 떠올랐다. 쿠다 생태계에 갇히면 데이터센터 운영과 AI 전략 측면에서 자율성을 확보하기 어렵다.
현장 엔지니어 사이에선 성능 차별화 문제도 제기되고 있다. 모두가 같은 GPU를 쓰면 서비스 속도나 품질에서 우위를 확보하기 어렵다는 판단이 기술자 사이에서 나오기 시작했다. 업계에선 향후 2~3년 내 AI 칩 패권의 향방이 갈릴 것으로 보고 있다.
강경주 기자 qurasoha@hankyung.com