구글, 아마존, 마이크로소프트, 메타 등 하이퍼스케일러(Hyperscaler)는 초거대 AI 모델 확산과 함께 AI반도체 수요가 폭증하자, 엔비디어 범용 GPU에 대한 의존이 구조적 리스크가 되고 있음을 인식했다. 그래픽처리장치(GPU)는 뛰어난 범용성과 생태계를 갖추고 있지만, 가격이 비싸고 공급이 제한적이며, 자사 서비스에 완전히 최적화되기 어렵다는 한계를 가진다. 이에 따라 하이퍼스케일러의 자체 칩 개발이 본격화되고 있다. 또한 AMD 같은 후발 주자들의 추격이 맞물리며, AI 반도체 시장은 엔비디아의 독주 체제 속에서 전례 없는 격전지가 되어가고 있다. 엔비디아의 독점 시장 구조는 다극화 되고 있는 양상이다. 바야흐로 AI 반도체 전쟁이 본격화되고 있다. 컴퓨팅 연산용 AI 반도체 GPU와 NPUAI 반도체는 사용처에 따라서 데이터센터용, 엣지향(온디바이스AI) 으로 구분되고, 어떤 일을 하느냐에 따라서 학습(training)용과 추론(inference)용으로 나눌 수 있다. 그리고 구현방법을 고려해서 크게 GPU, NPU, TPU가 활용된다.
GPU는 AI 반도체의 여전히 핵심 역할을 담당하고 있고 엔비디아가 주도하고 있다. 엔비디아가 AI 산업의 주축으로 떠오른 이유는 그래픽 처리에 쓰이던 GPU(Graphics Processing Unit)가 AI연산에 사용되면서다. GPU는 컴퓨터 그래픽 처리를 위한 용도로만 쓰였는데, 2006년 처음으로 CPU의 응용 프로그램 계산에 GPU의 연산 처리 성능을 사용하는 GPGPU(General Purpose computing on Graphics Processing Units, GPU 상의 범용 계산) 기술이 등장하게 된다. 엔비디아가 그래픽 카드 기업에서 AI기업으로 거듭난 이유가 바로 이GPGPU 기술을 AI연산에 가장 빠르게 활용하였기 때문이다.
수천 개의 연산 유닛을 동시에 구동하는 병렬 처리 구조 덕분에 대규모 딥러닝 학습에 가장 적합하다. 현재도 데이터센터 AI 투자 대부분은 GPU 기반이며, 최신 GPU는 학습뿐 아니라 추론 성능까지 강화하며 범용성을 넓히고 있다. 다만 GPU가 단순 연산 처리에 최적화된 구조인 까닭에 전력 소모량과 비용이 높다는 게 단점이다. 그래서 등장 한것이 AI 처리에 특화된 NPU(Neural Processing Unit)이다.
NPU는 신경망 전체의 연산 흐름을 효율적으로 처리하는 데 목적을 둔 반도체이다. 단순한 행렬 곱뿐만 아니라 합성곱, 활성화 함수, 정규화, 어텐션 등 실제 신경망 추론에 필요한 다양한 연산을 하드웨어 차원에서 최적화한다. GPU는 범용 AI 연산이 가능하지만, NPU는 특정 AI 연산(CNN, Transformer, RNN 등)에 맞게 구조를 설계하여 AI 추론이나 엣지 디바이스에서 최소한의 전력으로 최대한의 성능을 낼수 있다. 특히 스마트폰, 자동차, 로봇, 드론과 같은 엣지 디바이스에 탑재되기 때문에 저전력,저지연 특성이 가장 중요한 설계 목표가 된다. 이로 인해 NPU는 대개 SoC 내부 IP 형태로 CPU, GPU(적은 성능)와 함께 통합되어 사용되며, 실시간 판단과 즉각적인 반응이 요구되는 환경에서 강점을 가진다.
NPU의 일종인 TPU가 있다. 구글의 AI 모델 ‘제미나이3’가 챗GPT를 위협하는 성능을 보이자, 이를 학습시킨 TPU에 관심이 쏠린다. 이 TPU는 오래전에 개발이 시작되었다. 2016년 이세돌과 대결을 펼쳤던 알파고1.0 부터 TPU가 사용되었지만, 인공지능의 학습 방식이 기존 GPU만 사용하던 때와 큰 성능차이가 없어서 TPU의 장점이 바로 드러나지 못했다. 그러다가 2017년 커제 9단과 맞붙는 알파고 2.0은 TPU의 장점을 최대한 살릴 수 있었다.
TPU는 대규모 데이터센터 환경에서 AI 모델의 학습과 추론에 모두에 최적화되어 있는 반면 NPU는 주로 추론에 특화되어 있다. TPU는 GPU 대비 전력 효율과 비용 효율이 높아 대규모 모델을 장기간 운영하는 데 유리하다. TPU 핵심은 시스톨릭 어레이(Systolic Array) 아키텍처다. 동일한 기능을 가진 처리요소(Processing Element)들을 격차 형태로 배치하고, 물결처럼 흐르면서 각 단계에 필요한 연산을 수행해 낸다. TPU는 주로 구글 클라우드 내부에서 사용되지만, 점차 외부 고객에게도 개방되며, GPU 대체재는 아니지만, 충분히 차별화 수단으로 자리 잡을 것으로 보인다.
2026년 1월27일 마이크로소프트(MS)는 추론에 특화한 AI반도체인 마이아(Maia) 200'을 공개했다. Maia도 TPU처럼 NPU중에 하나라고 보아야 할 것 같다. 그렇지만 TPU는 대규모 학습을 하지만, Maia는 학습은 최소화하고 추론을 강화했다. MS발표에 의하면, Maia는 아마존의 '트레이니엄' 3세대보다 3배 높고, 연산 효율성은 구글의 7세대 텐서처리장치(TPU) '아이언우드'보다 뛰어나다.
데이터 센터 구축시에는 이기종 컴퓨팅(Heterogeneous Computing) 구조로 진화하고 있다. 대규모 모델 학습은 GPU나 TPU가 담당하고, 서비스 단계의 대량 추론은 NPU나 추론 전용 ASIC이 처리하는 방식이 하나의 예가 될 수 있다. 하나의 데이터센터 안에서도 여러 종류의 AI 칩이 역할을 나눠 쓰이는 것이 보편화될 것으로 예상된다. AI반도체 자체 개발에 올인 중인 빅테크 기업들AI 반도체 시장은 GPU 독주 시대에서 벗어나 역할 분화와 공존의 시대로 이동 중이다. 학습 중심의 GPU, 클라우드(학습,추론) 전용 TPU, 추론 중심의 Maia AI반도체, 엣지향의 저전력·고효율 추론용 NPU가 각자의 영역을 확보하며 경쟁과 협력을 동시에 펼치고 있다. 분명한 사실은 엔비디아의 지배에서 벗어나려는 노력이 진행중이라는 점이다. 구글은 학습, 추론 둘다, MS는 학습은 엔비디아 GPU를 사용하고 추론은 벗어 나겠다는 점이 다르다. 중장기적으로는 어떤 단일 칩이 모든 AI 연산을 지배하기보다는, 용도에 맞는 최적의 AI 반도체를 조합해 사용하는 맞춤형 ASIC 구조가 AI 산업의 표준으로 자리 잡을 가능성이 크다. 브로드컴(Broadcom)은 이러한 빅테크 기업들의 칩 설계를 돕는 핵심 파트너로 협력하며 실적이 급성장했다.
하이퍼스케일러들은 자체 AI 반도체가 엔비디아의 GPU를 완전히 대체하기보다는 보완하는 역할을 할 것으로 생각된다. 앞으로 AI 반도체 시장은 엔비디아 중심의 범용 GPU 생태계와, 하이퍼스케일러 중심의 맞춤형 ASIC 생태계가 병존하는 구조로 진화할 것으로 보인다.
이들 기업과는 별개로 움직이는 반도체 기업이 AMD이다. AMD는 전통적으로 CPU(에픽,EPYC)와 GPU(라데온, Radeon) 중심 기업이었지만, 데이터센터 AI 인프라와 AI 지원 PC 시장을 동시에 공략하고 있다.
데이터센터용 AI 가속기 GPU인 AMD 인스팅트 시리즈는 AMD AI 사업의 핵심 축이다. 지난해 10월에는 AMD가 오픈AI에 연간 수백억달러 규모로 AI칩을 공급할 것이라고 발표했다. 2026년 하반기부터 시작하여 수년에 걸쳐 6기가와트에 해당하는 수십만 개의 AMD AI 칩 또는 그래픽 처리 장치(GPU) 공급 내용을 담고 있다. 이와 함께 오픈AI는 거래 기간 동안 AMD의 지분 약 10%를 매수할 수 있는 옵션을 받기로 했다. 이와는 별도로 오픈AI도 자체 칩 개발을 추진중이다.
엔비디아는 AI반도체 경쟁의 출발점이자 최강자이다. 생성형 AI 붐의 실질적 승자는 엔비디아라는 평가가 나올 만큼, 데이터센터용 GPU는 AI 학습과 추론의 사실상 표준으로 자리 잡았다. 엔비디아의 경쟁력은 단순한 칩 성능이 아니라 CUDA를 중심으로 한 소프트웨어 생태계에 있다. 작년말에는 엔비디아는 비독점적 라이선스 계약 형태로 추론 특화 스타트업인 그로크(Groq)의 기술과 핵심 인력을 대규모로 흡수했다. 엔비디아가 훈련 우위에 추론까지 강화하며 시장 지배력을 더 공고히 하려는 시도이다. 향후 AI 칩 전쟁은 더욱 뜨거워질 전망이다. 그러나 경쟁자들이 엔비디아의 독점 지배력을 단기간에 위협하긴 어려울 것으로 예상된다.
또 국내 퓨리오사AI, 리벨리온, 딥엑스, 모빌린트 등 NPU 개발 스타트업들 역시 공급 다변화 움직임을 기회 요인으로 삼아서 노력 중이다. 올해 실제 칩양산이 본격화되며 국내뿐만 아니라 글로벌 AI 인프라 시장으로 진출계획을 가지고 있다. 본격 도약하는 한 해가 되길 응원한다. AI 반도체 전쟁의 또 다른 축 고대역폭메모리 AI반도체와 함께 쓰이는 필수 핵심 메모리인 HBM은 국내 SK하이닉스, 삼성전자와 미국의 마이크론 3사가 공급하고 있다. 시장조사업체 카운터포인트리서치에 따르면 2025년 3분기 매출 기준으로 보면, SK하이닉스(57%), 삼성전자(22%), 마이크론(21%)를 차지했다.
빅테크들의 자체 칩개발 경쟁은 HBM시장을 장악하고 있는 SK하이닉스, 삼성전자엔 호재가 될것될 것 보인다. 엔비디아 GPU만으로는 급증하는 AI 인프라 수요를 감당하기 어려운 상황에서 추가적인 수요발생이 될 수 있기 때문이다. AI 반도체가 다양해질수록 칩 종류와 상관없이 필수로 들어가는 HBM 수요는 함께 늘어날 수밖에 없다는 점에서 국내 메모리 기업들은 구조적으로 유리한 측면이 있다
SK하이닉스는 엔비디아와 굳건한 협력을 이어가는 중이다. 차세대 AI 칩에 들어갈 HBM4 생산 협력은 물론, 초고성능 AI 낸드(SSD)도 공동 개발하고 있다. 아마존, 구글 등 빅테크 역시 SK하이닉스의 핵심 고객이다. 삼성전자는 엔비디아와 성능과 에너지 효율을 대폭 향상시킨 HBM4 공급을 긴밀하게 협의 중이다. 또 AMD의 AI칩 'MI350'에 HBM3E 12단 납품 중이며, HBM4 공급 방안도 논의 중이다.
올해는 5세대 고대역폭 메모리 'HBM3E'가 주류 자리를 지킬 것으로 예상된다. 그 이유는 HBM3E가 적용되는 엔비디아의 '블랙웰'이 인공지능(AI) 칩 시장 대부분을 차지하고, 자체 AI 반도체를 사용하는 구글, 마이크로소프트, 아마존웹서비스(AWS) 등을 중심으로 HBM3E 수요가 늘어 날것으로 예상되기 때문이다. 올해 하반기 엔비디아의 차세대 인공지능(AI) 가속기 '루빈' 출시 이후 개화할 HBM4(6세대) 시장에서는 SK하이닉스와 삼성전자의 주도권 경쟁이 한층 치열해질 전망이다.
김용석 교수는삼성전자에서 31년간 몸담으며 시스템반도체와 이동통신 소프트웨어, 갤럭시 시리즈 개발을 주도했다. 현장에서 쌓은 기술적 통찰력을 바탕으로 성균관대를 거쳐 지금은 가천대 반도체교육원장으로서 후학 양성에 힘쓰고 있다. 또 산업통상자원부 산하 AI 반도체 M AX 얼라이언스 위원장으로서 국가 차원의 AI 반도체 기술 로드맵 수립과 개발을 총괄하며 민·관·학을 잇는 한국 반도체 산업의 핵심 브레인 역할을 하고 있다.