AI시대는 반도체가 열었다. AI는 학습과 추론의 두가지를 수행한다. 이 과정에서 데이터 센터향 AI반도체는 거대언어모델(LLM)의 학습(Training)과 추론(Inference)을 담당한다. 이와 달리 온디바이스AI향 AI반도체는 중앙 서버나 클라우드를 거치지 않고, 스마트폰·로봇·CCTV 같은 기기 자체(Edge)에서 직접 추론만을 수행하게 된다. AI반도체는 연산을 담당하므로 가속기가 주된 역할이다. 학습은 데이터를 받아서 순방향 연산과 역전파 메커니즘을 통해서, 인간 뉴런의 시냅스에 해당되는 모델의 가중치(Weights)를 구하는 과정에서 대규모의 행렬연산이 생긴다. 추론은 학습에서 구한 가중치를 이용해서 질문에 대한 예측값을 구하는데 행렬연산이 있다. 학습, 추론의 실제 구현에서, AI 반도체는 연산을 담당하는 가속기 역할을 하고, 메모리는 대용량 데이터를 고속으로 서로 주고받으며 이를 뒷받침하게 된다.
다행스러운 것은 우리나라가 강한 메모리 반도체가 AI시대에서는 핵심역할을 담당한다는 사실이다. AI 데이터센터 투자가 크게 늘어나면서 HBM뿐만 아니라 DDR, 플래시메모리도 많이 사용되면서 SK하이닉스, 삼성전자는 큰 수혜를 보고 있다. 그러나 우리나라 반도체 산업이 성장하고 있지만, 지금의 실적은 HBM을 비롯한 메모리 분야에서 나온다. 반도체 산업전반으로 성과로 이어 지려면 시스템반도체 분야로 확대되어야 한다.
ADVERTISEMENT
팹리스·디자인하우스·OSAT 등 설계부터 후공정까지 공급망 전반에 중소, 중견기업이 폭넓게 분포하고 있기 때문이다. 하지만 AI 패러다임이 '추론'으로 이동하는 지금의 거대한 전환기는 우리가 시스템 반도체 시장의 주역으로 도약할 수 있는 중요한 기회이다.
국내 AI반도체 팹리스의 기회: 데이터센터용과 온디바이스용 NPU기반 추론 시장
ADVERTISEMENT
지금은 AI 시장의 중심축이 학습에서 추론으로 이동중이다. 가트너의 지난 8월, ‘2026 전 세계 AI 최적화 IaaS 전망 분석’ 보고서에 의하면, 2026년도 전 세계 AI 추론 분야 지출이 233억달러(약 33조원) 달해 학습 관련 지출 190억달러(약 27조원)를 넘어설 것으로 전망했다.
추론 시장이 커진다는 것은 분명히 좋은 기회이나 이를 차지하기 위해서는 범국가 차원의 주도면밀한 전략이 필요 하다. 국내 AI반도체 팹리스가 도전해야 할 두 가지 영역이 있다. 첫째는 데이터센터용 추론 시장이다. 데이터센터에서의 학습은 한번의 큰 연산이지만, 추론은 수없이 반복되는 연산이다. 사용자들은 하루 수십억 번 질문을 할 수 있다. 추론 비용이 커질 수 있다는 이야기이다. 데이터센터 운영자 입장에서는 추론 비용을 낮추는 것이 매우 중요 해졌다. 단순 답변을 넘어 사용자의 비서 역할을 하는 'AI 에이전트'는 추론 수요를 촉발시킨다. 전 세계 수억 명의 사용자가 실시간으로 AI 서비스를 일상과 업무에 쓰기 시작하면서 추론 연산의 빈도와 절대적인 양이 학습 연산을 넘어서기 시작했다.
글로벌 AI 반도체 시장은 큰 변화가 이미 시작되었다. 엔비디아 GPU 독주 시대에서 벗어나려는 하이퍼스케일러의 전력소모와 가격을 낮춘 NPU기반의 AI반도체 개발이 진행중이다. 이회사들은AI 모델을 가지고 있고, 자신의 모델에 맞는 칩, 소프트웨어를 직접 만들어 사용한다는 점이 강점이다. 엔비디어 GPU는 학습에만 활용하고, 추론은 국내외 각 회사별로 NPU기반의 맞춤형 형태의 ASIC으로 개발하여 사용 하겠다는 복안이다.
구글 TPU(Tensor Processing Unit), 아마존 Trainium, 메타 MTIA (Meta Training and Inference Accelerator), 마이크로소프트 Maia, 오픈에이아이 Jalapeno(할라피뇨) 가 있다. 구글의 TPU는 학습, 추론 모두 대응한다. 외판도 하겠다고 한다.
ADVERTISEMENT
둘째는 피지컬AI가 만들어 내는 추론 시장이다. 로봇, 자동차, 드론등 NPU기반의 추론용 온디바이스AI 반도체로 구현 된다. 이시장은 실시간성, 저지연시간, 저전력이 특히 중요 하다. 글로벌 강자는 퀄컴과 엔비디아 이다. 퀄컴(Qualcomm)은 압도적인 모바일 칩 기술력을 바탕으로 스마트폰을 넘어 자동차(SDV), 스마트 홈, IoT 가전, 에지 로보틱스 생태계까지 무섭게 영토를 확장하고 있다. 엔비디아는 자동차와 휴머노이드 로봇을 기반으로 한 ‘피지컬 AI(Physical AI)’의 최강자로 부상하고 있다.
한국형 특화 추론, 맞춤형 AI반도체 팹리스 전략이 필요하다.
ADVERTISEMENT
추론시장이 새롭게 열리는 사실은 우리에게는 큰 기회이지만, 강한 글로벌 기업들과 경쟁해야 한다. 만만치 않은 환경이다. 그렇다면 국내 AI반도체 팹리스는 어떤 전략이 필요 할까. 퓨리오사AI와 리벨리온으로 대표되는 데이터센터용 NPU 추론용 팹리스는 전력효율이 높은 NPU를 만들고 GPU보다 저렴한 가격으로 공급하는 것을 목표로 노력해 왔다. 지금까지 국내 AI반도체 팹리스는 엔비디아 GPU를 대체를 추진했지만, 그섯만으로는 부족하다. 시장이 겹치는 하이퍼스케일러도 함께 고려한 전략이 필요하다.
두 기업이 목표로 가져가야 할 시장은 자체적으로 AI 칩을 만들 능력이 없는 중간 정도 규모의 고객인 기업이나 국가가 되어야 한다. 해외국가로는 중동이 유력한 지역이 될 수 있다. 통신사, 금융기관, 공공기관, 제조 기업등이 해당된다. 예를들어 금융권은 매일 막대한 양의 텍스트와 숫자 데이터를 실시간으로 처리해야 하므로, 데이터 유출 방지와 초저지연 목적으로 외부 클라우드 대신 사내 데이터센터를 직접 구축할 수 있다. 약관 분석, 자산 관리 보고서 자동 생성, AI 챗봇 상담을 위한 금융특화 시스템이 있다. 그리고 제조현장의 특화된 AI 개발이 좋은 사례이다. 설비 이상감지, 품질검사, 공정 최적화, 비전 동작 제어, 협동로봇, 물류 로봇, 무인운반. 재고관리등 공장전용 데이터 센터 구축등에서 충분히 경쟁력이 있다.
ADVERTISEMENT
단, 국산 NPU가 서버, 소프트웨어, 컴파일러, 클라우드 서비스, 데이터센터 구축까지 함께 제공할 수 있어야 한다. 팹리스 혼자서 대응하기는 어렵다. 시스템기업과 협력해서 칩, 컴파일러 포함한 풀스택 뿐만 아니라 데이터센터를 구축하는 것 까지가 목표로 진행해야 한다. 단순히 칩을 판매하는 것이 아니라 AI 모델 개발사와 클라우드 사업자, 서비스 기업을 연결하는 생태계 구축이 필요 하다.
또한 삼성이나 SK하이닉스와의 협력을 통해서 차별화 부분을 찾을 수 있을 것 같다. 데이터 이동과 메모리 병목을 줄일 수 있는 ‘NPU-HBM 공동설계(co-design)’를 추진해야 한다. 맞춤형(custom HBM 공동 개발도 가능 하다. AI반도체, 메모리를 전체 시스템관점에서 최적화 하는 일이다.
그 다음으로 국내 딥엑스, 모빌린트로 대표되는 온디바이스AI향 팹리스는 국내 대기업과 매우 밀접한 협력이 필요 하다. 국내 현재 우리나라는 세계 6위의 제조업 강국이다. 대기업이 있고, AI반도체를 활용할 시장도 있다. 이 온디바이스AI는 제조업에서 진가를 발휘한다. 제품별 차별화된 맞춤형 칩기획이 되어야 한다. 따라서 온디바이스 AI는 세트 기업이 매우 중요한 역할을 해야 한다, 따라서 수요기업인 대기업들의 역할이 매우 크다 앞으로 4~5년 후에 쓸 칩을 개발한단 목표로 칩에 대한 기획 능력을 갖추는 것이 굉장히 중요하다. 제품의 차별화를 온디바이스AI를 통해서 해야 하기 때문이다.
결국 세트부터 시작해서 칩, 소프트웨어, 응용 서비스 기업 간의 수직적인 협업을 통해 온디바이스 AI 생태계를 구축해야 한다. 스마트폰의 화질개선, 음성인식, 번역, 통역 서비스 뿐만 아니고, 스마트TV, 노트북이나 로봇청소기, 세탁기, 에어컨 등 가전제품에도 광범위하게 활용 될수 있다. 또한 방산 무기체계에 활용될 수 있다. 온디바이스 AI는 피지컬 AI' 시대의 핵심 인프라가 될 것이다. 국내 팹리스는 스마트 CCTV·블랙박스·드론·웨어러블 헬스케어·공장 자동화등이 해당 된다.
AI추론 시장의 변화가 기회이다. 시스템반도체 주역으로 도약 할 수 있다.
칩의 탁월한 전력비 효율에도 불구하고, 국산 NPU가 글로벌 주류 시장에 안착하기까지는 많은 어려움이 있다. 가장 시급한 당면 과제는 국내 시장에서 '실제 상용화 레퍼런스'를 빠르게 구축해야 한다. 데이터센터향의 경우는 칩의 스펙뿐만 아니라 수만 대 규모의 서버에서 장기간 오류 없이 작동하는지를 최우선으로 평가할 것이다. 국내 주요 데이터센터(IDC)나 공공·민간 AI 서비스에 국산 NPU를 대규모로 선제 적용하고, 이를 통해 확보한 실제 구동 안정성 데이터, 소프트웨어 호환성 검증 결과는 글로벌 시장 진출시 너무나 중요한 데이터가 될 수 있다.
정부의 공공 구매 확대와 국내 대기업들의 과감한 초기 동반 도입으로 마중물 역할을 해야 한다.정부는 실패를 감수하는 연구개발 지원, 공공 수요 기반의 실증 확대, 대기업과 팹리스의 전략적 협업 촉진에 더 속도감 있게 나서야 한다.
무엇보다도 중요한 것은 국내 AI반도체 팹리스의 자체 역량이다. 이제 기술력을 증명하는 프로토타입 단계를 넘어, 실제 시장에서 선택받는 상용화 실적을 반드시 보여주어야 한다. 특히 단순히 칩의 하드웨어성능이나 가격 우위성만을 이야기해서는 안된다. 오늘날 글로벌 AI 반도체 시장을 지배하는 엔비디아의 핵심 무기는 강력한 칩 성능이 아닌, 소프트웨어 생태계 '쿠다(CUDA)'라는 점을 기억해야 한다. 우리 기업들 역시 컴파일러를 비롯한 시스템소프트웨어를 아우르는 ‘풀스택(Full-stack)’ 경쟁력을 갖추고 사용자 개발 편의성까지 완벽히 지원해야만 글로벌 고객사의 선택을 받을 수 있다. 데이터센터용의 경우는 서버수준에서 실제 서비스 성능 검증도 이루어져 하고 온디바이스AI 경우는 보드레벨에서 응용서비스 까지 완결해야 한다.
AI 시대의 핵심 경쟁력은 결국 반도체다. AI 반도체 경쟁에서 뒤처진다면 미래 산업 주도권을 상실하게 된다. 한국 AI팹리스는 양보다는 질로 가야 한다. 칩 분야별로 더욱 전문화해야 한다. 데이터센터용은 두기업이 있지만, 온디바이스AI는 자동차및 휴머노이드 분야, IoT가전 분야, 방산 분야등 응용분야별로 강한 팹리스들이 탄생되어야 한다. AI 패러다임이 '추론'으로 이동하는 지금의 거대한 전환기는 우리가 시스템 반도체 시장의 주역으로 도약할 수 있는 너무나 좋은 시기이다. 시간이 많지 않다.
또한 막대한 칩 개발 비용과 엔비디아, 퀄컴, 중국기업들등과 경쟁하기 위해서는 리벨리온과 사피온의 합병 사례처럼, 국내 주요 팹리스들이 뭉쳐야 한다. 자본과 인력을 집결해 글로벌 빅테크 수준의 거대 규모를 확보해야만 빅테크 자체 칩 및 금융·제조 등 글로벌 추론 시장에서 실질적인 경쟁이 가능 하다. 그리고 빠르게 전력을 다해야 한다. 그래야만 한국 반도체 산업이 메모리 강국을 넘어 진정한 AI 반도체 강국으로 도약할 수 있다.