인공지능(AI)이 스마트폰·자동차·로봇으로 확산하면서 반도체 시장의 기회도 확대될 것이란 전망이 나온다. 이에 따라 대규모 연산을 뒷받침하는 데이터센터 역할도 중요한 상황. 다만 막대한 인프라 투자가 이어지려면 AI 서비스가 충분한 매출과 수익을 내야 한다는 분석이다."AI 인프라 투자 1조달러" 전망…관건은?시장조사업체 가트너의 아놀드 가오 애널리스트(부사장)는 9일 한경닷컴과의 인터뷰에서 올해 AI 공급업체 인프라 지출이 1조달러에 육박할 것으로 내다봤다. 가오 VP 애널리스트는 "앞으로 이러한 투자 규모를 유지할 수 있을지는 AI 애플리케이션(앱)이 충분한 매출과 경제적 수익을 창출하느냐에 점점 더 크게 좌우될 것"이라고 말했다.
투자처가 확대될 수 있는 배경으로는 AI 모델의 변화가 꼽힌다. 수치 예측에 특화된 대규모 정량 모델, 음성을 직접 처리하는 음성 추론 모델, 행동의 결과를 예측하는 월드 모델 등을 업무에 맞게 조합하는 사례가 늘어날 것으로 예상된다. 범용 언어모델은 이들을 연결·조율하는 역할을 맡는다. 특화 가속기·메모리·네트워킹 등 추론용 인프라 수요도 늘어난다는 관측이다.
데이터센터에선 이 같은 흐름에 따라 고대역폭메모리(HBM)가 계속해서 AI 학습·추론을 뒷받침한다. 대화가 길어지고 동시 이용자가 늘면 맥락을 유지할 메모리가 더 많이 필요하다. 학습 데이터, 영상, 센서 정보가 늘면서 저장장치의 중요성도 커진다. 가오 VP 애널리스트는 "기업은 개별 반도체의 성능만 볼 것이 아니라 컴퓨팅 시스템 전체의 성능과 비용을 함께 고려해야 한다"고 설명했다.
스마트폰·PC에서 처리하는 추론이 늘면 저전력 메모리와 전용 AI 프로세서 시장에도 기회가 열린다. 전력·냉각 제약에 대응해야 해서다. 대규모 학습, 복잡한 시뮬레이션, 고성능 추론은 여전히 데이터센터에 의존한다. 반도체와 인프라별 투자 비중이 달라진다는 의미다.
모델 효율도 투자 수요를 바꾼다. 비용이 줄면서 경제성을 갖춘 서비스가 늘면 전체 수요도 확대될 수 있다. 투자 증가 속도는 실제 활용률, 수익성, 전력 공급 여건, 데이터센터 수용 능력에 달렸다.
AI를 실제 생산성으로 연결하는 게 관건이다. 기업들이 AI를 활용해 비용 절감이나 업무 효율 향상 효과를 확인할수록 서비스 이용을 확대할 유인도 커진다. 이 같은 수요가 공급업체의 매출과 수익으로 이어져야 대규모 인프라 투자를 지속할 기반도 마련된다.
가트너가 '2027년 10대 전략 기술 트렌드' 보고서를 통해 업무 자율 시스템의 관리에 주목한 이유도 여기에 있다. 가오 VP 애널리스트는 "가장 큰 문제 중 하나는 많은 기업이 AI 에이전트를 제대로 활용할 수 있는 업무 체계를 갖추기도 전에 도입부터 서두른다는 점"이라고 지적했다. 사람을 대신하는 에이전트가 사내 규정·용어를 이해하지 못하면 생산성을 끌어올리는 데도 한계가 있다는 뜻이다.
'AI 컨텍스트 플랫폼'은 흩어진 정보를 정리해 AI 에이전트가 이 같은 업무 공백을 줄이도록 지원한다. 물론 이에 따른 업무 책임자와 예외 상황의 처리 방식도 정해야 한다. 가오 VP 애널리스트는 "이러한 준비가 부족하면 직원들이 AI 에이전트의 오류를 바로잡거나 미처 끝내지 못한 업무를 대신 처리하는 데 많은 시간을 쓰게 된다"고 했다.
검토·수정 부담은 소프트웨어 개발에서도 나타난다. 가트너 조사에서 엔지니어링 리더 중 90%는 AI 코딩 에이전트 도입 후 생산성이 높아졌다고 답했다. 평균 순생산성 향상률은 19.3%. 하지만 코드 생성량을 검토 역량이 따라가지 못하면서 병목이 생겼다. 가오 VP 애널리스트는 "코드를 더 빠르게 생성할 수 있다고 해서 실제 소프트웨어 개발과 배포까지 빨라지는 것은 아니다"라고 설명했다."외부 기업과 협력해도 자체 역량 키워야"
검증 부담을 줄일 해법으로는 통제된 환경에서 코드 실행, 자동 시험, 보안 점검을 거치도록 하는 'AI 코딩 에이전트 하네스'를 제시했다. 중요한 변경 사항일 경우 사람이 직접 검토하도록 통제하고 에이전트 숫자보다 업무 완료 성공률, 오류 빈도, 사람이 개입하는 비용으로 성과를 평가해야 한다는 주문이다.
실행 권한도 관리해야 한다. 가트너는 2028년까지 기업 보안 침해 사고 중 25%가 관리되지 않는 기계 권한과 기존 인증 정보 사용 관행에 따른 AI 에이전트 오용에서 비롯될 것으로 전망했다. 가오 VP 애널리스트는 에이전트마다 고유한 신원과 관리 책임자를 정해야 한다면서 "특정 업무를 수행할 권한을 주더라도 해당 업무에 필요한 범위 내에서만 허용하고 더 이상 필요하지 않으면 권한을 회수해야 한다"고 강조했다.
통제력의 문제는 외부 기술을 활용할 때도 비슷하다. 가오 VP 애널리스트는 "디지털 주권이란 외부 기술에 의존하더라도 기업이 실질적인 통제력과 선택권을 유지할 수 있는 능력을 의미한다"고 규정했다. 공급업체의 가격 인상이나 서비스 중단에 대비해 다른 환경으로 이전할 수 있는지 여부를 점검해야 한다는 설명이다.
이 같은 선택권을 확보하려면 외부 기술을 활용하면서도 자체 역량을 꾸준히 키워야 한다. 가오 VP 애널리스트는 한국 기업들에 하드웨어 강점을 뒷받침할 소프트웨어·데이터·시스템 역량을 주문했다. 반도체·가전 등 하드웨어 경험을 살리면서 생산 현장 내 AI 성능을 검증할 방법을 마련해야 한다는 제언이다.
가오 VP 애널리스트는 "한국 기업들은 자체 범용 파운데이션 모델을 개발하는 데 집중하기보다는 자사 제품의 차별화 요소인 전문지식과 고객 경험을 강화하는 데 더욱 주력하는 방안을 고려할 수 있다"며 "글로벌 AI 플랫폼 기업과의 협력도 좋은 선택지가 될 수 있다"고 했다.
그러면서도 "외부 기업과 협력하더라도 자체 기술 역량을 꾸준히 키우고 다양한 기술 공급업체와 협력할 수 있는 유연성을 유지하는 것이 중요하다"고 강조했다.
김대영/홍민성 한경닷컴 기자