반도체 산업이 슈퍼사이클에 진입한 것처럼 보인다. 2008년 금융위기 이후와 유사한 반등 국면에 들어선 모습이다. 그러나 이번 사이클의 성격은 과거와 다르다. 자세히 들여다보면 성과는 극소수 기업에 집중돼 있다.
엔비디아(NVIDIA)를 포함하면 시장 전체가 고점을 회복한 것처럼 보이지만, 엔비디아를 제외하면 회복 속도는 훨씬 느리다. 다시 말해 현재 반도체 산업은 소수의 기업, 즉 그래픽처리장치(GPU), 고대역폭메모리(HBM)와 CUDA 기반 소프트웨어를 결합한 AI 핵심 기술을 보유한 기업이 시장 평균을 끌어올리고 있는 구조다.
맥킨지는 2030년까지 전 세계 반도체 시장이 약 1조6000억달러까지 성장할 것이라고 전망한다. 단연 성장 동력은 AI다. 하지만 성장의 과실이 업계 전반에 고르게 돌아가지는 않을 것이다. 지금과 마찬가지로 AI와 직접 연결된 영역이 대부분의 성과를 가져갈 가능성이 크다.
패러다임의 축은 AI 학습(training)에서 추론(inference)으로 움직이고 있다. 현재 데이터센터 워크로드의 약 70%는 학습용이지만 2030년을 전후로 추론이 전체의 70%를 차지하는 구조로 뒤집힐 것으로 예상된다.
이러한 변화는 에이전틱 AI의 확산과 궤를 같이한다. 사람과 상호작용하며 실시간으로 과업을 수행하는 에이전트 환경에서는 ‘낮은 레이턴시(low-latency)’가 핵심 경쟁 요소가 된다. 요청을 보낸 뒤 결과를 받을 때까지 걸리는 시간이 짧아야 한다는 뜻이다.
이미지 생성이나 대규모 데이터 학습에서는 몇 초의 기다림이 허용될 수 있다. 하지만 에이전틱 AI가 사용자를 대신해 실시간으로 예약을 진행하고, 다른 에이전트와 협력해 작업을 처리하는 환경에서는 0.1초의 지연도 전체 흐름을 끊을 수 있다.
추론 비중이 커질수록 병목은 연산 성능보다 데이터에 얼마나 빠르게 접근할 수 있는가로 바뀐다. 이 때문에 학습에 쓰이는 최고 사양의 GPU와 HBM 조합보다, 빠른 응답 속도와 낮은 전력 소모, 비용 효율적인 구조가 더 중요해진다. 대량의 데이터를 저장하고, 필요할 때 즉시 꺼내 쓰기 위해 HBF와 같은 새로운 스토리지가 주목받는 이유다.
과거에는 메모리는 메모리대로, 로직은 로직대로 각자 잘 만드는 것으로 충분했다. 그러나 '각자도생'의 시대는 끝났다. 엔진이 아무리 좋아도 도로가 막히면 차가 달릴 수 없는 것처럼 데이터가 흐르는 전체 경로를 함께 최적화해야 성능을 낼 수 있다. 시스템 전체를 조율하는 아키텍처 최적화가 필수적이다.
이러한 변화는 한국 반도체 기업들에게 세가지 시사점을 준다. 첫째, 단품 공급자에서 벗어나 AI 시스템 관점의 설계와 통합을 고민하는 역할로 확장해야 한다. 이에 따라 설계 초기 단계부터 3D 적층 구조의 열과 전력을 통합 고려하는 시스템 설계 역량을 내재화해야 한다.
둘째, 가치사슬 전반의 '공동 최적화(Co-optimization)'다. 전·후공정 간의 기술적 경계가 희미해지고 있다. 설계, 공정, 패키징 전반에서 얼라이언스를 맺어 공동으로 개발하고 수율을 함께 책임지는 구조를 만들어야 한다. 설계부터 공정, 패키징까지 통합해 운영하는 역량이 차세대 반도체 경쟁력의 본질이다.
마지막으로 AI를 통한 전사 혁신이다. 글로벌 선도 기업들처럼 외부의 AI 전문 파트너와 유연하게 협력해 공정 전반에 최적의 테크 스택을 구축하고, 운영 프로세스의 신뢰도를 높여야 한다.
AI 시대, 반도체 산업이 경쟁의 규칙 자체가 바뀌는 임계점에 서 있다. 경쟁의 본질은 속도가 아니라 구조다. 반도체 산업의 승자는 가장 빠른 칩을 만드는 기업이 아니라 가장 잘 짜인 생태계를 구축한 기업이 될 것이다. 한국 반도체 산업이 준비해야 할 방향도 여기에 있다.