실리콘밸리에서 20년 넘게 딥테크 투자자로 지내며 인터넷, 이동통신, 클라우드, 그리고 10여 년 전의 1세대 인공지능(AI)까지 수많은 기술적 파고를 경험했다. 하지만 지난 2~3년간 목격한 AI의 진화는 생소함을 넘어 경이롭기까지 하다. 2015년 딥러닝 기업 말루바(Maluuba)에 투자해 마이크로소프트로의 매각을 이끌고, 2020년 추론형 AI 반도체 기업 'D-Matrix'에 초기 투자했던 필자조차 생성형 AI를 처음 접한 것이 불과 5년 전인 2021년이다.
지난 3년의 변화를 겪으며 얻은 확신은 하나다. 향후 10년, 인류는 20세기 석유 산업이 불러온 변화를 능가하는 전대미문의 산업 및 사회 구조적 전환을 경험하게 될 것이라는 점이다
석유 산업에 비견되는 '데이터 이코노미' 도래
19세기 석유의 발견은 단순히 새로운 에너지 자원의 등장을 넘어 석유화학, 중공업, 소재, 의약학 등 현대 문명을 지탱하고 있는 거대 산업군을 탄생시켰다. 오늘날 우리가 누리는 문명의 산물 중 석유 산업의 혜택을 받지 않은 영역은 찾기 힘들다. 2010년 이후 디지털 데이터가 기하급수적으로 증가한 지금, 우리는 첨단 AI를 통해 데이터를 분석하고 수익화하는 ‘데이터 이코노미(Data Economy)’의 본격적인 도래를 맞이하고 있다.
우리는 현재 AI가 가져올 무궁무진한 가능성을 목격하는 초기 단계에 서 있다. 이 과정에서 기존 산업의 상당수는 도태되거나 뼈를 깎는 변화를 맞이할 것이다. 그 빈자리는 상상조차 하지 못한 새로운 산업들이 채울 것이다.
생성형 AI, '비용' 이란 벽
장밋빛 미래로 가기 위해 반드시 넘어야 할 산이 있다. 바로 인공지능을 사용하기 위해 선행되어야 할 ‘가격 구조의 혁신’이다. 현재 생성형 AI 서비스 이면에는 턱없이 비싼 운영 구조라는 비밀이 숨겨져 있다.
각종 분석에 따르면 GPT-4급 모델을 학습시키는 데는 적게는 수백억에서, 많게는 수천억 원이 소요된다. 2024년 기준 생성형 AI를 통한 탐색 비용은 일반 검색 엔진 대비 100배에서 1000배가 넘는다. 구글이나 마이크로소프트 같은 빅테크만이 시장 지배력을 위해 적자를 감수하며 사업을 유지할 뿐, 스타트업은 생성형 AI도입에 엄두를 못 내는 것이 오늘의 가혹한 현실이다.
변곡점을 돌파할 3대 혁신
하지만 수요가 있는 곳에 언제나 기술적 해답이 있었듯, AI 분야에서도 비용의 벽을 허물 몇 가지 핵심 기술이 부상하고 있다. 이번 칼럼에서는 이중 생성형 AI 확산에 중요한 변곡점을 가져올 핵심 기술 세 가지를 간단히 정리해 보고 나중에 기회가 될 때 각각에 대해 좀 더 자세히 다뤄 보겠다.
첫 번째는 '추론용 AI 반도체의 성능 혁신'이다. 엔비디아가 ‘학습’ 시장을 독점하며 청사진을 보여주었다면, 2026년 올해를 기점으로 실제 서비스가 구동되는 ‘추론(Inference) 시장’이 본격 형성될 전망이다.
특히 메모리와 로직을 결합한 IMC(In-memory Computing) 기반 반도체는 소위 메모리월이라 불리는 메모리와 연산반도체간의 데이터 병목 을 줄여 기존 대비 5~20배의 성능 개선을 가져온다. 필자의 투자 업체인 D-Matrix를 포함, 몇몇 업체들의 제품이 올해를 시작으로 본격적으로 시장에 선보일 예정이다.
두번째는 광반도체(실리콘 포토닉스)를 통한 통신 병목 해소다. AI 모델이 거대화되면서 수천 개의 GPU를 하나처럼 연결하는 클러스터 구성이 생성형 AI 서비스의 핵심이 되었다. 현재는 GPU 간 데이터 전송 지연으로 인해 연산 효율이 40% 수준 (앤비디아 블랙웰 기준)까지 떨어진 상태다.
앤비디아의 블랙웰 개발이 시작된 시점이 2022년 초임을 감안한다면, 젠슨 황 조차도 당시에는 데이터 병목현상이 이렇게 짧은 기간에, 핵심 이슈가 되리라고는 생각하지 못했을 것으로 여겨진다. 급기야 젠슨 황은 2025년 GTC 콘퍼런스에서, 기존의 동선에 기반한 데이터 통신을 광반도체를 이용한 광통신으로 대체하는 차세대 필수 기술을 발표했다.
역시 필자의 투자업체인 Ayar Labs 를 포함 다수의 업체가 제품을 개발 중이며, 엔비디아의 차세대 GPU 발매에 맟추어, 2028년경 부터기존 구리선을 광신호로 대체하는 광반도체 시장이 열릴 것으로 예상된다. 2028년경 이 기술이 상용화되면 대역폭은 10배 증가하고 지연 시간은 획기적으로 개선된다. 데이터 병목 해결을 위한 노력은 광반도체 외에도, 무선통신에 기반한 데이터 통신, LED 광을 이용한 통신 등 구리선의 물리적 한계를 뛰어넘는 다양한 기술 개발이 이루어지고 있다.
마지막으로 모델 소형화와 도메인 특화 AI다. 불과 10년 전만 해도 수백만 개의 파라미터를 가진 딥러닝 모델에 놀랐던 시절이 있었다. 이제는 1000억 개의 파라미터가 ‘작은 모델’로 분류되는 시대다. 2026년 현재는 모든 것에 대한 답을 알려주는 거대 모델 시대에서 특정 분야에 최적화된 ‘작고 강한 모델’의 시대로 변화되고 있는 시점이다. 최적화 기술을 통해 모델 크기를 10분의 1에서 100분의 1까지 줄인 도메인 특화 AI는 하드웨어 부담을 낮추고 상용 서비스의 문턱을 크게 낮출 것이다.
2028년 컨슈머 AI 서비스의 폭발적 확산
추론 전용 반도체, 광전송 기술, 모델 소형화. 이 세 가지가 접목될 때 발생하는 효과는 각각의 덧셈이 아닌 ‘곱셈(Multiplication Effect)’이다. 이 기술적 인프라가 완성되는 2028~2029년경에는 비용 구조가 현재보다 100배에서 1000배 이상 개선될 것으로 기대된다.
비용의 급감은 서비스의 대폭발을 의미한다. 현재 AI가 전문가를 보조하는 ‘에이전트’ 역할에 집중하고 있다면, 3~4년 뒤에는 일반 소비자의 일상을 파고드는 B2C 서비스가 폭발적으로 확산할 것이다.
산업혁명 초기에도 혼란과 진통은 있었으나 궁극적으로 인류의 삶은 풍요로워졌다. AI 대변혁 역시 불확실성을 동반하겠지만, 장기적으로는 새로운 산업을 창조하며 우리 삶을 근본적으로 윤택하게 만들 것이다. 우리는 지금, 그 거대한 역사의 서막을 목격하고 있는것이다.
브라이언 강 대표는
삼성전자 출신 강 대표는 2000년대 초반 미국 실리콘밸리에 설립된 삼성벤처투자 미국법인의 창립 멤버다. 2015년 대만 폭스콘 출신 코니 솅과 함께 실리콘밸리에서 노틸러스벤처스를 창업했다. ayar labs 등 AI, 차세대 반도체 등과 관련한 딥테크 스타트업에 주로 투자한다. 말루바, 볼타, 에디슨소프트웨어 등의 그가 투자한 스타트업이 대기업에 인수되거나 뉴욕증시에 상장했다.