비용 절감 돕는 모델 라우팅 스타트업 호황
(샌프란시스코=연합뉴스) 권영전 특파원 = 기업 인공지능(AI) 사용료 부담이 커지면서 AI 업계의 흐름이 무제한 사용을 권하던 '토큰맥싱'에서 효율성을 추구하는 '모델맥싱'으로 이동하고 있다고 미 경제매체 비즈니스인사이더가 5일(현지시간) 보도했다.
모델맥싱은 작업 난이도에 따라 각기 다른 AI 모델을 골라 쓰는 전략을 뜻한다.
가장 어렵거나 오랜 추론을 요구하는 작업은 클로드 페이블5나 GPT-5.5 등 비싼 최신 모델을 쓰고, 단순·반복 작업은 구형 모델이나 저렴한 모델, 또는 개방형(오픈소스) 모델에 맡기는 식이다.
브라이언 암스트롱 코인베이스 최고경영자(CEO)는 최근 엑스(X·옛 트위터)에 "인공지능에 대한 수요는 거의 무한에 가깝다"면서도 "12∼18개월 이내에 작업의 80%가 (기존보다) 99% 더 저렴한 모델에서 실행될 것"이라는 전망을 내놨다.
최신 AI 모델이 필요한 작업은 전체의 20%에 불과하리라는 것이다.
그는 이처럼 최신 AI 모델이 필요한 작업의 예시로 과학적 돌파구와 높은 수준의 에이전트 관리자(오케스트레이터) 등을 꼽았다.
AI 스타트업 '볼드 메트릭스'도 팀별로 사용할 모델과 그 추론 수준을 지정해주는 방식을 사용하고 있다.
한 팀은 클로드 페이블을 낮은 추론 수준으로 사용하고, 다른 팀은 GPT-5.5에 높은 추론 수준으로 설정해 쓴다. 또 다른 팀은 스타트업 커서의 코딩 도구 '컴포저 2.5'를 사용하는 식이다.
다른 AI 스타트업 헤추라의 크리스 마코니 공동창업자는 가장 비싼 최신 AI 모델을 무작정 사용하는 경향에 대해 "사람들은 어떤 모델이 어떤 작업에 뛰어난지 파악하는 어려운 과정을 거치고 싶어하지 않는다"며 "그저 유행에 편승하고 싶어한다"고 꼬집기도 했다.
이와 같은 모델맥싱 흐름에 따라 사용자의 요청 내용을 파악해 적합한 모델에 분배해주는 '모델 라우팅' 스타트업도 호황을 누리고 있다.
기업 지출 관리 플랫폼 램프의 아라 카라지안 수석 경제학자는 모델 라우터를 사용하는 기업의 비중이 지난해 1%에서 올해 5%로 늘어났다고 전했다.
모델 라우팅 업체 중 하나인 레이라인을 운영하는 데이비드 길모어는 "고객 중 상당수가 최신 흐름에서 뒤처지는 것을 두려워한다"며 "API 요금 고지서를 받고 나서야 (최신 AI 사용) 규모를 축소해야 한다는 사실을 깨닫는다"고 지적했다.
comma@yna.co.kr
(끝)
<저작권자(c) 연합뉴스, 무단 전재-재배포, AI 학습 및 활용 금지>