AI 에이전트 확산에 토큰 비용 기하급수 증가
가트너 "AI 투자효율·예산 통제 체계 필요"
(서울=연합뉴스) 권하영 기자 = 인공지능(AI)을 많이 쓸수록 돈이 더 많이 나간다는 건 알지만, 정확히 얼마가 왜 나가는지 모르는 기업이 많다.
'AI 토크노믹스(토큰 경제)'는 바로 이 지점에서 출발한다.
AI가 처리하는 데이터의 기본 단위인 '토큰'을 경제적 관점에서 바라보는 개념으로, AI 활용이 기업 업무 전반으로 깊숙이 파고들면서 핵심 경영 과제로 급부상하고 있다.
글로벌 시장조사기관 가트너는 최근 보고서에서 기업 애플리케이션 책임자들이 토큰 기반 과금 구조를 제대로 파악하지 못하면 예산 초과는 물론 AI 투자 효과를 측정조차 하기 어렵다고 경고했다.
토큰이란 AI 모델이 언어를 이해하고 생성할 때 쓰는 최소 데이터 단위다. 토큰 1개는 대략 단어 0.75개 분량으로, 1천 단어짜리 문서라면 약 1천300개의 토큰으로 처리된다. 텍스트뿐 아니라 이미지나 음성도 토큰으로 변환되는데, 이미지 한 장이 수백에서 수천 개의 토큰에 해당할 수 있다.
AI 서비스 요금은 이 토큰 소비량을 기준으로 매겨진다. 사용자가 AI에 입력하는 양과 AI가 돌려주는 답변 모두 과금 대상이며, 출력 토큰 단가는 입력 토큰보다 3~10배 비싸다. 보고서에 따르면 현재 주요 업체들의 최신 모델 기준으로 입력 토큰 100만개당 약 2.5달러, 출력 토큰 100만개당 약 20달러 수준이다.
◇ 에이전트 시대, 쓰는 방식 따라 비용 '천차만별'
같은 AI를 써도 어떻게 쓰느냐에 따라 토큰 소비량은 크게 달라진다.
단순히 한 번 질문하고 답을 받는 방식은 토큰 소비가 적다. 반면 대화를 이어가는 멀티턴 방식은 요청마다 이전 대화 전체를 다시 모델에 입력하는 구조여서 대화가 길어질수록 토큰이 기하급수적으로 쌓인다. 외부 문서를 검색해 답변에 활용하는 검색 증강 생성(RAG) 방식도 문서 규모에 따라 토큰 부담이 커진다.
AI가 복잡한 문제를 풀 때 내부 추론 과정에서 소비하는 토큰은 사용자 화면에 드러나지 않아 정확한 사용량을 파악하기도 어렵다.
특히 요즘 주목받는 에이전틱 AI는 토큰 소비의 '끝판왕'으로 꼽힌다. AI 에이전트는 목표를 달성하기 위해 계획 수립, 외부 도구 호출, 결과 검토를 반복하며 모델을 수십 번씩 호출한다. 에이전트 수와 작업 단계가 늘어날수록 토큰 비용은 눈덩이처럼 불어날 수 있다.
요금 구조도 예측을 어렵게 만드는 요인이다. 기존에는 1인당 고정 금액을 내는 방식이어서 예산 관리가 수월했지만, 최근 AI 기능이 다양한 서비스에 내재화되면서 사용량에 따라 요금이 출렁이는 소비형 과금으로 빠르게 전환되고 있다.
더 근본적인 문제는 토큰 소비를 실제 성과와 연결하기 어렵다는 데 있다. 토큰을 많이 쓴다고 업무 생산성이 높아졌다고 단언할 수 없고, 반대로 비용을 아꼈다고 AI를 잘 활용하고 있다고 보기도 어렵다.
◇ 전사 차원 토큰 관리·핀옵스 전략 통합 필요
그렇다면 기업은 어떻게 대응해야 할까. 가트너는 우선 토큰 소비를 들여다볼 수 있는 모니터링 체계부터 갖춰야 한다고 강조한다.
방법은 여러 가지다. API 응답 메타 데이터와 AI 게이트웨이를 활용하거나 오픈AI·앤트로픽의 엔터프라이즈 대시보드 등 벤더의 관리자 콘솔을 통해 토큰 소비를 추적할 수 있다. 헬리콘·랭퓨즈 같은 제3자 분석 도구도 존재한다.
다만 비용 파악에 그쳐선 안 된다는 게 가트너의 조언이다.
보고서는 "토큰 비용 관리와 최적화는 특정 팀 한 곳이 전담할 수 없으며 범기능적 협업이 필요하다"며 "AI 기능을 쓰는 직원들이 효율적으로 활용할 수 있도록 교육하고, 프롬프트 관리 템플릿 등 지원 도구를 마련해 효율적인 토큰 사용 습관을 정착시켜야 한다"고 제언했다.
나아가 토큰 비용 관리를 클라우드 자원의 재무적 최적화 방법론인 핀옵스(FinOps) 전략과 통합해 경영진과 현업 부서가 함께 AI 투자 가치 지표를 설계해야 한다는 점도 강조했다.
AI 에이전트 활용이 늘고 AI 기능이 업무 소프트웨어 곳곳에 스며들수록 토큰 소비는 더욱 빠르게 늘어날 전망이다.
토크노믹스는 이제 일부 기술 전문가의 관심사가 아니다. AI에 얼마를 쓰고 그 투자가 어떤 결실을 맺는지 설명해야 하는 기업 재무 전략의 핵심 의제로 자리 잡고 있다.
kwonhy@yna.co.kr
(끝)
<저작권자(c) 연합뉴스, 무단 전재-재배포, AI 학습 및 활용 금지>