GPU·LLM 모니터링 전략 공개…"AI 무게중심, 실행서 운영으로 이동"
(서울=연합뉴스) 한상용 기자 = 국내 옵저버빌리티 기업 와탭랩스가 인공지능(AI) 서비스 운영 과정에서 발생하는 그래픽처리장치(GPU) 활용률과 거대언어모델(LLM) 비용, 응답 성능 등을 통합 분석하는 신제품을 출시했다.
와탭랩스는 9일 서울 서초구 본사에서 'LLM 옵저버빌리티 미디어 데이'를 열고 AI 시대 핵심 전략으로 GPU 모니터링, LLM 옵저버빌리티, AI 기반 자율 운영을 제시하며 신제품을 공개했다.
이번에 정식 출시한 LLM 옵저버빌리티는 LLM 기반 애플리케이션의 요청 흐름과 성능, 비용, 답변 품질을 추적·분석하는 기능이다.
사용자 요청부터 응답 반환까지의 과정을 트레이스 단위로 기록해 벡터 검색, LLM API 호출, 에이전트 반복 실행 등에서 발생하는 병목 원인을 파악할 수 있도록 했다.
또 모델별·기능별 입출력 토큰 사용량과 비용을 집계해 기업이 AI 서비스 운영비를 관리할 수 있도록 지원한다.
답변 품질 평가와 환각 감지 기능도 제공한다.
이동인 와탭랩스 대표는 "AI 시장의 무게중심이 AI 실행에서 'AI 운영'으로 빠르게 이동하고 있다"며 "LLM 옵저버빌리티를 비롯한 AI 내재 제품군을 강화해 기업이 AI를 더 잘 활용하고 운영할 수 있도록 지원하겠다"고 말했다.
gogo213@yna.co.kr
(끝)
<저작권자(c) 연합뉴스, 무단 전재-재배포, AI 학습 및 활용 금지>