LG유플러스가 AI 솔루션 기업 옵트에이아이와 손잡고 AI 운영 효율을 높이는 토큰 최적화 기술 확보에 나선다고 2일 밝혔다.
토큰은 AI가 이용자의 질문을 이해하고 답변을 생성할 때 처리하는 데이터의 기본 단위다.
AI 모델의 연산 과정을 효율화해 같은 자원으로 더 많은 요청을 처리하는 기술이 토큰 최적화다.
LG유플러스는 AI 서비스 운영 경험을 바탕으로 기술 검증과 적용을 담당한다.
옵트에이아이는 AI 모델을 더 가볍고 빠르게 구동하는 기술 연구와 개발을 맡는다.
양사는 AI 서비스 운영에 필요한 그래픽처리장치(GPU)와 전력 사용량을 줄이면서도 응답 속도와 서비스 품질을 높이는 것이 목표다.
이번 기술 교류를 계기로 서버 GPU 환경까지 공동 연구 범위를 확대한다.
현재 진행 중인 GPU 기반 AI 모델 최적화 연구에서도 초기 성과가 나타나고 있다.
양사는 같은 GPU에서 처리할 수 있는 토큰량을 기존 대비 최대 네 배 높이는 성과를 거뒀다.
LG유플러스는 확보한 기술을 자사 AI 서비스와 대규모 AI 인프라 운영 환경에 단계적으로 적용할 계획이다.
이상엽 LG유플러스 최고기술책임자(CTO)는 "다양한 파트너들과 협력해 토큰 최적화 기술 연구를 확대하고 실제 서비스에 적용할 수 있는 성과를 만들어 나가겠다"고 말했다.
이재호 옵트에이아이 대표는 "LG유플러스와 함께 실제 서비스 환경에서 검증 가능한 AI 최적화 기술을 고도화하고 AI 산업의 효율성 향상에 기여하겠다"고 전했다.