엔씨소프트, 국내 최초 LLM 성능 평가모델 출시

엔씨소프트가 국내 최초로 거대언어모델(LLM) 성능과 수행능력을 검증하는 평가모델 '바르코 Judge LLM'을 출시했다고 23일 밝혔다.

바르코 Judge LLM은 다른 LLM이 얼마나 빠르고 정확하게 작업을 수행하는지 검사하는 평가모델이다.

이를 활용하면 AI 기반 서비스를 만드는 기업의 경우 각종 LLM의 품질을 빠르게 비교 평가해 자사 서비스에 최적화된 모델을 채택할 수 있다는 게 엔씨의 설명이다.

엔씨소프트는 "AI 모델 연구개발 기업은 자사 LLM의 성능 수준을 평가모델로 검증해 타 모델 대비 성능 우위를 증명하거나, 약점을 빠르게 파악하여 보강할 수 있다"며 "모델 허브 사업자는 LLM을 선택, 최적화 및 배포하는 프로세스를 가속화함으로써 더욱 효과적으로 모델을 제공할 수 있다"고 밝혔다.

국내 게임사 최초로 자체 언어모델을 개발한 엔씨는 게임 개발 과정과 사내 업무 효율화 전반에 AI 기술을 적극 활용하고 있다. 이번 평가모델 출시를 통해 자체 LLM '바르코'의 품질 향상과 함께 LLM 모델 평가 분야에서 선도적 위치를 확보한다는 계획이다.