(서울=연합뉴스) 최현석 기자 = 인공지능(AI) 스타트업 업스테이지는 노코드 거대언어모델(LLM) 종합 평가 플랫폼 '이벨버스(Evalverse)'를 무료로 공개한다고 3일 밝혔다.
오픈소스 형태로 깃허브(GitHub)에 공개돼 누구나 쉽게 LLM을 자체 평가하고 테스트해 볼 수 있다.
업스테이지는 모델의 추론, 상식, 언어 이해 능력 등 6가지 부문을 측정하는 허깅페이스 'H6' 지표와 대화 능력 지표 'MT-벤치(bench)', 감성 평가 지표 'EQ-bench', 지시 이행 능력 지표 'IFEval' 등 주요 벤치마크를 통합해 언어모델 성능을 종합적으로 테스트할 수 있는 자체 평가 플랫폼을 개발했다고 설명했다.
이에 따라 종전에는 특정 벤치마크를 테스트하려면 해당 플랫폼에 모델을 제출해야 했지만, 이벨버스를 활용하면 여러 벤치마크 테스트를 동시에 진행할 수 있다.
업스테이지는 업무용 메신저 '슬랙'에 이벨버스를 챗봇 형태로 연동했으며, 슬랙 안에서 이벨버스 챗봇과 1:1 대화(DM)를 통해 모든 평가 과정을 진행할 수 있도록 간소화했다.
이용자들은 채팅창에 '호출', '평가' 등 2개 명령어만 입력하면 바로 원하는 모델을 호출해 테스트할 수 있으며, 벤치마크별 점수에 대한 종합 리포트까지 확인할 수 있어 모델 간 비교 평가가 가능하다.
업스테이지는 이벨버스 오픈소스 공개가 생성형 AI 생태계의 발전과 상생을 위한 노력의 일환이라고 전했다.
업스테이지 김성훈 대표는 "누구나 자신이 개발한 LLM을 쉽게 테스트해 볼 수 있는 이벨버스 플랫폼을 무료로 공개하게 돼 기쁘다"며 "앞으로 글로벌 생성형 AI 시장의 선두 주자로서 LLM 생태계 발전과 확산을 위해 다양한 노력을 지속해 나갈 것"이라고 말했다.
harrison@yna.co.kr
(끝)
<저작권자(c) 연합뉴스, 무단 전재-재배포, AI 학습 및 활용 금지>
