평가기관 공식 확인…"벤치마크 신뢰성 이상 없다"
(서울=연합뉴스) 권하영 기자 = 정부가 '독자 인공지능(AI) 파운데이션 모델'(독파모) 프로젝트 2차 단계평가와 관련해 벤치마크 과적합(벤치맥싱) 우려에 대해 평가기관으로부터 "문제없다"는 공식 답변을 받았다고 밝혔다.
류제명 과학기술정보통신부 제2차관은 18일 정부서울청사에서 열린 브리핑에서 "해당 평가기관에 벤치맥싱 우려를 의뢰한 결과, 평가를 위한 체계적인 암기나 과적합 문제가 입증될 만한 답변을 찾지 못했으며, 큰 문제가 없다는 답변을 받았다"고 말했다.
이번 독파모 2차 평가에서 벤치마크 평가(배점 40점) 중 25점은 글로벌 AI 성능 평가 지수인 아티피셜 애널리시스 인텔리전스 인덱스(AAII)를 활용해 진행됐다.
업계 일각에서는 독파모 참여사 중 한 곳이 AAII 점수를 집중적으로 겨냥해 취약한 점수 항목을 끌어올리는 이른바 벤치맥싱을 했다는 우려가 제기된 바 있다.
류 차관은 벤치마크 배점과 평가 방식에 대해서도 "참여 기업들의 의견과 전문가 논의를 거쳐 확정한 것"이라며 "참여 기업들의 이의제기를 충분히 받아 이의가 해소될 때까지 공감대를 형성하는 작업을 거쳤다"고 덧붙였다.
kwonhy@yna.co.kr
(끝)
ADVERTISEMENT
<저작권자(c) 연합뉴스, 무단 전재-재배포, AI 학습 및 활용 금지>
ADVERTISEMENT
ADVERTISEMENT
ADVERTISEMENT
ADVERTISEMENT