리더보드 점수 높여도 실전 성능은 별개…벤치마크 딜레마
국내 '독파모' 평가서도 쟁점…비공개·실무 평가 병행론 부상
(서울=연합뉴스) 권하영 기자 = 인공지능(AI) 모델 간 성능 경쟁이 치열해지면서 리더보드 점수를 집중적으로 끌어올리는 이른바 '벤치맥싱(Benchmaxxing)'이 업계 화두로 부상하고 있다.
벤치마크가 AI 모델의 능력을 가늠하는 핵심 척도로 자리 잡으면서, 점수 향상 자체를 최적화 목표로 삼는 관행과 그 한계를 둘러싼 논의가 활발해지는 양상이다.
ADVERTISEMENT
◇ '벤치맥싱'이란 무엇인가
벤치맥싱은 '벤치마크(benchmark)'와 인터넷 문화에서 파생된 접미사 '-맥싱(-maxxing)'의 합성어다.
'-맥싱'은 특정 수치나 목표를 극단적으로 최적화하는 행동 방식을 뜻하는 표현으로, 외모 가꾸기를 극한으로 추구하는 '룩스맥싱(looksmaxxing)', 헬스 기록 극대화를 뜻하는 '짐맥싱(gymmaxxing)' 등의 용례에서 비롯됐다.
벤치맥싱의 정의는 이렇다.
AI 모델의 전반적인 능력을 높이는 데 집중하기보다, 공개된 평가 방식이나 특정 문제 유형에 맞춰 사후 학습 데이터와 강화학습 자원을 집중적으로 투입해 리더보드 점수를 극대화하는 관행이다.
단일 기법이 아니라 훈련 데이터 오염, 벤치마크 특화 파인튜닝, 선택적 모델 제출 등 다양한 방식을 아우르는 총칭이기도 하다.
훈련 데이터 오염은 벤치맥싱의 가장 흔한 형태다. 대부분의 벤치마크는 문제와 정답이 공개돼 있는데, 웹 크롤링 기반으로 방대한 데이터를 학습하는 대규모언어모델(LLM)의 특성상 벤치마크 문항이 훈련 데이터에 포함될 가능성이 구조적으로 존재한다
이 경우 모델이 문제를 실질적으로 '풀었다'기보다 사실상 '외운' 것에 가까운 결과가 나올 수 있다.
◇ 왜 지금 주목받나
벤치맥싱이 주목받는 배경에는 AI 리더보드가 갖는 막대한 파급력이 있다.
기업의 AI 도입 결정, 투자 유치, 언론 보도 모두 벤치마크 순위를 핵심 근거로 삼는 구조가 굳어지면서, AI 연구소들에게 점수 자체가 실질적인 최적화 목표가 됐다는 진단이 나온다.
이와 관련해선 영국 경제학자 찰스 굿하트가 1975년 제시한 '굿하트의 법칙'이 자주 인용된다. "측정치가 목표가 되는 순간, 더 이상 유효한 측정 도구가 아니다"라는 이 원리가 AI 벤치마크에서 그대로 재현되고 있다는 것이다.
실제 옥스퍼드대학교 인터넷연구소(OII) 등이 올해 2월 발표한 연구는 주요 AI·머신러닝 학회에서 활용된 445개 LLM 벤치마크를 검토한 결과, 일부 평가에서 측정하려는 능력에 대한 정의가 불명확하거나 통계적 검증이 충분하지 않은 문제가 발견됐다고 지적했다.
벤치마크 포화 현상도 맞물린다.
한때 AI 모델 일반 지식 평가의 표준으로 꼽히던 'MMLU(대규모 다중 작업 언어 이해)' 벤치마크에서는 선두권 모델 다수가 2%포인트 안에 밀집하는 수준에 이르렀다. 평가 환경의 미세한 차이만으로도 순위가 뒤바뀔 수 있어 변별력이 약해졌다는 지적이 나온다.
벤치맥싱 논란을 수면 위로 끌어올린 사건은 지난해 4월 메타의 '라마4' 공개였다.
당시 메타는 AI 모델 비교 플랫폼 'LM아레나'에서 라마4-매버릭이 높은 순위를 기록했다고 발표했으나, 정작 평가에 쓰인 모델이 인간 선호도에 특화된 실험 버전이었다는 사실이 드러나 논란이 됐다. 이모지 남발, 장문 답변 등 LM아레나 평가 방식에 유리한 방향으로 조정된 버전이었다는 것이다.
정식 출시 버전을 재평가한 결과 순위는 크게 떨어졌다.
LM아레나 운영사는 "메타의 정책 해석이 기대에 부합하지 않았다"며 평가 정책을 개정했다.
메타 측은 "시험 데이터셋으로 훈련한 사실이 없다"고 부인했으나 2025년 11월 메타를 떠난 얀 르쿤 전 수석 AI 과학자가 이듬해 파이낸셜타임스(FT) 인터뷰에서 "결과가 약간 조작됐다"고 언급하면서 논란이 재점화됐다.
ADVERTISEMENT
◇ 국내로 번진 쟁점
벤치맥싱을 둘러싼 논의는 국내에서도 정책 쟁점으로 이어지고 있다. 정부 주도 '독자 AI 파운데이션 모델(독파모)' 프로젝트의 평가 방식이 도마 위에 올랐다.
지난 독파모 1차 평가는 전체 100점 중 벤치마크 평가에 40점을 배정해 가장 높은 비중을 부여했다. 조만간 발표될 2차 평가에서도 세부 항목은 달라졌지만 총 40점이라는 큰 틀은 유지됐다.
업계에서는 찬반이 엇갈린다.
모델 간 기초 추론·지식·코딩 능력을 같은 조건에서 비교하기 위한 최소한의 정량 지표로 벤치마크는 여전히 유효하다는 공감대가 있다.
반면 국가대표 모델을 선발하는 사업에서 공개 지표의 비중이 지나치게 높을 경우 '좋은 모델을 만드는 경쟁'과 '좋은 점수를 만드는 경쟁' 사이의 경계가 흐릿해질 수 있다는 우려도 나온다.
벤치맥싱 논의가 활발해질수록 대안 평가 방식에 대한 관심도 높아지고 있다. 핵심은 모델이 사전에 접할 수 없는 비공개 평가를 병행하는 것이다. 실제 업무 환경을 반영한 태스크로 구성된 비공개 평가는 오염 가능성을 차단한다는 점에서 공개 벤치마크의 보완재로 주목받는다.
다만 벤치마크 자체를 폐기해야 한다는 주장보다는, 단일 지표 의존에서 벗어나 벤치마크와 사용자 평가, 실무 태스크를 결합한 다층적 평가 체계가 필요하다는 의견이 힘을 얻는 추세다.
kwonhy@yna.co.kr
(끝)
<저작권자(c) 연합뉴스, 무단 전재-재배포, AI 학습 및 활용 금지>
ADVERTISEMENT
ADVERTISEMENT
ADVERTISEMENT