솔라 오픈2에 이어 프론티어급 모델서도 기술력 입증
(서울=연합뉴스) 권하영 기자 = 노타[486990]는 중국 문샷AI의 초거대 AI 모델 '키미 K3'를 경량화해 구동에 필요한 그래픽처리장치(GPU)를 최대 절반으로 줄였다고 5일 밝혔다.
키미 K3는 입력값에 따라 필요한 모듈만 선택적으로 활성화하는 전문가 혼합(MoE) 구조를 채택한 프론티어급 오픈웨이트 AI 모델이다.
매개변수 2조8천억 개 규모로, 고성능인 만큼 구동에 B300 GPU 8장이 필요해 기업과 개발자에게 비용·인프라 부담이 컸다.
키미 K3는 학습 단계부터 가중치와 활성값을 각각 4비트와 8비트로 낮춰 설계돼, 정밀도를 낮추는 일반적인 양자화 방식만으로는 추가 압축 범위가 제한적이었다.
노타는 자체 개발한 '비균일 전문가 프루닝(Non-uniform Expert Pruning)' 기술로 이 문제를 해결했다.
모델 층별 특성과 모듈 중요도를 분석해 핵심 전문가는 보존하고 기여도가 낮은 모듈만 선별 제거하는 방식이다. 기존 방식과 달리 층별 제거 비율을 다르게 적용해 성능 저하를 최소화했다는 설명이다.
노타가 자체 평가한 결과, 층별 전문가를 동일 비율로 제거하는 기존 방식(REAP)보다 50% 경량화 모델이 대다수 벤치마크에서 더 높은 성능 보존율을 기록했다.
고난도 과학·추론 능력을 평가하는 GPQA-Diamond와 지시 수행 능력을 평가하는 IFEval 점수는 각각 2.52점, 2.22점 높았다.
김태호 노타 최고기술책임자(CTO)는 "다양한 프론티어급 AI 모델을 한정된 연산 자원에서도 효율적으로 활용할 수 있도록 기술 적용 범위를 확대하겠다"고 말했다.
kwonhy@yna.co.kr
(끝)
ADVERTISEMENT
<저작권자(c) 연합뉴스, 무단 전재-재배포, AI 학습 및 활용 금지>
ADVERTISEMENT
ADVERTISEMENT
ADVERTISEMENT
ADVERTISEMENT