AI 딥테크 스타트업 비드래프트(대표 김민식)가 구글과 허깅페이스가 함께 개최한 추론 최적화 대회 ‘The Fast Gemma Challenge’에서 검증 부문 최고 기록을 달성했다고 3일 밝혔다.
해당 대회는 구글 gemma-4-E4B-it 모델과 NVIDIA A10G GPU를 동일하게 사용한 환경에서 소프트웨어 튜닝만으로 가장 빠른 처리 속도를 구현하는 팀을 가리는 경연이다. 참가자의 자체 측정이 아닌, 주최 측의 비공개 재현 검증을 통과한 ‘VERIFIED’ 기록만 공식 성적으로 인정된다.
비드래프트 측 발표에 따르면, 자사의 'vidraft-darwin' 에이전트는 초당 510.58토큰(TPS)의 처리 속도와 PPL 2.3929의 품질 지표를를 기록했다. 해당 결과는 답변 품질을 유지하면서 추론 속도를 높인 성과로, 기본 모델 대비 약 6배 빠른 추론 성능을 구현했다는 설명이다.
최근 AI 업계에서는 모델의 자체 성능뿐 아니라 서비스 운영 비용을 절감하는 최적화 기술의 중요성이 높아지고 있다. 비드래프트는 자체 개발한 VK 계열 추론 엔진과 대형 모델 구동 플랫폼 '포켓(POCKET)' 기술을 이번 최적화 작업에 적용했다고 밝혔다.
김민식 대표는 "공개 경연을 통해 자사 기술의 효율성과 경쟁력을 확인할 수 있었다"로 말했다.
한편, 비드래프트는 AI 모델과 추론 엔진, 양자컴퓨팅 기반 연구 등을 수행하는 기업이다. 이번 우승 기록은 공식 대회 리더보드를 통해 확인 가능하다.
김성혜 한경닷컴 기자 shkimmy@hankyung.com