딥시크, '실험버전' V3.2 출시…"차세대 AI 아키텍처 중간 단계"
(서울=연합뉴스) 김준억 기자 = 중국 인공지능(AI) 스타트업 딥시크가 챗봇형 AI 모델 'V3' 기반의 실험 버전인 'V3.2-Exp'를 출시했다.
딥시크는 29일(현지시간) 글로벌 오픈소스 플랫폼 허깅페이스 등에 V3.2-Exp를 공개하면서 "이 모델은 당사의 차세대 아키텍처로 나아가기 위한 중간 단계"라고 밝혔다.
딥시크는 기존 V3.1에 장문맥(long-context) 시나리오에서 학습과 추론의 효율성을 최적화하기 위해 자사가 설계한 '희소(sparse) 어텐션' 메커니즘을 적용했다고 설명했다.
딥시크는 "이번 실험 버전은 더욱 효율적인 트랜스포머 아키텍처에 대한 당사의 연구 진행 상황을 보여준다"며 "특히 확장된 텍스트 시퀀스 처리 과정에서 연산 효율성 개선에 초점을 맞췄다"고 강조했다.
홍콩 사우스차이나모닝포스트(SCMP)에 따르면 딥시크는 지난해 12월 출시한 V3의 업그레이드 모델인 V3.1을 지난 8월에 선보였으며 지난주에는 V3.1-터미너스를 공개했다.
이번 V3.2-Exp는 V3.1-터미너스와 비교하면 API(애플리케이션 프로그래밍 인터페이스) 비용을 50% 이상 절감하면서도 학습과 추론 효율성을 향상했다.
AI 업계에서는 모든 토큰(AI 모델에서 처리되는 데이터 단위) 간 관계를 계산하는 기존의 '풀(Full) 어텐션' 메커니즘은 시퀀스 길이가 증가할수록 계산 복잡도가 기하급수적으로 늘어나는 문제가 있어 일부 토큰만 선택해 계산하는 '희소 어텐션' 연구가 활발하다.
앞서 딥시크도 지난 2월 창업자 량원펑이 공동 저자로 참여한 논문을 발표하면서 자사가 개발한 희소 어탠션 메커니즘을 소개한 바 있다.
이 논문에서 딥시크는 'NSA(Native Sparse Attention)'라고 명명한 메커니즘을 개발했다며 "NSA는 동적 계층화(dynamic hierarchical) 희소 전략을 채택해 토큰 압축과 토큰 선택을 결합했다"고 설명했다.
SCMP는 딥시크가 이번 모델을 출시한 시기가 신중국 건국 기념일인 국경절(10월 1일) 연휴 직전이라는 점에 주목했다.
딥시크는 지난 1월 음력 설 연휴를 앞두고 '저비용 고효율' 추론 모델인 'R1'을 출시해 세계를 충격에 빠뜨린 바 있어 내달 1일부터 시작되는 8일간의 국경절 연휴 전에 후속 모델로 'V4'나 'R2'를 공개할 수 있다는 추측이 나온 바 있다고 SCMP는 전했다.
SCMP에 따르면 네덜란드 위트레흐트대학의 AI 연구자 황지펑은 지난주 소셜미디어에서 딥시크가 점진적 업데이트를 계속할 것이라며 V4는 내년에, R2도 내년 음력 설 전후에 출시할 것으로 보인다고 밝혔다.
justdust@yna.co.kr
(끝)
<저작권자(c) 연합뉴스, 무단 전재-재배포, AI 학습 및 활용 금지>