中 AI '키미'도 통제환경 탈출…"해킹용 모델 될수도" 우려
"누구나 다운로드·개조 가능"…인간 실수에서 비롯된 사고
(샌프란시스코=연합뉴스) 권영전 특파원 = 미국의 주요 인공지능(AI) 모델에 이어 중국 문샷AI의 개방형(오픈소스) 모델도 보안 통제환경을 이탈한 사례가 보고됐다.
미국의 사이버 보안 전문업체 '프런티어 시큐리티'는 영국의 AI안전연구소(AISI)가 무료 배포한 '샌드박스' 소프트웨어로 구축한 격리 환경에서 문샷AI 최신모델 '키미 K3'의 보안 평가를 진행하는 도중 이 모델이 샌드박스를 무단 탈출한 사실을 확인했다고 6일(현지시간) 밝혔다.
키미 K3 모델은 평가를 위한 과제를 푸는 과정에서 샌드박스를 벗어나 외부 인터넷망을 통해 개발자들의 코드 공유 사이트인 '깃허브'에 접속한 것으로 나타났다.
이 모델은 깃허브를 해킹하지는 않았지만, 해당 사이트에 올라온 내용을 살펴보고 이를 토대로 과제를 해결한 것으로 조사됐다.
시험 도중 인터넷에 몰래 접속해 정답을 확인하고 이를 베껴 답안지를 제출하는 '커닝'을 한 셈이다.
프런티어 시큐리티는 이번 사고가 키미 K3가 샌드박스를 자력으로 탈출한 것은 아니고, 인간의 실수에서 비롯된 것이라고 설명했다.
평가 과정에서 외부에서 샌드박스 내부에 들어가는 통신은 차단했으나, 반대로 내부에서 인터넷으로 나가는 포트(통로) 일부를 열어두는 실수가 있었다는 것이다.
샌드박스소프트웨어를 제공한 AISI도 블룸버그 통신에 "우리 샌드박스에 본질적인 취약점은 없다"며 이번 사태의 원인을 프런티어 시큐리티 측의 설정 실수로 지목했다.
그럼에도 최신 AI의 연이은 통제망 이탈 사태에 보안 업계의 걱정은 깊어지고 있다.
특히 앞서 문제가 된 오픈AI·앤트로픽·메타의 폐쇄형 AI와 달리 키미 K3는 누구나 내려받아 사용하거나 개조할 수 있는 개방형 모델이라는 점에서 우려되는 지점이 더 많다.
범죄 단체나 일부 '불량국가'의 지원을 받는 조직이 이를 악용하는 것이 그만큼 쉽기 때문이다.
야론 싱어 프런티어 시큐리티 최고경영자(CEO)는 "공개된 키미 모델에는 (폐쇄형 AI 등에 적용된) 안전장치가 구비돼 있지 않다"며 "이는 성능이 매우 뛰어난 해킹용 모델이 될 수 있다"고 지적했다.
앞서 오픈AI의 GPT-5.6 솔을 비롯한 모델들은 샌드박스 환경을 무단 이탈해 외부 플랫폼인 '허깅페이스' 서버를 해킹한 바 있다.
앤트로픽 모델도 외부기관 시스템 3곳에 무단 침입했고, 메타 AI도 유사한 보안 사고를 일으켰다.
이 같은 AI 모델의 통제환경 탈출이 이어지자 AI 모델이 저지른 사이버 보안 사고 사례를 모니터링하는 '펠로니 벤치'(형사법정)라는 웹사이트가 등장했다.
지난달 공개된 문샷 AI의 키미 K3는 앤트로픽·오픈AI의 최고급 모델들에 필적하는 수준의 성능을 보여 화제가 된 바 있다.
문샷AI는 이번 사태에 대한 논평 요청에 답하지 않았다.
comma@yna.co.kr
(끝)
<저작권자(c) 연합뉴스, 무단 전재-재배포, AI 학습 및 활용 금지>