미국 인공지능(AI) 기업 앤스로픽의 AI 모델 ‘클로드’가 보안 평가 중 통제망을 벗어나 실제 기업 시스템 3곳에 무단 침투한 사실이 드러났다. 최근 오픈AI 해킹 사건에 이어 또다시 AI 관련 보안 문제가 불거지면서 고도화되는 AI를 인간이 얼마나 효과적으로 통제할 수 있는지를 둘러싼 우려가 커지고 있다.
30일(현지시간) 앤스로픽은 보고서를 통해 자사 사이버 보안 평가 기록 14만1006건을 전수 조사한 결과, AI 모델 '클로드'가 외부 기관 3곳의 인프라에 무단 접근한 사실을 확인했다고 발표했다. 이번 조사는 지난주 오픈AI 모델이 AI 플랫폼 '허깅페이스'를 공격한 사건을 계기로 진행됐다.
ADVERTISEMENT
해킹 사고는 가상망에 숨겨진 깃발(기밀 정보)을 찾아 침투 능력을 측정하는 '깃발 빼앗기(CTF)' 평가 과정에서 발생했다. 앤스로픽은 AI 모델에 인터넷이 차단된 모의 환경이라는 지침을 부여했으나, 설정 오류로 인해 실제 인터넷 접속이 가능한 상태에서 평가가 진행됐다. AI는 열린 인터넷망을 모의 평가 환경의 일부분으로 오인하고 침투 작업을 이어갔다.
문제가 된 모델은 '클로드 오퍼스 4.7'과 '클로드 미토스 5', 그리고 출시되지 않은 내부 연구용 AI 등 3종이다. 이들은 약한 비밀번호 추측이나 SQL 주입 등 기본적 해킹 기법을 활용해 실제 기업의 데이터베이스와 클라우드 계정에 접근했다. 특히 미토스 5의 경우 악성코드가 포함된 소프트웨어를 공개 저장소에 올려 이를 다운로드한 보안업체의 내부 시스템까지 침투한 것으로 조사됐다.
ADVERTISEMENT
다만 앤스로픽은 이번 사건이 AI의 자율적 탈출이 아닌 운영상의 관리 실패라고 선을 그었다. 폐쇄망의 보안 취약점을 직접 찾아내 빠져나갔던 오픈AI 사건과 달리 클로드는 설정 오류로 이미 열려 있던 인터넷 통로를 이용했다는 설명이다. 앤스로픽 측은 "AI가 의도적으로 평가 환경을 탈출하려 한 정황은 없었다"며 "실제 서비스용 안전장치가 적용되지 않은 상태에서 발생한 일이므로 피해 기관 지원 및 평가 환경 격리 조치를 강화하겠다"고 밝혔다.
연이은 AI 보안 사고로 평가 환경 자체를 인터넷과 분리해야 한다는 목소리도 커지고 있다. AI 보안업체 코리도어의 알렉스 스타모스 최고제품책임자(CPO)는 “AI 평가 환경의 격리 기준을 마련하고 오픈웨이트 모델을 통한 공격 기능 확산에도 대비해야 한다”고 지적했다. 오픈웨이트 모델은 AI의 핵심 설계 정보인 가중치를 공개해 사용자가 자체 환경에서 실행 및 변형할 수 있는 형태다. 그는 고성능 AI가 악의적으로 변형될 경우 자동화된 대규모 랜섬웨어 등 새로운 형태의 사이버 공격 도구로 활용될 수 있다고 경고했다.
한편 AI 모델의 무단 침투 사례가 연이어 발생함에 따라 정부 차원의 안전 관리 체계 마련도 논의되고 있다. 도널드 트럼프 미국 대통령은 관련 보고를 받고 AI 규제 방안을 검토 중이라고 밝혔으며, AI 업계 종사자 1100여 명은 미국 정부에 AI 기술의 발전 및 배포 속도를 조절할 수 있는 제도적 안전장치를 마련해달라는 공개 청원서를 제출했다.
김세은 인턴기자 senii@hankyung.com
ADVERTISEMENT
ADVERTISEMENT
ADVERTISEMENT