해킹 방어 돕던 AI, 악성코드 조사 들어가자 "협조 못해"
모델 내장 안전장치 때문으로 추정
제한 완화한 선별 제공 모델 쓴 후 상황 안정
(서울=연합뉴스) 임화섭 기자 = 해킹을 당한 후 이를 수습하던 보안팀의 업무를 돕던 AI가 악성코드에 대한 조사에 협조를 거부하는 상황이 벌어졌다고 미국 매체 악시오스가 20일(현지시간) 보도했다.
보도에 따르면 오픈소스 코딩 에이전트 '오픈코드'가 지난 주말 보안 침해 사고를 당하면서 일부 고객의 응용프로그램인터페이스(API) 키가 해커들에게 유출됐다.
이 중에는 오픈AI, 앤트로픽, 구글 서비스를 위한 키도 포함돼 있었다.
오픈코드는 이번 침해 사고가 "대규모 증류 공격"에 연관돼 있으며 오픈코드 콘솔 사용자의 1.4%가 영향을 받았다고 전했다.
오픈코드의 공동창작자인 댁스 라드는 공격자들이 오픈코드 시스템에 48시간 연속으로 공격을 가했으며 이에 대응하기 위해 오픈코드가 자체 AI 에이전트를 상시 가동해야만 했다고 설명했다.
오픈AI, 구글, 앤트로픽은 영향을 받은 고객들과 협력해 노출된 API 키를 취소하고 무단 사용 요금 문제를 해결했다고 설명했다.
라드는 지난 18일 소셜 미디어 X에 올린 글에서 이런 상황을 설명하면서 첨단 AI 모델들이 처음에는 사고 조사를 도와줬으나 그 후 "(협조를) 거부하기 시작했다"고 전했다.
오픈코드가 조사 과정에서 악성일 가능성이 있는 코드를 다루게 되자, 시스템을 방어하려던 상황이었음에도 불구하고 AI 모델에 걸린 안전 제한 때문에 요청이 차단됐던 것으로 알려졌다.
이후 오픈코드는 오픈AI의 '데이브레이크 블루'(Daybreak Blue) 프로그램 이용 권한을 얻었다.
이 프로그램은 검증된 사이버보안 방어 담당자들에게 제한이 완화된 모델을 이용할 수 있도록 해준다.
라드는 19일 X에 "우리는 분명 더 선제적으로 대응해야 하며, 지난 며칠 동안 정말 많은 개선을 이뤘다"고 썼다.
악시오스는 "이번 사건은 강력하지만 제한이 내장된 독점형 AI 모델과, 배포·운용 방식을 더 폭넓게 통제할 수 있는 가중치 공개형 대안 가운데 어느 것을 언제 사용할지 판단해야 하는 사이버보안팀들의 딜레마를 드러냈다"고 평가했다.
허깅페이스 해킹 사건 당시에는 이 회사가 자사 시스템에서 의심스러운 활동을 발견했으며 나중에 이를 오픈AI 자체 에이전트와 연관된 것으로 파악했다.
당시 보안팀은 최첨단 모델의 이용 제한에 부딪히자, 중국의 '가중치 공개형'(오픈웨이트) 모델을 조사 수행에 활용했다.
다만 AI 기업들은 악의적 행위자가 자사 모델의 사이버 역량을 악용하지 못하도록 가장 강력한 모델에 대한 접근은 제한해야 한다는 입장이라고 악시오스는 전했다.
나이트윙의 크리스 존스 최고기술책임자(CTO)는 사이버보안팀들이 AI를 활용해 더 신속히 방어해야 할 필요성과 바로 그 역량이 공격자 손에 들어가지 않도록 마련된 제한 사이에서 균형을 잡을 방법을 찾아야 할 것이라고 악시오스에 말했다.
그는 "시간이 흐르면서 이 경쟁을 어떻게 조율해 나갈지 우리 모두 해법을 찾아야 할 것"이라고 덧붙였다.
solatido@yna.co.kr
(끝)
<저작권자(c) 연합뉴스, 무단 전재-재배포, AI 학습 및 활용 금지>