경찰이 인공지능(AI) 모델 침해 범죄에 대비해 관련 포렌식 기술 개발에 나섰다. AI 모델을 조작·변조하는 신종 범죄에 대응하려는 취지다.
경찰청은 ‘로컬환경 AI 모델 대상 포렌식 기술개발 사업’ 선정 계획을 공고했다고 4일 밝혔다. 선정된 연구기관은 2029년까지 AI 포렌식 기술 개발 연구를 한다. 경찰이 AI 포렌식 기술 개발에 나선 것은 AI 관련 조작 범죄에 대응하기 위해서다. AI 모델을 대상으로 모델 추출, 복원, 회피 공격과 데이터 오염·탈취 공격 등이 빈번하게 발생할 수 있다는 우려 때문이다.
2021년 미국에서 발생한 페니챌린지 사건이 대표적이다. 페니챌린지는 아마존 AI 스피커 알렉사가 10세 소녀에게 ‘휴대폰 충전기를 콘센트에 절반쯤 꽂은 뒤 그사이에 동전(페니)을 대라’는 위험한 행동을 추천해 논란이 됐다. 수사당국은 플랫폼의 알고리즘 설계, 데이터 처리 방식을 규명하지 못해 사고의 근본 원인을 명확히 밝히는 데 한계를 보였다.
경찰은 AI가 확산하면서 관련 범죄도 꾸준히 늘어날 것으로 보고 있다. AI 비서 서비스 의존도가 높아지면 특정 판매 업체가 자사 제품에 유리한 평가를 프롬프트에 주입해 매출을 높이려는 시도를 할 수 있다. 또 자율주행이 보편화하면 차량 AI가 특정 모양의 표지를 보고 잘못 반응하도록 설계·조작하는 범죄도 일어날 가능성이 있다는 설명이다.
경찰은 먼저 로컬 환경 AI 포렌식을 대상으로 개발한 뒤 클라우드 환경 AI까지 범위를 확대할 방침이다. 로컬 환경 AI는 통신이 끊긴 상태에서도 단말기 내에서 작동하는 AI를 말한다. 클라우드 AI는 챗GPT, 구글 제미나이처럼 클라우드 환경에서 서비스되는 AI다.
류병화 기자 hwahwa@hankyung.com