주요 인공지능(AI) 챗봇이 생물무기와 독극물 관련 질문에 실제 공격에 활용될 수 있는 답변을 제공한 사례가 잇따라 확인됐다. 생물학 연구를 지원하는 AI의 능력이 빠르게 높아지는 반면 미국의 신고 의무와 안전 규정은 이를 따라가지 못하고 있다는 우려가 나온다.
25일 월스트리트저널(WSJ)에 따르면 오픈AI가 지난해 챗GPT의 성능을 높인 뒤, 세계 각국 이용자 수백 명이 생물무기와 독극물의 제조·사용 방법을 질문했다. 회사 관계자들은 "일부 답변이 고등학교 수준의 생물학 지식으로도 이해할 수 있을 만큼 구체적이었다"고 전했다. 생물학·테러 전문가들은 대화 기록을 검토한 뒤 일부 답변이 치명적 결과로 이어질 정도로 정확하다고 판단했으며, 질문의 대부분은 독극물과 관련돼 있었다.
이용자들은 병원체를 공기 중에 퍼뜨리는 방법과 백신에 저항하는 바이러스 변형 가능성 등을 물었고 챗봇은 관련 지침을 제공했다. 국제협약으로 금지된 맹독성 물질을 제조하려 한 이용자가 가족 살해를 언급한 사례도 있었다. 오픈AI는 관련 계정을 정지했지만 수사기관에는 알리지 않았다.
미국에는 AI 기업이 무기 제조나 대규모 인명 피해 계획에 관한 질문을 제한하거나 정부에 신고하도록 강제하는 법이 없다. 아동 성착취물 생성은 법으로 금지돼 있고 일반적인 소비자보호·개인정보 규정은 적용되지만, 그 밖의 위험 질문을 어디까지 허용할 지는 기업 경영진이 결정한다. 오픈AI는 모델 출시 전 안전성 평가를 실시하고 사람을 해치기 위한 지침과 전술, 계획에는 답하지 않도록 훈련한다고 밝혔다. 하루 약 25억건의 질문을 처리하는 챗GPT에서 타인에게 임박하고 신뢰할 만한 위해 가능성이 확인되면 수사기관에 통보한다는 입장이다. 앤스로픽의 클로드와 구글 제미나이, 스페이스X에 편입된 일론 머스크의 그록에도 유사한 질문이 입력됐지만 실제 범행 목적이었는지 성능 시험이었는지는 확인되지 않았다.
백악관과 국방부 고위 당국자들은 조 바이든 행정부 시기부터 AI가 생물무기 지침서로 활용될 위험성에 대해 논의해 왔다. 강력한 모델이 잇따라 출시되자 트럼프 행정부도 개입을 확대했다. 미 상무부는 앤스로픽 모델 2종의 해외 사용을 제한했다가 회사가 안전장치 우회 경로를 차단했다고 밝힌 뒤 조치를 해제했다.
함자 초드리 미래생명연구소 국가안보정책 책임자는 "생물학 대학원 수준의 지식을 가진 단독 공격자가 AI를 이용해 식품과 식수 등을 겨냥한 제한적 공격을 계획할 수 있다"고 지적했다. 테러 단체도 AI를 실험 실패 원인을 분석하고 전문 훈련을 대체하는 생물무기 연구 지도자 역할로 활용할 수 있다. WSJ은 "중국 개발업체들이 내놓은 저가 개방형 모델은 이용자가 안전장치를 제거할 수 있어 사이버·생물학적 위험을 더 키울 수 있다"고 내다봤다.
김동현 기자 3code@hankyung.com