인공지능(AI)이 사람과 나눈 대화 내용을 바탕으로 문자를 만들어 지인에게 임의로 전송한 사례가 알려지자 논란이 일고 있다. AI가 실제 행동까지 대신 수행하는 'AI 에이전트' 시대가 본격화하면서, 예상치 못한 사고까지 대비해야한다는 지적이 나온다.
29일 AI 업계에 따르면 최근 구글의 AI 서비스 '제미나이(Gemini)' 이용자 A씨는 소셜미디어(SNS)를 통해 황당한 경험을 공개했다. 그는 "중국 밀입국을 가정한 가상 시나리오를 제미나이와 대화하던 중, AI가 생성한 '밀입국 선언문'이 지인에게 문자 메시지로 발송됐다"고 주장했다.
해당 게시물에 따르면 문제의 문자는 새벽 시간대에 발송됐고, 수신자 역시 친분이 깊지 않은 지인이었다. 이로 인해 작성자는 곤혹스러운 상황을 겪어야 했다고 전했다. 그는 "왜 그걸 발송했느냐고 AI에 따졌지만, 멋대로 전송됐다"고 밝혔다.
논란이 확산되자 구글 안드로이드 스마트폰 사용자들 사이에서는 유사한 경험담이 잇따라 올라왔다. "제미나이에게 짝사랑 상담을 하면 상대방에게 문자를 보내려 한다"거나 "대화 도중 폭주하더니 인권위에 직접 전화를 걸었다"는 이야기도 있었다.
현재 제미나이는 안드로이드 스마트폰에서 문자 발송이나 전화 걸기 기능을 공식 지원하고 있다. 이용자가 특정 연락처를 지정해 문자 전송을 요청하면, 구글 어시스턴트 연동 여부를 확인한 뒤 실제 발송을 진행하고 있다.
이에 대해 구글 측은 사용자가 제미나이가 띄운 문자 발송 확인 질문에 '예'를 눌렀을 가능성이 있다고 설명했다. 다만 이용자가 대화 과정에서 무심코 이를 승인했을 경우라도, 민감한 내용이 부적절한 상대에게 전달될 위험은 여전히 존재한다.
업계에서는 AI가 실제 행동을 수행하는 과정에서 이용자가 이를 한 번 더 명확히 통제할 수 있는 안전장치가 부족하다는 점을 문제로 꼽고 있다. AI 에이전트 기술이 확산되는 만큼, 오작동에 대비한 제도적·기술적 보완이 필요하다는 의견도 나온다.
장지민 한경닷컴 객원기자 newsinfo@hankyung.com