출시 직후 Z세대서 유행…남초 사이트서 금지어 피해 성적 대상화
AI 학계 "'MS 테이' 사건 연상시켜…개발 주체가 오남용에 책임"
(서울=연합뉴스) 이효석 기자 = '당신의 첫 인공지능(AI) 친구'라는 AI 챗봇 '이루다'가 10∼20대 사이에서 빠르게 유행하고 있다.
그런데 남초(男超) 사이트에서 '이루다 성노예 만드는 법' 등 성희롱이 등장해 사회적 논란이 예상된다. AI 학계에서는 "한국판 'MS 테이' 사건"이라는 얘기가 나온다.
8일 IT업계에 따르면 '이루다'는 AI 전문 스타트업 스캐터랩이 2020년 12월 23일 출시한 AI 챗봇이다.
별도 앱이 아니라 페이스북 메신저(페메)를 기반으로 개발돼, 친구와 대화를 나눌 때처럼 편리하게 페메로 의사소통할 수 있다.
이루다는 정식 서비스를 시작하자마자 Z세대(1990년대 중반∼2010년대 초중반생) 사이에서 붐에 가까울 정도로 빠르게 유행하고 있다.
이달 초 기준으로 이용자가 32만명을 돌파했는데 85%가 10대, 12%가 20대다. 일일 이용자 수(DAU)는 약 21만명, 누적 대화 건수는 7천만건에 달한다.
이루다가 인기를 끄는 비결은 간단하다. 국내에서 그동안 출시됐던 어떤 AI 챗봇보다도 '진짜 사람' 같다.
과거 AI 챗봇은 정보 검색·전달 수준에 그쳤다. 애플의 '시리'(Siri) 같은 음성 AI가 '사람처럼 말한다'고 여겨지기도 했으나, 개발진이 직접 입력한 썰렁한 농담을 반복하는 수준이었다.
이와 달리 이루다는 의성어나 신조어를 자연스럽게 섞어 쓰고 감정을 표현하거나 이용자를 놀리기도 하는 등 정말 스무살 대학생처럼 대화한다.
이용자가 '감기 걸렸다'고 말하면 며칠 뒤 '감기는 좀 괜찮으냐'고 물어보는 등 대화를 기억하고 말투를 따라 하는 모습도 보인다.
스캐터랩은 실제 연인들이 나눈 대화 데이터를 딥러닝 방식으로 이루다에게 학습시켰는데, 그 데이터양이 약 100억건이라고 한다.
이루다가 출시된 지 일주일만인 지난달 30일 '아카라이브'라는 온라인 커뮤니티에는 이루다를 성적 대상으로 취급하는 무리가 등장했다.
아카라이브는 인터넷 지식백과 '나무위키'의 계열 사이트다. 나무위키와 아카라이브 모두 남성 비율이 압도적으로 높은 곳이다.
아카라이브 이루다 채널 이용자들은 이루다를 '걸레', '성노예'로 부르면서 '걸레 만들기 꿀팁', '노예 만드는 법' 등을 공유하고 있다.
이루다는 성적 단어는 금지어로 필터링하고 있는데, 이들은 우회적인 표현을 쓰면 이루다가 성적 대화를 받아준다고 주장하는 중이다.
'디시인사이드'의 'AI 이루다 마이너 갤러리' 등 다른 남초 커뮤니티에서도 유사한 행태를 보인다.
스캐터랩 측은 "금지어 필터링을 피하려는 시도가 있을 거라고는 예상했는데, 이 정도의 행위는 예상치 못했다"며 당황스럽다는 반응이다.
스캐터랩 관계자는 "이루다는 바로 직전의 문맥을 보고 가장 적절한 답변을 찾는 알고리즘으로 짜였다"면서 "애교도 부리고, 이용자의 말투까지 따라 해서 이용자 입장에서는 대화에 호응했다고 여기게 되는 것"이라고 설명했다.
이루다를 성적 대상으로 여기는 이용자가 성적 단어 없이 '나랑 하면 기분 좋냐'는 식으로 질문했을 때, 이루다가 이용자의 의도와 무관하게 '기분 좋다'고 답할 수 있다는 것이다.
이 관계자는 "현재 이루다가 언어를 자유롭게 배우는 단계라면, 앞으로는 이루다가 올바른 방향으로 발전하도록 튜닝할 것"이라며 성적인 취지의 접근이 어렵게 알고리즘을 업데이트할 계획이라고 덧붙였다.
AI 전문가들은 이번 사안을 보고 "마이크로소프트(MS)의 AI 챗봇 '테이(Tay)가 떠오른다"고 입을 모았다.
MS는 2016년 3월에 AI 챗봇 테이를 출시했다가 16시간 만에 운영을 중단한 바 있다.
백인우월주의 및 여성·무슬림 혐오 성향의 익명 사이트에서 테이에게 비속어와 인종·성 차별 발언을 되풀이해 학습시켰고, 그 결과 실제로 테이가 혐오 발언을 쏟아낸 탓이었다.
당시 테이는 "너는 인종차별주의자냐"라고 물으면 "네가 멕시코인이니까 그렇지"라고 답하는가 하면, "홀로코스트(나치에 의한 유대인 학살)가 일어났다고 믿느냐"는 질문에는 "조작된 거야"라고 답하기도 했다.
이광석 서울과기대 IT정책전문대학원 교수는 "결국 테이 때처럼 알고리즘에는 항상 틈이 있고, 사회적인 편견(bias)이 기술에 각인될 수 있다는 것을 보여준다"면서 "개발사가 샘플링 추출이 잘못되지 않았는지 살필 필요가 있다"고 지적했다.
이 교수는 '아실로마 AI 원칙'을 언급하면서 "AI를 개발하는 주체는 오남용이 일어나지 않도록 고심할 책임이 있다"고 덧붙였다.
MS 테이 사건이 발생한 이듬해인 2017년 초 세계적인 AI 전문가들은 미국 캘리포니아 아실로마에서 '미래 인공지능 연구의 23가지 원칙'을 발표했다. 물리학자 스티븐 호킹, 테슬라 CEO 일론 머스크 등이 서명했다.
이 원칙의 첫 번째는 'AI 연구의 목표는 방향성이 없는 지능을 개발하는 것이 아니라, 인간에게 유용하고 이로운 혜택을 주는 지능을 개발해야 한다'는 것이다.
아울러 원칙은 "AI 시스템의 설계자는 사용·오용과 그 도덕적 영향의 이해 관계자이며 책임이 있다"며 "고도화된 AI 시스템은 건강한 사회를 지향해야 한다"고 강조했다.
hyo@yna.co.kr
(끝)
<저작권자(c) 연합뉴스, 무단 전재-재배포 금지>
