인공지능(AI) 검색에 밀려 존재감이 잃던 ‘온라인 백과사전’ 위키피디아(이하 위키)가 기사회생하고 있다. 인간이 직접 실시간으로 입력하는 데이터의 보고로 인정받으면서다. 꾸준한 데이터 확보를 위해 AI 기업들도 위키의 손을 잡았다.
◇AI 검색 등장에 트래픽 급감
위키는 지난 15일(현지시간) 출범 25주년을 맞아 메타, 아마존, 마이크로소프트(MS), 퍼플렉시티 등 주요 AI 기업에 데이터를 제공하는 파트너십을 체결했다고 발표했다. 위키 측은 "이들 기업은 자사의 필요에 맞춘 용량과 속도로 위키 콘텐츠에 접근할 수 있으며 동시에 위키백과의 비영리적 사명을 직접 지원할 수 있다"라고 밝혔다.웹 2.0(누구나 정보를 입력할 수 있는 웹사이트) 시대를 상징하는 위키는 본래 ‘누구나 사용, 편집, 배포할 수 있는 자유 콘텐츠’를 지향해왔다. 그러나 2021년 10월 ‘위키미디어 엔터프라이즈’를 출시하며 첫 유료 서비스를 시행했다. 이는 구글, 아마존, 애플 등 빅테크들이 위키 데이터를 이용해 검색이나 인공지능(AI) 비서에 활용하는 만큼 위키의 서버 유지 비용을 분담해야한다는 취지였다. 기존에는 구글과 맺었던 이 파트너십을 이제는 전방위 빅테크 협력으로 확장한 것이다.
이처럼 위키가 방향을 전환한 데는 강력한 위협으로 부상한 ‘대규모언어모델(LLM)’ 기반 챗봇이 있다. 2022년 말 오픈AI 챗GPT가 등장한 이후 사용자들이 위키를 떠나 더 편리하게 정보를 찾을 수 있는 챗봇을 활용하기 시작했다.시밀러웹에 따르면 위키 월간 방문 횟수는 지난해 3월 기준 3년 전보다 11억6000만여 건 급감했다. 사용자의 자발적 참여와 기부로 유지되는 위키로서는 수익과 데이터 감소라는 위기를 동시에 맞았다.
반면 AI 학습용 데이터를 긁어가는 ‘스크랩봇’은 늘었다. 퓨리서치센터에 따르면 지난해 웹크롤러, AI봇 등이 위키 홈페이지에 접속한 횟수는 880억건이 넘었다. 그 비중은 전체 조회수의 3분의1에 달한다. 스크랩봇의 증가는 서버 트래픽에 부하를 주며 서버 유지 비용 증가로 이어졌다. 결국 위키는 스크랩봇을 차단하고 AI 기업들과 파트너십을 통해 정보를 제공하는 형태로 선회했다.
◇사람이 만든 데이터 가치 높아져
위기를 맞은 위키의 손을 빅테크들이 잡은 것은 ‘인간이 만든 정제 데이터’의 가치를 높이 샀기 때문이라는 평가다. 그간 위키 자료는 누구나 직접 수정할 수 있다는 점에서 자료의 공정성과 신뢰성에 의심을 받았다. “위키와 함께 성장한 세대라면 위키 인용을 극도로 불신하던 교수와 싸운 기억이 있을 것”이라는 포브스의 평가는 이러한 인식을 대변한다. 그러나 AI 시대에는 위키 데이터가 사람이 직접 써 넣은 정보라는 점이 부각되며 상대적으로 높은 가치를 인정받고 있다. 테크 전문매체 와이어드는 “AI는 위키처럼 인간이 검증한 데이터를 학습할 때 가장 잘 작동한다”라며 “AI가 생성한 데이터를 반복 학습하면 모델 붕괴가 일어날 수 있다”고 진단했다.실시간성 또한 위키의 핵심 경쟁력이다. 위키 백과의 활성 사용자(30일 내 문서를 수정한 사용자)수는 25만명이 넘고, 하루에 약 100만건에 달하는 페이지가 수정된다. 위키 측도 이를 활용해 유료 고객에게는 실시간 데이터를 제공한다.
실리콘밸리=김인엽 특파원 inside@hankyung.com