사용자가 직접 정보를 입력하는 '온라인 백과사전' 위키피디아(이하 위키)가 15일(현지시간) 출범 25주년을 맞았다. 웹 2.0시대를 상징하는 위키는 최근 위기에 빠졌다. 인공지능(AI) 검색이 보편화하면서 검색 사이트로서의 존재감이 희미해지면서다. 그러나 인간이 직접 만든 데이터의 보고로서 가치는 오히려 커지고 있다는 평가가 나온다.
AI 검색 등장하며 트래픽 급감
이날 위키는 메타, 아마존, 마이크로소프트(MS), 퍼플렉시티 등 주요 AI 기업에 데이터를 제공하는 파트너십을 체결했다고 발표했다. 위키 측은 "이들 기업은 자사의 필요에 맞춘 용량과 속도로 위키 콘텐츠에 접근할 수 있으며 동시에 위키백과의 비영리적 사명을 직접 지원할 수 있다"라고 밝혔다.위키는 본래 '누구나 사용, 편집, 배포할 수 있는 자유 콘텐츠'를 지향해왔다. 그러나 2021년 10월 첫 유료 서비스 모델인 '위키미디어 엔터프라이즈'를 출시했다. 구글, 아마존, 애플 등 빅테크들이 위키 데이터를 이용해 검색이나 인공지능(AI) 비서에 활용하는 만큼 위키의 서버 유지 비용을 분담해야한다는 취지였다. 2022년 구글과 맺었던 이 파트너십을 이제는 전방위적인 빅테크 협력으로 확장한 것이다.
위키는 대규모언어모델(LLM) 시대가 열리며 직접적인 타격을 입었다. 사용자들이 더 편리하게 정보를 찾을 수 있는 구글 제미나이, 오픈AI 챗GPT를 이용하면서다. 시밀러웹에 따르면 위키 월간 방문 횟수는 지난해 3월 기준 3년 전보다 약11억6000만건 급감했다. 사용자의 자발적 참여와 기부로 유지되는 위키로서는 수익과 데이터 감소라는 위기를 동시에 맞았다.
반면 AI 학습용 데이터를 긁어가는 '스크랩봇'은 늘었다. 퓨리서치센터에 따르면 지난해 웹크롤러, AI 봇 등이 위키 홈페이지에 접속한 횟수는 880억건이 넘고 그 비중은 전체 조회수의 3분의1에 달한다. 스크랩봇의 증가는 서버 트래픽에 부하를 주며 서버 유지 비용 증가로 이어졌다. 결국 위키는 스크랩봇을 차단하고 AI 기업들과 파트너십을 통해 정보를 제공하는 형태로 선회했다.
사람이 만든 데이터 가치는 높아져
이처럼 위기를 맞은 위키의 손을 빅테크들이 잡은 것은 '인간이 만든 정제 데이터'의 가치를 높이 샀기 때문이라는 평가다."위키와 함께 성장한 세대라면 위키 인용을 극도로 불신하던 교수와 싸운 기억이 있을 것"이라는 포브스의 평가처럼, 그간 위키 자료는 부정확하다는 평가를 받았다. 누구나 직접 수정할 수 있다는 점은 신뢰성에 대한 불신을 키웠다.
그러나 AI 시대에는 사람이 직접 써 넣은 정보라는 점이 부각되며 상대적으로 높은 가치를 인정받고 있다. 테크 전문매체 와이어드는 "AI는 위키처럼 인간이 검증한 데이터를 학습할 때 가장 잘 작동한다"라며 "AI가 생성한 데이터를 반복 학습하면 모델 붕괴가 일어날 수 있다"고 진단했다.
실시간성 또한 위키의 핵심 경쟁력이다. 위키 백과의 활성 사용자(30일 내 문서를 수정한 사용자)수는 25만명이 넘고, 하루에 약 100만건에 달하는 페이지가 수정된다. 위키 측도 이를 활용해 무료 고객에게는 2달에 한 번, 유료 고객에게는 실시간 데이터를 제공한다. 인간이 만든 실시간 데이터를 필요로 하는 AI기업에게는 '황금알을 낳는 거위'를 살려두기 위한 세금을 지불하는 셈이다.
실리콘밸리에는 부자와 천재가 많습니다. 이들이 만나면 미래가 만들어집니다. 현장에서 보고 듣고 느끼는 미래의 이야기를 '퓨처 디스패치'에서 전해드립니다. 기자 페이지를 구독해주세요.
실리콘밸리=김인엽 특파원 inside@hankyung.com
