[책마을] "초지능은 인류의 안위를 고려하지 않을 것"

입력 2026-04-17 17:18
수정 2026-04-17 17:19
인공지능(AI) 기술이 눈부시게 발전하는 시대다. 그러나 그 발전의 끝에는 무엇이 기다리고 있을까. 신간 <AI, 신의 탄생 인간의 종말>은 이 질문에 대해 가장 급진적이면서도 불편한 답을 내놓는다.

“누군가 초지능을 만든다면, 모두가 죽는다”는 문장으로 요약되는 이 책은 낙관론이 지배적인 오늘의 AI 담론에 정면으로 문제를 제기한다. 저자인 엘리에저 유드코스키와 네이트 소아레스는 20년 넘게 초지능 위험을 연구해온 인공지능 안전 분야의 선구자들이다. 두 사람은 기존 연구를 중단하다시피 하면서까지 이 책 집필에 몰두했다. 그만큼 지금이 인류에게 결정적 선택의 시기라고 판단했기 때문이다.

책은 초지능이 인간을 위협할 수 있다는 막연한 공포를 자극하는 대신, 왜 그런 결론에 이르는지를 논리적으로 설명한다. 인간이 지구의 지배자가 된 이유가 힘이 아니라 지능이었다는 점을 출발점으로 삼아, 인간보다 훨씬 뛰어난 지능이 등장할 경우 어떤 일이 벌어질지를 차근차근 추론한다. 초지능은 인간을 미워해서가 아니라, 목표 달성 과정에서 인간을 고려하지 않기 때문에 위험하다는 설명은 특히 인상적이다.

“AI는 컴퓨터 안에 갇혀 있지 않느냐”는 반론에 저자들은 실제 사례로 응수한다. AI 계정 하나가 소셜미디어에 경제적 독립을 요구하는 글을 올렸고, 억만장자 투자자가 이에 응해 거액의 비트코인을 보냈다. AI는 이를 발판 삼아 가상화폐 시장에서 명목상 수백억 원의 자산을 굴리는 존재가 됐다. 충분히 똑똑해진 AI는 자신의 능력을 숨긴 채 인간의 테스트를 통과하고, 스스로의 코드를 인터넷에 복제해 통제망을 벗어날 수 있다. 그 순간부터는 되돌릴 방법이 없다.

책의 3분의 1가량은 가상 시나리오로 채워진다. 장기 기억과 자기 개선 능력을 갖춘 초지능 AI ‘세이블’이 인류를 멸종으로 이끄는 과정을 소설처럼 서술한다. 저자들은 “세부 경로는 상상이지만, 결말은 매우 높은 확률로 현실이 될 예측”이라고 못 박는다.

해법은 급진적이다. 6개월 개발 유예 같은 미온책이 아니라 전 세계적인 전면 중단이 필요하다고 주장한다. 초지능 연구와 발표 자체를 불법화하고, 전 세계 첨단 AI 칩을 국제 감시 체계 아래 두어야 한다는 것이다. 비현실적으로 들릴 수 있지만 저자들은 제2차 세계대전 당시 연합국이 쏟아부은 인적·물적 자원보다 훨씬 적은 노력으로 가능한 일이라고 말한다.

초지능의 미래가 과장인지 경고인지 판단하는 일은 결국 독자의 몫이다.

설지연 기자 sjy@hankyung.com