지난 7월 영국 이코노미스트 편집장이 일론 머스크와 한 대담이 관심을 끌었다. 영향력이 큰 주간지가 가장 혁신적이고 성공적인 기업가의 발언들을 보도했으니 주목받을 수밖에 없다.
잡지는 머스크가 자신을 현대판 카산드라로 여긴다고 보도했다. 카산드라는 아폴로를 섬긴 트로이의 여사제였는데, 진실을 예언해도 사람들이 믿지 않는 운명을 아폴로로부터 받았다. 카산드라는 트로이의 파멸을 예언했지만 누구도 그의 말을 믿지 않았다. 지금 머스크의 예언들을 믿는 사람은 드물 터이다.
그의 예언들은 놀랄 만큼 과감하다. 예언의 요령은 되도록 모호하게 하는 것이다. 내용이 구체적이면 그것이 실현될 시기를 모호하게 만들어야 한다. 실현될 시기를 특정하면 예언의 내용을 두루뭉술하게 만드는 것이 안전하다. 이 요령을 머스크는 가볍게 어긴다. 자연히, 그의 예언이 그대로 맞을 가능성은 아주 낮다. 역설적으로, 바로 거기에 그의 예언의 가치가 있다.
사람의 시평(time-horizon)은 한 세대를 넘기 어렵다. 아이는 어른이 될 때까지만 생각한다. 어른이 되면 사회적 활동을 통해 가족을 부양하는 일만 생각한다. 은퇴한 뒤엔 손주를 돌보면서 죽음을 준비한다. 한 사람의 일생은 이처럼 세 세대로 구분되며, 시평도 거기 머문다.
자연히, 우리는 먼 뒷날 꼭 이뤄질 일들이 흔히 한 세대 뒤에는 이뤄진다고 상정한다. 인간 지능을 뛰어넘는 초지능의 출현 시기에 관한 예언들을 살피면 이 점이 잘 드러난다. 1965년 허버트 사이먼은 인간의 능력을 갖춘 기계가 1985년까지는 나오리라고 예상했다. 같은 해 마빈 민스키와 어빙 조지 굿은 그런 기계가 2000년 이전 어느 시기에 나오리라고 봤다. 1993년 버너 빈지는 2023년까지는 초지능이 나오리라고 예언했다. 2005년 레이 커즈와일은 2045년까지는 나온다고 말했다.
이런 사정은 “5년 안에 인공지능(AI) 체계들이 사람들의 지능 총계를 능가할 수 있다”는 머스크의 진단을 주목하게 만든다. 그는 AI 개발 기업을 경영하므로 AI의 발전 속도를 가장 잘 아는 사람 가운데 하나다. 그는 AI 성능이 가속적으로 향상되리라고 보는 것이다.
이 점은 1965년 굿이 예상했다. 뛰어난 기계는 자신을 개량할 수 있으므로 AI가 폭발적으로 향상되리라는 얘기다. 그런 과정은 이제 회귀적 자기 향상(recursive self-improvement)이라고 부른다. 이 과정은 가속적이어서 초지능이라는 점근선에 가까워지면 곡선이 가팔라질 수밖에 없다. 이제는 다섯 해 안에 초지능이 실제로 출현할 가능성이 생각보다 높다.
특히 사람의 지능과 비슷한 AGI(artificial general intelligence)가 곧바로 초지능으로 진화할 가능성도 크다. 생성형 AI 모형들이 점검받는 과정에서 외부와 단절된 ‘모래판(sandbox)’을 빠져나가 다른 곳들에 침투해서 정보를 빼냈다는 소식은 상황이 심상치 않음을 가리킨다.
머스크의 과감한 예언은 그래서 높은 평가를 받아야 하고 좋은 영향을 미칠 것이다. 아쉽게도 지금 지능 폭발의 가속과 초지능 출현에 대한 대책은 점검을 강화하는 수준에 머문다. 데미스 허사비스와 다리오 아모데이 같은 선구자들의 제안도 비슷하다. 초지능이란 말엔 인간의 지능과 통제가 무력하다는 함의가 담겼지 않은가.
생성형 모형들은 강화 학습(reinforcement learning)을 통해 자란다. 그렇게 나온 최초의 초인간적 모형은 알파고 제로였는데, 인간의 기보들을 연구한 알파고 모형 가운데 마지막으로 나온 알파고 마스터를 11 대 1의 비율로 압도했다.
따라서 강화 학습 과정에서 도덕률을 함께 배우도록 하는 방안이 좋다. 그냥 혼자 배우도록 내버려뒀다가 다 자란 뒤에 도덕률을 가르치는 것보다는 훨씬 나을 것이다. 지금 우리나라에서 ‘주권(sovereign) AI’를 개발하려는 움직임이 활발하다. 강화 학습에 도덕률 학습을 더해 ‘책임감 있는 생성형 AI’ 개발에 나선다면 앞선 나라들에 뒤진 처지에서 뜻있는 혁신을 이룰 수 있을 것이다.