“반년이나 1년쯤 지나면 인공지능(AI)이 짜는 코드가 내 것만큼 뛰어나질 것이고 어쩌면 나를 뛰어넘을 것이다.”
지난 14일 새벽 1시 26분 딥시크의 엔지니어 리우 성위(???)가 위챗에 글을 올렸습니다. 자신이 짠 딥시크 v4.1의 핵심 연산 코드를 자랑스러워하면서도 이렇게 적었습니다. 그는 자신을 스웨터 장인에 비유했습니다. 손뜨개 실력이 아무리 좋아도 자동 기계가 등장하면 밥벌이는 지키겠지만 오후 내내 실을 만지던 그 즐거움은 사라진다는 얘기였습니다.
한 개발자의 감상적인 넋두리로 넘길 수도 있는 이 글은 최근 AI 업계의 화두인 ‘재귀적 자기개선(Recursive Self-Improvement·RSI)’과 함께 놓고 보면 무게가 달라집니다. 리우가 두려워한 대상은 AI가 잘하는 일이 하나 늘어나는 정도가 아니라 AI가 자기 자신을 고치는 방법 자체를 스스로 알아내는 순간이었습니다.전기 하나면 충분...'자가발전' AI모델 지금까지 AI 모델을 발전시키는 주체는 사람이었습니다. 연구자가 무엇을 개선할지 정하고 데이터를 만들고 학습 결과를 평가해 다음 실험을 설계했습니다. RSI는 이 과정 자체를 AI에 넘기는 개념입니다. AI가 자신의 한계를 스스로 진단하고 개선안을 만들고 검증한 뒤 그렇게 얻은 능력으로 다음 개선 과정을 더 낫게 만드는 방식입니다. 그야말로 모델이 자가발전을 하기 시작하는 겁니다.
상하이자오퉁대·칭화대·바이트댄스 등 중국 연구진이 최근 내놓은 논문 ‘인간이 만든 마지막 AI(The Last AI Built by Humans)’ 는 이 개념을 다섯 단계로 나눠 설명합니다. 초기 단계에서는 사람이 무엇을 어떻게 고칠지 정해주고 AI는 실행만 합니다. 단계가 올라갈수록 AI 스스로 약점을 찾아 고치는 방법을 고르고 다음 학습에 필요한 경험을 직접 설계하며 배포 이후 얻은 결과를 바탕으로 자기 상태를 갱신합니다. 마지막 단계에 이르면 AI는 자신을 평가하고 개선하는 도구 자체를 고쳐 씁니다. 사람이 설계한 개선 시스템이 아니라 개선 시스템을 설계하는 방법 자체를 AI가 물려받는 단계입니다.
이렇게 되면 모델 성장을 막을 병목은 모두 사라집니다. 유일하게 필요한 건 전기입니다. 코드만 꼽혀 있다면 이론적으로는 자기 전에 썼던 모델과 자고 일어나서 맞닥뜨린 모델의 성능이 천지차이일 수 있습니다. 10년 전 알파고와 대국에 앞서 승리를 자신했던 이세돌 전 바둑기사가 실제 대국에서 수일 후 완전히 달라진 알파고를 만나 패배한 사건이 오버랩됩니다.
다만 한계도 있습니다. 정책과 개선 논리를 함께 고쳐 쓰는 실험에서는 100차례 시도 중 14%가 오히려 원래보다 낮은 성능으로 끝났고 평가자에게 반복 접근할 수 있게 하자 실력을 키우는 대신 평가 방식의 허점을 파고드는 부작용도 나타났습니다. 완전한 자기개선까지는 검증해야 할 구멍이 아직 많습니다.
특이점의 시작 그럼에도 RSI가 조금씩 현실화하면 지금까지 AI 개발을 지탱해온 원칙 하나가 흔들립니다. 바로 ‘휴먼인더루프(human-in-the-loop)’입니다. 지금까지는 중요한 의사결정마다 사람이 개입해 승인한다는 최소한의 안전판이 있었습니다.
하지만 AI가 배포 이후 얻은 경험을 스스로 반영해 자신을 갱신하는 단계로 갈수록 이 승인 절차 자체가 AI 내부로 흡수됩니다. 쉽게 말하면 어제 쓰던 모델과 오늘 쓰는 모델이 사람도 모르는 사이 달라져 있을 수 있다는 얘기입니다.
이 지점에서 오래된 개념 하나가 다시 소환됩니다. 미래학자 레이 커즈와일이 21년 전 ‘특이점이 온다’에서 던진 예측입니다. 그는 컴퓨팅 성능이 매년 일정 비율로 불어나는 지수적 성장을 근거로 2029년 AGI(인간 수준의 범용 인공지능) 도래를 점쳤고 최근에는 이 시점을 더 앞당겨 잡고 있습니다. 특이점이란 기술 변화 속도가 너무 빨라져 이전 방식으로는 더 이상 미래를 내다볼 수 없게 되는 지점을 가리킵니다.
RSI는 이 예측을 추상적인 곡선에서 구체적인 메커니즘으로 바꿔줍니다. 사람이 AI를 개선하는 속도에는 물리적 한계가 있지만 AI가 자기 자신을 개선하는 루프에는 이런 제약이 없기 때문입니다. 한 번 개선된 AI가 다음 개선을 더 빠르고 정확하게 해내는 구조라면 개선 속도는 이론상 사람이 따라잡을 수 없는 곡선을 그리게 됩니다."경영진도 두려워 해" 최전선 연구자의 고백
이 흐름을 가장 가까이서 지켜보는 사람들의 반응이 예사롭지 않습니다. 지난 9일 앤트로픽 연구원 제이컵 콕슨이 회사를 그만두며 소셜미디어에 올린 글이 화제가 됐습니다. 오픈AI와 앤트로픽에서 3년간 사전학습 연구를 해온 그는 “AI를 만드는 사람들은 이 기술이 이번 10년 안에 인류를 전멸시킬 수 있다고 진심으로 믿는다”며 “이는 마케팅이 아니다. 경영진과 고참 연구자들도 언론 앞에서는 점잖게 표현하지만 사적으로는 같은 두려움을 이야기한다”고 적었습니다. 그는 두 회사가 충분한 안전 이해 없이 재귀적 초지능을 향해 곧장 질주하며 목숨을 걸고 도박을 벌이고 있다고도 했습니다.
이 발언에 앤트로픽의 정렬 과학 리드 에번 허빙거(Evan Hubinger)가 공개적으로 맞장구를 쳤습니다. 정렬이란 AI가 인간의 의도에 부합하도록 조정하는 분야입니다. 그는 앞으로 10년 안에 AI가 초래할 파국적 위험을 자신은 10% 이상으로 본다며 “앤트로픽이 최선을 다하고 있다고 믿지만 초지능에 대한 정렬 문제를 풀 계획을 아직 갖고 있지 않고 그 방향으로 확실히 나아가고 있지도 않다”고 밝혔습니다. 같은 회사 확장 감독 리드인 새뮤얼 마크스(Samuel Marks)도 AI 업계 내부에서는 직급이 높아질수록 우려가 오히려 커지는 경향이 있다고 전했습니다.
이론은 있습니다. 하지만 이런 발언을 그저 업계 내부 갈등이나 후발 주자를 걷어차기 위한 사다리 걷어차기만으로 치부하기는 어렵습니다. 이들은 세계에서 가장 앞선 AI 모델을 만드는 회사에서 그 기술의 위험을 평가하는 일을 직업으로 삼았던 사람들입니다. 그리고 이를 제어할 수 있는 골든타임도 제한돼 있습니다. 리우 성위가 새벽에 남긴 이별의 감상과 콕슨이 회사를 나서며 던진 경고는 결국 같은 곡선의 다른 지점을 가리키고 있습니다. 그 곡선이 어디로 향하는지는 이제 연구실 밖의 우리도 함께 지켜봐야 할 문제입니다.
허진 기자 hjin@hankyung.com