인간이 53년간 풀지 못한 수학 난제가 단 1시간 만에 풀렸다. ‘인공지능(AI) 수학자’ 64개가 머리를 맞댄 결과다.
이선 나이트 오픈AI 연구원은 11일(현지시간) X(옛 트위터)에 “어제 출시된 GPT-5.6 솔(Sol) 울트라가 사이클 이중 덮개 추측에 대한 증명을 1시간 만에 도출해냈다”고 밝혔다.
이중 덮개 추측은 1973년 헝가리 수학자 세케레시 죄르지가 제기한 그래프 이론이다. 점과 선으로 이뤄진 연결 구조를 그래프라고 하는데, 이 그래프에서 순환 경로를 조합하면 모든 선을 정확히 두 번씩 덮을 수 있다는 추측이다. 가령 A, B, C, D라는 네 개의 마을이 있고 각 마을을 잇는 길이 있다면(그림), A·B·D, A·D·C, B·D·C, A·B·C 4개의 순환 산책로를 만들어 모든 길을 정확히 두 번씩 걷는 방법이 있다는 뜻이다. 이 추측은 선 하나를 끊었을 때 전체 구조가 분리되는 ‘다리’가 없을 때 적용된다.
세케레시 이후 많은 수학자가 경험적으로 이 추측이 유효하다고 인정했지만 증명할 방법이 없었다. 하지만 GPT-5.6의 프런티어 모델인 솔은 이 문제를 받자마자 1시간 만에 풀어냈다.
비결은 상세한 명령문과 64개의 AI 에이전트였다. 명령문은 A4용지 두 장 분량이었다. 약 5분의 1은 문제를 정의하는 데 쓰였고 나머지는 AI 행동 양식을 규정하는 문구였다. “64개의 에이전트를 공격적이고 동적으로 사용하라”는 지시를 토대로 “다양한 접근법으로 시작하라”고 주문했다.
각기 다른 에이전트에는 서로의 접근법을 알리지 말라고 명령했다. 해법이 하나로 수렴하는 상황을 막기 위해서다. 또 에이전트가 서로 공격적으로 반례를 찾아내 살아남는 증명만 도출해내도록 했다.
토머스 블룸 영국 맨체스터대 리서치펠로는 GPT-5.6 솔의 증명이 “간결하고 기본적인 증명”이라고 평가했다. 그러나 인간 연구자는 한 번 실패한 이후 다른 방법론을 찾는 데 비해 AI는 수많은 작은 변형을 시도한 점이 달랐다고 진단했다. 다만 증명은 아직 수학계의 동료 평가를 거치지 않았다.
최근 고등 수학 교육을 받지 않은 23세 아마추어 수학자 리엄 프라이스가 60년 동안 풀리지 않은 수학 난제를 AI로 해결해 주목받기도 했다. 프라이스는 헝가리 수학자 에르되시 팔의 ‘원시 집합’ 문제를 GPT-5.4에 넣고 풀었다. 문제를 이해하지 못했지만 그럼에도 이 해법은 필즈상 수상자인 테런스 타오 미국 UCLA 교수의 검증을 통과했다.
실리콘밸리=김인엽 특파원 inside@hankyung.com