수학의 종말…클로드, 167년 난제 '리만가설' 풀었다

입력 2026-11-22 18:01
인공지능(AI)이 수학 최대 난제인 리만 가설을 풀었다. 인류는 167년을 매달리고도 풀지 못한 문제다. 학계는 AI가 쏟아내는 수학적 발견을 어떻게 받아들여야 할지 혼란에 빠졌다.

지난 20일 앤트로픽 소속 수학자 레벤트 알푀게는 클로드를 활용해 리만 가설을 증명했다고 발표했다. 증명 내용이 25만 쪽에 이르러 인간은 정합성을 검증하는 것도 어렵다. 다만 수학 연구의 논리적 오류를 컴퓨터로 조사하는 프로그램 ‘린(Lean)’을 통과해 신빙성이 높다는 평가를 받는다.

리만 가설은 겉보기에 무질서한 소수(1과 자기 자신만으로 나눠떨어지는 수)의 분포에 숨은 질서가 있다는 가설이다. 1859년 독일 수학자 베른하르트 리만이 제시했다. 수학계 ‘밀레니엄 7대 난제’ 중 하나로, 상금 100만달러가 걸려 있다.

오랜 난제가 AI 손에 한순간에 풀리자 수학계는 충격에 빠졌다. 수학자에게 길잡이 역할을 한 목표가 사라져서다. 특히 수학자가 평생을 바쳐 읽어도 이해에 실패할 수 있는 클로드 풀이의 광대함은 허탈감을 키우는 요인이다.

일각에선 ‘수학의 종말(매소칼립스)’이란 말까지 나온다. 오픈AI는 지난 9월 AI 에이전트 수천 개를 투입해 밀레니엄 7대 난제 중 하나인 ‘나비에-스토크스 문제’를 해결했다고 발표했다. 지난달엔 수학의 주요 미해결 문제 상당수를 AI로 풀었다며 원고 722편을 쏟아냈다. 브라이나 크라 미국 노스웨스턴대 교수는 “수학은 지난 100년보다 최근 두 달간 더 많이 바뀌었다”며 “최고의 시절이자 최악의 시절”이라고 진단했다.

수학계에선 인간의 역할을 다시 묻고 있다. 키트 예이츠 영국 배스대 교수는 “전통적 의미의 수학적 성과 생산은 과거에 비해 의미가 크게 줄었다”며 “수많은 질문과 답 중 어떤 것이 중요한지 가려내는 인간의 판단력을 중심으로 전문성 평가 방식을 바꿔야 한다”고 주장했다. 문제를 ‘어떻게’ 풀었는지가 더 중요하다고 강조하는 수학자도 많다. 마이클 홉킨스 미국 하버드대 교수는 “AI가 거둔 성과를 인간이 이해할 수 없다면 의미가 없다”며 “AI의 수학과 인간의 수학이 따로 있는 느낌”이라고 설명했다.

다른 학문도 AI 때문에 흔들리는 건 마찬가지다. 이코노미스트는 “수학 다음은 경제학일 수 있다”고 봤다. 올해 7월 미국경제연구소(NBER)에 제출된 워킹페이퍼 4편 중 1편에서 AI로 작성한 흔적이 있었다. AI 모델이 개선되면서 AI로 작성한 논문의 오류가 인간이 쓴 논문보다 줄어든 것으로 최근 나타났다.

김미리 기자 mirimiri@hankyung.com