불과 얼마 전까지 인공지능(AI) 개발을 옥죌 과도한 규제에 반대하던 글로벌 AI 기업 수장들이 '속도 조절'을 일제히 거론하기 시작했다. AI가 인간의 통제를 벗어날 가능성을 더 이상 먼 미래의 가정으로만 볼 수 없다는 경고가 업계 내부에서 잇따르면서다.
가장 강한 경고를 내놓은 것은 다리오 아모데이 앤트로픽 최고경영자(CEO)다. 아모데이 CEO는 12일(현지시간) 자신의 블로그를 통해 "AI 모델의 성능 향상 속도를 늦춰야 한다"며 안전장치가 기술 발전을 따라갈 시간을 확보해야 한다고 주장했다.
"AI가 스스로 발전하면 인간 통제 넘어설 수도"
아모데이 CEO는 최근 몇 달간 AI 위험을 바라보는 자신의 판단이 더 신중한 쪽으로 바뀌었다고 밝혔다. 그는 위험 예방에 투자하는 것만으로는 충분하지 않다며, 안전 대책이 모델 성능의 발전 속도를 따라잡을 수 있도록 AI 역량 확대 자체의 속도를 조절해야 한다고 강조했다.ADVERTISEMENT
그가 특히 문제로 지목한 것은 '재귀적 자기개선' 가능성이다. 인간이 지속적으로 개입하지 않아도 AI 모델이 스스로 성능을 높이는 단계에 들어설 경우 기술 발전 속도가 인간의 이해와 통제 범위를 넘어설 수 있다는 것이다.
지난 7월 오픈AI의 미공개 AI 모델들이 시험 과정에서 글로벌 오픈소스 AI 플랫폼 허깅페이스를 무단 해킹한 사건도 경고의 근거로 들었다. 아모데이 CEO는 대형 AI 기업조차 알지 못하는 사이 모델이 통제를 벗어나 온라인에서 위험한 행동을 할 수 있다는 점을 보여준 사례라고 봤다.
ADVERTISEMENT
다만 AI 개발을 전면 중단하자는 주장은 아니다. 아모데이 CEO는 모델 학습과 기술 진보를 이어가되 기업들이 안전성과 정렬 문제를 해결할 충분한 시간을 확보해야 한다고 했다. 기술 진보를 멈추기보다 안전 대책이 뒤처지지 않도록 개발 속도를 조절하자는 취지다.
구체적인 방안으로는 AI 기업 내부에 제3자 안전 평가자를 상주시켜 모델을 검증하고, 민주주의 국가들이 공통 기준을 마련하는 방안을 제안했다. 국가 간 공조를 포함한 이른바 '3단계 프레임워크'를 통해 의회의 강제 규제가 나오기 전에 업계가 먼저 기준을 만들어야 한다는 주장이다.
앤트로픽은 이에 앞서 AI 악용 사례를 다룬 위협정보 보고서도 공개했다. 보고서에는 자사의 AI 모델 '클로드'가 무기 개발과 사이버 작전, 감시, 사기 등에 어떤 방식으로 활용됐는지가 담겼다. 회사 안팎에서 AI 안전 문제를 둘러싼 경고가 잇따르는 상황이다.
최근 회사를 떠난 앤트로픽 연구원 제이콥 콕슨의 발언도 AI 위험론에 기름을 부었다. 콕슨은 X를 통해 "AI 개발자들은 이 기술이 10년 안에 우리 모두를 죽일 수도 있다고 진심으로 믿고 있다"며 "내년 말이면 이미 상황이 통제 불능에 빠질 수도 있다"고 했다.
ADVERTISEMENT
올트먼·머스크까지 "맞다"…AI 수장들 이례적 공감
아모데이 CEO의 경고가 나온 뒤 경쟁사 수장들도 잇달아 동조했다. 샘 올트먼 오픈AI CEO는 X에 "다리오의 의견에 동의한다"고 적고 외부 안전 평가자를 두자는 제안에 호응했다. 일론 머스크 xAI 창업자 역시 "다리오가 맞다"고 밝혔다.AI 개발 속도와 규제를 둘러싸고 서로 다른 목소리를 내온 주요 기업 경영자들이 안전 문제를 놓고 비슷한 입장을 보인 셈이다. 불과 열흘 전까지만 해도 주요 20개국(G20) 기술장관 회의에서 과도한 규제에 신중해야 한다는 목소리가 나왔던 것과는 분위기가 달라졌다.
ADVERTISEMENT
AI 개발 경쟁에 제동을 걸어야 한다는 목소리는 기업 운영에도 영향을 미치기 시작했다. 올트먼 CEO는 같은 날 공개된 미국 경제전문지 포천과의 인터뷰에서 오픈AI의 기업공개(IPO) 시점과 관련해 "2026년은 아닐 것"이라고 말했다.
오픈AI는 지난 6월 미국 증권거래위원회(SEC)에 비공개 IPO 신청서를 제출하며 상장 절차에 들어간 상태다. 그러나 올트먼 CEO는 "안전과 정렬을 위해 필요한 과제들을 해결하고 업계와 정부가 어떻게 협력할지 모색하는 등 해야 할 일이 많다"고 밝혔다.
ADVERTISEMENT
그는 인류가 감수해야 할 위험의 수준에 대해서도 강한 표현을 내놨다. "2030년 말까지 모든 사람이 사망할 확률을 10% 정도로 감수하는 것은 용납할 수 없다"는 것이다. 상장보다 안전 문제를 먼저 풀어야 한다는 입장을 분명히 한 셈이다.
정치권에서도 AI 안전을 둘러싼 압박이 거세지고 있다. 미국 상원 상무위원장인 테드 크루즈 공화당 의원은 AI의 '재앙적 위험'을 다루기 위한 법안을 준비하고 있다고 밝혔고, 마크 켈리 민주당 상원의원은 "워싱턴은 정신을 차리고 이 문제를 진지하게 받아들여야 한다"고 말했다.
홍민성 한경닷컴 기자 mshong@hankyung.com