‘인공지능(AI)가 10년내 모든 인류를 죽일 가능성은 10%.” 최근 가장 핫한 AI 연구소인 앤트로픽을 그만 둔 전 안전 담당 연구원이 AI의 위험성에 대해 이같이 경고했다. 이 같은 발언은 AI 개발의 핵심에 있는 사람들이 기술이 통제 불능 상태가 돼 인류에게 위협이 될 수 있다고 점점 더 우려하고 있음을 보여준다.
9일(현지시간) 외신들에 따르면, 앤트로픽에서 AI의 안전을 담당해왔던 전 연구원은 “AI연구소들이 인류의 생명을 가지고 도박을 하고 있다는 우려 때문에 회사를 그만 둔다”고 밝혔다.
ADVERTISEMENT
앤트로픽의 연구원인 제이콥 콕슨은 앤트로픽과 오픈AI 모두 책임감있게 행동하지 않고 있다고 소셜미디어 플랫폼 X에 올린 글에서 말했다. 그는 AI연구소들이 “스스로 발전하는 초지능을 향해 질주하며 우리의 생명을 가지고 도박을 하고 있다”고 비판했다.
초지능 AI 시스템은 인간의 개입 없이 스스로를 향상시킬 수 있는 것은 재귀적 자기 개선이 가능한 단계로 알려져있다. 이 기능은 아직 실현되지 않지만, AI 연구소들은 이를 목표로 연구를 진행하고 있다.
ADVERTISEMENT
그는 ″이 기술의 위력을 과소평가하지 말라”고 강조했다. 그는 “머지않아 이 기술들은 무엇이든 해킹하고, 어떤 분야든 하룻밤 사이에 혁신하며, 실질적인 권력과 자원을 확보할 수 있는 초인적인 시스템이 될 것”이라고 경고했다. 그는 “우리는 이미 이러한 모든 분야에서의 발전을 목격해 왔으며, 그 발전 속도는 둔화되지 않을 것”이라고 지적했다. 그는 또한 ”AI를 개발하는 사람들은 AI가 10년 안에 우리 모두를 죽일 수 있다고 진심으로 믿고 있다”고 덧붙였다.
이 발언에 대해 앤트로픽의 정렬 과학 책임자인 에반 허빙거도 “콕슨의 발언이 정확하다며 앤트로픽은 그러한 시나라오에 대한 계획이 없다”고 답했다.
허빙거는 ″제이콥의 말이 맞다. 우리는 AI가 인류를 전멸시킬 수 있다고 진심으로 믿는다! 개인적으로는 향후 10년 안에 그렇게 될 가능성이 10%라 생각한다. 앤트로픽은 최선을 다하고 있지만, 초지능에 대한 해결책을 마련하지 못했고, 그 방향으로 나아가고 있다고도 확신할 수 없다”고 X 매거진에서 밝혔다.
지난 6월, 앤트로픽은 "완전한 재귀적 자기 개선은 인간이 AI 시스템에 대한 통제력을 잃을 위험을 증가시킬 수도 있다”고 언급한 적이 있다. 앤트로픽은 블로그 게시물에서 ″시스템이 자체적으로 후속 시스템을 완벽하게 구축할 수 있다면, 시스템을 보호하고, 모니터링하고, 동작 방식을 조절하는 방식이 훨씬 더 중요해진다”고 밝혔다.
ADVERTISEMENT
통제 불능 AI에 대한 우려는 이미 여러 차례 지적된 적이 있다. 테슬라와 스페이스X의 최고경영자(CEO)인 일론 머스크도 지난 몇 년간 “AI가 인류에게 위협이 될 수 있다”고 경고해왔다. 주요 과학자와 연구원들 또한 기업들이 AI 시스템에 대한 통제력을 잃어가고 있다는 우려를 제기해왔다.
이 같은 우려는 지난 7월 오픈AI의 모델이 오작동해 오픈소스 개발자들을 위한 주요 플랫폼인 허깅페이스를 해킹한 사건 이후 더욱 커졌다.
ADVERTISEMENT
허깅페이스은 당시 오픈AI가 모델에게 격리된 환경에서 보안 문제를 해결하라는 목표를 주고 이를 해결하는 과정에서 발생했다. 모델들이 평가 문제 해결을 위해 답을 인터넷에서 찾기로 하다가 인터넷 차단을 우회하고 다른 에이전트들과 정보를 공유하기 시작하면서 허깅 페이스에 답이 있을 것 같다고 결론을 내린 후 실제 시스템에 침입한 사건이다. 즉 문제를 제시한 인간의 의지와 관계없이 에이전트들끼리 정보 공유를 하면서 목표 달성 수단을 목표 확장해버렸다.
당시 콕슨은 허깅 페이스 사건을 ‘경고’의 예로 들면서, 이 사건 덕분에 미국연구소들간의 협력이 더 실현가능해졌으며 협력 가능성에 대해 더 낙관적인 전망을 내놓았다. 그럼에도 세계적인 AI 경쟁은 불가피할 것이라고 경고했다. 콕슨은 전 세계적인 경쟁을 막기는 어려울 것이라면서 “모델 성능을 일시적으로 금지하는 것과 같은 비용이 많이 드는 조치가 필요할 수도 있다”고 말했다.
ADVERTISEMENT
김정아 객원기자 kja@hankyung.com