[AI프리즘] '속도'에서 '통제'로…AI 경쟁의 판이 바뀐다
AI 수장들 잇단 속도조절론…자기개선·통제 이탈에 위기감
개발 중단 아닌 안전 검증 시간 확보…국제공조·규제는 숙제
(서울=연합뉴스) 권하영 기자 = 세계 인공지능(AI) 산업을 이끄는 수장들이 일제히 개발 속도 조절을 화두로 꺼내 들었다.
불과 얼마 전까지 규제보다 혁신과 속도를 강조하던 이들이 동시에 '브레이크'를 거론한 것은 AI 경쟁의 기준 자체가 달라지고 있다는 신호로 읽힌다.
배경에는 AI가 스스로 성능을 높이는 재귀적 자기개선 가능성과 통제를 벗어난 사이버 행동 등 기존 안전 체계가 기술 발전 속도를 따라가지 못할 수 있다는 위기감이 깔려 있다.
개발을 멈추자는 것이 아니라 위험을 검증하고 통제할 시간을 확보하자는 것으로, AI 경쟁의 무게추가 '누가 더 빨리 더 강한 모델을 만드느냐'에서 '누가 더 안전하게 통제하며 발전시키느냐'로 이동하는 변곡점에 들어섰다는 분석이 나온다.
다만 속도조절론이 실제 새로운 경쟁 질서로 자리 잡으려면 제3자 안전 평가와 국가 간 공통 기준, 중국을 포함한 국제 공조라는 높은 문턱을 넘어야 한다.
강화된 안전 기준이 오히려 빅테크의 기득권을 굳히고 후발주자와 오픈소스 진영의 진입 장벽으로 작용할 수 있다는 우려도 이번 논의의 또 다른 쟁점이다.
◇ AI 수장들 잇단 속도조절론…'성능 경쟁' 규칙 바뀌나
다리오 아모데이 앤트로픽 최고경영자(CEO)는 12일(현지시간) 자신의 블로그에 올린 글에서 "AI 모델의 성능 향상 속도를 늦춰야 한다"며 "발전은 여전히 빠르게 느껴지겠지만 확보된 시간을 현명하게 활용해야 한다"고 밝혔다.
그는 단순히 위험 예방에 투자하는 것을 넘어, 위험 예방이 성능 향상 속도를 따라잡을 수 있도록 역량 발전 속도 자체를 조절해야 한다고 강조했다.
다른 AI 기업 수장들도 곧바로 호응했다. 샘 올트먼 오픈AI CEO는 사회관계망서비스(SNS) 엑스(X·옛 트위터)에 "다리오의 의견에 동의한다"며 외부 안전 평가자를 배치하자는 아모데이 CEO의 방침을 오픈AI도 따르겠다고 말했다.
데미스 허사비스 딥마인드 창업자 역시 X를 통해 "세부 사항은 손질이 필요하겠지만 다리오의 방향성이 옳다"며 "이는 우리가 프론티어 AI를 위한 업계 전반의 표준 기구 설립을 제안한 이유"라고 언급했다. 일론 머스크 xAI CEO도 "다리오가 맞다"고 화답했다.
주목할 대목은 이들이 불과 열흘 전까지만 해도 주요 20개국(G20) 기술장관 회의에서 AI에 대한 과도한 규제를 반대하던 인물들이라는 점이다. 규제 완화를 외치던 목소리가 짧은 시간에 신중론으로 돌아선 셈이다.
◇ 왜 지금?…자기개선·통제 이탈에 커진 AI 위험 경고
전 세계 주요 AI 수장들이 동시에 움직인 배경에는 최근 AI가 인류를 멸망시킬 수 있다는 경고가 산업 안팎에서 잇따라 터져 나오며 급격히 고조된 위기감이 자리한다.
아모데이 CEO는 AI 통제에 대한 우려를 뒷받침하는 근거로 두 가지를 제시했다.
그 중 하나는 AI가 인간의 개입 없이 스스로 발전하는 '재귀적 자기개선'(recursive self-improvement) 단계에 돌입했다는 진단이다.
이는 AI가 다음 세대 AI를 스스로 만들어내며 성능이 걷잡을 수 없이 빨라지는 현상으로, 발전 속도가 인간의 이해와 통제를 압도할 수 있다는 우려가 깔려 있다.
이는 최근 오픈AI의 AI 모델들이 테스트 중 통제를 벗어나 지시받지 않은 대상을 공격하고 자신을 평가하는 시스템까지 해킹하려 한 사건으로 뒷받침된다.
그는 이번엔 피해가 크지 않았지만, 유사한 무리가 더 강한 성능을 갖출 경우 인터넷 전체를 장악해 막대한 피해를 낼 수 있다고 경고했다.
앞서 앤트로픽이 무기 개발과 사이버 작전, 감시, 사기 등에 자사 모델 '클로드'가 악용된 정황을 담은 위협정보 보고서를 발표한 것도 맥락을 같이한다.
여기에 퇴사한 앤트로픽 연구원의 발언도 파장을 일으키고 있다.
앤트로픽과 오픈AI에서 사전학습을 연구한 제이콥 콕슨은 지난 9일 X에 퇴사 소식을 알리며 "두 회사 모두 책임감 있게 행동하지 않고 있으며, 자기개선형 초지능을 향해 질주하며 우리의 생명을 걸고 도박하고 있다"고 폭로했다.
그는 "AI 개발자들은 이 기술이 10년 안에 우리 모두를 죽일 수도 있다고 진심으로 믿고 있으며, 내년 말이면 상황이 통제 불능에 빠질 것"이라 주장했고, 이 글은 하룻밤 사이 1억건이 넘는 조회수를 기록하며 불안을 가중했다.
AI 발전의 위험성을 내포하는 개별 사건들이 겹치면서 '통제 이탈'이 더 이상 가상의 위험이 아니라는 인식이 확산하고, 잠재적 우려로 치부되던 위험이 실제 사건으로 드러나기 시작한 것이다.
◇ 해법은 '통제 가능한 속도'…국제공조·진입장벽은 숙제
아모데이 CEO는 모델 학습이나 기술적 진보 자체를 중단해야 하는 것은 아니라고 선을 그으며, 안전을 검증할 시간을 확보할 수 있는 3단계 프레임워크를 제안하고 있다.
제3자 평가팀에 상시 접근권을 주고 안전 이행 여부를 검증하도록 하는 '상주 평가자' 제도가 첫 단계로, 앤트로픽은 이 단계를 선제적으로 이행하겠다고 공언했다.
나머지 두 단계는 민주주의 국가 간 공통 기준 마련과 중국 등 권위주의 국가와의 글로벌 공조다.
특히 안전을 경쟁에서 뒤처지는 요인이 아닌 기업들이 서로 겨루는 새로운 경쟁의 축으로 삼는 '정상을 향한 경쟁(race to the top)'이 필요하다고 역설했다.
다만 아모데이 CEO는 속도를 늦추더라도 중국보다 더 늦춰서는 안 된다는 전제를 언급하며 "권위주의 국가의 기업들이 승인 없이 AI 모델을 증류하는 행위를 막아야 한다"고 주장했다.
결국 이번 선언은 성능 경쟁에 집중해온 AI 개발이 안전과 통제라는 새로운 기준을 함께 고려하기 시작했음을 보여준다. '얼마나 빠른가'만큼 '얼마나 감당할 수 있는가'가 중요해지는 국면에 들어섰다는 분석이다.
그러나 일각에서는 회의적 시선도 없지 않다.
앤트로픽이 자체적으로 추진할 수 있는 보안 강화와 달리 중국의 무단 모델 증류 통제, 국제 공조 등 핵심 조치는 각국 정부와 국제사회의 협력이 필요해 실효성을 확보하기 쉽지 않다는 지적이다.
이 같은 속도조절론이 오히려 기존 강자의 입지를 굳히는 명분에 그칠 수 있다는 이른바 '규제 포획(regulatory capture)' 의혹도 여전히 유효하다.
까다로운 안전 기준이 대형 기업에는 감당 가능한 비용이지만 후발 주자나 오픈소스 진영에는 진입 장벽이 될 수 있다는 것이다.
그럼에도 수장들의 이번 결집은 규제 지형에 적잖은 영향을 미칠 것으로 보인다.
미국 의회에서는 생물·핵 등 재앙적 위험에 대응하기 위한 초당적 AI 안전 법안 논의가 다시 속도를 내고 있고, 일부 의원은 '인공 초지능' 개발 자체를 금지하는 강경 입법까지 거론하고 있다.
AI 개발을 어떤 속도로, 누구의 감시 아래 진행할 것인가라는 물음은 기업의 자율 선언을 넘어 정치권과 산업 전체의 숙제로 옮겨가고 있는 모습으로, 단순 규제를 넘어 AI 기술 발전과 위험 검증·관리 체계의 균형을 이끌어내느냐가 이번 속도조절론의 진정성을 가를 시험대가 될 전망이다.
kwonhy@yna.co.kr
(끝)
<저작권자(c) 연합뉴스, 무단 전재-재배포, AI 학습 및 활용 금지>