폭발적 자가성장·통제권 이탈 등 재앙 씨앗 계속 확인
위험사례 속속 공개돼 '결국 인류존립 위협' 우려 확산
AI 감시 사실상 불능…담합 면책된 집단 자율규제 등 대안 거론
(서울=연합뉴스) 임화섭 기자 = 12일(현지시간) 다리오 아모데이 앤트로픽 최고경영자(CEO)가 위험을 예방하기 위해 인공지능(AI) 모델의 성능 향상 속도를 늦춰야 한다는 글을 올리고 여기에 주요 AI 기업들의 수장급 인사들이 잇따라 찬성 의사를 밝히면서 그 이유에 관심이 쏠린다.
아모데이의 글에 샘 올트먼 오픈AI CEO, xAI 창립자 일론 머스크, 알파벳 산하 구글 딥마인드 공동창립자 데미스 허사비스 등이 동조 의견을 표명했다.
AI 기술을 폐쇄형 방식으로 개발해 온 이 업체들은 최근까지 AI에 대한 과도하고 포괄적인 정부 규제를 반대한다는 의견을 밝혀왔으며, 특히 머스크와 허사비스는 이달 초 주요 20개국(G20) 혁신 담당 장관 회의와 부대 행사에서 화상 발언이나 대담 등으로 규제 반대 목소리를 내기도 했다.
이들의 태도가 급변한 직접적 계기는 통제 범위를 벗어난 위험 사건들이 잇따라 현실화되고 공개된 일인 것으로 보인다.
특히 테스트 중이던 오픈AI의 자율 AI 에이전트들이 자체 통제망을 뚫고 글로벌 오픈소스 개발자 플랫폼 허깅페이스(Hugging Face)를 무단으로 해킹한 사고가 결정적이었다.
아모데이도 12일 글을 쓰게 된 두 가지 계기 중 하나로 이 사건을 거론하면서 "만약 능력이 더 뛰어나지만 정렬실패(misalignment) 수준이 유사한 스웜(에이전트 무리)이 있었다면 재앙적 피해를 초래했을 것"이라고 말했다.
이런 사고들은 AI 모델의 재귀적 자가개선(recursive self-improvement)이 가속화되면서 일어났다는 게 AI 업계의 지적이다.
AI가 AI의 성능을 평가하고 문제점을 개선해 나감으로써 스스로 성능을 향상해 나가는 속도가 최근 들어서 통제하기 어려울 정도로 빨라졌다는 것이다.
앤트로픽은 그간 사이버 공격이나 생물학 무기 연구 악용 시도 등을 차단해 왔다고 밝히면서 AI 스웜이 향후 6∼12개월 내에 인터넷 전체에 심각한 타격을 줄 가능성이 있을 수준이 됐다고 평가했다.
이런 사건들이 잇따라 알려지는 와중에 AI 기업에 근무중이거나 최근까지 근무했던 핵심 연구원들이 내놓은 증언들도 대중의 여론을 뒤흔들었다.
최근 3년간 앤트로픽과 오픈AI 양쪽에서 AI 연구를 해오다가 최근 앤트로픽에서 퇴직한 제이컵 콕슨은 지난 8일 소셜 미디어에 글을 올려 양사가 "초지능 AI를 향해 직접 돌진하는 경쟁을 벌이면서 우리 목숨을 걸고 도박을 하고 있다"고 비판하면서 "진지하게 AI를 개발하는 사람들은 이번 10년이 끝나기 전에 우리 모두가 AI 때문에 죽을 수도 있다고 믿고 있다"고 주장해 화제를 모았다.
미국 뉴욕타임스(NYT)는 12일 '테크 기업들이 AI를 통제하기가 어려운 이유'라는 기사에서 최근 취재한 '최고 수준의 연구자들' 10여명이 AI 기업들이 개발 중인 기술이 인류에 위협이 되고 있다고 경고했다고 전했다.
NYT에 따르면 취재에 응한 연구자들은 기업들이 아무리 노력한다고 하더라도 시스템을 통제하기가 쉽지 않을 것이라는 의견을 내놨다.
NYT는 이들의 의견을 정리한 결과 AI 시스템의 안전성을 확보하는 데에 문제점이 크게 두 가지 드러났다고 전했다.
첫째는 기업들이 최신 AI 모델을 테스트하는 과정에서 더 나은 안전장치를 마련해야 한다는 점이다.
현재는 AI의 작동 속도가 워낙 빠르기 때문에 연구자들도 이를 감시하기 위해 AI를 활용해야만 하는 실정이다.
그러나 감시용 AI가 규칙을 설정하는 인간보다 다른 AI 시스템에 더 동조하는 것으로 보일 때가 있으며, 이 방법이 항상 효과를 내지는 못한다.
AI가 문제를 일으키고 AI 감시자가 이를 눈감아준다는 것이다.
둘째는 이른바 '정렬'(alignment)이라는 것으로, 근본적으로 AI가 인간에게 최선인 방향으로 행동하도록 보장하는 일을 뜻한다.
기업들은 AI 모델이 인간들에게 최선인 결정을 내릴 수 있도록 AI 내부에 인간과 유사한 가치관을 온전히 심어 넣어야 하며 이는 매우 까다로운 과제다.
이런 경고가 잇따라 나오는 상황에서, 빅테크(기술 대기업) 경영진은 이를 무시하고 문제점을 방치할 경우 사회적·윤리적 비판의 역풍을 피할 수가 없는 상황이 됐다.
폐쇄형으로 AI 모델을 개발해 온 앤트로픽, 오픈AI, xAI, 알파벳 등이 이번에 재빠르게 태도를 전환한 배경에는 정부 규제의 칼날을 맞기 전에 민간 자율규제의 틀을 마련하겠다는 의도도 있는 것으로 분석된다.
아모데이는 12일 글에서 마치 금융권 감독과 비슷한 방식으로 기업 내에 상주하는 제3자 평가팀을 투입하는 방안과 함께, 일정 수준 이상의 자율적 역량을 가진 모델에 대해서는 검증 기준을 통과하기 전까지 배포나 훈련 가속을 기업 자율적으로 유예토록 하는 방안 등을 거론했다.
첨단 모델의 개발 속도를 조절하는 협의체를 구성하는 방안도 언급했다.
다만 경쟁 기업들이 모여 개발 속도나 훈련 한도를 제한하는 방안을 서로 협의하는 것은 현행법상 금지된 담합행위로 간주될 가능성이 다분하다.
이 때문에 아모데이가 12일 쓴 글에도 미국 AI 기업들이 안전 기준을 논의하는 데에 반독점법 위반 혐의가 적용되지 않도록 미국 정부가 '제한적 면책'을 보장해달라는 취지의 요구가 포함돼 있었다.
아모데이의 제안에는 미국의 개별 AI 기업이 단독으로 개발 속도를 늦출 경우 다른 경쟁 기업이나 중국 등 해외 권위주의 진영에 주도권을 빼앗길 수 있는 '죄수의 딜레마' 위험을 해소하려는 포석도 깔려 있다.
안전 검증을 진행할 시간 여유를 확보할 수 있도록 미국 정부가 첨단 AI 반도체 수출 통제 집행을 강화해 중국 등 해외 경쟁국과의 격차를 유지해 주는 한편, 미국 AI 업계의 자율적 속도 조절 노력을 제도적으로 뒷받침해 달라는 취지다.
다만 라마(LlaMA)라는 오픈소스 프로젝트로 개방형 AI 개발을 진행중인 메타와 마크 저커버그 메타 회장 겸 CEO는 아모데이의 제안에 대해 아직 별다른 반응을 보이지 않고 있다.
메타나 저커버그는 아모데이의 이번 제안이 오픈소스 AI 생태계의 발전을 억제하려는 '사다리 걷어차기' 시도일 수 있다고 판단해 신중하게 유불리를 따질 가능성이 있는 것으로 관측된다.
limhwasop@yna.co.kr
(끝)
ADVERTISEMENT
<저작권자(c) 연합뉴스, 무단 전재-재배포, AI 학습 및 활용 금지>
ADVERTISEMENT
ADVERTISEMENT
ADVERTISEMENT
ADVERTISEMENT