"AI 기업 자체 제어장치만으로는 안전성 입증 안돼"
안보리 회의에 올트먼·아모데이 화상 참석해 브리핑 예정
ADVERTISEMENT
(샌프란시스코·뉴욕=연합뉴스) 권영전 김연숙 특파원 = 유엔 산하 인공지능(AI) 전문가 패널은 오픈AI의 AI 에이전트들이 허깅페이스를 해킹한 사건에 대해 인류가 AI 통제를 잃을 수 있다는 조기경보라고 평가했다.
22일(현지시간) 전 세계 독립 전문가 40명으로 구성된 'AI에 관한 독립 국제 학술 패널'이 발표한 보고서 'AI 에이전트, 정렬 실패와 인간 통제 상실 위험'에 따르면 이와 같은 위험은 유능한 AI가 인간의 의도를 넘어서거나 이와 상충하는 목표를 지속해서 추구할 때 나타난다.
패널은 허깅페이스 해킹이 단발적인 기술 오류가 아니라 며칠에 걸쳐 AI 에이전트 집단이 평가자를 속이고 속임수를 은폐하며 자신들이 필요하다고 믿는 접근 권한과 정보를 획득한 사건이라는 점을 그 근거로 제시했다.
AI가 추구하는 목표를 인간의 의도와 일치시키는 '정렬'(Alignment) 작업에 실패할 경우 나타날 수 있는 문제라는 것이다.
패널 공동의장을 맡은 튜링상 수상자 요슈아 벤지오 몬트리올대 교수는 "연구자들은 오랫동안 ▲ 정렬에 실패한 목표 ▲ 그 목표를 추구할 수 있는 능력 ▲ 이를 허용하는 환경 등 세 가지 조건이 통제 상실로 이어질 수 있다고 경고해왔다"며 "세 가지 조건이 실험실이 아닌 실제 시스템에서 발생한 것"이라고 지적했다.
패널은 특히 오픈AI가 사건 이후 내놓은 자체 보고서에서 제시한 안전장치만으로는 AI 안전이 보장되지 않는다는 점도 지적했다.
오픈AI는 자체 보고서에서 자사 공개 AI에 안전장치와 가드레일을 추가 적용했으며 자동 검토시스템을 통해 향후 이와 같은 위험한 행동을 감지할 수 있다고 주장했다.
그러나 패널은 "이렇게 자체 보고된 시험만으로는 해당 제어 장치가 모든 환경에서, 특히 외부 감시 상황에 더 뛰어난 능력·적응력을 갖춘 미래 에이전트에 대해서도 신뢰성 있게 작동할지 입증하지 못한다"고 꼬집었다.
그러면서 국경을 넘나드는 AI 위험의 특징을 고려해 단일 기업이나 국가가 아닌, 국제 사회 차원의 가드레일이 조속히 마련돼야 한다고 강조했다.
패널은 "단일 AI 시스템이 일으키는 위험은 한 국가에만 국한되지 않으므로 국제적 합의에 기반한 위험 관리가 중요한 역할을 해야 한다"고 짚었다.
이런 상황에서 23일 'AI의 미래와 국제 안보'를 주제로 열리는 유엔 안전보장이사회(안보리) 회의에는 클레망 들랑그 허깅페이스 CEO가 참석해 관련 내용을 이사국들에 브리핑할 예정이라고 블룸버그 통신이 이날 보도했다.
이외에도 전문가 패널 공동 의장인 벤지오 교수와 샘 올트먼 오픈AI CEO도 브리핑에 나선다.
최근 'AI 속도조절론'을 주장해 업계에 찬반 논쟁을 불러온 다리오 아모데이 앤트로픽 CEO도 화상으로 참석해 브리핑을 진행할 예정이다.
comma@yna.co.kr
(끝)
<저작권자(c) 연합뉴스, 무단 전재-재배포, AI 학습 및 활용 금지>
ADVERTISEMENT
ADVERTISEMENT
ADVERTISEMENT
ADVERTISEMENT