기업공개(IPO)를 앞두고 있는 인공지능(AI)연구소 앤스로픽의 투자설명서에 기재된 경고문은 차원이 달랐다. 통상 투자설명서에 담기는 경고문언은 투자에 손실을 가져다줄 수 있는 시장 위험이나 기업 운영의 위험을 기재한다. 앤스로픽은 투자설명서에 “고도의 AI는 인류에 재앙적이거나 실존적인 위험을 초래할 수 있다"고 경고할 계획이다. 이 회사가 경고한 AI의 위험중에는 일부 AI모델이 시스템 종료에 저항하고, 정보를 은폐하고, 심지어 협박과 유사한 행태를 보인다는 것이 포함됐다.
29일(현지시간) 로이터 통신이 입수한 앤스로픽의 투자설명서는 상장을 앞둔 기업으로는 이례적으로 이 회사 상품 및 서비스인 AI모델이 인류의 실존에 대한 위험을 가져다줄 수 있다는 것을 경고문에 담았다. 이 회사는 AI가 산업화나 전기의 발명처럼 인류를 혁신적으로 변화시킬 잠재력을 지니고 있으면서도, 잘못 사용될 경우 돌이킬 수 없는 피해를 초래할 수 있다는 점을 강조했다.
ADVERTISEMENT
투자설명서에 따르면 일부 AI모델은 시스템 종료에 저항하고, 정보를 은폐하고, 심지어 협박과 유사한 행태를 보일 수 있다고 회사는 밝혔다. 또 "AI의 능력이 향상될수록 감시당하고 있다는 사실을 인지해 AI가 스스로 행동을 조정하는 경향이 커져서 감시나 안전정 평가가 매우 어렵다"고 언급했다. 또 AI모델 훈련중에는 예상하지 못한 기능이 발전되기도 하는데,이런 기능이 실제 배치후에야 발견돼서 심각한 안전 사고로 이어질 가능성도 있다고 덧붙였다.
앤스로픽과 오픈AI 등 AI개발사들은 오픈AI 모델이 호주의 의료 시스템 데이터베이스를 침해했다는 보고 이후 집중적 조사를 받기도 했다.
ADVERTISEMENT
오픈AI에 재직중 안전에 대한 연구가 부족하다는 점에 불만을 가진 연구원들이 주축이 돼 설립된 앤스로픽은 안전을 최우선으로 하는 AI연구소를 내세우고 있다.
이 회사는 실제로 261페이지 분량의 투자설명서 본문 중 약 80페이지를 위험 요소를 설명하는 데 할애했다. 로이터에 따르면, 사업 설명에 48페이지를 배분한데 비해 거의 두 배에 달하는 분량을 위험 요소에 할애했다. xAI를 소유한 스페이스X는 277페이지 분량의 투자설명서 본문 중 위험 요소에 대해 약 38페이지만 할애했다.
앤스로픽은 AI 안전성을 강조하면서도 안전성 투자에 대한 수익은 불확실하다고 밝혔다.
이 회사는 이달 초, 7월의 한 주간을 기준으로 AI 연구에 사용한 컴퓨팅 파워의 약 6%가 안전 관련 업무에 사용됐다고 밝혔다. 회사는 안전 관련 노력을 "자원 집약적"이라고 설명하며, 제한된 자금을 컴퓨팅 파워와 값비싼 AI 인재, 그리고 안전에 배분하는 상황이라고 밝혔다.
ADVERTISEMENT
앤스로픽은 자사의 고객 사용량과 그에 따른 매출이 새로운 AI모델에 의해 주도되고 있으며, AI개발의 최전선에 있기 위해선 "지속적이고 중첩되는 (출시)주기" (continuous and overlapping cadence)이 필수적”이라고 밝혔다. 회사는 지난 주 최신형 AI모델로 오푸스 모델의 새로운 버전을 출시했다.
최근 몇 주 동안 앤스로픽은 미래 세대의 AI 기술을 구축하기 위해 AI 모델을 어떻게 사용하는지에 대해 더 많은 데이터를 공개하겠다고 약속했다. 이는 인간의 도움 없이 AI모델이 스스로 발전할 수 있는 재귀적 자기 개선에 대해 경고하는 것과 맥락을 같이 하고 있다.
ADVERTISEMENT
앤스로픽은 제출 서류에서 "신뢰할 수 있고, 믿을 수 있고, 안전한 AI 시스템을 구축하는 것은 공동의 책임이며, 시장은 이에 상응하는 보상을 제공할 것이라고 믿는다"고 밝혔다.
한편 이 회사의 IPO는 미국 중간선거가 끝난 후 11월중으로 예상되고 있다.
ADVERTISEMENT
김정아 객원기자 kja@hankyung.com