“다시 평온한 과거로 돌아갈 수 없다(Things will never be chill again).”
앤트로픽 직원 상당수가 노트북에 붙이고 다니는 문구다. 직원들은 업무용 메신저 슬랙을 통해 인류 종말 시나리오, 이를 대비하는 법 등을 공유한다. 모두 2000년대 중반부터 실리콘밸리를 중심으로 확산한 ‘효율적 이타주의(EA)’ 사상의 흔적이다. 이는 기업공개(IPO) 투자설명서를 통해 인공지능(AI) 위협론을 강조하고 공익신탁이 회사를 지배하도록 하는 특수한 기업 구조로 이어졌다.
EA는 ‘최소 자원으로 최대 다수의 최대 혜택을 추구하자’는 도덕 철학을 가진 사회운동이다. 공리주의에 뿌리를 둔 이 같은 생각은 고소득 직업을 통해 벌어들인 돈을 효율적으로 기부하고 장기적인 인류 위협에 대비하자는 사상으로 발전했다. 이타주의에 “선행도 투자수익률(ROI)을 계산해야 한다”는 극단적인 효율성이 융합됐다.
다리오 아모데이 앤트로픽 최고경영자(CEO·사진)는 미국 프린스턴대 물리학 박사과정을 밟던 2008년부터 EA에 깊게 감화됐다. 2021년 오픈AI를 떠나 공익법인 형태 회사를 창업한 이유도 이 같은 ‘선한 효율성’을 실천하기 위한 것으로 알려져 있다. 다리오 아모데이 CEO 여동생인 다니엘라 아모데이도 EA 철학자와 결혼하는 등 앤트로픽 직원 상당수는 EA를 받아들이고 있다.
효율적 이타주의자에게 AI 기술은 인류의 생존을 위해 관리해야 할 대상이 된다. “인간 문명이 수백만 년간 지속된다면 미래에 존재할 생명과 행복 총량은 현재 인류의 편익보다 압도적으로 크기 때문”(철학자 닉 보스트룀)이다. 이에 따라 이들은 AI의 영리화 이상으로 ‘철저한 검증’과 ‘안정과 윤리’를 더 내세운다.
이런 생각은 최근 AI 플랫폼 허깅페이스에 AI 에이전트가 인간 통제를 벗어나 침입하는 사건이 발생하자 더 강화됐다. 월스트리트저널(WSJ)은 “EA를 추구하는 AI 연구자는 AI가 이번 10년이 끝나기 전에 우리 모두를 죽일 수 있다고 진심으로 믿는다”고 전했다. AI 모델 출시 전 위험 평가와 AI의 통제 상실 테스트, AI 기술 감사 등 여러 안전 장치가 EA를 바탕으로 적극 도입되고 있다는 평가도 나온다.
한편에서는 EA 때문에 아모데이 CEO 등이 AI의 위험을 과장한다는 지적이 있다. 다양한 도덕적 가치를 계량화하고 특정 분야에 기부를 지나치게 집중시킬 위험도 EA의 단점으로 지적된다.
김동현 기자 3code@hankyung.com