이 기사는 09월 10일 07:58 마켓인사이트에 게재된 기사입니다.
1942년 아이작 아시모프는 단편소설에서 로봇 3원칙을 제시했다. 제1원칙은 로봇이 인간에게 해를 입혀서는 안 되며 위험에 처한 인간을 모른 척해서도 안 된다는 것이다. 비슷한 시기 데즈카 오사무도 '철완 아톰'을 통해 로봇법을 내놓았는데 "로봇은 인간을 행복하게 하기 위해 태어났다“를 제1조로 제시했다. 인간을 해치지 말라는 금지 조항보다 존재 목적을 먼저 제시한 것이다.
80여 년 전 두 작가의 상상은 이제 현실의 경영 과제가 됐다. 정부는 지난 6월 ‘로봇 대전환 비전’을 통해 2028년 산업 특화 휴머노이드 상용화 계획을 발표했고, 국내 완성차 그룹도 5년간 125조 원 규모의 로보틱스 투자를 예고했다. 컴퓨터 안에 머물던 인공지능(AI)이 현실 세계로 나오기 시작하면서 이른바 피지컬 AI 시대가 열린 것이다.
피지컬 AI는 기존 소프트웨어 AI와 본질적으로 다르다. 챗봇이 틀리면 다시 물으면 되고 코드가 잘못되면 되돌리면 된다. 그러나 로봇 팔이 잘못 움직이면 사고는 이미 발생한 뒤다.
아시모프의 3원칙은 이런 위험을 막기 위해 로봇 두뇌에 규칙을 새기는 접근이었다. 위험한 행동을 하지 못하도록 설계하는 방식이다. 지금도 구글 딥마인드 등은 로봇이 위험한 명령을 거부하고, 판단이 어려운 상황에서는 인간의 개입을 요청하도록 학습 및 검증하는 연구를 진행하고 있다.
반면 데즈카의 로봇법은 로봇이 살아가는 사회를 대상으로 한다. 규칙이 기계 내부가 아니라 사회 전체에 존재하는 것이다. 오늘날 AI 규제가 향하고 있는 방향도 여기에 가깝다.
로봇은 인간의 노동 일부를 대신하면서 동시에 인간과 함께 작업한다. 산업 현장에서 로봇이 작업자를 다치게 하면 하나의 사고가 여러 규제 영역의 문제가 될 수 있다. 산업안전, AI 규제, 제조물 책임 이슈가 동시에 발생할 수 있으며 해외 사업장이라면 유럽연합(EU) 인공지능법(AI Act) 등 글로벌 규제까지 적용될 수 있다. 하나의 사고가 복합적인 리스크로 확대되는 것이다.
더 큰 문제는 책임이 분산돼 있다는 점이다. AI 모델 제공자와 제조사, 시스템 구축 기업, 운영 기업 등이 함께 관여하는 만큼 사고 발생 시 책임 소재를 가리기도 어려워진다. 기존 규제는 하나의 제품에 하나의 제조자가 있다는 전제 아래 설계됐기 때문에 여러 주체가 얽힌 피지컬 AI 생태계에는 맞지 않는 부분이다. 그렇다면 당장의 답은 계약이다. 도입 단계에서부터 책임 분담과 사고 발생 시 협조 의무를 계약서에 명확히 규정해 둘 필요가 있다.
항공기와 자동차, 의료기기는 사전 인증 체계를 통해 안전을 관리해 왔다. 피지컬 AI에도 유사한 접근을 적용하자는 논의가 있지만, 피지컬 AI는 소프트웨어 업데이트를 통해 로봇의 행동이 바뀔 수 있다는 점에서 한계가 있다. 인증된 기계가 더 이상 존재하지 않을 수 있기 때문이다. 가상 환경에서 검증하는 디지털 트윈도 유용한 검증 수단이지만 알려진 위험을 검증하는 데 강점을 가질 뿐, 예상하지 못한 위험까지 설명해주지는 못한다.
그래서 필요한 것이 독립적인 검증이다. 재무제표에 감사인이 있듯 스스로 판단하는 기계에도 제3자의 검증이 요구되는 시대가 오고 있다. 검증의 대상은 결과보다 판단 과정이다. 무엇을 학습했고 어떤 시나리오에서 검증됐는가? 최근 업데이트로 무엇이 달라졌는가? 사고 발생 시점의 모델 버전과 입력값을 재구성할 수 있는가? 이러한 질문에 답하려면 거버넌스가 사후 점검이 아니라 실시간 모니터링과 통제 체계로 설계돼야 한다. 피지컬 AI에서는 내부통제의 공백이 곧 사람의 안전 문제로 이어질 수 있기 때문이다.
AI 거버넌스에서 중요하게 다뤄야 하는 주제가 성과관리다. 지금까지 기업의 핵심성과지표(KPI)는 사람이 업무를 수행한다는 전제 아래 설계돼 왔다. 그러나 로봇이 노동의 일부를 대체하면서 업무 방식이 달라지고 있다. AI를 활용하는 사람, AI와 협업하는 사람, 그리고 AI 에이전트는 성과를 측정하는 방식도 책임 구조도 다르다. 같은 지표로 셋을 평가하면 협업의 성과는 과소평가되고, 자율 수행의 산출물은 아무의 책임도 아닌 것이 된다.
특히 피지컬 AI에서는 사람의 KPI에 안전이 포함돼 있지만, 로봇의 KPI는 대개 가동률과 처리량에 집중되는 경우가 많다. 멈춤 횟수나 사람의 개입을 요청한 횟수, 위험한 명령을 거부한 횟수는 성과에서 빠져 있다. 그러나 안전한 로봇은 자주 멈추는 로봇이다. 가동률만으로 평가되는 현장에서는 안전 정지를 줄이려는 압력이 생기고, 그 부담은 결국 사람에게 향한다. KPI 재설계가 단순한 인사 제도의 문제가 아니라 거버넌스 과제인 이유다.
기업이 대규모 투자를 결정할 때 가장 큰 비용은 규제 자체보다 규제의 불확실성이다. 무엇을 지켜야 하는지 모르는 상황에서는 누구도 공장 한 동을 더 짓지 못한다. 반면 원칙이 명확하고 규칙이 예측 가능할 때 비로소 투자와 확산에 속도가 붙는다. 항공과 자동차 산업이 그 사례라고 볼 수 있다. 엄격한 안전 규제가 산업 발전을 위축시킨 것이 아니라 사람들이 비행기를 타고 자동차를 구매할 수 있는 신뢰를 만들었다. 산업 발전과 리스크 관리는 서로 반대되는 목표가 아니다. 두 축이 함께 작동할 때에만 신뢰받는 AI 생태계가 만들어진다.
책임 있는 피지컬 AI를 이야기할 때 우리는 대개 목적을 정하지 않은 채 무엇을 금지할 것인지부터 논한다. 그러나 책임 있는 피지컬 AI는 ”우리 현장에 들어올 로봇은 무엇을 위해 존재하는가?”라는 질문에서 시작돼야 한다.