최근 기업들이 채용 등 핵심 의사 결정에 인공지능(AI)을 적극 활용하면서 법적·규제 역풍이 거세게 불고 있다. 관련 법적 문제를 해결하는 이른바 '신뢰 및 규제 준수' 산업은 덩달아 커지고 있다.
쏟아지는 AI 규제 법안
5일 미국 주의회전국회의(NCSL)에 따르면 2025년 회기 동안 미국 38개 주에서 약 100건의 AI 관련 법안이 채택 및 제정됐다. 특히 캘리포니아주에선 지난달 AI를 활용한 고용 결정 과정에서 차별을 금지하고 기업에 반편향 테스트 의무를 부과하는 강력한 행정 규정이 발효됐다.법원 역시 제동을 걸고 나섰다. 지난 5월 미연방법원이 HR 소프트웨어 기업 워크데이의 AI 도구가 연령 차별을 야기했다는 주장에 대해 전국 단위 집단 소송을 잠정 인증했다. 이에 따라 AI 개발사의 법적 책임이 본격적으로 거론됐다.
전 세계 입법 기관과 법원은 AI가 통제 아래 두기 위한 경쟁에 돌입했다. AI가 채용, 인사 평가, 신용 결정, 심지어 해고까지 인간의 기본권에 중대한 영향을 미치는 영역으로 침투하면서다. 이는 더 이상 AI 시스템을 기업의 자율에만 맡겨둘 수 없다는 사회적 합의를 반영한다는 분석이다.
미국, 유럽연합(EU), 한국은 각기 다른 경로를 통해 관련 법률을 구축하고 있다. 하지만 '감사', '영향 평가', '설명', '인간 감독' 등이라는 공통된 목적지로 수렴하고 있다. 이는 다국적 기업들이 AI에서 가장 높은 수준의 규제 기준을 충족하는 글로벌 표준 거버넌스 체계를 구축해야만 생존할 수 있다는 뜻이다.
미국의 AI 규제 체계는 연방 차원의 통일된 법률 없다. 대신 주와 도시 단위의 독립적 입법이 주도하는 ‘파편화된 규제’ 양상을 보였다. 지역마다 다른 기준과 절차가 공존하는 복잡한 규제 지형이 형성되고 있다. 뉴욕시는 ‘선제적 감사’ 모델의 출발점이 됐다는 평가다. 2023년부터 시행 중인 ‘LL144’ 법은 채용과 승진 과정에서 사용되는 자동화 의사결정 도구에 대해 매년 독립적인 편향성 감사를 실시하고, 그 결과를 공개하도록 의무화했다.
해당 법을 위반할 경우 첫 적발 시 최대 500달러, 이후에는 하루 최대 1500달러의 벌금이 부과될 수 있다. 다만 감사 결과가 불리하더라도 도구 사용을 즉시 중단해야 하는 것은 아니다. 이 같은 구조는 규제의 초점은 '시정'보다는 ‘투명성 강화’를 통한 간접적 압박이라는 분석이다.
콜로라도주의 ‘AI 법(SB 24-205)’은 미국에서 가장 포괄적이라는 평가받는다. 고위험 AI 시스템을 개발하거나 사용하는 모든 기업은 매년 영향 평가를 수행해야 한다. 소비자는 AI 의사결정에 대한 항소권을 보장받는다. 그러나 이런 규제는 산업계의 거센 반발을 불렀다. 미국 매체 Axios에 따르면 법 개정 논의 과정에서 100개 이상의 기업과 단체, 그리고 약 150명의 로비스트가 개입했다. 결국 콜로라도주는 시행일을 당초 2026년 2월 1일에서 6월 30일로 5개월 연기했다.
캘리포니아는 별도의 신규 법안을 만들지 않았다. 대신 기존의 ‘공정고용주택법(FEHA)’을 AI 시대에 맞게 확장 해석하는 방식을 택했다. 지난달 1일부터 시행된 고용 AI 행정 규정은 기업에 대해 반편향 테스트를 관련 증거로 삼을 수 있고, 기록을 4년간 보존하도록 의무화했다. 캘리포니아 민권국(CRD)의 케빈 키시 국장은 “이번 조치는 캘리포니아의 차별금지 보호 체계를 신기술의 속도에 맞게 진화시키는 과정”이라고 강조했다.
유럽연합(EU)의 ‘AI 법(AI Act)’은 세계 최초로 포괄적인 AI 규제 체계를 마련했다. 국제 사회에서 사실상 ‘AI 규제의 기준서’ 역할을 하고 있다. 이른바 ‘브뤼셀 효과’라 불리는 EU 특유의 규제 영향력을 통해, 글로벌 기술기업들까지 EU의 기준을 따를 수밖에 없는 구조를 만들었다는 평가가 나온다.
이 법의 핵심은 위험 기반 접근법이다. AI 시스템을 위험 수준에 따라 구분하고, 그에 맞는 규제 강도를 적용한다. 특히 채용, 승진, 인사 평가 등 사람의 삶에 직접적 영향을 미치는 영역에 사용되는 AI는 ‘고위험’으로 분류된다. 이런 시스템은 시장에 출시되기 전부터 리스크 관리 체계, 고품질 데이터 거버넌스(데이터 관리·품질 보증 체계) 그리고 효과적인 인간 감독 구조를 갖춰야 한다. 이는 단순히 기술 검증을 넘어, 알고리즘의 작동 원리와 결과에 대한 인간의 통제권을 제도적으로 확보하려는 시도라는 평가다.
EU AI 법은 지난해 8월 1일 발효됐다. 2년의 준비 기간을 거쳐 내년 8월 2일부터 전면 시행된다. EU 역내 시장에서 활동하는 모든 기업은 물론, 역외 기업이라도 EU 시민에게 AI 서비스를 제공한다면 동일한 의무를 지게 된다. 위반 시에는 전 세계 연간 매출액의 최대 7%에 해당하는 과징금이 부과될 수 있다. 글로벌 테크 기업들에게 상당한 압력으로 작용하고 있다.
심판받는 알고리즘 관리자
‘알고리즘 관리’와 AI 개발사의 법적 책임 문제도 핵심 쟁점으로 부상했다. 아마존이 대표적인 사례다. 그동안 물류 효율의 상징으로 여겨졌던 아마존의 알고리즘 관리 시스템이 최근 법적 도마 위에 올랐다. 미주리주 세인트루이스(STL8) 물류센터를 포함한 여러 사업장에서 직원들은 “아마존이 침해적인 알고리즘을 이용해 노동조합 조직 활동을 방해하고, 인간의 개입 없이 자동 해고를 진행했다”고 주장했다. 2023년 미국 전국노동관계위원회(NLRB)에 부당노동행위(ULP) 혐의로 고발했다.이 사건은 AI가 사실상의 ‘관리자’ 역할을 수행하면서 기존 노동법 체계를 흔들 수 있다는 것을 보여줬다는 분석이다. 스탠퍼드 법학대학원의 시마 N. 파텔 전 연구원은 “AI 시스템은 고용주가 수십만 명의 근로자를 실시간으로 감시·통제하고, 그 데이터를 징계에 사용하는 것을 가능하게 만든다”며 “이는 어떤 인간 관리자도 구현할 수 없는 통제 수준”이라고 분석했다.
이런 알고리즘적 통제는 규제 당국의 제재로 이어졌다. 캘리포니아주는 2021년 제정된 ‘웨어하우스 노동자 보호법’을 근거로 작년 6월 아마존에 약 590만 달러의 벌금을 부과했다. 캘리포니아 노동커미셔너 릴리아 가르시아-브라우어는 “공개되지 않은 생산 쿼터는 노동자들에게 과도한 속도 압박을 가해 부상률을 높인다”고 지적했다.
관련 소송의 화살은 AI를 개발한 기업으로 향하고 있다. '모블리 대 워크데이' 집단소송이 대표적이다. 지난 5월 북캘리포니아 연방법원은 이 사건을 전국 단위 집단소송으로 잠정 인증했다. 원고 측은 워크데이가 단순한 소프트웨어 공급자가 아니라, 고용주의 ‘대리인’으로서 실제 채용 결정에 영향을 미쳤다고 주장한다. 만약 이 주장이 법적으로 인정된다면, AI 개발사는 자사 알고리즘이 초래한 차별적 결과에 대해 직접적인 법적 책임을 지게 된다.
이 흐름은 같은 해 8월 제기된 '하퍼 대 시리우스 XM' 사건에서도 확인된다. AI가 의사결정을 보조하는 수준을 넘어 ‘판단의 주체’로 간주하는 순간, 그 블랙박스적 불투명성은 더 이상 면책 사유가 되지 않는다는 전망이다. 법원은 이제 “설명할 수 없는 결정은 방어할 수 없는 결정”이라는 새로운 원칙을 세워가고 있다. 고용주와 기술 기업 모두에게 AI 시스템의 불투명성은 편리한 방패가 아니라, 잠재적 법적 위험의 근원으로 변하고 있다는 지적이 나온다.
'신뢰 및 규제 준수' 산업의 성장
AI를 겨냥한 법적·규제 쓰나미는 새로운 시장도 창출했다. AI의 '블랙박스'가 야기하는 리스크에 대응하는 이른바 '신뢰 및 규제 준수' 산업이 성장하고 있다. AI의 의사결정 과정을 투명하고, 감사할 수 있으며, 법적으로 방어할 수 있도록 만드는 서비스를 제공한다.AI 규제의 중심에는 단 하나의 원칙이 있다. ‘설명 책임’이다. 왜 입사 지원자가 탈락했는지, 왜 A 직원이 저성과자로 분류됐는지를 합리적으로 설명할 수 없다면, 기업은 법적 방어의 기회를 잃는다. 미국 소비자금융보호국(CFPB)의 로힛 초프라 국장은 “기업들이 복잡한 알고리즘에 의존한다고 해서 법적 책임이 면제되는 것은 아니다”라며 “어떤 블랙박스 모델을 쓰더라도 대출 거절의 이유를 정확히 설명해야 한다”고 지적했다. 기술의 복잡성이 법적 면책의 근거가 될 수 없다는 뜻이다. AI를 썼다는 이유로 ‘모른다’고 말하는 것은 더 이상 허용되지 않는다.
이른바 '설명 가능 AI'는 학술적 개념을 넘어 산업으로 성장했다. XAI란 인공지능의 판단 근거를 인간이 이해할 수 있는 형태로 제시하는 기술이다. 기업이 AI의 결정 과정을 투명하게 설명하고 기록할 수 있게 돕는다. 시장조사업체 테크나비오는 전 세계 XAI 시장이 2024년부터 2029년까지 연평균 18.5% 성장해 해당 기간 약 96억 1760만 달러 규모가 증가할 것으로 내다봤다.
기업 입장에서 XAI는 이제 선택적 기술이 아니다. ‘법적 방어 도구’로 간주한다. 설명할 수 있는 AI는 단순히 모델을 해석하는 수단을 넘어 기업이 AI 의사결정의 근거를 검토하고 문서화해 향후 법적 분쟁에 대비할 수 있는 증거를 제공한다. 결국 ‘설명할 수 있는 AI’는 더 이상 윤리적 이상이 아니라 기업 생존의 조건이 됐다.
한국 기업도 도전과 기회
법이 새로운 의무를 만들면, 그 의무를 이행하고 증명하는 일을 업으로 삼는 새로운 전문가 집단이 생겨난다. AI 규제 역시 예외가 아니다. 뉴욕시의 LL144 법이 ‘독립적 편향성 감사’를 의무화하자, 재무제표를 감사하듯 AI 알고리즘의 공정성을 평가하는 새로운 전문직인 AI 감사관이 등장했다. 알고리즘의 데이터 편향, 모델 투명성, 인적 감독 체계 등을 독립적으로 점검하는 역할이다.글로벌 IT감사협회(ISACA)는 세계 최초의 AI 감사 전문자격(AAIA) 제도를 도입했다. 국제 개인정보전문가협회(IAPP)는 AI 거버넌스 전문가(AIGP) 인증을 신설하며 AI 리스크 관리의 표준화를 시도했다. 이런 흐름은 회계·법률·기술 컨설팅업계에 새로운 경쟁 구도를 만들며 ‘AI 감사’가 기업의 새로운 필수 역량으로 부상한 것을 보여준다.
규제 준수를 지원하는 AI 거버넌스 플랫폼 시장도 빠르게 성장하고 있다. IBM, Collibra, Credo AI 등이 대표적이다. 이런 기업은 고객사가 보유한 모든 AI 모델의 목록을 관리하고, 성능 변화를 추적하며, 편향성 테스트를 자동화하고, 규제 기관에 제출할 보고서를 생성하는 등 AI 거버넌스의 전 과정을 통합 관리한다. ‘AI의 회계 시스템’을 구축해주는 셈이다.
글로벌 AI 규제 환경의 격변은 한국 기업에 위기이자 기회다. 한국의 관련 규제 환경은 글로벌 스탠더드를 빠르게 따라가고 있다는 평가다. 지난 1월 21일 공포된 '인공지능 발전과 신뢰 기반 조성 등에 관한 기본법'(AI 기본법)은 내년 1월 22일 시행을 앞두고 있다. 이 법은 AI 산업 진흥을 위한 기반을 마련하고, '고위험 AI'에 대한 신뢰성 확보 의무를 규정한다. 이는 기업들이 AI 시스템의 안전성과 신뢰성을 자체적으로 확보하고 관리할 책임을 지게 됨을 의미한다.
[글로벌 머니 X파일은 중요하지만 잘 알려지지 않은 세계 돈의 흐름을 짚어드립니다. 필요한 글로벌 경제 뉴스를 편하게 보시려면 기자 페이지를 구독해 주세요]
김주완 기자 kjwan@hankyung.com
