편향된 데이터에 그릇된 판단 내려
인간의 주관을 배제한다. 데이터와 알고리즘 기반으로 작동한다. 그래서 인공지능(AI)은 객관적일 것으로 기대됐다. 현실은 달랐다. AI가 ‘인종·성차별적 결과’를 내놓는 사례들이 잇따르고 있다.
미국 뉴욕대 AI 나우 연구소(AI Now Institute)는 지난 13일 ‘오염된 데이터, 그릇된 예측(Dirty Data, Bad Predictions)’이란 제목의 논문을 발표했다. 연구소는 AI 활용 범죄예측시스템 운용 경험이 있는 미국 13개 시 경찰을 조사했다. 그중 9곳에서 편견이나 오류가 발견됐다는 게 논문의 골자다.
인종차별 사례가 대표적이다. 뉴올리언스는 백인 거주지역에 비해 흑인 거주지역에 대한 경찰의 순찰과 검문이 잦았다. 이렇게 되면 더 자주 검문을 벌인 흑인 거주지역 범죄율이 다른 지역에 비해 올라갈 개연성이 생긴다. AI 시스템은 이를 다시 향후 범죄율이 높은 ‘요주의 지역’으로 예측하는 근거로 삼게 된다.
AI의 인종차별 사례는 종전에도 몇 차례 발견됐다. 미인대회의 ‘객관적’ 외모평가를 위해 심사에 투입된 AI는 참가자 6000여명 중에서 수상자 44명 대부분을 백인으로 뽑았다. AI가 미인 판단 학습에 사용한 사진이 거의 백인이었던 탓이다.
심지어 흑인의 사진을 인간이 아닌 동물로 인식한 사례도 있다. 사진 이미지를 자동 인식해 구분·정리하는 ‘구글 포토’에서 생긴 문제였다. MIT(매사추세츠공대) 미디어랩에 따르면 사진분류 AI는 백인 사진의 인식 에러 확률이 1% 내외, 흑인 사진의 경우 최고 35%에 달했다.
성차별 우려까지 나왔다. AI를 적용한 채용·인사시스템이 여성에 불이익을 줄 가능성이 높다는 공개 지적이 제기됐다. 세계경제포럼(WEF)은 지난해 말 보고서를 통해 “기존 데이터를 바탕으로 알고리즘을 구성한 AI는 여성에 대한 편견을 가질 것”이라고 짚었다.
AI 시스템은 채용·인사 데이터를 수집해 지원자를 평가한다. 그런데 여성 지원자에 대한 과거 데이터가 부족해 여성을 배제할 가능성이 높다는 얘기다. 실제로 아마존이 개발한 AI 채용프로그램은 ‘여성’ 키워드가 포함되면 선택하지 않은 것으로 알려졌다. 남성 종사자가 많은 IT(정보기술) 기업의 기존 데이터 학습 결과 AI마저 남성 위주 편향성을 갖게 된 것이다.
이같은 AI의 편견과 차별은 ‘문제 있는 데이터’의 기계학습(머신러닝) 활용에서 비롯된다.
예컨대 사진인식 AI는 우선 전체적 윤곽을 찾아낸 뒤 다음엔 눈, 그 다음 코·입·귀 등으로 단계를 거치며 특징을 추출해나가는 방식을 택한다. 한 층씩 전파하면서 추상화 과정(심층학습·딥러닝)을 거쳐 최종적으로 사진을 인식한다. 인간의 지능과 똑같은 방식으로 사고(思考)하는 게 아니라 프로그래밍된 대로 분류하고 확률을 계산해 지능을 ‘흉내’ 내는 것이다.
데이터를 투입해 패턴화된 결과를 산출하는 AI 학습방식의 특성상 가치판단은 생략된다. 알파고처럼 “게임에서 이긴다”는 단순명료한 목적을 갖고 학습 데이터도 편견에 노출될 우려가 없는 바둑 기보라면 그래도 괜찮다. 하지만 AI를 실생활에 적용할 때 가치판단은 중요 이슈가 된다.
때문에 정부는 최근 ‘전자정부 10대 유망기술’ 중 하나로 인공지능 윤리를 꼽았다. 마이크로소프트가 윤리적 AI의 중요성을 강조하고, IBM이 AI 편향성을 모니터링하는 ‘AI 오픈스케일’을 공개하는 등 유명 IT 기업들이 문제해결에 나선 것도 같은 맥락으로 볼 수 있다.
AI 윤리는 신뢰 및 투명성과 직결된다. 인종·성차별 같은 윤리적 이슈가 발생했을 때 알고리즘이 구체적으로 어떻게 결정한 것인지는 개발자조차 알기 힘들다. 일종의 블랙박스가 되는 셈. 설명가능성(interpretability)이 중요하다. 왜 그렇게 판단했는지 투명하게 설명 가능해야 AI를 신뢰할 수 있기 때문이다.
‘다른 접근법’이 필요한 이유다. 슈퍼컴퓨터에 빅데이터를 투입해 확률적으로 답을 내는 시스템이 아닌, 인간과 유사한 논리구조로 추론할 수 있는 AI. 이러한 인공지능 엔진을 목표로 개발 중인 마인드AI의 폴 리 대표는 “설령 이세돌 9단에게 지더라도 사람처럼 ‘생각’하며 바둑을 두는 AI가 필요하다”고 강조했다.
지각력을 지닌 이른바 ‘강한 AI’에 초점을 맞춘 시각이다. 사실 새로운 얘기는 아니다. AI 연구에선 오래전부터 제기된 개념이다. 하지만 최근 들어 우선순위에서 밀렸다. 인공신경망에 빅데이터가 접목되면서, 미리 정의된 규칙에 따라 지능을 흉내 내는 ‘약한 AI’가 특정 분야에서 뚜렷한 성과를 낸 탓이다.
그러나 비윤리적 편향을 지닌 AI의 문제가 부각되는 지금이라면 얘기가 달라진다. 기술적 구현이 어렵더라도 지각력을 갖춘 다른 종류의 AI를 다시금 진지하게 검토해볼 때 아닐까.
김봉구 한경닷컴 기자 kbk9@hankyung.com
기사제보 및 보도자료 open@hankyung.com
