마이크로소프트는 잠재적 유해 콘텐츠를 감지해 심각성을 점수로 표기하는 ‘애저(Azure) 인공지능(AI) 콘텐츠 세이프티’를 출시했다고 18일 발표했다. 생성 AI를 활용한 유해 콘텐츠에 대한 우려가 커지는 가운데 이를 막기 위한 AI를 내놓은 셈이다.
애저 AI 콘텐츠 세이프티는 언어 및 비전 모델을 사용해 증오나 폭력 등 잠재적으로 유해한 콘텐츠를 감지한다. 심각성을 점수로 표기하는 기능도 갖췄다. 기업과 조직은 내부 정책에 근거해 유해 콘텐츠를 차단하거나 분류하는 등 서비스를 맞춤화할 수 있다.
독립적인 실행이 가능해 오픈 소스 모델과 다른 모델에서 생성된 AI 콘텐츠에도 적용할 수 있다는 설명이다. 마이크로소프트는 “수십년간 이어진 마이크로소프트의 콘텐츠 관리 경험과 기능을 바탕으로 다양한 비즈니스 요구 사항을 가진 기업과 조직에 안전한 AI 콘텐츠 사용 환경을 제공할 수 있을 것”이라고 설명했다. 추후 멀티모달 모델에 대한 연구를 통해 불쾌감을 유발할 수 있는 이미지, 텍스트 등 창작물 감지 기능도 강화할 예정이다.
에릭 보이드 마이크로소프트 AI 플랫폼 담당 기업 부사장은 “이미 많은 기업이 생성 AI의 가치와 역량을 경험하기 시작했다”며 “이런 상황에서 마이크로소프트는 애저 AI 콘텐츠 세이프티를 통해 더욱 다양한 비즈니스 요구 사항을 가진 고객들에게 보다 안전한 생성 AI 사용 환경을 지원할 수 있을 것으로 기대한다”라고 말했다.
이승우 기자 leeswoo@hankyung.com