수작업 한계 넘는 AI 기반 QA 자동 평가 시스템, 객관성과 효율성 동시에 확보
QA 담당자 F씨는 상담사들의 상담 품질을 평가하기 위해 하루에 수십건의 녹취를 확인하며 격무에 시달렸다. 잠시도 쉬지 않고 일해도 확인해야 하는 녹취 데이터는 계속 누적돼 시간 압박을 받으면서 정신적인 스트레스를 겪기도 했다. 시간이 지날수록 쌓이는 녹취 데이터에 평가를 누락하기도 했으며, 현실적으로 모든 상담을 검토하는 것이 불가능해 일부만 샘플링해 평가하면서 객관성이 저하되는 문제도 발생했다. 이에 F씨는 신속하고 정확하며 일관성 있는 평가 방식이 절실히 필요하다고 느꼈다.
상담 품질을 관리해야 하는 수많은 기업들 역시 같은 고민을 안고 있다. 고객 응대 수준을 공정하게 측정하고 지속적으로 유지하는 일이 쉽지 않기 때문이다. 이러한 현실 속에서, 효율적인 품질 평가 방법에 대한 필요성은 더욱 커지고 있다.
이에 따라 상담 품질을 객관적으로 평가하고 개선할 수 있는 수단으로 QA(Quality Assurance·품질 보증) 평가 자동화가 주목받고 있다. 기존의 QA 방식은 담당자가 수작업으로 수십 개의 상담을 분석하고 점수를 매기는 구조였다. 하지만 이 방식은 시간과 인력 소모가 크고, 평가자의 주관 개입을 완전히 배제하기 어렵다는 한계를 지니고 있었다.
유베이스, 자연어 처리 기반 정밀 분석으로 응대 태도·설명력·친절도 등 핵심요소 평가
이러한 흐름 속에서 유베이스는 AI 기반 QA 자동 평가 시스템을 도입해 상담 품질 평가의 패러다임을 혁신하고 있다. 실제로 유베이스는 QA 자동 평가 시스템 도입을 통해 QA 평가 시간을 55% 단축했고, QA 품질은 10% 향상시켰다.
유베이스는 AI를 활용해 상담 내용을 실시간으로 분석하고, 주요 평가 항목을 등급화해 보다 객관적이고 효율적인 평가 체계를 운영하고 있다. 상담이 종료된 모든 콜에 대해 자동으로 QA 평가가 이뤄지며, QA 평가 과정에는 키워드 분석 평가와 감성평가가 포함된다. 키워드 분석은 사전에 정의된 이슈어, 유의어, 긍·부정 키워드 사용 여부를 기준으로 이뤄진다. 감성 평가에서는 상담사의 공감, 경청, 어휘력, 친절도 등을 분석해 기술 중심의 자동 평가에 감성 요소까지 더하고 있다.
이를 가능하게 하는 기술적 기반으로는 STT(Speech-To-Text·음성 텍스트 전환)와 TA(Text Analysis·텍스트 분석) 기술이 활용된다. 또한 AI는 상담 데이터를 정량적으로 분석해 응대 정확성과 일관성을 평가한다. 상담 중 사용된 핵심 키워드, 문장 구조, 응대 속도 등을 분석해 정의된 기준과 비교하고 객관적인 점수를 산출하는 식이다. 또한, NLP(Natural Language Processing·자연어 처리) 기술을 적용해 대화의 맥락을 해석하고, 상담사의 응대 태도와 문제 해결 방식을 다각도로 평가하며, 특정 상황에서의 대응 적절성까지 세밀하게 측정한다.
이러한 기술 기반 위에서 상담 품질 평가 체계를 구체화해 운영하고 있다. 유베이스는 상담 품질 평가를 크게 네 가지 항목으로 구분한다. 첫인사와 고객 정보 확인 등의 기본 항목, 문의 파악과 설명력, 적극성 등을 포함하는 업무처리 능력, 양해와 공감, 경청, 어휘력 등의 응대력, 그리고 친절도다. AI는 상담 대화를 실시간으로 분석해 각 항목의 점수를 자동으로 부여하며, 상담 내용 속 키워드 및 감성적 요소까지 정밀하게 평가한다. 특히 기존의 샘플링 방식과 달리, AI는 모든 상담을 전수 평가하여 보다 일관된 품질 관리가 가능하다.
QA 담당자는 AI 평가 데이터를 활용해 상담사의 역량을 보다 정밀하게 분석하고, 맞춤형 피드백과 교육 방향을 제공할 수 있다. 상담사는 이 데이터를 실시간 확인하며 피드백을 받고, 긍정적 평가와 개선 포인트를 즉시 파악해 상담 역량 강화에 활용할 수 있다.
AI 평가 기반 실시간 피드백으로 상담사 역량 개선 지원
이와 함께, 평가 결과에 대한 신뢰도를 높이기 위해 ‘이의제기 시스템’도 함께 운영된다. 상담사는 본인의 평가 점수를 확인한 후 결과에 대해 이의제기를 요청할 수 있으며, QA 담당자가 이를 받아 수동으로 재평가를 진행하는 구조다. AI 분석과 QA 담당자의 판단이 함께 반영돼 공정성이 높아지고, 주관성을 줄이며 객관적이고 정량적인 품질 관리가 가능해진다.
향후 상담 산업에서 AI 기반 QA 자동 평가 시스템의 활용도는 더욱 높아질 것으로 전망된다. 상담 품질을 보다 정밀하게 관리할 수 있게 되면서, 상담사 역량 강화는 물론 기업의 고객 응대 경쟁력까지 높이는 핵심 도구로 자리 잡을 것이다. 유베이스는 이러한 변화의 중심에서 AI 기술을 상담 현장에 실질적으로 적용하고, 상담 품질과 고객 서비스 수준을 동시에 끌어올리며 AICC 산업의 선도기업으로 자리매김하고 있다.
한경닷컴 뉴스룸 open@hankyung.com