역량기반 HR 컨설팅 전문기업 리더스인싸이트(대표이사 임대열)가 AI를 활용해 참가자의 역량을 평가하고 개인별 결과 보고서까지 생성하는 ‘AI-Powered Assessment(이하 AI 역량평가 시스템)’를 개발했다고 18일 밝혔다.
AI 역량평가 시스템은 기존 Assessment Center에서 전문 평가자(Assessor)가 수행하던 답안 분석, 행동 관찰, 역량 평가 및 결과 보고서 작성에 AI를 적용한 시스템이다. 참가자가 실제 직무와 유사한 시뮬레이션 과제를 수행하면, AI가 답안에 나타난 행동과 판단을 분석해 역량 수준을 평가하고 강점과 보완점, 개인별 개발 제언을 포함한 보고서를 생성한다.
이를 위해, 리더스인싸이트는 상용 대규모 언어모델(LLM)에 자체 역량모델과 평가 기준, 행동지표를 결합해 AI 평가 모델을 구축했다. 특히 AI 평가의 신뢰성을 확인하기 위해 업계 전문가와 산업 및 조직심리학 전공 교수가 AI와 동일한 평가를 실시하고 결과를 비교했다. 그 결과 전문가 집단과 크게 다르지 않은 평가 경향을 보였다.
또한 AI가 어떤 행동과 표현을 근거로 평가 결과를 산출했는지 확인할 수 있으며, 필요할 경우 전문 평가자가 결과를 다시 검토하는 2차 확인 절차도 운영할 수 있다. AI의 판단을 그대로 수용하는 방식이 아니라 AI의 일관성과 전문가의 판단을 결합할 수 있도록 설계한 것이 특징이다.
AI 역량평가 시스템을 통해 기업 입장에서는 평가의 일관성·속도·확장성을 높일 수 있다. 동일한 기준으로 참가자를 평가해 평가자에 따른 편차를 줄일 수 있으며, 답안 분석과 개인별 보고서 초안을 수 분 내 생성해 평가에 필요한 시간을 크게 단축할 수 있다. 온라인으로 운영할 경우 다수 인원을 짧은 기간에 평가할 수 있어 승진이나 리더 선발 등 대규모 평가에도 활용할 수 있다.
리더스인싸이트는 2020년 온라인 역량평가 시스템인 ‘VAC(Virtual Assessment Center)’를 선보인 데 이어, 이번 AI 역량평가 시스템을 통해 역량평가의 디지털 전환을 AI 전환으로 확대한다는 계획이다.
리더스인싸이트 관계자는 “AI는 전문 평가자를 단순히 대체하기 위한 것이 아니라, 전문 평가자의 평가 원칙과 기준을 보다 일관되고 효율적으로 구현하기 위한 도구”라며 “비용과 운영상의 제약으로 역량평가를 폭넓게 활용하기 어려웠던 기업들에게 새로운 대안이 될 것으로 기대한다”고 말했다.
김성혜 한경닷컴 기자 shkimmy@hankyung.com