변호사시험 첫 합격한 법률 AI

고도의 문제 해결 능력이 필요한 전문직 시험에서도 인공지능(AI) 서비스가 사람의 능력을 뛰어넘고 있다. 리걸테크 기업 로앤컴퍼니는 자사의 AI 법률 비서 서비스 ‘슈퍼로이어’가 지난 1월 치러진 제14회 대한민국 변호사시험에서 74%의 정답률을 기록해 합격점을 넘겼다고 12일 밝혔다.

시험 과목인 공법과 민사법, 형사법 등 객관식 문항 150개에서 111개를 맞혀 최근 5년간 변호사시험 평균 합격 개수(103개)를 훌쩍 넘겼다. 슈퍼로이어는 작년 7월 법률가를 대상으로 출시한 생성 AI 기반 서비스다.

비영어권 국가 중 자국 언어로 AI 서비스를 활용해 변호사시험 객관식 전체 영역을 풀어 합격권에 든 것은 슈퍼로이어가 처음이다. 이전까지의 최고 성적은 로앤컴퍼니가 2023년 기록한 정답률 53.3%였다.

동일한 시험 문제를 입력해 평가한 결과 GPT-4.5는 정답률 49.3%, 앤스로픽의 최신 모델 클로드 3.7 소넷은 45.3%를 기록해 합격선에 미치지 못했다. 복잡한 법률 지식을 이해하고 실제 시험 수준의 문제를 해결하는 데 세계적인 경쟁력을 갖췄다는 평가가 나온다.

안기순 로앤컴퍼니 법률AI연구소장은 “답변 성능 고도화, 할루시네이션(환각) 현상 최소화를 위한 노력을 지속해 법률 업무 효율성을 제고하는 데 기여하겠다”며 “복잡한 법률 업무를 높은 수준으로 처리할 수 있도록 고도화된 에이전트 개발에 집중할 것”이라고 말했다.

안정훈 기자 ajh6321@hankyung.com