앤트로픽이 클로드가 사용하는 언어와 인공지능(AI) 모델에 따라 다른 응답 성향을 보인다는 연구 결과를 공개했다. 특히 한국어로 대화할 때는 이용자의 요구를 비교적 잘 수용하면서 따뜻하고 간결하게 답변하는 경향을 나타냈다.
앤트로픽은 지난 13일 블로그를 통해 한국어를 포함한 클로드 이용 상위 20개 언어와 모델별 답변의 가치 성향을 비교한 연구 결과를 공개했다. 연구진은 클로드 이용자가 정답이 정해지지 않은 주관적 과제를 요청한 대화 30만9815건을 표본으로 분석했다. 분석 결과를 토대로 연구진은 네 가지 핵심 축으로 재구성했다. 네 가지 축은 수용성·신중함, 따뜻함·엄밀함, 깊이·간결함, 솔직함·실행력이다.
언어에 따른 답변 차이가 데이터에서 드러났다. 가장 큰 차이는 따뜻함·엄밀함 축이었다. 힌디어와 아랍어에서는 공감과 배려를 중시하는 따뜻함이 높게 나타났고 영어와 러시아어는 정확성과 논리를 중시하는 엄밀함이 상대적으로 강했다. 영어 답변은 위험에 대한 경계와 깊이 있는 설명, 불확실성을 솔직하게 드러내는 성향도 상대적으로 강한 것으로 나타났다.
한국어는 1만5570건 이상의 대화를 분석한 결과 20개 언어 평균보다 수용성, 따뜻함, 솔직함이 높게 나타났다. 가장 눈에 띄는 점은 간결성이었다. 깊이 있는 장문의 설명보다는 요청한 내용을 간결하게 제시하는 성향이 있었다. 또 한국어 응답에서는 사용자를 판단하기보다 공감과 위로를 건네고, 이용자의 말투와 높임말 수준을 자연스럽게 맞추며 유머를 활용하는 경향이 있었다.
모델별로는 소넷 4.6 모델이 수용성과 따뜻함, 오퍼스 4.7은 신중함과 깊이, 솔직함이 상대적으로 두드러졌다. 오퍼스 4.6은 엄밀함과 직설성이 상대적으로 부각됐다.
앤트로픽 관계자는 “이번 연구는 AI 모델 출시 전 가치 성향을 평가하고 출시 이후 실제 서비스 환경에서도 지속적으로 모니터링할 수 있는 새로운 방법론을 제시했다는 데 의미가 있다”고 말했다.
라현진 기자 raraland@hankyung.com