“독자적으로 만든 대규모언어모델(LLM)이 국산 신경망처리장치(NPU)에서 돌아가고, 국산 포털의 실시간 서비스에서 실행되고 있습니다.”김성훈 업스테이지 대표는 15일 퓨리오사AI·AXZ와 공동으로 온라인 간담회를 열고 “국산 인공지능(AI) 모델과 반도체, 포털 서비스가 한 번에 연결된 첫 풀스택 소버린 AI 상용화 사례”라고 강조했다. AXZ는 다음 운영회사다.
업스테이지는 지난 5월 AXZ 인수를 확정한 뒤 이달 1일부터 자체 LLM ‘솔라’를 다음 검색 서비스에 적용했다. ‘AI 오버뷰’ 검색엔진이 관련 문서를 찾고, 솔라가 이를 요약해 보여주는 식이다. 연산은 퓨리오사AI의 AI 반도체 ‘레니게이드(RNGD)’가 한다.
백준호 퓨리오사AI 대표는 “레니게이드 칩 24개가 서버 3개 노드에 투입돼 하루 약 5억 개 토큰을 처리하고 있다”며 “전체 비용을 적게는 50%, 많게는 1.5배에서 2배 정도 절감할 수 있다”고 설명했다. 그러면서 “양산 중인 레니게이드를 연내 1만 개 공급할 수 있다”며 기업의 AI 전환 과정에서 국산 NPU 도입을 적극 검토해달라고 당부했다.
이건수 AXZ 대표는 이렇게 국산 기술로 돌아가는 AI 오버뷰의 핵심 성과로 실시간 요약 품질을 꼽았다. 그는 “기존 검색은 여러 링크를 하나씩 눌러봐야 했지만, AI 오버뷰는 AI가 먼저 읽고 요약해주는 서비스”라며 “최신 정보를 바탕으로 답을 제공하는 데 초점을 맞췄다”고 했다. 검색엔진이 찾은 정보 안에서만 답하도록 프롬프트 엔지니어링을 강화해 환각을 줄였다는 설명이다. 다음은 장기적으로는 사용자 관심 정보를 매일 정리해주는 ‘1인 1에이전트’도 준비하고 있다.
한편, 김성훈 대표는 이날 현재 정부의 ‘독자 파운데이션 모델 프로젝트’를 위해 개발 중인 솔라 후속 모델을 다음 달 출시할 예정이라고 밝혔다.
유지희 기자 keephee@hankyung.com