엔비디아가 20일 텐서RT 8를 공개했다. 텐서RT는 엔비디아의 추론 소프트웨어 개발 키트다. 실시간 대화형 인공지능(AI)을 지원한다.
텐서RT 8은 텐서RT의 8세대 버전이다. 캐리 브리스키 엔비디아 AI 소프트웨어 제품관리 선임본부장은 “엔비디아 AI 소프트웨어에선 상당한 이정표 격”이라며 “각 분야에 적합한 프레임워크를 기반으로 빠르게 AI 기술을 활용하려는 이들을 도울 것”이라고 말했다.
엔비디아에 따르면 텐서RT 8은 텐서RT 7에 비해 성능이 두 배 빠르다. 정확도도 높아졌다. 구글의 다국어 AI 언어모델 BERT 추론 처리 속도는 텐서RT 7에 비해 2.5배 빠르다. 지연시간을 밀리초 단위로 낮췄다.
AI 모델의 규모에 따라 유연하게 정보를 처리하도록 하는 QAT 기술을 적용한 것도 특징이다. 이전보다 두 배 더 방대한 모델을 써도 비슷한 지연도, 비슷한 정확도로 정보를 처리할 수 있다는 설명이다. 싯다르트 샤르마 엔비디아 기술마케팅매니저는 “AI 언어처리 알고리즘이 점점 복잡해지고 다양해지면서 앱 가속화를 위한 유연한 컴파일러의 필요성도 함께 높아졌다”며 “텐서RT 8은 정확성을 보장하면서 지연도는 낮췄다”고 말했다.
엔비디아는 텐서RT가 AI 기반 추천 서비스 품질을 개선할 수 있다고 기대하고 있다. 이커머스, 소셜미디어, 온라인동영상서비스(OTT) 등에서 활용도가 높다는 전망이다. 샤르마 매니저는 “텐서RT 8은 이용자가 하는 말의 뉘앙스와 맥락, 의미를 더 잘 알아들어 적합한 결과를 도출할 수 있다”며 “AI 챗봇, 추천서비스, 검색서비스 등 대화형 AI 어플리케이션에 신기원을 가져올 것”이라고 말했다. 그는 “데이터센터나 의료이미지 분석 등에도 텐서RT를 쓸 수 있다”고 덧붙였다.
엔비디아는 이날 텐서RT 생태계가 커지고 있다고도 발표했다. 작년 기준 다운로드 누적 건수가 250만건, 쓰는 개발자 수는 35만명 가량이다. 국내 기업중엔 SK텔레콤, 네이버, LG 등이 클라우드와 엣지 시스템에 텐서RT를 활용하고 있다. 포드, GE헬스케어, 바이트댄스 등도 텐서RT를 기반으로 서비스를 운영한다. 자연어처리 기업 허깅페이스도 텐서RT를 쓰고 있다.
선한결 기자 always@hankyung.com