노타 대표 "구형 하드웨어에도 새 AI 모델 싣도록 최적화"

노타는 인공지능(AI) 모델들을 하드웨어에 넣을 수 있도록 돕는 회사다. 새로운 AI 모델은 계속 나오는데, 구형 반도체는 이를 감당할만한 성능을 갖추지 못한 경우가 많다. 그러면 AI 모델 크기를 줄여야 한다. 노타가 개발한 소프트웨어 변환 키트(SDK) ‘넷츠프레소’는 원하는 AI 모델과 디바이스를 선택하면 알아서 AI 모델을 최적화한다.

채명수 노타 대표(사진)는 21일 인터뷰에서 “AI 성능은 최대한 유지하면서 전력과 메모리 사용량은 대폭 줄이는 기술이 핵심”이라고 설명했다. 사용 목적과 디바이스에 따라 다르지만, 노타의 최적화는 보통 AI 모델 크기를 15% 줄이고, 전력 소모는 60%까지 떨어뜨린다. AI 모델 중 필요 없는 부분을 압축하고 잘라낸다. 상대적으로 오래된 칩에도 최신 AI 모델을 앉힐 수 있다. 노타는 삼성, LG, 네이버, 카카오그룹이 모두 투자한 국내 첫 기업이다.

넷츠프레소의 주요 고객은 엔비디아와 암(ARM), 르네사스, 삼성전자, 퀄컴 같은 반도체 회사들이다. 채 대표는 “AI 모델이 좋다고 모든 디바이스에서 잘 굴러가진 않는다”며 “칩마다 지원되는 연산이 다르기 때문”이라고 했다. 보통 AI 칩은 설계부터 양산까지 1~2년은 걸린다. 이 사이에 새로운 AI 모델들이 쏟아진다. 하지만 이미 설계가 끝난 칩을 바꾸긴 쉽지 않다. 그는 “칩을 못 바꾼다면 그 칩에 맞게 소프트웨어(AI 모델)을 최적화해야 한다”며 “칩에서 지원하는 연산자로 치환시켜주는 것”이라고 했다.

노타는 2015년 설립된 11년차 스타트업이다. 채 대표가 처음 사업을 시작할 때는 이른바 ‘알파고 쇼크’도 오기 전이었다. 그는 최근 AI에 대한 세상의 관심이 달라진 것을 체감한다고 했다. AI 모델 최적화 시장은 AI 기술이 처음 등장했을 때보다 AI를 적극적으로 활용하려고 하는 기업들이 많아질 때 커진다. 채 대표는 “AI를 적용하고는 싶은데 비용이 비싸거나 디바이스에서 잘 돌아가지 않는 문제가 발생할 때 경량화 수요가 생긴다”고 말했다. 반도체 기업들의 러브콜을 받으면서 지난해 매출은 전년보다 2배 넘게 뛰었다.

채 대표는 AI 최적화 분야에 ‘골든 룰’은 없다고 했다. 다양한 칩을 다뤄본 경험이 가장 중요한 이유다. 그는 “다양한 AI 모델을 30여 개의 칩에 올려보면서 노하우를 쌓았고 플랫폼에 탑재했다”고 강조했다. 최근엔 반도체 회사들과 칩 설계부터 협업하고 있다. 그는 “설계가 잘못되면 몇천억원을 들여 만든 칩을 못 쓰게 돼버리기도 한다”며 “반도체 기업들도 새로운 AI 모델에 대한 지식이 필요한 이유”라고 했다.

지금까지 하나의 AI 모델을 최적화하는 게 필요했다면 앞으론 여러 모델이 묶인 AI 시스템을 효율적으로 굴리는 방법이 중요해질 것이라고 채 대표는 전망했다. 두 개 이상의 AI 모델이 적용된 AI 시스템에서 효율화 수요가 더욱 커질 것이란 얘기다.

고은이 기자 koko@hankyung.com