이 기사는 프리미엄 스타트업 미디어 플랫폼 한경 긱스에 게재된 기사입니다.
최근 정보기술(IT)업계에선 '엣지 AI(인공지능)'에 대한 관심이 커지고 있다. 엣지 AI는 스마트폰 등 기기에서 AI 반도체 등을 통해 독립적으로 AI 기반 연산을 돕는 기술을 뜻한다. AI 기술이 발전해 작은 규모 거대언어모델(LLM) 등의 성능이 높아지면서 더욱 주목을 받고 있다. 국방 분야에서도 활용 범위가 넓은 기술로 꼽힌다. 국방에선 보안 등 문제로 외부 클라우드 서비스를 사용하기 어렵기 때문이다. 한국국방연구원(KIDA) 국방데이터연구단과 '바른 과학기술사회 실현을 위한 국민연합'(과실연) AI미래포럼이 지난 22일이 주최한 ‘7차 국방 데이터 혁신 네트워크’에서 '엣지 AI’'에 대해 논의한 이유다. AI 반도체 스타트업 리벨리온과 하이퍼엑셀이 관련 내용을 발표했다. 이번 행사는 한국IT서비스학회와 모두의연구소가 후원했다.
“국방 온디바이스에서도 데이터 필수"김홍석 리벨리온 소프트웨어 아키텍트 총괄은 '온디바이스: 꼭 가야할, 하지만 만만하지 않은 여정'이라는 주제로 발표했다. 김 총괄은 "온디바이스 범위가 굉장히 넓어서 한정 짓기 어렵다"며 "실시간으로 물리적인 환경에서 상황을 인식하고 거기 대응을 하는 부문에 가장 관심이 많은 것 같다"고 말했다. 그는 최근 온디바이스가 텍스트, 이미지 등을 두루 다룬다고 설명했다.
김 총괄은 "기술적으로 가장 도전적이고 매력적이며 임팩트가 있는 것은 실제 디바이스가 있는 환경에서 일어나는 일을 실시간으로 인지하고 거기에 대응하는 것이 아닐까 싶다"며 "관련 해서 가장 많이 보급된 것은 스마트폰"이라고 말했다. 이어 "CCTV에도 최근 AI 반도체가 활용돼 실시간으로 일어난 일을 감지하고 거기에 대해서 대응한다"며 "관련해서 중요하고 연구할 것도 많고 응용할 것도 가장 많은 분야는 모빌리티인 것 같다"고 덧붙였다.
김 총괄은 온디바이스 연구의 난도가 상당히 높다고 강조했다. 그는 "일단 문제 자체가 엄청 어렵고 3D 환경에서 일어나고 있는 일을 센서로 이해를 하고 그걸 바탕으로 판단하는 건 기술적으로 엄청나게 도전적인 일"이라고 말했다. 김 총괄은 "여기에 소프트웨어적으로 잘 처리하는 것도 엄청난 도전"이라고 설명했다.
김 총괄은 "온디바이스에 데이터가 들어오면 현장에서 어떤 일이 일어나는지 이해하고 판단하는 알고리즘이 필요하다"며 "온디바이스는 해당 데이터를 데이터센터로 옮겨서 처리를 하는 게 아니라 현장에 있는 기기가 곧바로 처리를 하는 것"이라고 말했다. 그는 "서버에서 처리하는 것보다 제약이 많고 해당 컴퓨터 플랫폼에 최적화해야 할 상황이 많다"고 지적했다.
온디바이스에서도 데이터가 필수다. 김 총괄은 "다만 국방에선 실제 전투 환경을 이해하기 위한 데이터는 찾기 거의 불가능하고 관련 데이터를 만들고 싶어도 어려운 상황이 많다"고 말했다. 국방 분야에서 온디바이스 활용을 위해서 관련 데이터 필요하지만 확보가 어렵다는 얘기다. 그는 "고성능의 머신러닝 알고리즘으로 풀고 싶은 문제에 대해 필요한 데이터를 확보하는 것이 가장 어려운 문제 중의 하나"라고 지적했다.
그는 최근 온디바이스 발전 속도를 애플 아이폰을 예로 들었다. 김 총괄은 "애플이 뉴럴 엔진(신경망 엔진)을 처음 도입한 것은 2017년 나온 아이폰 X이었다"라며 "처음엔 초당 6000억 번의 연산이 가능했고 최근 나온 애플의 M4는 초당 38조 회 연산한다"고 말했다. 이어 "엔비디아 제품의 경우에는 최근 발표한 블랙웰은 전기를 1000W 쓰면서 인텔 기준으로 처리 속도가 4500 탑스(초당 4500조회)를 기록할 정도가 엄청 빠르다"고 말했다.
김 총괄은 온디바이스 등에 쓰이는 AI개발 소프트웨어 중에선 파이토치를 주목할 필요가 있다고 강조했다. 그는 "다양한 관련 소프트웨어가 나왔지만 파이토치로 통일되는 상황"이라며 "온디바이스 관련 공급자 입장에선 AI 프레임워크가 몇 개로 축소돼 고민도 적어졌다"고 말했다.
김 총괄은 온디바이스 관련 제품 중 성공 사례로 로봇 청소기, 애플의 페이스ID, 자율주행 등을 꼽았다. 그는 "어려운 문제를 정말 잘 푼 경우"라고 말했다. 반면 애플의 비전 프로, 구글의 구글 글라스 등은 제시한 비전과 나온 제품 간 간격이 커 기대에 못미친 사례라고 분석했다.
"AI 반도체는 K-방산의 핵심"김주영 하이퍼엑셀 대표는 '국방 AI를 위한 LLM 특화 반도체 개발'라는 주제로 발표했다. 김 대표는 “하이퍼엑셀은 LLM의 연산을 더 빠르고 에너지 효율적으로 그리고 비용을 낮출 수 있는 AI 반도체와 서버를 만들고 있는 기업"이라고 설명했다. 이어 "카이스트에서 연구개발(R&D)을 2년에 걸쳐서 했고 작년 1월에 창업을 해서 1년 6개월 정도 된 신생 회사로 40명 정도가 일하고 있다"고 덧붙였다.
하이퍼엑셀은 지난해 AI 맞춤형 반도체인 하이퍼엑셀 오리온을 개발했다. 챗GPT처럼 AI 연산에 비용이 많이 드는 LLM에 최적화했고 메모리 대역폭 사용을 극대화해 비용 효율성을 높인 AI 반도체다. 엔비디아의 AI용 반도체인 A100보다 처리 속도는 50% 빠르다. 가격 대비 성능은 최대 2.4배 뛰어나다는 게 회사 측 설명이다. 전력 사용량도 기존 제품의 절반 이하다.
김 대표는 "2017년에 구글에서 나온 트랜스포머라는 모델이 생성형 AI 시대를 촉발했고 국방에도 LLM이 도입됐다"고 설명했다. 이어 "미국에선 국방 관련 정보를 수집하고 분석해 전략을 세우고 작전을 만드는 쪽에 가장 많이 활용한다"고 덧붙였다. 국내에서도 한국과학기술정보연구원이 국방 LLM을 개발했다. 국방부에선 국방AI센터를 설립해 AI 과학기술 강군 육성을 위한 기술 개발 및 정책 지원에 나서고 있다.
김 대표는 "다만 국방에서도 서버나 반도체 등을 미국 엔비디아 제품을 사용하고 있어 관련 제품 국산화가 굉장히 시급하다"고 지적했다. 하이퍼엑셀에 따르면 2023년 기준 국내 그래픽처리장치(GPU) 시장 규모는 5000억원으로 국방 분야는 5% 정도 차지하는 것으로 추정된다. 김 대표는 "앞으로 관련 시장은 더 커질 전망으로 군에서도 웨어러블형 AI 기기 등 수요가 늘고 있어 AI 반도체가 국방 자체의 경쟁력이 될 것"이라고 말했다.
김 대표는 한국의 관련 생태계는 탄탄하다고 설명했다. 그는 "국내에서는 반도체 설계, 제작, 고객사 등을 모두 보유하고 있어 유리한 환경"이라고 강조했다. 김 대표는 국방용 AI 반도체 개발의 필요성에 대해 안정적인 공급망 확보, 보안 강화, 전력 효율선 개선, 맞춤형 기능 등을 꼽았다. 그는 "통신 불능 상태, 고온 등에 견디는 강한 내구성도 필요하다"고 말했다.
김 대표는 "GPU가 AI 학습에는 효과적이지만 서비스 과정(추론)에선 굉장히 비효율적"이라며 "이런 문제를 해결하기 위해 NPU라는 새로운 반도체 시장이 열렸다"고 말했다. 이어 "AI 추론 관련 시장은 오는 2032년에는 1280억달러까지 커질 전망"이라고 덧붙였다. 그는 "LLM 추론 서비스에 특화 반도체가 필요한 건 트랜스포머 구조에선 이전 딥러닝 모델보다 모델의 크기가 1000배 이상 커서 이를 효율적으로 처리하는 반도체가 필요하게 됐다"고 설명했다.
김 대표는 "최근 미국 정부가 엔비디아 반도체의 중국 수출을 막은 것처럼 AI 반도체는 무기화가 가능한 국가 자산이자 K-방산의 핵심 요소"라며 "LLM 특화 반도체가 글로벌 소프트웨어 시장에서 트렌스포머 구조, 머신러닝 등보다 더 중요해졌다"고 말했다.