“인공지능(AI) 서비스 가격을 3만원에서 5000원으로 낮출 수 있는 AI 반도체를 개발하는 게 목표입니다.”
10일 서울 서초동 하이퍼엑셀 사옥에서 만난 이진원 하이퍼엑셀 CTO(사진·최고기술책임자)는 회사의 AI 반도체 개발 목표를 이렇게 밝혔다. 엔비디아가 만든 AI 반도체보다 최대 10분의 1 수준으로 저렴한 칩을 만들어 AI 서비스 비용을 대폭 줄이겠다는 것이다.
이 CTO는 삼성전자 시스템LSI 사업부에서 시스템 반도체 설계를 담당했다. 스마트폰의 ‘두뇌’인 애플리케이션프로세서(AP)를 설계했던 그는 2021년 AI 반도체 스타트업 뉴블라를 거쳐 2023년 설립된 하이퍼엑셀에 CTO로 합류했다. 현재 AI 반도체 아키텍처 개발을 총괄하고 있다.
하이퍼엑셀은 지난달 데이터센터용 AI 반도체 ‘베르다(Bertha)’ 개발에 성공했다. 삼성전자 파운드리사업부의 4㎚(나노미터·10억분의 1m) 공정으로 생산한 칩은 이달 첫 물량이 나온다. 고객사와 소프트웨어 최적화를 통해 대량 양산을 위한 담금질을 거쳐 네이버, 업스테이지 등과 손잡고 실제 데이터센터에 적용하는 프로젝트를 추진한다.
AI 칩 옆에는 정보 처리를 돕는 메모리가 붙는다. 빠른 정보처리 속도가 장점인 고대역폭메모리(HBM)가 대표적인 예다. 하지만 베르다는 HBM 대신 다수의 저전력(LPDDR) 메모리인 ＇LPDDR5X＇를 AI 연산 장치 옆에 장착했다. 비용과 전력 효율을 고려한 전략이다.
물론 저전력 D램이 HBM보다 속도는 느리다. 하이퍼엑셀은 이 문제를 연산 장치 구조 변화로 보완했다. 통상 AI 반도체인 그래픽처리장치(GPU)는 HBM 안에 있던 정보를 임시 저장공간인 ‘S램’으로 옮긴 뒤에 GPU로 전송한다. GPU가 용량이 제한된 S램을 동시에 사용하다 보니 병목이 생기기 쉽다.
하이퍼엑셀은 베르다에서 병목의 원인이 되는 S램을 생략했다. 계산에 필요한 데이터를 메모리에서 곧장 연산장치(LPU)로 보낸다. 이 CTO는 “베르다는 저전력 D램의 활용률을 90% 수준까지 끌어올려 D램이 효율적으로 동작하도록 했다”며 “칩의 총소유비용(TCO)을 GPU 대비 3배 높이는 것이 목표”라고 말했다.
소프트웨어 전략도 병행한다. 하이퍼엑셀은 오픈AI의 엔비디아 GPU용 프로그래밍 언어 ‘트라이톤’과 유사한 자체 도메인 특화 언어(eDSL)를 개발 중이다. 이 CTO는 “여기에 AI 코딩 에이전트를 도입할 계획”이라고 했다. 그러면서 “엔비디아가 주도하는 AI 생태계와 크게 어긋나지 않으면서도 차별화된 칩 구조를 찾아내는 것이 스타트업의 현실적인 전략”이라고 말했다.
최근 화두가 되고 있는 반도체 기술을 차세대 제품에 이식하겠다는 계획도 세웠다. 그는 “칩을 수직·수평으로 배열하거나 쌓는 2.5D 패키징, 실리콘 포토닉스(CPO) 등 다양한 기술 도입을 고려하고 있다”고 설명했다.
강해령 기자 hr.kang@hankyung.com