AI 추론 클라우드 기업 프렌들리AI(FriendliAI)와 오픈 소스 AI 개발 플랫폼 올라마(Ollama)가 지난 4일과 5일 서울에서 국내 기업 경영진 및 개발자를 대상으로 공동 행사를 개최했다고 17일 밝혔다. 이번 행사를 위해 올라마 공동창업자인 제프리 모건(Jeffrey Morgan) CEO와 마이클 챙(Michael Chiang)이 한국을 방문했다.
양사는 이틀간 기업 경영진을 위한 프라이빗 디너와 개발자 밋업을 각각 개최하며, 오픈 모델의 발전과 기업 도입 전략, 실제 프로덕션 환경에서의 AI 에이전트 구현 및 운영 등을 논의했다.
지난 4일 열린 기업 경영진 대상 행사에는 70개 이상의 기업에서 경영진 및 관계자 90여 명이 참석했다. ‘Open Models & Sovereignty’를 주제로 진행된 이번 행사에서는 빠르게 발전하는 오픈 모델의 현황과 엔터프라이즈 활용 사례를 살펴보고, 기업이 AI 모델과 데이터, 인프라에 대한 선택권과 통제권을 확보하는 방안을 논의했다.
제프리 모건 올라마 CEO는 기업의 오픈 모델 도입에서 비용 효율성과 데이터 보호, 특정 모델이나 클라우드에 종속되지 않는 선택권의 중요성을 강조했다. 전병곤 프렌들리AI 대표는 동일한 오픈 모델이라도 추론 인프라에 따라 성능과 비용, 안정성 등이 달라질 수 있다며, 오픈 모델을 실제 프로덕션 환경에서 효과적으로 운영하기 위한 추론 기술의 역할을 소개했다.
5일에는 ‘Building Production Agents with Open Models’를 주제로 개발자 밋업이 개최돼, 오픈 모델을 활용한 AI 에이전트 개발부터 실제 프로덕션 환경에서의 운영까지 다양한 기술적 접근과 활용 가능성을 공유했다.
올라마는 개발자가 오픈 모델을 손쉽게 실행하고 기존 개발 도구 및 워크플로에 통합할 수 있는 방법을 소개했으며, 프렌들리AI는 오픈 모델 기반 AI 에이전트의 성능과 비용 효율성을 높이기 위한 추론 최적화 기술을 공유했다. 긴 컨텍스트를 반복적으로 활용하는 AI 에이전트의 특성을 설명하고, KV 캐시 재사용과 효율적인 GPU 자원 활용, 추론 요청 라우팅 등을 통해 프로덕션 환경에서 성능과 효율성을 개선하는 방안을 소개했다.
이와 함께 글로벌 AI 오픈 모델 기업 미니맥스(MiniMax)는 MiniMax M3.1-Flash 모델을 소개하며, 코딩 및 에이전트 워크로드뿐 아니라 텍스트 외 다양한 형태의 데이터를 처리하는 멀티모달 AI 모델로서의 활용 가능성을 선보였다.
전병곤 프렌들리AI 대표는 “오픈 모델의 빠른 발전으로 기업과 개발자들이 선택할 수 있는 AI 기술의 폭이 넓어지고 있다”며 “이제 중요한 것은 우수한 모델을 선택하는 것을 넘어 이를 실제 서비스 환경에서 얼마나 빠르고 안정적으로 운영할 수 있는가이다. 이번 행사를 통해 국내 기업과 개발자들의 오픈 모델에 대한 관심을 확인할 수 있었으며, 올라마와 함께 더 많은 기업이 오픈 모델을 도입하고 활용할 수 있도록 지원하겠다”고 말했다.
제프리 모건(Jeffrey Morgan) 올라마 공동창업자 겸 CEO는 “서울은 전 세계에서 올라마 커뮤니티가 가장 활발한 도시 중 하나로, 이번 행사를 통해 많은 사용자들을 직접 만날 수 있어 뜻깊었다”며 “한국의 기업 경영진 및 개발자들과의 대화를 통해 기업들이 AI 모델과 데이터, 인프라에 대한 실질적인 선택권을 확보하고, 비즈니스 환경에 맞는 곳에서 자유롭게 모델을 운영하기를 원한다는 점을 확인할 수 있었다”고 전했다.
이어 “프렌들리AI와의 협력을 통해 기업들이 오픈 모델의 실험 단계를 넘어 각자의 요구와 환경에 맞게 실제 프로덕션에서 운영할 수 있도록 지원하고 있다”며 “앞으로 한국의 오픈 모델 커뮤니티를 지원해 나가겠다”고 덧붙였다.
김성혜 한경닷컴 기자 shkimmy@hankyung.com