멀티모달 인공지능(AI) 기업 트웰브랩스가 차세대 영상 AI 모델 ‘마렝고 3.0’을 2일 출시했다. 영상 속 장면의 텍스트와 음성, 상황 맥락을 통합적으로 이해하는 비디오 파운데이션 모델이다.
마렝고 3.0은 영상 속 대사와 몇 분 후 등장하는 동작을 연결해 해석한다. 행동과 상황 변화를 시간의 흐름에 따라 추적하는 등 인간에 가까운 수준의 영상 이해 능력을 구현한다고 트웰브랩스는 설명했다. 업계 최초로 이미지와 텍스트를 동시에 검색할 수 있는 ‘복합 이미지 검색’ 기능이 도입됐다.
새 모델을 활용하면 스포츠 리그에서 특정 선수의 득점 장면이나 결정적 플레이를 검색해 하이라이트를 빠르게 제작하는 게 가능하다. 방송 분야에선 수십 년 치 아카이브에서 특정 유명인의 얼굴을 등록해 원하는 행동을 하는 장면을 몇 초 만에 찾아낼 수 있다. 보안 분야는 CCTV 영상 중 원하는 장면만을 정확하게 찾아낼 수 있다.
고은이 기자 koko@hankyung.com