'AI 모델 최적화'로 주목받는 서울 소재 국내 스타트업 SqueezeBits의 도전

'AI 모델 최적화'로 주목받는 서울 소재 국내 스타트업 SqueezeBits의 도전

이 내용은 Forbes에 게재된 자료를 정리한 것이다.

인공지능(AI) 모델을 움직이는 데는 막대한 비용이 필요하다. 엔비디아의 AI 칩 단가는 3만달러 이상이나 된다. 어떤 추정 계산에 따르면, OpenAI가 ChatGPT를 운용하기 위한 비용은, 1일 70만달러나 된다고 한다. 이런 가운데 창업한 지 2년이 다 된 한국 스타트업 스퀴즈비츠(SqueezeBits)는 AI 모델 운용을 효율화하고 메모리 사용량을 줄여 이 비용을 낮추려 했고, 이를 위해 얼마 전 국내 대형 인터넷 기업들의 출자를 따냈다.

It is enormously expensive to run AI models. A single Nvidia AI chip can cost over $30,000. It costs OpenAI $700,000 a day to operate ChatGPT, according to one estimate. With costs like that, only the biggest companies have the money to develop and run AI. SqueezeBits, a two-year-old startup in South Korea, says it can lower that cost and democratize the hot technology. To help it do that, SqueezeBits recently got support from one of the country’s top internet companies.

SqueezeBits는 1월, 프리 시리즈 A 라운드로 약 200만달러를 조달했다고 발표했다. 서울을 거점으로 하는 동사의 평가액은, 관계 소식통에 의하면 약 1500만달러이 된다고 한다. 이 라운드에 참여한 투자자에는 인터넷 대기업 카카오의 투자 부문인 카카오벤처스가 포함돼 있다.

카카오벤처스는 한국에서 가장 자금 조달액이 많은 AI 칩 스타트업인 리벨리온스의 초기 투자자로도 알려져 있다. 엔비디아 H100칩의 절반가량인 저렴한 AI칩을 개발하는 리벨리온스는 1월 말 6억5000만달러의 평가액으로 1억2400만달러를 조달했다.

'AI 모델에는 엄청난 수의 매개변수가 사용되고 있지만 많은 기업은 모델을 완전히 최적화해 사용하지 않고 있습니다'라고 스퀴즈비츠의 공동창업자이자 CEO인 김형준(Hyungjun Kim)은 주장한다.

「AI 모델에는 쓸데없는 파라미터나 데이터가 존재합니다. 당사는, 모델이나 계산 프로세스에 있어서, 쓸데 없는 데이터나 중요도가 낮은 데이터를 제거하는 것으로, 계산 비용이나 메모리 사용량을 줄여, 저렴하고 고속의 오퍼레이션을 실현합니다」라고, 한국의 테크놀로지 관련의 명문교, 포항 공과대학(포스텍)에서 전기공학과 컴퓨터 사이언스의 박사 학위를 취득한 29세의 김은 설명한다.

그에 따르면, SqueezeBits의 툴은 AI 모델을 3~5배 고속화하고, 메모리 사용량을 4분의 1로 삭감하는 것을 지원한다고 한다. 이 회사는 지난달 기업들이 오픈소스 AI 모델과 자체 대규모 언어모델(LLM)을 클라우드 서비스용으로 최적화하기 위한 SaaS 툴을 선보였다.

◆ 엔비디아가 인수한 기업도
물론 AI 모델을 최적화하는 기업은 SqueezeBits만이 아니다. 엔비디아는 지난해 2월 새너제이의 옴니엠엘을 인수했고, 애플은 2020년 시애틀의 Xnor.ai을 인수했다. 또 이 분야 스타트업으로는 세계 최대 테크계 투자자인 인사이트파트너스가 출자하는 이스라엘의 디시와 안드리센 호로위츠 등이 출자하는 매사추세츠주의 뉴럴매직 등이 꼽힌다.

또, SqueezeBits의 국내에서의 라이벌로서는, 2021년의 시리즈 B로 1470만달러를 조달한 Nota를 들 수 있다.

그러나 김은 이들 경합과의 싸움에 겁먹지 않았다. 하드웨어 개발에는 소프트웨어에 비해 매우 많은 시간이 필요하며, 이 때문에 SqueezeBits와 같은 AI 최적화 프로바이더의 수요가 발생한다. 

「AI 분야에서는 수많은 새로운 움직임이 있지만 하드웨어는 그 속도를 따라가지 못하고 있습니다. 알고리즘이나 AI 모델의 매우 급속한 진보와, 그것을 서포트하지 못하고 있는 하드웨어 사이에는, 큰 갭이 있는 것입니다」라고, 김은 말한다. 
'그래서 우리가 나설 차례입니다.'

(forbes.com 원문 )
https://www.forbes.com/sites/johnkang/2024/02/19/kakao-ventures-backs-korean-startup-that-makes-ai-models-faster-and-cheaper-to-run/?sh=3e0a2c993dc1

*재미있거나 도움이 되셨다면 '구독' 꾹 눌러 주시기를 부탁드립니다. 늘 행복하세요.

Kakao Ventures Backs Korean Startup That Makes AI Models Faster And Cheaper To Run