AI 경쟁에서는 '대규모가 우위' 막(幕) 올라, 고갈되는 훈련용 데이터

AI 경쟁에서는 '대규모가 우위' 막(幕) 올라, 고갈되는 훈련용 데이터

인공지능(AI) 분야에는 많은 불확실성이 있지만 명확하게 여겨진 것이 딱 한 가지 있었다. 더 크고 비싼 시스템일수록 더 좋은 결과를 만들어 낸다는 것이다. 그래서 생성형 AI 기업 OpenAI는 끊임없이 자금조달을 하고, 거대 IT 기업은 AI에 많은 자금을 투자해 왔다. 그러나 지금 이 원칙이 뿌리부터 무너지고 있는 것 같다.

소프트웨어를 훈련하기 위한 새로운 데이터가 바닥을 드러내면서 연구자들은 현재 문제에 더 많은 자원을 쏟아붓는 것만으로 더 나은 결과를 얻기 위해 분투하고 있다. 골드 러시의 시기는 끝을 맞이해, 조금 더 잘 돌 수 있는 좋은 기업에 신규 참가의 기회가 생기고 있는 것일 수도 있다.

기술 전문가들은 얼마 전까지만 해도 AI의 스케일 원칙, 즉 규모가 클수록 좋다는 데 의견을 같이했다. 2020년 샘 알트먼이 이끄는 OpenAI 연구진은 이른바 대규모 언어모델은 데이터, 컴퓨팅 능력, 시스템 내 파라미터를 더 많이 사용해 훈련하면 꾸준히 개선된다는 것을 보여줬다. 이는 반도체와 데이터 센터의 확장 경쟁을 야기했다.

골치 아픈 것은 AI의 스케일 원칙 근거가 무너지고 있는 것처럼 보인다는 것이다. 최첨단 시스템은 이미 전 세계의 유용하고 이용 가능한 훈련용 데이터를 거의 이용하고 있다. 여러 AI랩이 차세대 모델을 개선하는 데 큰 어려움을 겪고 있다.

알파벳(GOOGL) 순더 피차이 최고경영자(CEO)는 최근 행사에서 주요 모델들이 비슷한 수준의 성능 수준으로 수렴하고 있어, 추가 개선의 길은 더욱 험난해졌다고 말했다. OpenAI의 알트만은 같은 회의에서 "벽은 없다"고 말했지만 규모를 키우면 쉽게 개선하겠다는 상황이 사라지고 있음을 인정했다.

일부 연구자는 지금까지의 역기적인 접근이 아니라 앞으로는 보다 뛰어난 알고리즘으로부터 진보가 초래될 것으로 기대하고 있다. '테스트 타임 컴퓨터'로 부르는 기술은 추론 과정, 즉 고객이 실제 AI 시스템을 사용하는 단계의 성능 강화에 중점을 두고 있다. 패턴을 찾거나 새로운 데이터를 사용하는 시간을 모델에 더 줌으로써 더 나은 결과를 얻을 수 있다는 것으로, 이로 인해 큰 문제를 작은 문제로 분할할 수 있을지도 모른다.

단지, 이것은 유망한 한편, 「급격하게 개선하는 소프트웨어」라고 하는 AI추진파의 비전에서는 후퇴한 것이다. 또 모델이 일단 문제에 대한 가능한 답을 모두 검토하면 시간을 추가한다고 해서 반드시 도움이 된다고는 할 수 없다. AI 시스템이 너무 많은 시간을 필요로 한다면 사용자는 다른 답을 찾을지도 모른다.

AI 둔화가 거론되더라도 알파벳, 아마존닷컴, 메타플랫폼, 마이크로소프트, 엔비디아의 주가는 현재까지 견조하다(엔비디아는 조정받았다가 상승했다). 
새로운 시대의 도래는 기업마다 다른 영향을 미칠 것이다.

가장 많은 것을 잃는 것은 엔비디아라고 볼 수 있다. 엔비디아의 화상처리장치(GPU)에 대한 광란적인 수요가 이 회사를 우량하게 했다. 그 상징적인 예로 사업가 일론 머스크의 xAI가 최근 발표한 GPU를 100만 개 탑재한 슈퍼컴퓨터 구축 계획이 있다. 그러나 기업들은 미래에 더 특화되고 더 저렴한 반도체를 선호하게 될 가능성이 있으며, 그렇게 되면 엔비디아의 3조 3000억달러 주식 시가총액은 리스크에 노출될 것으로 보인다.

OpenAI나 앤솔로픽 같은 모델 개발 기업들은 아마 착잡한 심정일 것이다. 밝은 면으로는, 보다 거대한 시스템을 훈련할 필요가 없어지면 실적에 좋은 영향이 초래된다는 점이 있다. 한편, 이들이 만든 모델이 진화를 계속해 최종적으로 세계의 기존 소프트웨어의 대부분을 대신한다고 하는 강력한 시나리오가 일부 무너진다.
거대 기업에 대해서도 상황은 마찬가지로 복잡하다.

마이크로소프트 등에 희소식은 경쟁사가 어떤 작업도 해내는 초지능 거대 모델을 개발할 것이라는, 회사 존망의 위기를 피할 수 있다는 것이다. AI의 스케일화가 무한정 지속된다면 이는 있을 수 있는 사태였다. 이 경쟁에서 지면 사상 최대의 부(富)를 창출할 수 있는 기술을 놓칠 수 있었다. 즉, 대박날 기회는 예전만큼 크지 않을 수 있지만, 더 강력한 경쟁자에게 짓눌릴 위험도 작아졌다는 것이다.

그런 우려에서 벗어난 마이크로소프트의 나델라 CEO와 알파벳의 피차이 CEO는 가속을 멈추고 지출만큼의 매출액을 얻을 때까지 기다릴 수 있다. 주주들도 만족할 것이다. 철도와 통신의 붐을 되돌아보면 신기술에 대한 지나친 열광은 위험하다는 것을 알 수 있다. 마크 저커버그 메타 CEO조차 기업들이 과잉투자하고 있을 가능성을 인정하고 있다. 연구 그룹의 에포크 닷 에이아이에 따르면, 최대 규모 모델의 연산 비용은 8개월마다 2배로 증가하고 있어 학습에 필요한 전력 소비량은 매년 2배 증가하고 있다.

그러나 설비투자 경쟁의 종결은, 신규로 새롭게 뛰어드는 데 장벽을 낮춘다는 것을 의미할 가능성이 있다. 방대한 연산능력이 더 이상 필수가 아니게 되면 신규 진입 기업은 예를 들어 메타가 제공하는 오픈소스 모델을 바탕으로 설계함으로써 최소한의 비용으로 경쟁력 있는 AI 제품을 개발할 수 있을 것이다. 널리 이용 가능한 시스템에 왜곡을 가함으로써 법률이나 프로그래밍이라는 특정 업계에 특화된 기업용 소프트웨어를 제공하는 새로운 조류가 생길 가능성도 있다.

*재미있거나 도움이 되셨다면 '구독' 꾹 눌러 주시기를 부탁드립니다. 늘 행복하세요.