연구 논문으로 밝혀진 아이폰(iPhone)의 'AI 스마트폰화' 계획

연구 논문으로 밝혀진 아이폰(iPhone)의 'AI 스마트폰화' 계획

Android 단말에서는 최신의 버즈워드(buzz word. 정보를 찾을 때 검색에 도움을 주지 못하는 단어. 쓸데없는 말이라는 의미)가 되고 있지만, 애플의 iPhone은 「AI 스마트폰」이라고 생각하지 않는다. 이런 상황도 곧 바뀐다. 애플이 안드로이드를 따라잡기 위해 계획하고 있는 방법 중 하나가 밝혀졌다.

그 자세한 내용은 애플과 공동연구를 하고 있는 코넬대 연구팀이 최근 발표한 연구논문에 적혀 있다. 「Ferret-UI: Grounded Mobile UI Understanding with Multimodal LLMs(Ferret-UI:멀티모달 LLM을 이용한 모바일 UI의 정확한 이해)」라는 제목의 그 논문은, 화면에 표시되어 있는 것, 구체적으로는 iPhone의 디스플레이와 같은 사용자 접촉면(interface)의 요소를 이해하기 위해서 사용할 수 있는 멀티모달 대규모 언어 모델(MLMM)에 대해 자세하게 기술하고 있다.

풍부한 훈련 데이터를 사용하는 것으로, 아이콘을 선택하거나, 아이콘의 검출, 텍스트의 추출, 위젯의 해석, 면에 표시되어 있는 것의 텍스트로의 설명을 해, 접촉면(interface)의 요소를 해석하거나, 자유형식의 지시나 프롬프트에 따라 조작할 수 있다.

2023년 10월 공개된 Ferret는 사진이나 이미지를 해석해 무엇이 거기에 있는지 인식하도록 디자인돼 있었다. Ferret-UI로 개명된 이 업그레이드 버전은 아이폰에서 Ferret-UI를 사용하는 사용자에게 몇 가지 이점을 제공하며 AI를 탑재한 개량형 시리에 쉽게 통합할 수 있다.

앱 종류에 상관없이 화면 내용을 해석할 수 있어 접근성 기능 강화가 기대되고 해당 액션 등을 사전에 프로그램할 필요가 없어진다. 복잡한 작업을 수행하거나 iPhone을 찾기 어려운 옵션을 찾을 때에는, Siri에 복잡한 앱을 열거나 메뉴 안쪽에 숨은 알기 어려운 기능을 부탁할 수 있다.

또 개발자들은 Ferret-UI를 테스트용 도구로 사용해 MLMM에게 SNS 경험이 거의 없는 14세처럼 행동하게 하거나 손자와 페이스타임(FaceTime)을 사용해 주고받으려는 75세 사용자인 척을 하게 할 수도 있다.

구글은 AI 퍼스트 스마트폰을 10월 4일 출시했다. iPhone 15의 발매로부터 약 3주 후의 일이었다. 애플은 사진 처리나 텍스트 자동 수정 뒤에 있는 AI 개량에 대해 널리 어필하지 않았기 때문에 AI 이용에 있어 안드로이드가 앞서 구글에 기대가 모아지게 됐다.

애플의 개발자 회의인 WWDC는 6월에 개최된다. 애플은 9월의 iPhone 16과 iPhone 16 Pro의 발매에 맞춰 기초를 다지는 가운데, 이 회사의 AI에 관한 계획을 공식적으로 설명하게 될 것이다.

그때까지는, 애플의 AI에 대한 접근을 학술적 측면에서 살펴 보게 된다.

(forbes.com 원문)
https://www.forbes.com/sites/ewanspence/2024/04/10/apple-iphone-16-pro-ai-llm-ferret-siri-display-new-iphone-16/?sh=50387ab76d06

*재미있거나 도움이 되셨다면 '구독' 꾹 눌러 주시기를 부탁드립니다. 늘 행복하세요.