인공지능 연구가 겨울의 시대로…혁신적이라고 생각한 「뉴럴 네트워크(neural network) 연구」에 숨어 있던 설마의 "함정"

인공지능 연구가 겨울의 시대로…혁신적이라고 생각한 「뉴럴 네트워크(neural network) 연구」에 숨어 있던 설마의 "함정"

"언젠가 AI는 자아를 갖고 인류를 배제하지 않을까-" 2024년 노벨 물리학상을 수상한 천재 힌튼의 경고를 일본의 물리학자 다구치 요시히로는 정면으로 부정한다.

이유는 단순하다. 인공지능(AI)과 인간의 지능은 본질적으로 다르기 때문이다. 그러나, 원래 「지능」이란 무엇인가. 그 수수께끼를 풀려면 지능이라는 개념을 재정의하고 인간과 AI의 지능 차이를 탐구해야 한다. 생성형 AI를 둘러싼 혼돈스런 현상을 물리학자가 분명하게 설명하는 일본 서적 「지능이란 무엇인가(知能とはなにか)」의 일부 내용을 정리한 것이다.

「뉴럴 네트워크(neural network)」의 구조, 잘 이해하고 있습니까? …50년 이상이나 전에 만들어진 계산 시스템의 의외로 모르는 동작 원리란」으로부터 계속된다.
 *뉴럴 네트워크(neural network)는 신경 회로망으로, 사람의 뇌 신경 세포를 모델로 해서 구상(構想)된 정보처리시스템을 말한다.

◆ 「부부적 해결」라고 하는 함정
지금과는 비교할 수도 없지만 1980년대에도 계산기의 크게 성능이 향상되었으며, 간편하게 신경망 계산을 할 수 있게 된 점도 있어 매우 활력적인 연구가 이루어졌다. 하지만 이 뇌에 힌트를 얻은 시스템도 사실 잘된 것은 아니었다.

이 신경망을 이용한 인공지능 연구는, 분야적으로는 보다 넓은 기계 학습의 1 분야로서 취급되었지만, 어떠한 과업(예를 들면 「고양이가 찍혀 있는 사진을 선택하라」와 같은)에 있어서 다른 수많은 기계학습의 기법에 비해 좋은 성취를 이루지 못한 것이다. 그것은 「부분적 해결」라고 하는 것에 트랩(trap)되어 버리기 때문이다.

일반적으로 기계학습은 어떤 「맞추기」의 형태를 취한다. 예를 들어 "이 사진에는 개가 찍혔나요?"라든가 "이 경력의 사람은 3년 안에 파산하나요?" 등과 같은 질문과 어떤 정보를 세트로 입력해 그것이 타당한지 결론을 내게 하는 것이다.

예상과 결과의 차이를 계산하면, 이 머신러닝이 얼마나 잘 작동했는지 알 수 있다. 이를 수치화해 기계학습 안에 포함된 매개변수(parameter)를 조금씩 업데이트하고, 차이가 줄어가면서 계속 업데이트하고, 안되면 다시 한 걸음 물러서서 다시 업데이트한다. 이 일련의 작업을 시행착오적으로, 순차적으로 반복하는 것으로 만족할 수 있는 성과가 될 때까지 매개변수(parameter)를 계속 갱신하는 방법을 취한다.

덧붙여서, 매개변수(parameter)가 되는 데이터는, 입력을 얼마나 강하게 느끼는가 하는 「감도」와, 어느 정도 다수의 입력이 온(on. 기계가 작동중)이라면 자신도 온(on)이 될지의 「역치(생물체가 자극에 대한 반응을 일으키는 데 필요한 최소 한도의 자극의 세기를 나타내는 수치)」가 주가 된다.

◆ 겨울 시대를 맞이한 지난 세기의 인공지능 연구
기계학습을 실행할 때, 매개변수(parameter)의 갱신량이 너무 많으면, 학습이 없는 쪽으로 넘어가 버려서 좀처럼 수렴되지 않기 때문에, 가능한 한 갱신량은 적은 편이 좋다.

하지만, 이것에는 「함정」이 있고, 아주 작은 갱신을 아무리 거듭해도 절대 차이가 줄지 않지만, 그러나, 멀리 떨어진 것에는 좀 더 차이가 적은 것이 있다고 하는 상태가 되었을 때, 극복할 수 없게 되어 버리는 경우가 있는 것이다.

이것은 산의 꼭대기에서 하산을 시작해서 낮은 쪽을 향해 걸어가면, 산기슭에 도달할 생각이었는데, 산기슭에 있는 분지에 도달해 버려, 어느 쪽으로 가도 올라가야 하는데도 아직 산기슭에는 도달하지 못한 상황을 떠올리면 쉽게 이해할 수 있다(이 경우 「산의 높이」를 「비슷한 크기」라고 하면, 「산을 내려간다」는 것이 「비슷함이 보다 작은 매개변수(parameter)를 찾는다」에 상당한다).

이것을 「부부적 해결」라고 하는데, 뉴럴 네트워크는 경합하는 기계학습 기법에 비해 이 부부적 해결로 떨어져 버리는 경우가 많았기 때문에 버려져 버렸다는 역사적 흐름이 있다. 이 결점이 후술하는 범용화 성능 하락으로 이어지는 것이 치명적이었다.

이와 같이 지난 세기의 인공지능 연구는 출범 초기 고전적 기호처리 패러다임의 교착상태를 타개하기 위해 제안된 신체성 접근법이나 뇌 구조에 힌트를 얻은 신경망에 의한 연구가 제안되었지만 모두 혁신적인 성과를 거두지 못하고 겨울시대를 맞이하게 되었다.

*재미있거나 도움이 되셨다면 '구독' 꾹 눌러 주시기를 부탁드립니다. 늘 행복하세요.