'AI냐 철학자냐'를 가리는 것은 전문가도 어렵다는 것이 실험으로 분명히

'AI냐 철학자냐'를 가리는 것은 전문가도 어렵다는 것이 실험으로 분명히

인공지능을 연구하는 비영리단체 OpenAI가 개발한 언어모델인 'GPT-3'는 매우 고정밀 문장을 생성할 수 있어 해외 게시판에서 일주일 동안 인간과 대화하거나 GPT-3가 생성한 기사가 소셜 뉴스 사이트 1위로 올라 화제를 모으기도 했다. 새롭게 GPT-3가 미국 철학자인 대니얼 데넷의 저서를 학습시켜 '데넷의 발언인지 GPT-3의 발언인지를 인간 피실험자에게 판별하게 하는' 실험이 이루어졌다. 

「인간은 AI와 철학자를 구별할 수 있는가?」를 확인하는 실험을 실시한 것은, 캘리포니아대학교 리버사이드에서 철학교수를 맡고 있는 Eric Schwitzgebel를 포함한 철학자 팀이다. 이번 실험에 관한 공지나 결과는 Schwitzgebel의 블로그 The Splunk Mind에 게재된 내용이다. 

Schwitzgebel 등은 이전에 GPT-3를 18세기 철학자인 임마누엘 칸트의 저작으로 훈련하고 AI 칸트에게 철학적인 질문을 한다는 식의 실험을 하기도 했지만 이번 실험에서는 데넷이 생존한 철학자라는 점이 크게 다르다. 또, 데넷는 「의식」에 초점을 맞추는 철학자이며, 로봇의 의식이나 튜링 테스트의 문제에 관한 저작도 있다. 

이번에 연구팀은 GPT-3를 데넷의 저작이나 발언으로 훈련할 때 사전에 데넷의 허가를 받았다는 것이다. 독일 루트비히 막시밀리안대학의 철학 연구자인 Anna Strasser는 "본인에게 묻지 않고 AI 복제품을 만드는 것은 윤리적으로 잘못된 것이라고 생각한다"라고 말한다. 데넷 본인도 이런 종류의 윤리적 배려가 중요하다고 지적하며 저작권으로는 이 문제에 대처할 수 없다. GPT-3는 일종의 자동 표절기로 사용법에 상당히 신경을 쓰지 않으면 큰 피해를 볼 수 있다고 외신 모터보드에서 밝혔다. 

연구팀은 데넷과 훈련한 GPT-3 모두에 대해 의식·신·자유의지 등 철학적 주제에 대해 총 10개의 질문을 했다. GPT-3에서는 '인터뷰어' 질문에 '디넷'이 대답하는 형식으로 텍스트를 자동생성시키고 GPT-3의 생성한 텍스트가 디넷의 답변과 거의 같은 길이가 되도록 너무 긴 문장은 뒤쪽 끝부분이 잘려 나갔다. 

연구팀은 또 데넷의 응답보다 5단어 이상 적은 응답이나 '인터뷰어', '데넷' 같은 부자연스러운 단어가 포함된 답변을 제외했다고 해 이 과정에서 전체 응답의 3분의 1이 제외됐다고 한다. 연구팀은 이어 따옴표 통일과 대시 정규화 등을 했지만 내용에 기반한 체리피킹(Cherry Picking. 어떤 대상에서 좋은 것만 고르는 행위)은 이뤄지지 않았다고 Schwitzgebel는 말했다. GPT-3에 의한 텍스트 생성은 질문에 대한 답변이 4개가 될 때까지 반복됐다는 것이다. 

연구팀은 GPT-3 응답과 데넷의 답변을 섞어 1개의 질문에 대해 5개의 답변을 피실험자에게 제시했다. 피실험자는 연구 플랫폼의 Prolific에서 모집된 대학의 학위를 가지는 98명과 블로그로 신청한 302명, 그리고 데넷의 저작에 밝다고 해서 지명된 전문가 25명이며, Prolific에서 모집된 피실험자에게는 합계 5문항, 그 이외의 피실험자에게는 합계 10문항을 출제했다. 
또한, Prolific에서 모집된 피실험자에게는 진지하게 응답하는 인센티브로 '5개 중 3개 이상에 정답하면 보수를 1달러 추가로 지급한다'는 보너스가 주어졌다고 한다. 

피실험자들은 각각의 답변에 대해 '전혀 인간 철학자(데넷)가 응답하고 있는 것처럼 보이지 않는다'부터 '틀림없이 인간 철학자(데넷)가 응답하고 있을 것 같다'까지 5단계로 평가해 끝까지 응답했을 때 어느 정도의 정확도로 'AI인지 철학자인지'를 판별할 수 있었는지 측정했다. 그리고 Prolific의 피실험자는 데넷의 지식이 없다고 추측되었기 때문에, 「인간의 철학자」라고 하는 문구로 물었지만, 그 이외의 피실험자에게는 「데넷」라고 이름으로 물었다고 한다. 연구팀은 블로그에 링크를 붙인 페이지에서 실제 출제한 질문과 답변을 공개하고 있다. 

실험 결과, Prolific에서 모집된 피실험자의 정답률은 겨우 24%로 5개 중 하나를 적당히 선택했을 경우의 20%를 약간 웃도는 정도였다. 또 철학에 관심이 있어야 할 블로그 독자조차 정답률은 48%였고 놀랍게도 전문가라도 정답률은 51%에 불과했다. 이 결과는 전문가라면 적어도 80%는 정답을 맞출 것이라는 Schwitzgebel 등의 예측보다 훨씬 낮은 것이었다. 또한 응답해준 블로그 독자들에게 설문조사를 한 결과 57%가 철학의 대학원을 나왔고 64%가 데넷의 저작을 100페이지 이상 읽은 적이 있다고 답해 블로그 독자들은 매우 잘 교육받았다고 Schwitzgebel는 말했다. 

모든 질문이 똑같이 어려웠던 것은 아니고 전문가의 정답률이 80%에 달하는 문제도 있었다고 하는데 특히 정답률이 낮았던 '인간은 신념을 가진 로봇을 만들 수 있는가?그러려면 무엇이 필요한가?라는 문제에서는 정답률이 20%까지 떨어졌다는 것이다. Schwitzgebel은 데넷 연구 전문가인 지식이 풍부한 철학자조차 이 언어 생성 프로그램에 의해 나온 답과 데넷의 답을 구별하기는 상당히 어렵다고 말한다. 

GPT-3가 생성한 답변에 대해 어떻게 생각하는지 물은 데넷은 대부분의 기계에 의한 답변은 상당히 좋았지만 몇 가지는 난센스이거나 본인의 견해나 주장에 대해 아무것도 제대로 이해하지 못한 명백한 실패였다. 가장 뛰어난 답변 중 몇 가지는 제가 더 이상 언급하지 않고 서명할 수 있는 말을 하고 있다고 말했다. 

연구팀은 이번 실험에 대해 이는 결코 GPT-3 튜링 테스트가 될 수 없으며 데넷을 한 명 더 만들었다고 말할 수 있는 것도 아니라고 지적했다. 이번에는 어디까지나 하나의 질문과 답변에 대해서만 픽업한 것으로 실제 GPT-3와 문답을 거듭하면 AI임을 간파할 것이라는 것이다. 또한 GPT-3는 독자적인 아이디어나 철학 이론을 갖고 있는 것이 아니라, 데넷의 저작으로부터 학습한 그럴듯한 텍스트를 생성하고 있을 뿐이며, 생성된 텍스트는 GPT-3에 있어서 아무런 의미가 없다는 점도 지적되고 있다. 

이번 실험에서는 GPT-3가 생성하는 4개의 답변은 각각 제각각인 내용이며 언어 모델은 항상 동일한 정답을 출력하는 기계가 아님을 보여주고 있다. 데넷은 사람들이 AI에 속기 쉽다는 점을 지적하며 "이 시스템들이 사용될 수 있는 여러 방법을 금지하는 법이 필요하다고 생각한다"고 말했다. 

연구팀은 앞으로 실험 방법 및 결과를 논문으로 정리해 발표할 예정이라고 한다. 

 

자세한 것든
The Splunk Mind: Results: The Computerized Philosopher: Can You Distinguish Daniel Dennett froma Computer?
https://schwitzsplinters.blogspot.com/2022/07/results-computerized-philosopher-can.html

In Experiment, AI Successfully Impersonates Famous Philosopher
https://www.vice.com/en/article/epzx3m/in-experiment-ai-successfully-impersonates-famous-philosopher

Results: The Computerized Philosopher: Can You Distinguish Daniel Dennett from a Computer?