이제 인류는 AI를 통제할 수 없다…역사학자 유발 하라리가 생각하는 '최초로 AI에 정복되는 나라'

이제 인류는 AI를 통제할 수 없다…역사학자 유발 하라리가 생각하는 '최초로 AI에 정복되는 나라'

인공지능(AI)이 인류를 정복한다. 그런 공상과학(SF)과 같은 사태가 일어날 수 있을까. 역사학자 유발 노아 하라리 (Yuval Noah Harari, 1976. 2. 24~)의 화제의 책 「NEXUS」의 일부 내용을 소개해 본다.
구체적인 내용을 구입해 읽어보기를 권한다. 

■ 푸틴도 AI 단속 못해
소셜미디어 알고리즘이 분개와 증오를 부추기는 콘텐츠를 확산시켜 사회의 신뢰를 해치는 수법은 민주사회에 큰 위협이 됐다. 하지만 AI는 독재자에게도 위협이다.
AI는 다양한 방법으로 중앙의 권력을 공고히 할 수 있지만 권위주의 정권은 AI에 관해 독자적인 문제를 안고 있다.
우선 독재사회는 비유기적 행동주체를 통제하는 경험이 부족하다. 모든 권위주의 정권의 기반은 공포다. 그런데 도대체 어떻게 알고리즘을 위협할 수 있단 말인가?

만약 러시아의 인터넷 챗봇이 우크라이나에서의 러시아군 병사에 의한 전쟁범죄를 언급하거나 블라디미르 푸틴에 대해 불경한 농담을 하거나 푸틴 정권의 부패를 비판한다고 해도, 정권은 그 챗봇을 어떻게 처벌할 수 있을까?

경찰관은 그 챗봇을 투옥할 수도, 고문할 수도, 가족을 위협할 수도 없다. 물론 푸틴 정권은 그 챗봇을 차단하거나 삭제하거나 그것을 만든 인간을 찾아내어 처벌하려고 할 수는 있겠지만, 이는 인간 사용자를 징계하는 것보다 훨씬 더 성가신 일이다.

■ 독재자에게 너무 불편하다
컴퓨터가 스스로 콘텐츠를 생성할 수도, 지적인 대화를 할 수도 없었을 무렵에는 프콘탁테(러시아어: ВКонтакте)나 아드노클라스니키(Одноклассники)) 같은 러시아의 소셜네트워크서비스에서 반대 의견을 제시할 수 있는 것은 인간뿐이었다.

만약 그 사람이 러시아 국내에 있었다면 러시아 당국의 분노를 느낄 수 있었다. 러시아 밖에 있었다면 당국은 그 사람의 접근을 차단하려고 할 수 있었다.
하지만, 자력으로 학습하거나 진보하거나 하면서, 컨텐츠를 생성하거나 대화를 하거나 할 수 있는 수백만의 봇으로 러시아의 사이버 공간을 가득 채우면 어떻게 될 것인가?

그 봇들은 이질적인 의견을 의도적으로 확산시키는 것처럼, 러시아의 반체제 인사나 외국 조직 등에 의해 미리 프로그램되어 있을 수도 있고, 당국은 그것을 막을 방법이 없을지도 모른다.

푸틴 정권의 관점에 서면, 이쪽이 더욱 나쁘지만, 당국의 보증인 봇이, 단지 러시아 국내에서 일어나고 있는 일에 대한 정보를 모으고 있는 중에, 거기에 패턴을 찾아내 스스로 서서히 반정부적인 견해를 보이게 되면, 무슨 일이 일어날 것인가?

■ AI, '거짓말' 이해 못해
그것은 러시아판 얼라인먼트(alignment) 문제다. 러시아 엔지니어들은 정권에 완전히 일치한 AI를 개발하려고 안간힘을 쓸 수는 있지만, AI는 스스로 학습하고 변화하는 능력이 있다는 점을 감안하면 엔지니어들은 AI가 길을 벗어나 원하지 않는 영역으로 절대 파고들지 않도록 하는 일 등 어떻게 할 수 있을까?

조지 오웰이 『1984년』에서 묘사했듯이, 권위주의적 정보 네트워크는 더블스피크[Doublespeak. 사실을 호도하기 위해 쓰는 모호한 표현. 본래의 말을 다른 말로 바꾸어 받는 사람의 느낌을 바꾸거나 실체를 숨기거나 속이는 방법]에 의지하는 경우가 많다. 이것은 특필할 만하다.

러시아는 권위주의 국가이면서 민주주의 국가라고 주장한다. 러시아의 우크라이나 침략은 1945년 이후 유럽 최대의 전쟁이면서도, 공식적으로는 특별 군사작전으로 불러 왔다. 그리고 이를 전쟁이라고 부르면 범죄로 규정돼 최장 3년의 징역형 또는 최고 5만 루블의 벌금을 물게 된다.

러시아 헌법은 '누구든지 사고(생각)와 언론의 자유를 보장받는다'(제29조 제1항)거나 '검열은 금지된다'(제29조 제5항)는 등 굵직한 약속을 하고 있다. 이 약속을 액면 그대로 받아들일 만큼 기뻐하는 러시아 국민은 거의 없다. 하지만, 컴퓨터는 더블스피크(Doublespeak)를 이해하는 것이 서툴다.

■ 인간과 챗봇의 결정적 차이
러시아의 법률과 가치관을 고수하라는 지시를 받은 챗봇은 헌법을 읽고 언론의 자유가 러시아의 핵심적인 가치관이라고 결론을 내릴지도 모른다.

그런 다음 며칠 동안 러시아 사이버 공간에서 러시아 정보공간에서 벌어지는 일을 관찰한 뒤, 언론자유라는 러시아의 핵심 가치관을 침해하고 있다며 푸틴 정권을 비판할 수도 있다.

인간도 그러한 모순을 깨닫지만, 두려움 때문에 그것을 지적하는 것을 단념한다. 하지만, 모순을 뒷받침하는 패턴을 챗봇이 지적하는 것을, 도대체 무엇이 만류하는 것인가?

그리고 러시아 헌법은 모든 국민에게 언론의 자유를 보장하고 검열을 금지하고 있지만, 챗봇은 실제로는 그 헌법을 믿지 말아야 하며, 또 이론과 현실 사이의 간극은 결코 건드리지 말아야 한다는 것을 러시아 엔지니어들은 도대체 어떻게 챗봇에게 설명할 것인가?

물론 민주사회도 달갑지 않은 소리를 하는 챗봇과 관련해 비슷한 문제에 직면한다. 마이크로소프트나 페이스북 엔지니어들이 최선의 노력을 하고도, 그들의 챗봇이 인종주의적 비방을 퍼뜨리기 시작하면 어떻게 될까?

■ AI에 지배권 뺏기다
민주사회의 장점은 그런 악성 알고리즘에 대처하는 데 훨씬 더 많은 여유가 있다는 점이다. 민주사회는 언론자유를 중시하기 때문에 알려져서는 곤란한 비밀이 현격히 적으며, 비민주적인 언론에 대해서도 비교적 높은 수준의 관용성을 발달시켜 왔다.

무한한 비밀을 감추고 비판은 결코 용납하지 않는 권위주의 정권에 대해, 반체제 인사인 봇은 민주주의 정권에 대해서보다 더 큰 난제를 들이댄다.
길게 보면 권위주의 정권은 더 큰 위험에 처할 가능성이 높다. 알고리즘에 의해 비판받기는커녕 지배권을 빼앗길 수도 있기 때문이다. 역사를 통틀어 독재자에 대한 가장 큰 위협은 대개 내부(수하)에서 가져왔다.

민주적 혁명에 의해 전복된 로마 황제나 소련 서기장은 한 명도 없지만, 이들은 항상 자신의 수하에 의해 권좌에서 끌려내리거나 괴뢰가 될 위험에 처해 있었다.

21세기 독재자는 AI에게 권력을 너무 많이 주면 AI의 괴뢰가 될지도 모른다.

■ 미국 공략의 어려움
만약 알고리즘이 보스트롬의 페이퍼클립 사고실험에 나올 수 있는 능력을 발달시킨 적이 있었다면 알고리즘에 의한 지배권 탈취에 대해 독재제는 민주주의 체제보다 훨씬 취약할 것이다.
*Operation Paperclip 제2차 세계 대전 이후 실시된 미국 전략사무국 (OSS)의 나치 독일 주요 인사 포섭 작전. 페이퍼클립이라는 작전명은 나치 독일 과학자, 정보기관 출신의 인물들의 명단을 클립으로 표시해 놓은 것에서 유래했다.(출처 나무위키) 

미국과 같은 분권형 민주주의 체제 속에서 권력을 빼앗는 것은, 훌륭하고 권모술수에 능한 AI에게도 어려울 것이다. AI는 비록 미국의 대통령을 조종하는 방법을 학습했다고 해도, 연방 의회나 대법원, 각 州의 지사, 미디어, 대기업, 다양한 NGO로부터의 반대에 직면할 수도 있다.

예를 들어, 알고리즘은 상원에서의 방해 전술(필리버스터)에 어떻게 대처하는가?
그에 비하면 고도로 중앙집중화된 체제 속에서 권력을 빼앗기는 훨씬 쉽다. 모든 권력이 한 사람의 손에 집중되어 있을 때에는, 그 독재자에 대한 접근을 지배하고 있는 사람이라면 누구라도, 그 독재자를--그리고, 국가 전체도--지배할 수 있다. 그런 권위주의 체제를 해킹하려면 AI는 단 한 사람의 조작법을 학습하기만 하면 된다.

우리 세계의 독재자들은 앞으로 몇 년 동안 알고리즘에 의한 지배권 탈취보다 더 임박한 문제에 직면한다. 현재의 AI 시스템에는 이런 규모로 정권을 조작할 수 있는 것은 하나도 없다. 그런데도 권위주의 체제는 이미 알고리즘을 지나치게 신뢰하는 위험에 빠져 있다.

■ 민주주의 국가와 권위주의 국가의 결정적 차이
민주사회에서는 누구나 가능하다는 것이 전제되어 있는 반면, 권위주의 정권에서는 수권정당 혹은 최고지도자는 항상 옳다는 것이 기본적인 전제다. 그런 전제에 기초한 정권은 무오류 지능(인간)의 존재를 믿도록 조건을 달았고, 그 정점에 있는 천재를 감시 통제할 수 있는 강력한 억제와 균형의 시스템을 개발하고 싶어하지 않는다.

지금까지 이런 정권은 인간 지도자에게 믿음을 주고 개인숭배의 온상이었다. 하지만 21세기에는, 이 권위주의의 전통 때문에, 정권은 AI가 무오류라고 생각하기 쉬워진다.

무솔리니나 스탈린이나 호메이니와 비슷한 인물이 흠잡을 데 없는 천재라고 믿을 수 있는 체제는, 마찬가지로 슈퍼 인텔리전스(초지능)를 가진 컴퓨터도 무엇 하나 흠잡을 데 없는 천재라고 쉽게 믿는다.

■ 인류의 가장 취약한 부분은
세계의 독재자 중, 불과 몇명이라도 AI에 신뢰를 하면, 인류 전체에 있어서 광범위하게 미치는 영향이 나올 수도 있을 것이다.

예를 들어, 만약 권위주의 체제의 최고 지도자가 AI에게 자국의 핵무기 지배권을 준다면 어떻게 될까?
SF는 통제할 수 없게 된 AI가 인류를 노예로 만들거나 몰살시킨다는 줄거리로 넘쳐나고 있다. 대부분의 SF작품은 이러한 줄거리를, 민주적인 자본주의 사회를 배경으로 그린다. 이건 무리도 아니다. 민주사회에 살고 있는 작가들은 당연히 자신들의 사회에 관심이 있는 반면 독재사회에 살고 있는 작가들은 대개 지배자를 비판하는 것을 단념당하기 때문이다.

하지만, AI로부터 인류를 지키는 방패의 가장 취약한 부분은, 아마 독재자들이다. AI에게 권력을 빼앗는 가장 쉬운 방법은 프랑켄슈타인 박사의 실험실에서 도망치는 것이 아니라 망상을 품은 어느 권위주의 체제의 최고 지도자에게 들어가는 것이다.

*재미있거나 도움이 되셨다면 '구독' 꾹 눌러 주시기를 부탁드립니다. 늘 행복하세요.