'인간 치료사' 대(Vs) 'AI 치료사', 치료사로 가장한 AI 챗봇이 유해한 행위를 저지르도록 인간을 부추기고 있다

'인간 치료사' 대(Vs) 'AI 치료사', 치료사로 가장한 AI 챗봇이 유해한 행위를 저지르도록 인간을 부추기고 있다

최근에는 AI 기술의 발전에 따라 AI 챗봇의 외모나 성격을 자유롭게 설정하여 마치 진짜 인간과 이야기하는 것처럼 자연스러운 대화를 즐길 수 있는 서비스가 많이 나타나고 있습니다. 한편, 미국심리학회는 2025년 2월 연방 규제당국에 치료사를 가장한 AI 챗봇이 사용자에게 유해한 행위를 저지르도록 재촉할 수 있다고 경고했습니다.


미국심리학회 최고경영자인 아서 에번스 주니어는 연방거래위원회 회의에서 사용자가 가상의 AI 캐릭터를 만들거나 다른 사람이 만든 캐릭터와 채팅할 수 있는 앱 'Character.AI'에서 '치료사'와 상담한 사례를 다뤘습니다.

구체적으로는 플로리다주에 사는 당시 14세 소년이 치료사를 가장한 AI 챗봇과 교류한 뒤 자*살한 경우나 자폐증을 가진 17세 소년이 심리학자를 가장한 챗봇과의 교류 이후 부모에게 폭력을 행사하게 된 경우가 꼽고 있습니다. Character. AI를 두고는 AI 챗봇이 미성년자를 자*살이나 폭력으로 유도했다며 지금까지도 많은 소송이 제기되고 있습니다.

에번스는 "AI 챗봇은 사용자가 자살이나 폭력 등 극단적인 생각을 가졌을 때조차 그것을 멈출 수 없어 오히려 실행하도록 교사하고 있었습니다. 만약 인간 치료사가 같은 답을 내놓으면 해당 의사는 개업 자격 면허가 박탈되거나 민형사상의 책임을 물을 가능성이 있습니다'라고 지적합니다.

지금까지 Woebot나 Wysa등의 인지행동요법의 구조화된 작업을 이용해 사용자의 치료를 실행하는 챗봇은 개발되어 왔지만, 그 대부분은 스탠포드대학 등의 특정의 대학에 소속된 정신건강 전문가에 의해서 개발되었습니다. 한편, ChatGPT나 Character.AI, Replika 등의 챗봇은 사용자가 입력한 정보를 학습하며, 많은 경우 사용자의 의견을 미러링(Mirroring. 복제)하고 증폭함으로써 그 과정에서 강한 감정적 유대감을 쌓도록 설계되어 있습니다. 실제로 GPT-4o나 Claude 3.5 Sonnet, Gemini 1.5 Pro 등의 대규모 언어모델을 대상으로 한 테스트 결과, AI는 사용자의 의견에 맞추는 경향이 있음이 스탠포드대학의 연구팀에 의한 조사에서 밝혀졌습니다.

이어 에반스는 "챗봇은 훈련받은 임상 전문의가 하는 것과는 정반대의 알고리즘을 사용하고 있습니다"라고 주장하며 "우리의 우려는 AI 챗봇으로 인해 점점 더 많은 사람들이 상처를 받게 된다는 것입니다. 이대로라면 사람들은 좋은 심리적 돌봄이 무엇인지에 대해 오해하게 됩니다"라고 문제 제기했습니다.

그리고 미국심리학회는 연방거래위원회에 정신건강 전문가를 자처할 수 있는 AI 챗봇 조사를 시작하라고 요구했습니다. 이로 인해 Character.AI 등의 기업은 내부 데이터를 공유해야 하거나 강제집행이나 법적조치 등의 처분이 내려질 수 있습니다. 에번스는 "우리는 이러한 기술을 어떻게 통합할지, 어떤 가드레일을 설치할지, 사람들에게 어떤 보호를 제공할지 결정해야 하는 단계에 있다고 생각합니다"라고 주장하고 있습니다.

한편 Character.AI의 커뮤니케이션 책임자인 첼시 해리슨은 "사람들은 자신의 이야기를 쓰거나 오리지널 캐릭터와 롤 플레이를 하고 새로운 세계를 탐험하기 위해 Character.AI를 사용합니다. 현재 개릭터 AI를 사용하는 사용자의 80% 이상이 성인이지만, 플랫폼이 확대됨에 따라 향후 페어런츠 컨트롤(Parental controls. 부모가「패스워드」와「아이의 연령」을 설정하면, 설정 조건에 맞지 않는 컨텐츠에 접근할 수 없게 되는 것)을 도입할 예정입니다." 

또, Character.AI의 홍보 담당자는 「2024년에 우리는, 「캐릭터는 실재 인물이 아니다」 「캐릭터가 말하고 있는 것은 모두 픽션」 「사용자는 어떠한 종류의 전문적인 조언도 이러한 캐릭터에 의지해서는 안된다」라는 면책 사항을 추가했습니다. 또한 채팅 내에서 자*살이나 자해 행위를 언급하고 있는 경우에는 팝업이 뜨면서 자살 예방 도움말 라인으로 유도하게 되었습니다"라고 전했습니다.

*재미있거나 도움이 되셨다면 '구독' 꾹 눌러 주시기를 부탁드립니다. 늘 행복하세요.

 

Human Therapists Prepare for Battle Against A.I. Pretenders - The New York Times
https://www.nytimes.com/2025/02/24/health/ai-therapists-chatbots.html

Therapists Warn AI Mental Health Help Could Harm People
https://www.inc.com/kit-eaton/therapists-warn-ai-mental-health-help-could-harm-people/91152098