AI를 너무 많이 사용하면 사람은 어리석게 된다는 연구로 알게 된 '인지적 오프로드(off road)'의 위험과 대책

AI를 너무 많이 사용하면 사람은 어리석게 된다는 연구로 알게 된 '인지적 오프로드(off road)'의 위험과 대책

인공지능(AI) 도구에 대한 의존도가 높아짐에 따라 특히 인지적 오프로드(off road. 인지부하 경감)라는 현상을 통해 비판적 사고능력이 훼손될 가능성을 검증한 논문이 이달 사회학 학술지 Societies에 실렸다. 이 연구결과는 가령 사법이나 법과학 등 테크놀로지에 대한 과도한 의존이 심각한 결과를 동반하는 과오를 야기할 수 있는 고위험 분야에서 AI를 활용하는 전문가들에게 중대한 의미를 갖는다.
  *오프로드(off road) 컴퓨터 시스템에서 동일한 작업을 수행할 수 있는 장치가 여러 개 존재하는 경우, 비교적 작업량이 적게 할당되어 있는 장치에서 작업량이 많은 장치의 작업 일부를 받아서 처리하는 것

사법 현장에서는 전문가 증인이나 변호사가 AI를 사용하는 사례가 증가 추세다. 하지만 충분한 감독이나 검증을 수반하지 않는 AI 사용에는 리스크가 따른다. 이번에 발표된 연구결과는 AI의 편리성이 인간의 의사결정이나 비판적 분석의 질을 저하시킬 우려를 부각시켜 이러한 관행의 위험성을 한층 더 드러내는 것이다.

◆ 인지적 오프로드(off road)와 AI에 관한 발견
이 연구에서는 폭넓은 연령층의 참가자 666명을 대상으로 AI 도구가 비판적 사고 능력에 미치는 영향을 평가했다. 주요 조사결과는 다음과 같다.
·인지 과부하 경감
AI를 자주 이용하는 사람은 정신적으로 부하가 큰 작업을 AI에게 대신하게 하는 경향이 강하고, 문제 해결이나 의사결정에 있어서 테크놀로지에 의지하기 쉬우며, 독립적인 비판적 사고를 실시하는 일은 적다.
·기술의 저하
AI 도구 의존도가 높은 사람은 시간이 지남에 따라 정보를 비판적으로 평가하거나 복잡하고 절묘한 균형이 요구되는 결론을 도출하는 능력이 떨어지는 것으로 나타났다.
·세대간 격차
젊은 층은 연배층과 비교해 AI 툴에 대한 의존도가 높아 장기적으로 볼 때 전문 분야의 지견이나 판단력에 영향을 미칠 것으로 우려된다.

AI는 워크플로우를 합리화해 생산성 향상에 기여하지만 의존이 지나치면 사용자가 AI 도구 생성 결과를 검증하거나 오류를 지적하는 능력을 잃는 '지식 간극'이 생길 위험이 있다고 연구팀은 경고한다.

전문가가 AI 출력 결과에 대해 정확성을 검증하지 않고 맹목적으로 신뢰해버리면 사실을 훼손하고 평판을 손상시켜 전문지식에 대한 신뢰를 잃을 수 있는 실수를 초래할 수 있다. 판단력과 전문지식을 필요로 하는 모든 직업이 최근 연구에서도 나타났듯이 인지적 오프로드의 함정에 빠질 위험과 이웃하고 있다.

인간에 의한 적절한 감독을 수반하지 않는 AI 사용은 워크플로우를 향상시키는 데 그치지 않고, 전문가가 핵심적으로 지켜온 탁월성의 기준 자체를 훼손할 수 있는 것이다.

물론, 이것은 사법에 한정된 문제는 아니지만, 필자는 재판, 보험, 법과학 분야에서의 AI 이용에 대해 집필이나 강연을 실시해 왔다. 전문가의 지식에 크게 의존하는 이들 업계는 AI가 가진 장점과 과제, 미지의 문제를 놓고 고심하며 시행착오를 겪고 있다. 모두 무슨 일이 있으면 심대한 영향이 나와 버리는 업계이며, AI에 관련된 장래의 리스크나 과제에 대한 「탄광의 카나리아」의 역할을 완수할 수 있다.

◆ 사법·법과학 분야에 공통되는 AI 리스크
AI는 데이터 분석이나 소송 준비 지원에 사용할 수 있지만 전문가나 변호사가 툴의 정확도를 충분히 검증하지 않은 채 지나치게 의존하는 것 아니냐는 우려가 커지고 있다. 법률이나 법과학 전문가가 AI 도구에 지나치게 의존할 경우, 다음과 같은 리스크가 발생한다.
·검증되지 않은 데이터
AI 도구는 일견 그럴듯하지만 부정확한 결과를 생성할 수 있다. 위조된 증거나 계산 오류가 사법절차로 넘어간 경우가 이에 해당한다.
·전문성의 저하
복잡한 작업을 AI에 아웃소싱하는 습관을 장기간에 걸쳐 계속하면 증거를 비판적으로 평가하거나 의문을 밝히는 데 필요한 기술이 훼손될 우려가 있다.
·책임의 저하
AI를 맹신하면 개인이 져야 할 책임이 전가돼 실수가 간과되거나 무시되는 위험한 전례를 낳는다.

◆ AI와 인간의 전문지식, 중요한 것은 균형
AI는 인간의 능력을 강화하는 도구로서 취급되어야 하지, 인간의 능력을 대체하는 것은 아니라는 것이 연구 결과로부터 얻은 중요한 결론이다. 이 균형을 확보하기 위해서는 다음과 같은 대책이 필요하다.
·전문지식이 주도권을 쥐다
의사결정의 핵심은 인간이 가진 전문지식이어야 한다. AI의 출력 결과는 반드시 훈련받은 전문가에 의해 검증되고 상황에 따라 이해되어야 한다.
·비판적 사고가 불가결하다
사용자는 AI가 생성한 데이터에 비판적으로 관여해 타당성을 의심하고 다른 해석을 검토할 필요가 있다.
·규제와 훈련이 필요하다
AI가 확산됨에 따라 각 업계는 AI 사용에 관한 견고한 기준을 수립하고 전문가에게 훈련을 받게 해 AI의 가능성과 한계를 모두 확실히 이해시켜야 한다.

일상 업무든, 법률이나 법과학 같은 중대한 결과로 이어지는 전문 분야든 정확성, 설명 책임, 윤리적 성실성을 담보하려면 인간적 요소가 필수적인 것임에는 변함이 없다. AI에 대한 적절한 감독과 비판적 관여가 없다면 전문직이 지켜내야 할 전문성과 신뢰의 기준 자체가 훼손될 위험성이 있다.

(출처) New Study Says AI Is Making Us Stupid—But Does It Have To?
https://www.forbes.com/sites/larsdaniel/2025/01/19/new-study-says-ai-is-making-us-stupid-but-does-it-have-to/

*재미있거나 도움이 되셨다면 '구독' 꾹 눌러 주시기를 부탁드립니다. 늘 행복하세요.