AI를 이용한 사기, 직장상사 명령 믿고 2500만달러 송금도 ... 「AI 나야, 나 사기」 의 재앙

AI를 이용한 사기, 직장상사 명령 믿고 2500만달러 송금도 ... 「AI 나야, 나 사기」 의 재앙

지난달 홍콩에서의 충격 소식이 세계를 퍼졌다. AI의 음성합성 기술을 이용한 사기꾼이 한 기업의 CFO로 위장해 자금담당 직원과의 영상통화로 무려 2500만달러에 달하는 거액을 자신에게 송금하게 한 것이다. 말하자면, AI에 의한 거액의 「나야, 나 사기」다.

비디오 전화에는 해당 CFO뿐만 아니라 담당 사원 스스로 안면이 있는 동료들이 동석한 것도 그가 송금을 하게된 확신으로 이어졌다. 그들 동료들도 가짜 사진과 음성으로 위장했음은 물론이다.

AI에 의한 무서운 딥 페이크(deepfakes)는 어디까지 「진화」할 가능성이 있는 것인지, 또 AI에 의한 페이크(fake)로부터 자신을 지키기 위해서 할 수 있는 것은 무엇인가? 
다음은 미국 미디어 「Techopedia」의 기사 내용을 정리한 것이다.

◆ AI음성과 인간의 목소리 구별하는 정답률 2%! 무서운 딥페이크(deepfakes)의 실체

AI의 음성기술이 진화하면서 우리는 혁신과 보안, 현실주의와 의구심의 균형을 맞출 필요가 있다. 자기는 절대 속지 않을 거라고 생각해? 만약 그렇다면 이 자료에서 소개하는 조사 결과가 당신의 생각을 바꿀지도 모른다.

인공지능(AI) 음성기술의 발전으로 정말 그럴듯한 딥페이크(deepfakes)를 만들 수 있게 됐다. 딥페이크(deepfakes)를 이용하면 소중한 사람의 목소리를 따라 위험한 상황을 연출하거나 가짜 유괴를 하는 등 불온한 상황에 이용될 가능성도 있다. 이 새로운 상황을 극복하기 위해서는 AI의 음성복제 사기의 범위와 영향을 이해하는 것이 필수적이다.

고객과의 통화 이력과 문자메시지, 이메일 등 커뮤니케이션 이력을 집약할 수 있는 클라우드 인터페이스를 제공하는 링오버가 최근 진행한 조사에서는 AI가 놀라울 정도로 정확하게 인간의 목소리를 모방하는 능력이 부각됐다. 이 조사에는 1000명 이상이 참여해 유명 저명인사의 목소리를 진짜와 AI가 생성한 것으로 구별하는 능력을 시험했다.

이 조사는 AI 음성기술의 숨은 위험성을 부각시키고 보안, 신뢰성, 그리고 인간과 AI의 상호작용 미래에 대해 중요한 문제를 제기하고 있다.
응답자의 78.3%는 AI음성과 인간의 목소리를 쉽게 구별할 수 있다고 생각했다. 그러나 실상은 딴판이었다. 모든 것을 정확하게 식별할 수 있었던 것은 고작 2%였다.

이 자신감과 실제 능력 사이의 간극은 AI의 진화하는 능력에 대한 우리의 이해에 중대한 헛점이 있음을 보여준다. 이 연구결과는 AI와 현실을 구분하는 인간의 능력을 과대평가하고 있는 사람들에 대한 시의적절한 경고라고 할 수 있을 것이다.

◆ AI 음성 식별에 '놀라운 세대차'
흥미롭게도 이 조사는 AI 음성 식별에 있어 세대 간 차이를 밝혀냈다. 45~54세 개인은 AI 음성을 제대로 식별했을 확률이 22.9%로 가장 높았고, MZ(밀레니얼 세대. 25~34세)의 정확도가 12.75%로 가장 낮았던 것으로 나타났다. 이는 나이가 들수록 경험과 회의감이 커져 진짜 목소리와 인공적 목소리를 구별하는 능력에 영향을 줄 것임을 시사한다.

이 조사를 통해 우리가 AI에 얼마나 속기 쉬운지 아는 것의 중요성을 잘 알 수 있다.
음성인식 소프트웨어에는 기업이나 고객에게 큰 잠재적 위험을 초래할 가능성이 있다. 텔레뱅킹의 보안을 우회해 다른 사람의 목소리를 흉내 내고 개인정보를 입수해 계좌에 접근할 수 있게 되는 것은 정말 우려스러운 일이다.

조사 후, 거의 절반의 응답자(47.6%)가, AI 음성이 가져오는 잠재적인 위험에 대해 우려를 깊어지게 했다. 은행이나 기타 서비스에 있어서의 보안대책으로서 음성 인식의 이용이 증가하고 있음을 생각하면, 이 조사 결과는 특히 현실의 문제와 직결된다고 할 수 있다.

AI가 설득력 있게 목소리를 모방하는 능력은 사기나 보안 침해의 증가로 이어질 수 있으며, 각 업계는 검증 프로세스를 다시 평가하고 강화하는 것이 급선무다.

◆ AI 리얼리즘의 리트머스 시험지 - 샘플에 유명인사의 목소리
조사에서는 오프라 윈프리, 버락 오바마, 그리고 (영국)해리 왕자 등 유명인의 목소리를 나누는 능력에도 초점을 맞추고 있다. 오프라의 목소리가 가장 정확하게 식별되었고, (영국)해리 왕자의 목소리가 가장 어려웠던 점에서 AI가 서로 다른 목소리를 재현하는 능력에는 편차가 있음을 알 수 있었다.

AI가 생성한 목소리와 진짜 인간의 목소리를 구분한다는 아이디어에 관심이 있다면 AI가 생성한 음성 식별에 성공한 단 2%의 일원이 될 수 있을지 꼭 자신의 기술을 시험해보길 바란다.

시험에 도전한 사람의 대부분이 예상보다 어렵다고 느끼고, 88%가 테스트의 어려움을 인정하고 있다. 아울러 참가자의 84.2%가 AI가 생성한 목소리가 미래에 얼마나 쉽게 사람을 속일 수 있을지에 대해 우려를 표하고 있다.

링오버사의 르노 샤르베 CEO는 경계하는 것의 중요성을 강조하고 있다. 그는 AI의 음성 클론이 점점 현실과 구별되지 못하고 있는 시대에 현실적인 단계로 알려진 연락처로부터의 비정상적인 전화를 가려낼 것을 조언하고 있다. 이 연구는 AI가 진보함에 따라 책임감 있게 대화하기 위한 우리의 의식과 준비가 필요함을 상기시켜준다.

이 조사는 유명인의 목소리를 듣고 이뤄진 것인데 이런 소프트웨어가 얼마나 정확하게 다른 사람의 목소리를 모방하고 오해를 불러일으킬 수 있는지를 보여준 것이다.

◆ 실천편, 음성 클로닝(voice cloning. 음성 복제)으로부터 어떻게 몸을 보호할 것인가
고맙게도 AI의 고급 음성 클로닝(voice cloning)과 관련된 위험으로부터 자신과 비즈니스를 지키기 위해서는 보안상의 힌트가 많이 있다. 가장 중요한 것은 개인정보나 재무정보를 요구하는 스팸 전화를 받았을 때 더 경계할 필요가 있다는 것이다.

우선 발신자의 신원이 불확실한 경우에는 통화를 종료하고 확인된 전화번호를 통해 그 개인 또는 조직에 직접 연락하는 것을 권장한다. 가까운 가족이나 신뢰할 수 있는 연락처만 아는 자체 인증 코드나 '세이프 워드(Safe Word)'를 설정함으로써 수상한 상황을 극복할 수 있는 안전성을 쉽게 추가할 수 있다.

나아가 사람만이 답할 수 있는 구체적인 질문을 던짐으로써 발신자의 신원을 확인할 수 있다. 기술이 반드시 완벽한 것은 아님을 잊지 말아야 한다. 잠재적인 음성 복제 사기로부터 자신을 보호하려면 최신 사기기법에 대한 정보를 입수해 건전한 회의감(懐疑心)을 유지하는 것이 매우 중요하다.

◆ 음성복제는 더 이상 '미래'가 아니다
링오버에 의한 조사는 AI 음성기술의 현재 및 미래의 잠재적 과제를 나타내는 매우 중요한 지표이며, 일반시민의 의식 향상, 보안 프로토콜의 개선, 그리고 우리 생활에서의 AI의 윤리적 의미에 대한 지속적인 대화의 필요성을 부각시키고 있다. AI가 현실과 시뮬레이션의 경계선을 계속 모호하게 만드는 가운데 그 능력을 이해하고 적응하는 것은 기술적으로나 사회적으로 급선무다.

AI의 음성 복제는 더 이상 미래적인 개념이 아니라 중대한 의미를 지닌 현실이다. 우리는 개인과 기업이 기술의 진보에 직면해 경계하는 것의 중요성을 인식해야 하는 매우 중요한 순간에 도달해 있다. 이 획기적인 기술의 이점을 받아들이면서 잠재적 오용을 확실히 피하기 위해 AI와의 대화 접근법을 재평가하기 위한 행동을 당부한다.

앞서 살펴본 대로 AI의 음성기술이 진화함에 따라 우리는 혁신과 보안, 현실주의와 회의감의 균형을 맞춰야 한다.

하지만 좋은 소식도 있다. AI의 진보나 영향에 관해서 계속적으로 사람들을 교화해, 대화를 계속하는 것으로 세심한 주의를 기울임으로써, 우리는 계속 변화하는 상황을 익사이팅(exciting)하다고 느끼면서, 방향타를 잡을 수 있다. 그래야 비로소 우리는 개인적, 비즈니스, 그리고 사회적 커뮤니케이션 등 다양한 장소에서 보안을 담보하면서 주도적으로 AI의 힘을 활용할 수 있다.

https://www.techopedia.com/can-you-spot-the-difference-between-human-and-ai-voices
Can You Spot the Difference Between Human and AI Voices?


*재미있거나 도움이 되셨다면 '구독' 꾹 눌러 주시기를 부탁드립니다. 늘 행복하세요.