AI의 조상인 '서류 전형용 알고리즘' 또한 인종·여성 차별적이었다는 사실

AI의 조상인 '서류 전형용 알고리즘' 또한 인종·여성 차별적이었다는 사실

인공지능(AI)은 다양한 산업에서의 활약이 전망되고 있어 차세대 기술이라고 할 수 있다. 하지만 AI는 어디까지나 '인간으로부터 학습한' 것이기 때문에 인간이 갖고 있는 '편견이나 차별의식'을 계승할 가능성이 지적됐다. 

1970년경, 영국의 세인트조지 의과대학은 응모해 온 학생을 우선 서류전형에 걸고, 그 후 면접을 실시하는 입학 심사를 실시하고 있었다. 응모하는 학생은 연간 약 2500명 정도였는데, 그 중 4분의 3 정도는 서류전형 단계에서 불합격하여 서류전형에 무게가 실리고 있었다. 

이 학교의 입학 사정관을 맡게 된 부학장 제프리 프랭글렌 박사는 서류전형의 심사 프로세스가 길고 단조로워 「자동화 가능하고 효율화할 수 있다」라고 생각했다. 프랭글렌 박사는 인간에 의한 심사를 연구해, 「인간 입학사정관의 판단기준을 모방하는 알고리즘」을 작성했다. 이 알고리즘에 의해, 프랭글렌 박사는 「서류전형의 효율화」뿐만 아니라, 입학사정관이 알고리즘만으로 된 결과 「입학사정관에 의한 평가의 편차 해소」를 실현할 수 있다고 생각하고 있었다. 

알고리즘은 1979년에 완성되었고, 그해 입학심사에서는 알고리즘과 인간 입학사정관에 의한 이중 서류전형이 실시되었다. 프랭글렌이 작성한 알고리즘에 의한 평가절정은 인간 입학사정관의 것과 결과가 90%에서 95%가 일치했다는 것이다. 이 결과에 따라 세인트조지대학에서는 1982년까지 이 알고리즘이 서류전형을 했다고 한다. 

하지만 알고리즘에 의한 서류전형이 실시된 지 몇 년 뒤 몇몇 직원들이 '합격자의 인종이 편중돼 있다'는 것을 발견한다. 보고를 받은 영국 인종평등위원회(CRE)가 알고리즘 프로그램을 재검토한 결과 "이름이나 출생지에 따라 '백인'이나 '비백인'으로 분류되고 비백인은 감점된다"는 것이 밝혀냈다. 백인 이외의 이름을 가진 응시자는 그것만으로 자동으로 15점 감점되었고, 마찬가지로 여성 응시자도 3점 감점된 것 같다. 이 같은 바이어스 결과 연간 60명이 서류전형에 합격하지 못했을 가능성이 있다는 것이다. 

프랑글렌 박사는 이 보정에 대해 "이 편견은 인간이 서류전형을 하던 시절부터 이미 존재하고 있었다"고 발언한다. 당시 영국 대학에서는 실제로 성차별과 인종차별이 횡행했지만 알고리즘은 성차·인종차별하는 설계였음이 프로그램상으로 검증 가능했기 때문에 문제가 불거졌다. 

진화한 현대의 AI도 같은 문제를 안고 있다. AI는 이제 의료나 형사사법 등에서도 활용되고 있지만 AI는 기존 데이터에서 학습한 결과 사회적 편견까지도 이어간다. 2016년에는 프로파블리카가 미국에서 실시된 범죄예측시스템에서 아프리카계 미국인에 대한 편중이 있었던 것으로 나타났다. 

AI의 바이어스가 논의되고 있는 반면 AI는 '합리성의 화신'인 것처럼 쏠림 없는 결과를 낳는 것으로 여겨지고 있다. 이러한 인식에 대해서, AI에 관한 비평가인 케이트 크로포드는 「알고리즘은 인간의 편견을 승계하고 있어, 인간을 본뜬 것에 지나지 않는다. 인간이 만든 AI는 인간과 같은 정도의 존재가 된다」고 말하고 있다. 

 

Untold History of AI : Algorithmic Bias Was Born in the 1980s-IEE Spectrum
https://spectrum.ieee.org/tech-talk/tech-history/dawn-of-electronics/untold-history-of-ai-the-birth-of-machine-bias

Untold History of AI: Algorithmic Bias Was Born in the 1980s