'능력이 낮을수록 자신을 과대평가한다'는 더닝 크루거 효과(Dunning–Kruger effect)에 대한 반론이 또 다른 반론을 불러일으킨다.

'능력이 낮을수록 자신을 과대평가한다'는 더닝 크루거 효과(Dunning–Kruger effect)에 대한 반론이 또 다른 반론을 불러일으킨다.

더닝 크루거 효과는 (Dunning–Kruger effect) '실력이 낮은 사람은 자신의 실력을 과대평가하는 경향이 있다'는 인지 편향에 대한 가설입니다. 이 효과가 정말 존재하는지에 대해 정치경제학자 블레어 픽스와 데이터 사이언티스트 다니엘 앤더슨이 각각의 의견을 블로그에 게시하고 있습니다.
*더닝 크루거 효과(Dunning–Kruger effect)는 능력이 부족한 사람은 자신의 능력을 과대평가하고, 능력이 뛰어난 사람은 자신의 능력을 과소평가하는 현상을 말한다.

◆더닝 크루거 효과는?
더닝 크루거 효과는 1999년 코넬대학의 데이비드 더닝과 저스틴 크루거가 보고한 것입니다. 두 사람은 많은 사람들에게 스킬 테스트를 받게 하고 응시자들에게 "내가 몇 번째라고 생각하는가?"라고 능력을 자기평가하게 했습니다.

그 결과를 나타낸 것이 아래 그래프로, 세로축이 순위의 퍼센타일 값, 가로축이 응시자를 스코어 상위에서 25%씩 4개의 그룹으로 나눈 것입니다. ●표시로 플롯된 선은 실제 점수를 나타내고 있으며, ■표시로 플롯된 선은 응시자의 자기평가를 나타내고 있습니다.

테스트 점수가 낮은 "Bottom Quartile"로 분류된 사람일수록 ●보다 ■의 위치가 높고 자기평가가 과도해지는 경향을 관찰할 수 있습니다.

◆'더닝 크루거 효과는 존재하지 않는다'는 의견
블레어 픽스는, 「더닝 크루거 효과는 인간의 심리와는 관계없이, 단순한 자기관여(自己相關)에 지나지 않는다」라고 말해, 그 근거로서 난수로부터 더닝 크루거 효과를 찾아내는 순서를 나타내고 있습니다.

자기상관이란 변수끼리 공통 인자를 가지면 상관관계가 발생한다는 것입니다. 예를 들어 아래 그림과 같이 x와 y라는 두 변수를 랜덤으로 설정합니다.

여기서 'z=x+y'가 되는 변수 z와 x와의 상관관계를 살펴보면 위 왼쪽 그림과 같이 깨끗한 상관관계가 출현합니다. 이처럼 z의 내용물이 분명한 경우는 너무 당연해서 우스꽝스럽게 들리는데, 이러한 공통인자의 존재를 깨닫지 못할 경우 문제가 생긴다는 것입니다.

더닝 크루거 효과의 존재를 나타낸 위 오른쪽 그림에서, 실제의 스코어를 「x」라고 하면, 세로축·가로축 모두 실제의 스코어를 베이스로 하고 있으므로 「Actual Test Score」의 선은 단순히 「x와 x」를 플롯한 그래프라고 할 수 있습니다.

 

 

 

한편 'Perceived Ability(지각능력)'의 선은 각 그룹의 자기평가를 바탕으로 플롯되어 있기 때문에 자기평가를 'y'라고 하면 'y와 x'를 플롯한 그래프입니다.

 

더닝과 크루거는 두 선의 차이인 '자기평가와 실제 스코어의 차이'에 착안해 더닝 크루거 효과를 주장했습니다. '자기평가와 실제 점수의 차이'를 y와 x로 나타내면 'y-x'

'실력이 낮은 사람은 자신의 실력을 과대평가하는 경향이 있다'는 더닝 크루거 효과는 사실 'y-x는 x가 작아질수록 커진다'는 당연한 내용을 말하고 있을 뿐이라고 픽스는 주장했습니다.

픽스에 의하면, 난수를 베이스로 해도 더닝 크루거 효과를 찾아내는 것이 가능하다고 합니다. 먼저 아래 그림과 같이 실제 점수와 자체 평가를 완전히 랜덤으로 설정합니다.


위의 데이터를 바탕으로 '자기평가와 실제 점수의 차이'를 계산하면 아래 그림과 같이 '실제 점수가 낮을수록 자기평가가 높아진다'는 결과가 나옵니다.

더닝 크루거와 같은 표현으로 하면 아래 그림과 같습니다. 완전히 랜덤으로 설정된 데이터에서 있을 리 없는 더닝 크루거 효과를 관찰할 수 있습니다.

이 문제를 깨달은 것은 픽스뿐만이 아닙니다. 예를 들면, 캘리포니아주립대학의 교원으로 있던 에드워드 누퍼도 마찬가지로 문제에 주목하고 있으며, 자기상관을 통계적 조작에 의해서 소거해 더닝 크루거 효과를 관찰할 수 있는가를 실험했습니다. 결과는 아래 그림과 같으며 실력의 높낮이에 따라 자기평가와의 차이가 과대 과소되는 현상은 나타나지 않았다고 합니다.

이 같은 근거로 픽스는 '더닝 크루거 효과는 인간의 심리가 아니라 통계의 오류에서 발생한다'며 '미숙한 사람은 자기인식 능력도 미숙하다'는 더닝 크루거 논문에 대해 '논문 저자 자신이 미숙한 데다 미숙함을 자각하지 못했다'고 꼬집었습니다. 

 

◆ '난수 데이터로 더닝 크루거 효과를 관측할 수 있는 것은 더닝 크루거 효과의 존재를 부정하지 않는다'는 반론

다니엘 앤더슨은 픽스의 의견에 대해 난수에서 더닝 크루거 효과를 찾을 수 있는 것은 '인간은 자기 자신을 전혀 올바르게 평가할 수 없기 때문'으로, 바꿔 말하면 '인간의 자기인식 능력이 난수에 가깝기 때문'이지 더닝 크루거 논문의 결함이 아니라고 주장했습니다.

앤더슨은 '만약 인간이 상당히 정확한 자기평가를 할 수 있다면'이라는 가정을 두고 자기평가와 실제 점수 사이에 상관관계가 발생하는 데이터를 생성했습니다.

여기서 픽스가 y-x를 플롯했을 때와 마찬가지로 자기평가와 실제 스코어의 차이를 세로축으로 잡습니다. y-x와 x의 상관관계를 조사하게 되는데 y-x는 추정치와 실제 값의 차이인 잔여오류를 나타내고 있어 통계학상 특별한 문제가 아니라는 것입니다. 결과는 아래 그림과 같이 되어 자기 상관관계가 있음에도 불구하고 상관관계가 없어져 버립니다.

이것은 더닝과 크루거의 실험 결과와는 모순되며, 즉 앤더슨의 '만약 인간이 상당히 정확한 자기 평가를 할 수 있다면'이라는 가정이 잘못되었음을 보여줍니다.앤더슨은 더닝 크루거 효과의 유무에는 파고들지 않았지만, 이처럼 자기 상관관계가 있더라도 인간의 심리를 통계로 밝히는 것은 가능하며, 적어도 난수에서 더닝 크루거 효과를 관찰할 수 있다는 것은 더닝 크루거 효과를 부정하는 근거가 되지 않으며, 더닝 크루거 효과를 발견한 논문의 결함을 지적하는 것도 아니라고 말했습니다.

앤더슨은 이런 의견을 밝힌 뒤 픽스가 더닝과 크루거에 대해 미숙함을 깨닫지 못했다고 하거나 뉴스 사이트 Hacker News의 코멘트란에서 사람들이 쉽게 픽스 의 주장에 반박하는 것에 대해 분노를 드러냈습니다.

*재미있거나 도움이 되셨다면 '구독' 꾹 눌러 주시기를 부탁드립니다. 늘 행복하세요.

 

The Dunning-Kruger Effect is Autocorrelation – Economics from the Top Down
https://economicsfromthetopdown.com/2022/04/08/the-dunning-kruger-effect-is-autocorrelation/

I can’t let go of “The Dunning-Kruger Effect is Autocorrelation” | | andersource
https://andersource.dev/2022/04/19/dk-autocorrelation.html

The Dunning-Kruger Effect is Autocorrelation – Economics from the Top Down

I can’t let go of “The Dunning-Kruger Effect is Autocorrelation”