평균치를 너무 믿으면 안되는 이유?

평균치를 너무 믿으면 안되는 이유?

웹서비스나 소프트웨어 사양을 결정할 때는 사용자의 행동데이터에서 '평균값'을 산출해 '평균적인 사용자상'을 도출하는 경우가 종종 있다. 하지만 투자자인 호위 맨은 여러 사례를 들어 평균치를 중요한 결정에 이용하는 것은 피해야 한다고 주장하고 있다.

맨은 평균을 이용하는 것이 부적했던 사례로 1940년대에 미국 공군에서 발생한 항공기 개발에 관련된 문제를 들고 있다. 1940년대 미 공군에서는 전투기를 10만 시간 비행시킬 때마다 23.6대의 전투기가 파손되었다. 

 

사고가 발생한 기체를 분석해도 사고로 이어질 만한 고장이 거의 없었기 때문에 공군은 사고원인을 조종석이 조종사의 체격에 맞지 않는 것이 원인이라고 보고 조종사 체격 평균치에 맞춘 조종석을 전투기 설계업체에 발주하려 했다.

그러나 학창시절 하버드대에서 학생 손 크기에 관한 연구 등에 힘썼던 길버트 대니얼스 중위는 평균 체격에 일치하는 조종사가 반드시 존재하는 것은 아니라는 점을 깨닫고 있어, 공군의 결정에 이의를 제기했다. 

 

다니엘스 중위는 실제로 4000명 이상의 조종사를 대상으로 손가락 길이 눈에서 귀까지의 거리 등 140개 이상의 신체측정을 실시해 각 항목의 평균치를 산출했으며 140개 항목 중에서 키, 가슴둘레 등의 사고와 관련이 깊다고 생각되는 항목을 추출해 추출한 모든 항목에서 평균치에서 전후 30%라는 조건을 충족하는 평균 체격의 파일럿 인원을 요구했다.

위의 분석 결과, "평균적인 체격의 파일럿"은 한 명도 존재하지 않는 것으로 밝혀졌다. 즉, 모든 조종사의 신체측정 데이터를 바탕으로 '평균적인 체격의 파일럿'에 맞춘 조종석을 설계해도 해당 조종석이 저스트 핏 되는 파일럿은 존재하지 않게 되는 셈이다.

대니얼스 중위는 분석 결과를 토대로 전투기 조종석은 평균 조종사가 아니라 모든 조종사에 맞춰 만들어져야 한다고 건의했다. 그 결과 현대차의 운전석과 같은 위치조절 기능을 탑재한 조종석이 설계됐고, 파손되는 전투기는 비행시간 10만 시간당 4.3대로 급감했다.

맨은 상기의 1940년대 미국 공군에서의 사례 이외에 현대의 소프트웨어 개발 사례도 소개하고 있다. 예를 들면, 한 서비스에서 「사용자용 분석 서비스의 성능 향상」이라고 하는 태스크를 실행할 때에, 우선 사용자의 행동기록으로부터 「1개월당 분석 실행 회수의 평균」이 32회인 것을 알았다고 한다.

그러나 분석 실행 횟수를 그래프(가로축이 실행 횟수, 세로축이 사용자의 비율)로 나타내면 60%의 사용자는 0~9회밖에 분석을 실행하지 않아 70~89회 분석을 실행하는 사용자가 총 20% 이상 존재함을 알 수 있다. 한편, 「32회」라고 하는 평균 횟수를 실행하는 사용자는 거의 없는 것도 알 수 있다.

사용자용 분석 및 실행 횟수 그래프

위와 같은 사용자층을 대상으로 분석기능을 개발할 경우 '한 달 평균 32회 이용된다'는 점을 염두에 두면 사용자의 요구와 동떨어진 기능을 개발할 가능성이 있다.맨은 이들 예를 토대로 평균값을 참고할 경우 평균값에 해당하는 실례가 얼마나 있는지 확인하라고 조언했다.

How the US Air Force Ditched the "Average" and Saved Lives
https://mannhowie.com/average-pitfall