평가 테스트 중에 빠지기 쉬운 함정인 '힐 클라이밍(hill climbing)'은 무엇?

평가 테스트 중에 빠지기 쉬운 함정인 '힐 클라이밍(hill climbing)'은 무엇?

인터넷이 가능하게 한 평가 방법 중 하나로 A/B 테스트가 있다. 내용을 변화시킨 2패턴의 페이지를 전환해 표시함으로써 사용자의 반응을 정량적으로 파악할 수 있는 효과적인 방법이지만, 결과의 정확도가 높은 반면 A/B 테스트에 집착하게 되면 수치 상승에만 집착하는 「힐 클라이밍(hill climbing. 전체 문제 해결을 위해 각 상태 표현에 적용할 규칙을 선택할 때 주변 값을 탐색하여 점차적으로 좋은 값을 찾아 올라가는 것)」이라고 하는 상황에 빠져 버리는 함정이 존재한다. 

힐 클라이밍(hill climbing)에 너무 집착하면 단기적인 성공에 집착해 나무를 보고 숲을 보지 못하는 상황에 빠지기 쉬운데, 트위터에서 데이터 연구에 종사하는 Chris Said는 그러한 실패를 피하기 위해 주의해야 할 4가지 점을 꼽고 있다. 

◆ '국소적(局所的)인 최대치'(Local maxima)
성공과 실패가 여실히 드러나는 A/B 테스트에서는 단기적으로 나타나는 성공에 마음이 들떠 본래 얻을 수 있었던 '큰 성공'을 놓칠 수 있다. 그것이 예를 들면 이하와 같은 상황이다. 원래대로라면 오른쪽 큰산에 올라갈 수 있었을 텐데 왼쪽 작은산에 올라 갔기 때문에 성공했다고 착각하게 되는 경우이다. 

상품의 '성공'에는 다양한 수준이 존재하고 있기 때문에 단기적인 성공에만 얽매이지 말고 큰 시각에서 성공을 판단하는 것이 중요하다. 

◆'나중에 나타나는 최대치'(Emergent maxima)
사용자의 반응이 즉각적으로 나타나는 A/B 테스트인데 이는 반드시 "성공과 실패를 바로 판단할 수 있다"는 것은 아니다. 서비스의 성패를 결정하는 요소에는 이용자 수가 증가함에 따라 가속도적으로 성공해 나가는 네트워크 외부성이 존재하고 있어 성공이 가시화되기까지는 일정한 시간이 필요한 경우도 있는 것이다. 예를 들면, 이하와 같이, 처음에는 비탈길을 굴러 떨어지는 듯한 움직임을 보였기 때문에 「실패」라고 느껴 버리고……

시간이 지나면 급격히 산이 커지는 '성공'으로 돌아서기도 한다. 이는 사용자 수의 증가에 따라 '정의 피드백'이 일어나는 경우나, 추가된 변경에 처음에는 당황했던 사용자들이 점차 익숙해져 그 유용성을 인식하게 되는 경우가 있다. 

이 상황은, Microsoft Office 소프트의 화면 상단에 표시되는 「리본」이 처음 등장했을 때는 많은 사람이 「방해된다」라든가 「이런 것은 사용하지 않는다」라고 느꼈지만, 지금은 거의 익숙해져 버린 상황을 예로 들 수 있을 것으로 보인다. 

◆'새로움(참신함)의 효과'(Novelty effects)
위의 두 가지는 성공을 올바르게 보기 위한 포인트였지만, 나머지 두 가지는 실패를 올바르게 판단하기 위한 관점이다. 상품이나 서비스에 따라서는, 다음과 같이 처음에는 순조로운 출발을 보이지만……

시간이 지나면, 뚝 인기가 떨어져 버리는 것도 있다. 이는 더해진 변경(변화)이 새롭고 눈길을 끄는 것이었음에도 잠시 이용하다 보면 관심이 없어지고 오히려 부정적인 인상만 남게 되는 경우이다. 이 경우에도 역시 단기적인 변화만으로 판단해 버리면 본래는 「실패」라고 판단해야 할 것을 「성공」이라고 잘못 평가해 버리는 것으로 이어진다. 

◆'독자성의 결여'(Loss of differentiation)
「새로움의 효과」와 통하는 점도 있는 것이지만, 다른 경쟁 상대와의 독자성을 충분히 가지고 있지 않은 경우도, 단기적인 성공에 그칠 수 있다. 아래 그래프는 자사(왼쪽)와 경쟁자(오른쪽)의 변화를 나타낸 것인데, 처음에는 자사의 서비스가 완만하게 성공하는 움직임을 보이지만……

최종적으로는 인기가 떨어지고, 그리고 경쟁 상대의 그래프가 조금 제기되어 버리는 상황이다. 이는 자사에서 투입한 서비스가 새로웠지만, 결국은 경쟁상대의 서비스와 같은 카피였을 경우에 일어날 수 있는 케이스이다. 이것도 단기적인 '힐 클라임'만으로는 진정한 성공을 간과하는 좋은 예라고 할 수 있다. 

상기 그래프는 조금 과장된 것을 강조하면서, Said는 이러한 포인트를 조심한 후에 「실패보다 성공하고 있는 케이스를 잘 분석해 장기간 테스트를 계속하는 것」 「성공이라고 하는 것은 다원적이기 때문에, 어떤 시점에서 성공했다고 해도, 더욱 폭넓게 평가·테스트하는 것이 중요」등을 들고 있다. 소스원인 Chris Said의 블로그에서는 그래프를 애니메이션으로 표시하고 있기 때문에, 4개의 이미지를 쉽게 파악하도록 되어 있다. 

*재미있거나 도움이 되셨다면 '구독' 꾹 눌러 주시기를 부탁드립니다. 늘 행복하세요.

Four pitfalls of hill climbing The File Drawer
http://chris-said.io/2016/02/28/four-pitfalls-of-hill-climbing/

Four pitfalls of hill climbing · Chris Said