AB테스트란 무엇일까?- AB테스트의 원칙 (2)
이전 글에서, AB테스트가 AB테스트란, A(대조군Control)와 B (Treatment)의 2개 종류를 비교하는 가장 간단한 형태의 종합 대조실험임을 설명했다.
오늘은, 이 AB테스트 설계 시, 실무자는 어떤 것을 고려해야하는지 A/B테스트 책을 바탕으로 설명해보고자 한다.
따라서 이 글은 IT회사를 준비하는 취업준비생 ( PO/PM 또는 BA), 또는 이직을 준비하는 사람에게 도움이 될 수 있다.
AB테스트의 원칙- 조직은 데이터 중심 결정을 내리고 OEC(Overall Evaluation Criterion=핵심지표)를 공식화 한다.
- 조직은 종합 대조 실험을 실행하고 그 결과가 신뢰할 수 있는지 확인하기 위해 인프라와 실험에 기꺼이 투자한다.
- 조직은 아이디어의 가치를 평가하는데 서툴다는 것을 인지한다.
AB테스트의 중요성
왜 데이터 기반 의사결정을 하는 모든 회사는 AB테스트를 실행할까? 여러분들이 알고 있는 핫한 기업들은 대부분 AB테스트를 진행한다.
데이터 기반 의사결정이 의사결정의 질을 올려주기 때문이다. AB테스트는 어떤 지표의 변동에 대해 인과관계를 증명하는 최고의 도구이다.
아래 표를 보면, 인과관계를 증명하는데 좋은 실험, 연구를 알려주고 있다. 이 중 가장 최고는 무작위 종합 실험(AB테스트)실험의 체계적인 리뷰 즉, 메타 분석이다.
(메타분석이란? 결과들을 통합하려는 목적을 위해 개별 연구를 많이 수집하고, 그 수집된 연구 자료에 대하여 통계학적으로 분석한 것 -University of Colorado의 통계학자 Gene Glass)
즉 , 인과관계를 증명하는 최고의 툴은 AB테스트인 것이다. 그러니 많은 기업에서 AB테스트를 통해 어떤 결과에 대한 원인을 AB테스트를 통해 찾는 것이다.
예를 들면, 쿠팡의 로켓배송이 구매자 증가에 좋은 영향을 미칠 것이다 라는 가설을 새웠다고 생각해보자. 이 때 A집단 유저군(무작위 추출) 에게는 로켓배송 서비스를 보여주지 않는다.
B집단 유저군(무작위 추출) 에게는 로켓배송 서비스를 제공한다.
이 때 두 집단 간에 구매자수에 유의미한 차이가 있다면 로켓배송이 구매자수 증가에 좋은 영향을 미치는 원인임이 밝혀진 것이다.
이처럼 AB테스트는 프로덕트의 성과측정에 지대한 역할을 한다.
따라서 프로덕트의 성과측정을 제대로 하고 싶다면 AB테스트를 진행해보라. 정확한 성과와 원인을 증명할 수 있다.
AB테스트의 원칙 – 핵심지표 설정
AB테스트가 인과관계를 증명하는 가장 좋은 툴이지만 이를 진행하는 데는 원칙이 있다.
첫 번 째 원칙은 아래와 같다.
조직은 데이터 중심 결정을 내리고 OEC(Overall Evaluation Criterion=핵심지표)를 공식화 한다. – AB테스트 중에서
여기서 말하는 핵심지표란 1) 조직의 장기적 전략목표를 추진하는 원인이 되어야 하며, 2) 전사적 이해관계와 일치해야 하고, 3) 전사적으로 합의된 하나의 지표여야 한다.
이 세 가지 조건에 맞는 핵심지표를 도출 할 때 프로덕트가 장기적으로 추구해야 하는 방향성과 변화시켜야 하는 지표가 명확해진다.
그렇다면 왜 장기적인 관점에서 조직의 이해관계와 일치하는 것을 핵심지표로 설정해야 할까? 예를 들어보자.
커머스 사업을 한다고 생각해봤을 때, 핵심 지표는 GMV per customer(고객 당 거래액)이 될 수 있다. 이 때 고객은 서비스를 방문한 고객이다.
왜 GMV per customer가 핵심지표가 될 수 있는가?
커머스 사업자는 서비스에 방문한 모든 고객에게 좋은 서비스를 제공함으로서 고객이 서비스 내에서 거래한 거래액을 늘려야 한다.
거래액의 증가는 결국 고객이 돈을 썼다는 것을 의미한다.이는 서비스가 고객에게 좋은 가치를 제공한 댓가로 고객이 지불한 금액을 의미한다.
이 관점에서 본다면, GMV per customer는 고객에게 좋은 가치를 주어야 올릴 수 있는 지표로 회사의 장기적인 목표가 될 수 있다.
그러나 회사의 이익이 핵심지표로 설정되면 어떨까?
회사의 이익이 핵심지표로 설정되면 커머스 회사는 상품의 가격을 올리는 액션을 진행할 수 있다. 이는 당연히 회사의 이익극대화에 기여할 것이다.
그러나, 장기적으로 봤을 때 가격 경쟁력을 잃어 사업은 퇴보할 것이다. 이는 장기적인 관점에서 좋은 핵심지표라고 할 수 없다.
따라서 언제나 AB테스트로 증명해야하는 인과관계의 결과는 장기적인 관점에서 봤을 때 회사의 이해관계와 일치하는 하나의 지표로 설정해야 한다.
유의미한 AB테스트를 진행하고자 하는가? 핵심지표를 설정하라.
AB테스트의 원칙 -인프라 및 실험에 투자
두 번째 원칙은 아래와 같다.
조직은 종합 대조 실험을 실행하고 그 결과가 신뢰할 수 있는지 확인하기 위해 인프라와 실험에 기꺼이 투자한다.
AB테스트 툴에 대한 투자가 있어야 한다. 즉 AB테스트 툴을 통해 1) 사용자에 대한 랜덤화 2) 고객군 설정 3) 핵심 지표 변화에 대한 트랙킹(및 p-value)를 확인할 수 있어야 한다.
AB테스트 툴에 대한 투자가 없다면, 많은 실험을 할 수 없고 이는 결국 데이터 기반 의사결정이 어려워짐을 의미한다.
예를 들면, 우리 회사는 AB테스트 툴이 그리 고도화 되어있지 않다. 때때로 실험 진행중에 많은 오류가 발생하고, 핵심 지표 변화 역시 믿을 게 못되서 BA가 항상 지표 결과값을 다시 추출한다.
이는 데이터 기반 의사결정을 하는데 많은 리소스를 쓰게 하고 빠른 진행을 방해한다. 뿐만 아니라, 실험 자체 진행이 망가져 AB테스트 결과값을 믿을 수 없게 된다.
이런 예를 보면 알 수 있다.
테스트의 신뢰성을 확보하려면 반드시 AB테스트 인프라에 대해 투자하라.
더 확대해서 생각하면 데이터 기반 의사결정이 일상화 된 조직문화를 만들고 싶은가?
AB테스트 인프라에 투자하라.
AB테스트의 원칙 -아이디어 가치 평가에 대한 인지
마지막 세 번 째 원칙은 아래와 같다.
조직은 아이디어의 가치를 평가하는데 서툴다는 것을 인지한다. – AB테스트 중에서
마이크로 소프트는 매년 2/3의 AB테스트 실험에 실패한다.넷플릭스는 그들이 시도하는 90%의 실험을 틀린 것을 간주한다.
이는 모두 그렇게 뛰어난 인재들도 유의미한 값을 도출하는데 많은 실패를 한다는 것을 의미한다. 따라서 우리도 인지하고 인정 한다.
우리는 아이디어의 가치를 평가하는데 서툴다. 그렇다면 어떻게 해야 할까? 내 생각은 빠른 시도, 빠른 실패가 답이다.
많은 실험을 통해서 빠른 실패를 통해 교훈을 배우고 빠르게 다음 실험을 설계하고 진행해야 한다. 그러면서 배운 교훈을 바탕으로 점점 더 성공확률을 올릴 수 있다.
페이스북 마크 저커버그는 실험에 실패할 것을 두려워하지 말고 빠르게 시도할 것을 강조한다. 그게 가장 빠르게 성공에 이를 수 있는 방법이기 때문이다.
A/B테스트 관련 다른 글을 보고 싶다면?
A/B테스트 책구매 (쿠팡링크)