넷플릭스에서 A/B 테스트를 해석하는 법 : 거짓 양성 오류 알아보기

https://playinpap.github.io/interpreting-a/b-test-results-false-positives/

넷플릭스에서 A/B 테스트를 해석하는 법: 거짓 양성 오류 알아보기

이 글은 pap 커뮤니티에 게시된 박찬민 님의 글을 읽고 제 나름의 이해를 정리한 글입니다.
자세한 내용은 원문을 참고하심이 좋습니다.

--

A/B  테스트를 해석할 때 두가지 오류

• 제 1종 오류 : 거짓 양성 (false positive)
• 제 2종 오류 : 거짓 음성 (false negative)
  
  

출처 : 원문에서 발췌

원문에서는 강아지 그림과 고양이 그림을 예시로 설명하였지만,
제가 예전에 가설검정에 대해 학습할 때에는,
제 1종 오류는 '피고인이 실제로 무죄이지만, 유죄로 판결한 경우'
제 2종 오류는 '피고인이 실제로 유죄이지만, 무죄로 판결한 경우' 라고 이해했습니다.

제 1종 오류 및 통계적 유의성

제 1종 오류와 제 2종 오류는 서로 반대이기 때문에 둘다 완전히 없애는 것이 불가능합니다.
즉, 제 1종 오류가 적어질수록 제 2종 오류의 비율이 증가합니다.

가설검정에서는 가설이 수립된 이후에, 허용 가능한 제 1종 오류의 비율을 설정하는 것으로 시작합니다.
이 비율은 통상 5%인데, 이는 실험변수와 통제변수간의 유의미한 차이가 '실제로' 없음에도,
5%의 확률로 유의미한 차이가 존재한다고 판단할 수 있다는 말입니다.
이를 유의수준(significance level) 5%로 유의하다라고 정의합니다.

p-value는 관측 데이터에서 얻은 제 1종 오류(무죄임에도 유죄판결)가 발생할 확률입니다.
p-value가 유의수준보다 높은 경우 귀무 가설을 기각하지 않으며(무죄),
유의수준보다 낮은 경우 귀무가설을 기각(유죄)합니다.
쉽게 풀어 설명하면, '잘못된 판결을 할 확률이 유의수준보다 높으면,
보수적인 판단을 통해 무죄를 선언'하고,
'잘못된 판결을 할 확률이 유의수준보다 낮으면,
유죄를 선언'하겠다는 것 입니다.

실험 또는 A/B 테스트에서 내릴 수 있는 결론은 총 두 가지입니다.
'B로 인한 효과가 있다' 와 'B로 인한 효과가 있다고 하기 어렵다.'
yes와 no가 아닌 yes와 not yes로 보는 것입니다.

--

원글을 그대로 쓰는 것이 아니라 제 나름의 이해를 섞다보니
글이 좀 어지러운 것 같습니다.
혹시 옳지 않은 내용이 있다면 알려주시면 감사하겠습니다!
개인적으로 통계학은 이해하는 것이 참 어렵습니다.
알 듯 말 듯 마치 '어제가 내일이었으면 좋겠다. 그럼 오늘이 금요일일텐데...'
같은 문장을 보는 듯 해요.
차근차근 다시 보는 시간을 가져야겠습니다.