[인과추론] A/B Test 설계와 결과 검증

A/B Test 설계와 결과 검증해당 포스팅은 A/B Test를 설계할 때 주의점과, A/B Test를 검증하는 방법에 대해 소개합니다.  A/B Test 설계 RCT(Randomized control trial) 검정력(Power of the test)표본크기 계산  A/B Test 검증추정값의 표준오차신뢰구간 (confidence interval) 가설검정 무작위 배정으로 독립성 확보잠재적 결과가 처치와 독립인 경우에 연관관계와 인과관계가 동일해짐하지만 처치와 결과 사이의 독립성을 의미하는 것이 아님. 처치와 결과가 독립적이면 처치는 결과에 영향을 끼치지 못함.만약 새로운 기능을 처치로 사용시간이 결과라면 새로운 기능과 사용시간이 독립이라면 실험군/대조군 상관없이 새로운기능은 결과에 아무 영향이 없..

통계에서 p-value(p값) 라는 용어를 많이 쓰지만 이것이 무엇인지 제대로 알고 쓰는 사람은 많지 않습니다. 따라서 이번 포스팅에서는 p-value에 대해 알아보겠습니다. 가설 검정가설검정 :  모집단 실제의 값이 얼마가 된다는 주장과 관련해, 표본의 정보를 사용해서 가설의 합당성 여부를 판정하는 과정을 의미 보통 p-value는 가설검정을 할 때 자주 활용되는데요. 가설을 입증하는 것은 먼저 차이가 없다는것을 가정(귀무가설)한다음, 차이가 없지 않다를 증명하는 방식입니다. 즉, 가장 보수적인 상태를 놓고 새로운 가설을 만들어서, 기존의 가설을 비판해서 반박이 되는지 확인하는 것입니다.EX) 힉스입자를 판별한 건힉스입자를 발견한 논문에서 힉스입자가 존재한다는 아래와 같이 증명하였습니다귀무가설 : 우리..