YSY의 데이터분석 블로그

이번 포스팅에서는 A/B Test를 할 때 사용하는 지표에 대해 알아보겠습니다. 지표의 분류 조직 운영을 위한 한가지 일반적인 방법에는 OKR(Objective – Key Results) 방법이 있으며, OKR에도 좋은 지표가 핵심임 지표를 정의하고 평가하고 달성하는 과정을 반복하는 것은 데이터 기반으로 의사결정을 수행하기 위한 인사이트를 획득하는데 도움이 됨 조직 지표를 논의할 때 일반적으로 사용되는 분류는 목표, 동인, 가드레일임 목표지표(Goal Metrics) 조직의 궁극적인 목표 및 회사/조직/제품의 존재 이유(Mission Statement) EX) 쇼핑몰의 경우 매출/주문자수 일 수 있으며, 플랫폼의 경우 방문자수(트래픽)이 목표일 수 있음 누구나 이해할 수 있도록 명확히 표현하야여함 조직의..

다중회귀식의 분산 - 회귀분석은 여러개의 독립변수를 통해 종속변수 y의 분산을 얼마나 설명하느냐의 문제 - R-square값과 관계가 있음 ysyblog.tistory.com/168?category=1185073 [회귀분석] 단순선형회귀분석(Linear Regression)(7) - R-squared (R^2)(결정계수) (SST/SSR/SSE/Adjusted R-squared) 1. [회귀분석] 단순선형회귀분석(Linear Regression)(1) - 단순선형회귀분석과 가정 :ysyblog.tistory.com/157 2. [회귀분석] 단순선형회귀분석(Linear Regression)(2) - 선형회귀분석과 비용함수 :ysyblog.tistor.. ysyblog.tistory.com 다중공선성이란 위..

RMSE (제곱근-평균-제곱 오차) 추정의 표준오차(standard error of estimate) 또는 회귀의 표준오차 (standard error of regression)라고도 불림 실제 값과 예측치의 차이 회귀직선과 RMSE 회귀직선은 x값에 따라 분류된 부분집단 별로 자료의 중심을 알려줌 RMSE는 개별 관측치 속한 준거집단의 평균으로부터 떨어진 정도를 대략적으로 알려준다. 회귀직선과 RMSE를 알면 평균과 표준편차를 알 때처럼 68-95 법칙을 활용해 볼 수 있음. RMSE 공식 예시 산포도에서 전형적인 점(typical point)은 회귀직선으로부터 위 또는 아래로 9.3kg 정도 떨어져 있다. 실제 몸무게는 추정된 몸무게와 약 9.3kg 정도 다름 분모에 표본크기가 아닌 자유도가 사용 자..

회귀효과 - 평범으로의 회귀 평범으로의 회귀 : 측정한 값이 극단값인 경우, 다음에 측정하면 평균에 더 가까워지는 현상을 의미 중간고사에서 평균점수 정도 받은 학생들은 평균적으로 기말고사에서도 평균점수 정도를 받음 오른쪽 타원에 위치한 학생 오른쪽에 있는 길게 늘어진 타원형(중간고사에서 평균점수보다 잘 본 학생)들은 표준편차선 아래쪽에 위치한 경우가 많음 즉, 중간고사에서 평균보다 잘 본 학생들은 실력도 평균보다 위에 있을 수 있지만, 상대적으로 운이 좋은 학생들이 많이 포함되어 있을 가능성이 높음. 하지만 기말고사에서 운이 반복된다는 보장이 없기 때문에 인 표준편차선(기말고사에서는 같은 정도의 운이 반복 됐을 때 그려지는 선 )보다 아래쪽에 학생들이 좀 더 많이 위치하게됨 즉, 회귀직선상의 점은 표준편..

Causality란? Correlation과 Causality 만약 아래의 데이터가 있다고 가정할 때, 운동과 콜레스테롤 수치에 Correlation(상관관계)가 있는것으로 보이는데, 과연 운동을 많이할 수록 콜레스테롤 수치가 높다고 인과관계를 정의할 수 있는가 데이터를 더 detail하게 뜯어보면, 나이에 따라 보면, 운동을 많이할 수록 콜레스테롤 수치가 줄어드는것으로 볼 수 있다. 따라서 Correlation (상관관계)은 Casuality(인과관계)가 아니다. Counterfactual Potential Outcome(PO) X가 원인이고 Y가 결과이며, 만약 X가 x로 고정되었을때 (원인이 명확해졌을때) $Y_{X=1} = 1$ & $Y_{X=0} = 0 $ X가 일어났으면 Y도 일어나며, X가 ..

1. [회귀분석] 회귀분석 실습(1) - Statsmodel분석/데이터 스케일링(Python) : ysyblog.tistory.com/119 2. [회귀분석] 회귀분석 실습(2) - 잔차분석 (Python) : ysyblog.tistory.com/120 3. [회귀분석] 회귀분석 실습(3) - 변수선택법 (R) : ysyblog.tistory.com/121 해당 포스팅은 위 포스팅에 이어 진행됩니다. 다중공선성 독립 변수X는 종속변수 Y하고만 상관 관계가 있어야 하며, 독립 변수 X들끼리 상관 관계가 있어서는 안된다. 독립 변수간 상관 관계를 보이는 것을 다중공선성(Multicollinearity)이라고 한다. 다중공선성이 있으면 부정확한 회귀 결과가 도출될 수 있다. 다중공선성 확인 및 해결방법 포스팅..

1. [회귀분석] 회귀분석 실습(1) - Statsmodel분석/데이터 스케일링(Python) : ysyblog.tistory.com/119 2. [회귀분석] 회귀분석 실습(2) - 잔차분석 (Python) : ysyblog.tistory.com/120 해당 포스팅은 위 포스팅에 이어 진행됩니다. 변수선택법 변수선택법은 최적의 회귀방정식 선택에 도움을 주는 방법론이다 변수선택법에는 전진선택법, 후진제거법, 단계선택법이 있다. 파이썬에서는 OLS결과를 보면서 수작업으로 변수를 조정해야하지만, R에서는 step()라는 함수를 활용하여 변수선택법을 쉽게 할 수 있다. 최적회귀방정식의 선택 설명변수 선택 y에 영향을 미칠 수 있는 모든 설명변수 x들을 y의 값을 예측하는데 사용 데이터에 설명변수 x들의 수가 많..

1. [회귀분석] 회귀분석 실습(1) - Statsmodel분석/데이터 스케일링(Python) : ysyblog.tistory.com/119 해당 포스팅은 위 포스팅에 이어 진행됩니다. 잔차분석 잔차분석은 회귀모형에 대한 가정(정규성, 등분산성, 독립성)을 충족하는지에 대한 검정, 이상치가 개입하는지에 대한 검정을 하는 절차 import pandas as pd from statsmodels.formula.api import ols df = pd.read_csv('cars.csv') res = ols('dist ~ speed', data=df).fit() 모형의 선형성 예측값(fitted)과 잔차(residual)를 비교 모든 예측값에서 가운데 점선에 맞추어 잔차가 비슷하게 있어야 한다. 빨간 실선은 잔차..