회귀효과 - 평범으로의 회귀 평범으로의 회귀 : 측정한 값이 극단값인 경우, 다음에 측정하면 평균에 더 가까워지는 현상을 의미 중간고사에서 평균점수 정도 받은 학생들은 평균적으로 기말고사에서도 평균점수 정도를 받음 오른쪽 타원에 위치한 학생 오른쪽에 있는 길게 늘어진 타원형(중간고사에서 평균점수보다 잘 본 학생)들은 표준편차선 아래쪽에 위치한 경우가 많음 즉, 중간고사에서 평균보다 잘 본 학생들은 실력도 평균보다 위에 있을 수 있지만, 상대적으로 운이 좋은 학생들이 많이 포함되어 있을 가능성이 높음. 하지만 기말고사에서 운이 반복된다는 보장이 없기 때문에 인 표준편차선(기말고사에서는 같은 정도의 운이 반복 됐을 때 그려지는 선 )보다 아래쪽에 학생들이 좀 더 많이 위치하게됨 즉, 회귀직선상의 점은 표준편..

Causality란?Correlation과 Causality만약 아래의 데이터가 있다고 가정할 때, 운동과 콜레스테롤 수치에 Correlation(상관관계)가 있는것으로 보이는데, 과연 운동을 많이할 수록 콜레스테롤 수치가 높다고 인과관계를 정의할 수 있는가데이터를 더 detail하게 뜯어보면, 나이에 따라 보면, 운동을 많이할 수록 콜레스테롤 수치가 줄어드는것으로 볼 수 있다.따라서 Correlation (상관관계)은 Casuality(인과관계)가 아니다.CounterfactualPotential Outcome(PO)X가 원인이고 Y가 결과이며, 만약 X가 x로 고정되었을때 (원인이 명확해졌을때)$Y_{X=1}=1$ & $Y_{X=0}=0$X가 일어났으면 Y도 일어나며, X가 일어나지 않았을때..

다중공선성독립 변수X는 종속변수 Y하고만 상관 관계가 있어야 하며, 독립 변수 X들끼리 상관 관계가 있어서는 안된다.독립 변수간 상관 관계를 보이는 것을 다중공선성(Multicollinearity)이라고 한다.다중공선성이 있으면 부정확한 회귀 결과가 도출될 수 있다.다중공선성 확인 및 해결방법 포스팅ysyblog.tistory.com/171 [회귀분석] 다중회귀분석(2) - 다중공선성(다중공선성 검정 및 해결)1. [회귀분석] 단순선형회귀분석(Linear Regression)(1) - 단순선형회귀분석과 가정 :ysyblog.tistory.com/157 2. [회귀분석] 단순선형회귀분석(Linear Regression)(2) - 선형회귀분석과 비용함수 :ysyblog.tistor..ysyblog.tisto..

이번 포스팅은 모델링을 할때 사용하는 변수선택법에 대해 알아봅니다.변수선택법변수선택법은 최적의 회귀방정식 선택에 도움을 주는 방법론이다변수선택법에는 전진선택법, 후진제거법, 단계선택법이 있다.파이썬에서는 OLS결과를 보면서 수작업으로 변수를 조정해야하지만, R에서는 step()라는 함수를 활용하여 변수선택법을 쉽게 할 수 있다. 최적회귀방정식의 선택설명변수 선택y에 영향을 미칠 수 있는 모든 설명변수 x들을 y의 값을 예측하는데 사용데이터에 설명변수 x들의 수가 많아지면 관리하는데 많은 노력이 요구되므로, 가능한 범위 내에서 적은 수의 설명변수를 선택모형선택(exploratory analysis) : 분석 데이터에 가장 잘 맞는 모형을 찾아내는 방법모든 가능한 독립변수들의 조합에 대한 회귀모형을 생성한 ..

1. [회귀분석] 회귀분석 실습(1) - Statsmodel분석/데이터 스케일링(Python) : ysyblog.tistory.com/119 [회귀분석] 회귀분석 실습(1) - OLS 회귀분석 결과 해석 및 범주형 변수 처리 (Statsmodel)Statsmodel을 활용한 회귀분석 statsmodels 패키지에서는 OLS 클래스를 사용하여 선형 회귀분석을 실시한다 독립변수와 종속변수가 모두 포함된 데이터프레임이 생성되며, 상수항 결합은 하지 않아도ysyblog.tistory.com이번 포스팅은 파이썬으로 잔차분석을 하는 방법들을 소개하겠습니다. 이번 포스팅은 위 포스팅에 이어 진행됩니다. 잔차분석잔차분석은 회귀모형에 대한 가정(정규성, 등분산성, 독립성)을 충족하는지에 대한 검정, 이상치가 개입하는지에..

Statsmodel을 활용한 회귀분석statsmodels 패키지에서는 OLS 클래스를 사용하여 선형 회귀분석을 실시한다독립변수와 종속변수가 모두 포함된 데이터프레임이 생성되며, 상수항 결합은 하지 않아도 된다.from_formula 메서드의 인수로 종속변수와 독립변수를 지정하는 formula 문자열을 넣는다. data 인수로는 독립변수와 종속변수가 모두 포함된 데이터프레임을 넣는다.EX) model = OLS.from_formula(formula, data=df)또한 독립변수만 있는 데이터프레임 X와 종속변수만 있는 데이터프레임 y를 인수로 넣어서 만들 수도 있다. 이 때는 독립변수만 있는 데이터프레임 X가 상수항을 가지고 있어야 한다.EX) model = OLS(dfy, dfX)fit 메서드로 모형 추..

LTV (Life Time Value) LTV(또는 CLV)로 부르는 ‘고객 생애 가치’는 고객이 평생동안 기업에게 어느 정도의 가치를 가져다 주는지를 정량화한 지표. LTV는 확률 기반 모형으로 특정한 시점 t에서 고객마다 어느 정도의 생애 가치를 가지는지 측정 회사가 얼마나 수익성이 있을지 또는 신규 고객을 확보하기 위해 얼마나 많은 비용을 지출할 수 있는지를 이해하는 데 중요한 지표 BTYD BTYD(Buy Till You Die) 모델은 고객 평생 가치를 계산하기 위해 과거 거래 데이터에 확률적 모델을 적용 BYTD 모델은 다음과 같은 질문에 답을 해준다고 한다. 활성 고객은 몇 명인가 지금부터 N년 후에 얼마나 많은 고객이 활동중일까 어떤 고객이 이탈했나 고객은 미래에 회사에 얼마나 가치가 있을..

로짓을 활용하여 로지스틱 회귀식 도출성공확률에 대한 로그식을 선형회귀식으로 산출설명변수들이 주어졌을때 성공범주에 속할 확률을 구하기1/ 양쪽에 지수함수를 씌움2/ cross로 곱한다음 정리→ 성공확률의 식 회귀계수의 추정베르누이 분포로지스틱 회귀는 베르누이 시행(Bernoulli trial)을 전제로 하는 모델입니다. 베르누이 시행이란 어떤 실험이 두 가지 결과만을 가지는 실험을 가리킵니다. 베르누이 시행의 결과에 따라 0(실패) 또는 1(성공)의 값을 대응시키는 확률변수(random variable)를 베르누이 확률변수라 합니다. 이 확률변수의 확률분포를 베르누이 분포라고 합니다.     Likelihood는 각각의 객체들에 대해 정답 클래스로 분류될 확률 (모델 A의 glass1에서 likelihoo..

로지스틱이 필요한 이유- 종속변수가 특이할 경우- 종속변수가 이항변수인 경우(변수가 가지는 값이 딱 2가지인 경우)OLS 회귀분석을 쓰면 안되는 이유예제 : 타이타닉, 독립변수 : survived, 종속변수 : pclassimport seaborn as snsimport statsmodels.api as smimport pandas as pdimport numpy as nptitanic = sns.load_dataset("titanic")model1 = sm.OLS.from_formula("survived ~ C(pclass)", data=titanic)result1 = model1.fit()print(result1.summary())1st class의 생존 예측 결과 : 0.62962nd class의 ..

다중선형회귀분석 목적 : 정량적인 종속변수 Y와 여러가지 설명변수 X들의 사이에 선형관계식을 찾는것 다중선형회귀분석의 식 결합 계수(베타)들은 이미 정의가 되어 있음 그러나 앱실론 (노이즈)이 문제 (시스템이나 사람이 어찌할 수 없는 변동성을 노이즈라고 칭함) 따라서 다중선형회귀분석의 목적은 베타(회귀계수)들을 찾는것. 다중선형회귀분석의 2가지 유형 1. 설명적 회귀분석(explanatory regression) 설명변수와 종속변수의 관계를 설명하는 것이 목적 모델의 목적은 데이터를 잘 fitting하여, 설명변수가 종속변수에 얼마나 영향을 끼치는지 알아내는것 얼마나 모델이 잘 만들어졌는지는 R-squared로 판단 (+residual analysis(잔차분석) , p-values) 여기서 중요한것은 베..