다중선형회귀분석 목적 : 정량적인 종속변수 Y와 여러가지 설명변수 X들의 사이에 선형관계식을 찾는것 다중선형회귀분석의 식 결합 계수(베타)들은 이미 정의가 되어 있음 그러나 앱실론 (노이즈)이 문제 (시스템이나 사람이 어찌할 수 없는 변동성을 노이즈라고 칭함) 따라서 다중선형회귀분석의 목적은 베타(회귀계수)들을 찾는것. 다중선형회귀분석의 2가지 유형 1. 설명적 회귀분석(explanatory regression) 설명변수와 종속변수의 관계를 설명하는 것이 목적 모델의 목적은 데이터를 잘 fitting하여, 설명변수가 종속변수에 얼마나 영향을 끼치는지 알아내는것 얼마나 모델이 잘 만들어졌는지는 R-squared로 판단 (+residual analysis(잔차분석) , p-values) 여기서 중요한것은 베..

비용함수와 최소제곱법(최소자승법)저번시간에는 선형회귀분석의 비용함수에 대해 알아보았습니다. 이제는 비용함수의 기울기가 최소(0)이 되도록 계산하겠습니다. 최소제곱법/최소자승법(OLS) 계산비용함수의 기울기가 0이 되도록 계산 (최소제곱법/최소자승법(OLS)) 기울기가 0인 것을 목표로 하기 때문에 w와 b의 기울기공식을 연립방정식으로 풀면 w와 b의 값을 알아낼 수 있습니다.위의 W와 b의 공식을 정리하면 다음과 같습니다.이제 위 두 식을 연립방정식으로 풀어보겠습니다. 하지만 식이 복잡하여 일반 연립방정식으로는 풀 수 없고 행렬을 이용해서 풀어주어야 합니다. 위 식을 행렬로 나타내 보겠습니다.위 행렬은 AB = C형식으로 되어있는데 여기서 B를 구하려면 양변에 A의 역행렬을 곱해주어야 합니다. 이를 할 ..