반응형

최소제곱법 2

[회귀분석] 단순선형회귀분석(Linear Regression)(3) - 비용함수와 최소제곱법(최소자승법) (크래머공식 / 분산 / 공분산)

1. [회귀분석] 단순선형회귀분석(Linear Regression)(1) - 단순선형회귀분석과 가정 : ysyblog.tistory.com/157 2. [회귀분석] 단순선형회귀분석(Linear Regression)(2) - 선형회귀분석과 비용함수 : ysyblog.tistory.com/155 저번시간에는 선형회귀분석의 비용함수에 대해 알아보았습니다. 이제는 비용함수의 기울기가 최소(0)이 되도록 계산하겠습니다. 비용함수의 기울기가 0이 되도록 계산 (최소제곱법/최소자승법(OLS)) 기울기가 0인 것을 목표로 하기 때문에 w와 b의 기울기공식을 연립방정식으로 풀면 w와 b의 값을 알아낼 수 있습니다. 위의 W와 b의 공식을 정리하면 다음과 같습니다. 이제 위 두 식을 연립방정식으로 풀어보겠습니다. 하지만 ..

[회귀분석] 단순선형회귀분석(Linear Regression)(2) - 선형회귀분석과 비용함수 (비용함수(Cost Function) / 최소제곱법 / 경사하강법 / 학습률/ Epoch)

1. [회귀분석] 단순선형회귀분석(Linear Regression)(1) - 단순선형회귀분석과 가정 : ysyblog.tistory.com/157 [기초통계학] 단순선형회귀분석(Linear Regression)(1) - 단순선형회귀분석과 가정 회귀분석 회귀분석이란 독립변수(=설명변수)라 불리우는 하나(또는 둘 이상)의 변수에 기초하여 종속변수(=피설명 변수)라 불리우는 다른 한 변수의 값을 설명하고 예측하는 추측통계이다. 상관 ysyblog.tistory.com 해당 포스팅은 위 포스팅에 이어서 진행됩니다. X값이 [1,2,3,4,5] 이고 Y가 [1,3,5,7,9] 인 예제를 활용하여 포스팅을 진행하겠습니다. 비용함수란? 단순선형회귀 분석에서는 선형성을 가정하기 때문에 H(w,b) = Wx + b [Y..

반응형