회귀분석 회귀분석이란 독립변수(=설명변수)라 불리우는 하나(또는 둘 이상)의 변수에 기초하여 종속변수(=피설명 변수)라 불리우는 다른 한 변수의 값을 설명하고 예측하는 추측통계이다. 상관분석 : 두 변수 모두 확률변수로 가정, 두 변수간의 선형성 전도를 추정하는 것이 목적 회귀분석 : 독립변수는 확정변수로 가정하고 종속변수는 확률변수로 가정, 독립변수의 주어진 값으로 종속변수의 평균값을 추정, 예측하는 것이 목적 단순선형회귀분석 만약 X값이 [1,2,3,4,5] 이고 Y가 [1,3,5,7,9] 이라고 가정합니다. 예를들어 X가 2일 때 Y는 3인 것입니다. 그렇다면 X가 6일때 Y는 얼마일까요? 바로 아시겠지만 Y는 11입니다. 이를 함수로 만든다면 F(X) = 2X -1 인 것입니다.위의 예제는 간단해..

비용함수와 최소제곱법(최소자승법)저번시간에는 선형회귀분석의 비용함수에 대해 알아보았습니다. 이제는 비용함수의 기울기가 최소(0)이 되도록 계산하겠습니다. 최소제곱법/최소자승법(OLS) 계산비용함수의 기울기가 0이 되도록 계산 (최소제곱법/최소자승법(OLS)) 기울기가 0인 것을 목표로 하기 때문에 w와 b의 기울기공식을 연립방정식으로 풀면 w와 b의 값을 알아낼 수 있습니다.위의 W와 b의 공식을 정리하면 다음과 같습니다.이제 위 두 식을 연립방정식으로 풀어보겠습니다. 하지만 식이 복잡하여 일반 연립방정식으로는 풀 수 없고 행렬을 이용해서 풀어주어야 합니다. 위 식을 행렬로 나타내 보겠습니다.위 행렬은 AB = C형식으로 되어있는데 여기서 B를 구하려면 양변에 A의 역행렬을 곱해주어야 합니다. 이를 할 ..