반응형

분산 2

[Machine Learning][머신러닝] Bagging, Boosting 정리

편향-분산 상충관계(Bias-variance Trade-off) 1) 편향과 분산의 정의 편향(Bias): 점추정 예측값과 실제값의 차이 모델 학습시 여러 데이터로 학습 후 예측값의 범위가 정답과 얼마나 멀리 있는지 측정 편향(Bias(Real)): 모형화(단순화)로 미처 반영하지 못한 복잡성 => 편향이 작다면 Training 데이터 패턴(복잡성)을 최대반영 의미 => 편향이 크다면 Training 데이터 패턴(복잡성)을 최소반영 의미 분산(Variance): 구간추정 학습한 모델의 예측값이 평균으로부터 퍼진 정도(변동성/분산) 여러 모델로 학습을 반복한다면, 학습된 모델별로 예측한 값들의 차이를 측정 분산(Variance(Real)): 다른 데이터(Testing)를 사용했을때 발생할 변화 => 분산이..

[회귀분석] 단순선형회귀분석(Linear Regression)(3) - 비용함수와 최소제곱법(최소자승법) (크래머공식 / 분산 / 공분산)

비용함수와 최소제곱법(최소자승법)저번시간에는 선형회귀분석의 비용함수에 대해 알아보았습니다. 이제는 비용함수의 기울기가 최소(0)이 되도록 계산하겠습니다. 최소제곱법/최소자승법(OLS) 계산비용함수의 기울기가 0이 되도록 계산 (최소제곱법/최소자승법(OLS)) 기울기가 0인 것을 목표로 하기 때문에 w와 b의 기울기공식을 연립방정식으로 풀면 w와 b의 값을 알아낼 수 있습니다.위의 W와 b의 공식을 정리하면 다음과 같습니다.이제 위 두 식을 연립방정식으로 풀어보겠습니다. 하지만 식이 복잡하여 일반 연립방정식으로는 풀 수 없고 행렬을 이용해서 풀어주어야 합니다. 위 식을 행렬로 나타내 보겠습니다.위 행렬은 AB = C형식으로 되어있는데 여기서 B를 구하려면 양변에 A의 역행렬을 곱해주어야 합니다. 이를 할 ..

반응형