Deep Neural Networks 모델 성능 개선 과대적합과(Overfitting) 과소적합(underfitting) 최적화(Optimization)와 일반화(generalization) 최적화(Optimization): train data에서 최고의 성능을 얻으려고 모델을 조정하는 과정 (옵티마이저가 한다.) 일반화(Generalization): 훈련된 모델이 처음 보는 데이터에서 얼마나 잘 수행되는지를 의미 과소적합(Underfitting)의 발생 epoch가 진행될 수록 train loss와 test loss(validation loss)가 모두 안 좋음 핵심 : train loss도 안좋고 test loss도 안 좋다. 모델이 너무 단순하면 train loss가 줄어들 지 않는다. 그런 경우 ..

최적화 (Optimize) 모델이 예측한 결과와 실제 값의 차이를 줄이기 위해서 모델을 수정해야 하는 작업을 최적화라고 한다. 모델의 예측값과 실제 값의 차이를 계산하는 함수를 만들고 그 값이 최소가 되는 지점을 찾는 작업을 한다. 최적화 문제 함수 f(x) 의 값을 최소화(또는 최대화) 하는 변수 x의 값을 찾는 것 import numpy as np import matplotlib.pyplot as plt def func(x): return (x-1)**2 + 2 plt.figure(figsize=(10,10)) xx = np.linspace(-3,4, 100) # xx.shape, f1(xx).shape plt.plot(xx, func(xx)) plt.plot(1,2, 'ro', markersize=..