optimizer

Optimizer 란?

• Optimization(최적화) 기능을 하는 알고리즘을 말한다.

Optimization 이란?

• 어떤 제약조건이 있을 수도 있는 상황에서 함수의 최대치와 최소치를 찾는 것이다.
• 최적화문제는 자원 (메모리, 시간 등) 의 한계 내에서 가능한 한 최선의 값을 찾아내는 것이다.

최적화 과정

{: .center}

1. 훈련세트에서 Neural Network 를 거쳐 Output 을 산출한다.
2. Output 과 실제값 사이의 Loss Function 을 정의하고 Loss 값을 구한다.
3. Loss 값을 줄여주는 Gradient 를 구하고 Weight 에 업데이트 해준다.
4. 1~3 과정을 반복하여 주어진 자원 내에서 최적의 값을 찾아낸다.

⇒ 위의 과정을 최적화 과정이라 한다.

Optimizer 종류

{: .center}

Gradient Descent (경사하강법)

• 가장 기본이 되는 Optimizer 이다.
• 경사를 따라 내려가면서 Weight 를 업데이트해 최솟값을 찾는 방식이다.

Gradient Descent 페이지 참고

• 업데이트 값은 학습률과 gradient 의 곱으로 이루어진다.

단점

• Global Minima, Local Minima 문제가 발생한다.

• Saddle Point(안장점) 문제가 발생한다.

  Global & Local Minima, Saddle Point 참고

Momentum

• Global Minima 를 구하기 위해서 관성의 법칙을 적용시킨 Optimizer 이다.

Local Minima 에 빠졌을 때 이전에 떨어지던 속도를 살려 빠져나가보자! 라는 아이디어를 갖는다.

• SGD 에 Momentum 을 합쳐서 적용시킨다.

{: width=“600”}{: .center}

출처 : https://ratsgo.github.io/deep learning/2017/04/22/NNtricks/

v_{t+1}=\rho v_t - \alpha\nabla f(x_t+\rho v_t) \~\

w_{t+1} = w_t+v_{t+1}

G_{t+1}=G_t+(g_{t+1})^2 \~\

w_{t+1}=w_t-\frac \alpha {\sqrt{G_{t+1}+e}}g_{t+1}

g_t

G_t

G_{t+1}=\gamma G_t+(1-\gamma)(g_{t+1})^2 \~\

w_{t+1}=w_t-\frac \alpha {\sqrt{G_{t+1}+\epsilon}}g_{t+1}

\gamma

\alpha

\epsilon

\sqrt{G_{t+1}+\epsilon}