minima-saddle-point

• toc {:toc}

Optimizer 를 공부하면서 Local Minima 에 빠지거나 Saddle Point 에 빠져버리는 문제를 마주했다. 이 문제에 대해 파악해보자.

Global, Local Minima 란?

• Global Minima : 최솟값

• Local Minima : 극솟값

• 최솟값: 정의역 내에서 가장 작은 값

• 극솟값: 주위의 모든 점의 함숫값 이하의 함숫값

• 일반적으로 모델을 훈련시키면서 Loss Function 을 최소화하기 위해 노력하고 가장 타겟값과 유사하도록 Loss 값의 최솟값을 찾는 것이 목적이다.

  때문에 최솟값을 구하기 위해 Gradient Descent 를 통해서 가중치를 학습하다보면 극솟값에 도달하게 된다. 이 때, Gradient Descent 와 같은 경우 첫 번째 극솟값에서 멈추게 되므로 Local Minima 에 빠져버리는 문제가 발생한다.

• 때문에 이를 해결하기 위해서 Momentum 과 같이 관성을 주며 Local Minima 를 빠져나갈 수 있는 여지를 주는 것이다.

{: width=“600”}{: .center}

Saddle Point 란?

• Saddle Point(안장점) : 다변수 실함수의 번역에서, 어느 방향에서 보면 극댓값이지만 다른 방향에서 보면 극솟값이 되는 점이다.
• 아래 그림의 빨간점으로 표시된 부분을 말한다.
• 안장점 같은 경우도 gradient 가 0 이 되기 때문에 학습결과가 안장점에서 수렴할 수 있다는 점이 문제가 된다.

{: width=“600”}{: .center}