- toc {:toc}
Optimizer를 공부하면서 Local Minima에 빠지거나 Saddle Point에 빠져버리는 문제를 마주했다. 이 문제에 대해 파악해보자.
Global, Local Minima란?
-
Global Minima : 최솟값
-
Local Minima : 극솟값
-
최솟값: 정의역 내에서 가장 작은 값
-
극솟값: 주위의 모든 점의 함숫값 이하의 함숫값
-
일반적으로 모델을 훈련시키면서 Loss Function을 최소화하기 위해 노력하고 가장 타겟값과 유사하도록 Loss값의 최솟값을 찾는 것이 목적이다.
때문에 최솟값을 구하기 위해 Gradient Descent를 통해서 가중치를 학습하다보면 극솟값에 도달하게 된다. 이 때, Gradient Descent와 같은 경우 첫 번째 극솟값에서 멈추게 되므로 Local Minima에 빠져버리는 문제가 발생한다.
-
때문에 이를 해결하기 위해서 Momentum과 같이 관성을 주며 Local Minima를 빠져나갈 수 있는 여지를 주는 것이다.
{: width=“600”}{: .center}
Saddle Point란?
- Saddle Point(안장점) : 다변수 실함수의 번역에서, 어느 방향에서 보면 극댓값이지만 다른 방향에서 보면 극솟값이 되는 점이다.
- 아래 그림의 빨간점으로 표시된 부분을 말한다.
- 안장점 같은 경우도 gradient가 0이 되기 때문에 학습결과가 안장점에서 수렴할 수 있다는 점이 문제가 된다.
{: width=“600”}{: .center}