backpropagation

📌 신경망의 훈련과정인 오차역전파에 대해 알아보자. {: .note}

Back-propagation(오차 역전파)

Neural Net을 통한 심층신경망을 구성한 경우 Input값은 신경망을 거쳐 Output으로 산출된다.

Forwardpropagation

• Forwardpass : Input → Net → Output 의 과정
• Forward-Propagation : 손실값을 구하기 위해서는 Fowardpass를 거쳐 예측값과 실제값의 비교를 통해서 손실값을 구할 수 있었다. 이처럼 순차적으로 계산해 손실값을 구하고 Neural Network의 가중치를 학습하는 과정을 말한다.
• Fowardpropagation의 경우 각 Layer의 뉴런들과 전부 연결되어야 하기 때문에 계산량이 많다.

{: width=“600”}{: .center}

위와 같이 연쇄 법칙을 사용하여 표현할 수 있다.

• Output을 결정하기 위해 15번의 계산을 해야 한다.
• 이미지를 계산한다고 가정하면 는 각 픽셀들이 되어 Output을 구한다. 한 개의 이미지를 처리한다고 하더라도 훈련데이터의 크기, 은닉층의 깊이가 깊어질수록 계산량이 기하급수적으로 증가한다.

⇒ 이를 해결하기 위해 Back-propagation을 고안했다.

Backpropagation

• Backwardpass : Forwardpass와의 반대방향으로 이동하는 과정 Output → Net → Input
• Backpropagation : Output Layer부터 역순으로 Gradient를 전달하여 전체 Layer의 가중치를 업데이트하는 방식
• 연쇄법칙(Chain Rule)을 사용한 연산을 통해 계산량을 현저하게 줄일 수 있다.

위 그림의 합성함수를 gradient를 구하기 위해 편미분을 통해 표현하면 아래와 같이 표현할 수 있다.

• 아래 그림의 Backwardpass와 같이 Output에서 사용한 연산을 x, y를 구할 때 연쇄법칙을 통해 사용함으로써 간단하게 gradient를 구할 수 있다.

{: .center}

{: .center} 출처: CS231n Lecture4 Backpropagation

결국 Input이 Layer 1개에 들어가 계산을 진행할 때 gradient 계산을 해둔다면 Backpropagation으로 거슬러 올라갈 때 이전 gradient와의 연쇄법칙을 통해 원하는 gradient를 쉽게 구할 수 있다.