Backpropagation (역전파)

역전파는 신경망의 각 노드가 가지고 있는 가중치(Weight)와 편향(Bias)을 학습시키기 위한 알고리즘으로, 목표(Target)와 모델의 예측 결과(Output)가 얼마나 차이가 나는지 확인하고 그 오차(error)를 바탕으로 가중치와 편향을 뒤에서부터 앞으로 갱신해가는 것을 의미한다.

 

·       target : 출력의 기대 값, output : 실제 출력 값,  E : 오차

 

Back-propagation Process

1) 주어진 입력값에 상관없이, 임의의 초기 가중치(w)를 준 뒤 은닉층을 거쳐 결과를 계산합니다.

2) 계산 결과와 실제 예측하고자 하는 값 사이의 오차를 구합니다.

3) 가중치를 업데이트 합니다.

4) '1~3'의 과정을 오차가 더이상 줄어들지 않을 때까지 반복합니다.

 

 

역전파 알고리즘도 한계점은 있다. 은닉층에서 시그모이드(Sigmoid) 함수를 사용하면 가중치 조정을 위해 경사감소법을 사용하는데, 계단형식 함수를 미분가능하도록 곡선화 한다. 은닉층이 깊어질 수록 가중치가 0으로 수렴하며 정확성이 감소한다. 이러한 역전파 알고리즘의 문제점을 해결하기 위해 ReLu 알고리즘을 사용한다. ReLu는 x 값이 0이하이면 0을 출력, 0 이상이면 비례함수를 적용하여 max(0,x) 함수를 사용한다.