수치 미분(Numerical differentiation)이란?
[밑바닥부터 시작하는 딥러닝 1] Ch 5. 오차역전파법
[35편] 딥러닝의 핵심 개념 - 역전파(backpropagation) 이해하기1
딥러닝을 공부하다 보면 항상마주치는 개념이 있다.
딥러닝 뉴비
들이 갈려나가는 첫번째 위기라고 할 수 있는 오차역전파 (backpropagation)
이다.
고등학교 이후 수학, 특히 미분과 담을 쌓은 사람이라면 또는 수포자였다면 해당 위기는 정말 큰 위기로 느껴질 것이다.
하지만 딥러닝의 핵심을 이해하기 위해서는 (오차역전파라는 개념이 존재했기 때문에 현재의 딥러닝이 가능한 것이다. 최근에는 역전파 이외에 forward-forward라는 방법도 제시되고 있다) 해당 개념을 이해하고 넘어가는 것이 필수 적이다.
이번 시간에는
역전파와 관련된 개념들을 알아보고
numpy를 활용해서 직접 구현해보는 실습 시간을 가져보려고 한다.
오차 역전파의 개념
과 미분이 딥러닝에서 어떻게 활용되는지 알아본다
위 개념들을 활용하여 python과 numpy로 직접 오차 역전파를 구현해본다