수치 미분(Numerical differentiation)이란?
[밑바닥부터 시작하는 딥러닝 1] Ch 5. 오차역전파법
[35편] 딥러닝의 핵심 개념 - 역전파(backpropagation) 이해하기1
딥러닝을 공부하다 보면 항상마주치는 개념이 있다.
딥러닝 뉴비들이 갈려나가는 첫번째 위기라고 할 수 있는 오차역전파 (backpropagation) 이다.
고등학교 이후 수학, 특히 미분과 담을 쌓은 사람이라면 또는 수포자였다면 해당 위기는 정말 큰 위기로 느껴질 것이다.
하지만 딥러닝의 핵심을 이해하기 위해서는 (오차역전파라는 개념이 존재했기 때문에 현재의 딥러닝이 가능한 것이다. 최근에는 역전파 이외에 forward-forward라는 방법도 제시되고 있다) 해당 개념을 이해하고 넘어가는 것이 필수 적이다.
이번 시간에는
역전파와 관련된 개념들을 알아보고 numpy를 활용해서 직접 구현해보는 실습 시간을 가져보려고 한다.
오차 역전파의 개념과 미분이 딥러닝에서 어떻게 활용되는지 알아본다위 개념들을 활용하여 python과 numpy로 직접 오차 역전파를 구현해본다