참고 자료

수치 미분(Numerical differentiation)이란?

[밑바닥부터 시작하는 딥러닝 1] Ch 5. 오차역전파법

[35편] 딥러닝의 핵심 개념 - 역전파(backpropagation) 이해하기1

오차역전파 — 응용수학 documentation

0. 들어가면서

딥러닝을 공부하다 보면 항상마주치는 개념이 있다.

딥러닝 뉴비들이 갈려나가는 첫번째 위기라고 할 수 있는 오차역전파 (backpropagation) 이다.

고등학교 이후 수학, 특히 미분과 담을 쌓은 사람이라면 또는 수포자였다면 해당 위기는 정말 큰 위기로 느껴질 것이다.

하지만 딥러닝의 핵심을 이해하기 위해서는 (오차역전파라는 개념이 존재했기 때문에 현재의 딥러닝이 가능한 것이다. 최근에는 역전파 이외에 forward-forward라는 방법도 제시되고 있다) 해당 개념을 이해하고 넘어가는 것이 필수 적이다.

이번 시간에는

역전파와 관련된 개념들을 알아보고 numpy를 활용해서 직접 구현해보는 실습 시간을 가져보려고 한다.

학습 목표


1. 미분 (differentiation)