딥러닝 1단계 <계산 그래프로 미분하기>

<계산 그래프로 미분하기>

https://www.edwith.org/deeplearningai1/lecture/34808/

[LECTURE] 계산 그래프로 미분하기 : edwith

- v에 대한 J의 도함수 구하기 : v의 값을 아주 조금만 바꾸면 J의 값이 어떻게 바뀌는지

- 역전파는 마지막 출력값 변수의 v에 대한 도함수를 받으면 그래프에서 한 단계 뒤로 가는 것
- dJ/da : a의 값을 증가시키면 J값에 어떤 영향?
- a를 바꾸면 v도 바뀌고 v를 바꾸는 것으로 J도 바꿀 수 있음
- a의 변화 -> v 증가 : dv/da에 의한 양만큼 증가
- v의 변화 -> J 증가 : dJ/dv에 의한 양만큼 증가
- 미적분의 연쇄법칙 : 만약 a가 v에 영향을 끼치고 그것이 J에 영향을 끼친다면 a를 밀었을 때 J의 변화량은 a를 밀었을 때 v의 변화량과 v를 밀었을 때 J의 변화량의 곱
- v에 대한 도함수인 dJ/dv를 계산하는 것이 dJ/da를 계산하는데 도움

- 최종 출력값 J --코드에서--> 구하고자 하는 최종 출력값 변수 "dvar"

 

- 도함수를 계산할 때 가장 효율적인 방법은 오른쪽에서 왼쪽으로 역방향 계산

- 최적화하고자 하는 J같은 비용함수를 계산할 때는 왼쪽으로 오른쪽으로의 정방향 계산