CS231n : lecture4_Introduction to Neural Networks
·
Study/cs251n
Backpropagationforward pass에서 local gradient를 구하고backward pass에서 global gradient를 구한다.(local gradient를 chain rule을 활용해서): chain rule을 통해 local gradient와 global gradient의 곱으로써 표현해서 계산아래에 예시에서 살펴보자면: add gate -> gradient distributor, 전의 gradient를 그대로 전파(local gradient의 값이 1이므로): max gate : gradient router: mul gate : gradient switcher, local gradient가 바뀌기 때문에즉, 위를 정리해보자면local gradient1. local grad..