Gradient Descent - Follow the Slope

1D - the derivative of a function

Gradient

• Gradient x의 Dimension은 입력값의 Dimension과 같음.
• Multiple Dimension에서, Gradient는 각 Dimension에서 편미분한 값들의 벡터이다.
• 현재 위치에서의 미분값은 기울기가 됨!!

Follow the slope

• 기울기가 급할수록 더 빨리 움직임.
• Loss는 target과 output의 차이를 제곱하여 더한 값을 1/2 한 값.
• 변화량(Δw)은 Loss Function을 현재 가중치로 미분한 값을 의미함.

• 점점 최소 Loss에 근접하게 됨.

Gradient - Example

Convergence of Gradient Descent