Neural Networks(NN)

<aside> 💡 Neural Networks are computing systems inspired by the biological neural networks

</aside>

기존의 Linear score function

2-Layer Neural Network

• Neural Network는 매우 광범위한 용어

  → “Fully Connected network”나 “Multi-layer perceptrons”라고 부르는게 더 정확함.

• ReLU 함수라 가정할 때, $W_1x$가 음수면 무시하며, 양수면 가중치 계산에 이용하게 됨.

2-Layer Neural Network - Example

Activation Function(활성화 함수)

• Neural Network를 Activation Function 없이 만들 때 일어나는 일,,

  $f = W_2W_1x$

  • Layer를 아무리 많이 사용해도 Matrix를 곱한 것과 다를 것이 없어짐.

    (선형 변환을 한 번만 한 꼴이므로…)

    ⇒ 이러한 이유로 Activation Function을 꼭 사용해야함.

• 위의 $max(0,W_1x)$와 같은 함수를 Activation Function이라고 부름.

• 만약, Activation Function 없이 neural network를 만드려면 어떻게 해야할까?

  → 선형 변환만 아니도록 Linear Classifier로 다시 끝나야함.