Softmax Classifier

• raw classifier score를 확률로 해석하길 원함.

• Logistic Regression의 일반화

  → 다중 클래스에 적용할 수 있도록 확장함.

Softmax Function

• $s = f(x_i;W)$
• 입력 벡터를 합이 1이 되는 확률 값으로 변환하게 됨.

Softmax Classifier - Classify 과정

• Classifier가 예측한 정규화가 되지 않은 log-확률값(=logit)에 Exponential을 취함.
• 그 후, 정규화가 되지 않은 확률값들이 나오지만, 확률들의 합은 항상 1이어야 하므로 정규화를 함.
  • 확률들의 총합이 1이 됨.
• 정답 확률과 비교하기 위해 Cross Entropy 와 같은 손실 함수를 이용함.

Cross Entropy

모델이 예측한 확률 분포와 실제 라벨의 확률 분포 사이의 차이를 측정함.

$H(P,Q) = -\sum_{x}P(x) \log Q(x)$

• P(x) : 실제 확률 분포
• Q(x) : 모델이 예측한 확률 분포
• P(x)와 logQ(x)가 같으면 최소가 됨.
• 언제나 양수!!