SVM(Support Vector Machine) Classifier

• Supervised Learning
• 데이터 항목들을 분류하기 위해 고차원 공간에서 최적의 경계면(결정 경계)을 찾는 방법
• 결정 경계와 가장 가까운 훈련 데이터 Point(Support Vector) 사이의 마진(거리)을 최대화 하는 것.

Multiclass SVM Loss

• $(x_i,y_i)$

  • $x_i$ : 이미지 데이터
  • $y_i$ : 라벨 데이터(integer value)

• Scores Vector

  → $s = f(x_i,W)$

• 마진을 주기 위해 Δ를 사용함.

  • Δ를 빼주어 보다 Strict하게 Loss를 주게 됨.
  • 이를 통해 위의 부분에 위치한 데이터들을 보다 잘 분류할 수 있도록 함.

• Loss의 최소값을 0으로 하여, Loss가 이보다 작은 음수면 0이 됨.

SVM loss

SVM Loss 계산 - Example

• 전체 Loss를 줄이는 방향으로 이루어짐.