Hyperparameters?

<aside> 💡 ML Algorithm의 구성 요소를 조정하는데 사용되는 매개변수

</aside>

• 최적의 K value? / 최적의 distance?
• 조금만 바뀌어도 다른 Algorithm이 됨…
• 가능한 모든 경우의 수를 시도 후 최적의 값을 찾아야함.
• Ex) 학습률(learning rate), 에포크 수(epochs), 배치 크기(batch size), 레이어의 수

Model Parameters v.s. Hyperparameters

• Model Parameter는 학습이 가능함
• Hyperparameter는 사용자가 정의함.

Data Split?

• #1에선 평가할 수 있는 방법이 없어 좋은 idea가 아님..

  → K에 대한 적절한 평가가 이루어지지 못함.

• #2에선 test dataset이 간접적으로 학습에 관여하게 됨..

  → 새로운 데이터에 대해 algorithm이 어떤 성능을 보여줄 것인지 모름.

• 위의 이유들을 보완하기 위해 dataset을 train, validation, test dataset으로 나눔.

  • validation : Train 과정에 이용 → Overfitting 방지
  • test : 직, 간접적으로 Train 과정에 사용되지 않은 데이터

Setting Hyperparameters

Example) 5-fold cross-validation for the value of k.