분류(Classification)

• 학습 데이터로 주어진 데이터의 피처와 레이블 값(결정 값, 클래스 값)을 머신러닝 알고리즘으로 학습해 모델을 생성함.
• 이렇게 생성된 모델에 새로운 데이터 값이 주어졌을 때 미지의 레이블 값을 예측함.

대표적인 분류 알고리즘

• 베이즈(Bayes) 통계와 생성 모델에 기반한 나이브 베이즈

• 독립변수와 종속변수의 선형 관계성에 기반한 로지스틱 회귀

• 데이터 균일도에 따른 규칙 기반의 결정 트리

• 개별 클래스 간의 최대 분류 마진을 효과적으로 찾아주는 서포트 벡터 머신

• 근접 거리를 기준으로 하는 최소 근접 알고리즘

• 심층 연결 기반의 신경망

• 서로 다른(또는 같은) 머신러닝 알고리즘을 결합한 앙상블

  (앙상블은 기반 알고리즘으로 결정트리 사용)

결정 트리와 앙상블

• 결정 트리는 매우 쉽고 유연하게 적용될 수 있는 알고리즘
• 사전 가공(데이터 스켈일링, 정규화 등)의 영향이 매우 적음.
• 매우 많은 여러개의 약한 학습기를 결합해 예측 성능을 향상시킴.

결정 트리

루트 노드(왼쪽: Yes / 오른쪽: No)

• 데이터에 있는 규칙을 학습을 통해 자동으로 찾아내 트리 기반의 분류 규칙을 만듦.

  (If-Else 기반 규칙)

• 어떤 기준을 바탕으로 규칙을 만들지가 알고리즘의 성능을 크게 좌우함.

트리 분할을 위한 데이터의 균일도