Stacking Model

Stacking Model 이란,

• 쌓는다는 의미의 Stacking
• 기반 모델들이 예측한 값들을 데이터 세트로 한 후 학습 데이터 세트로 메타모델이 다시 학습하고 예측하는 모델.

교차 검증 세트 기반의 Stacking

• Test 데이터 셋을 기반으로 한 학습의 Over Fitting에 대한 개선을 위한 Stacking
• 개별 모델들이 각각 교차 검증으로 메타 모델을 위한 학습용 Stacking 데이터 생성과 예측을 위한 테스트용 Stacking 데이터 생성 후 이를 기반으로 메타 모델이 학습과 예측을 수행함.

교차 검증 세트 기반의 Stacking 단계

1. 각 모델별로 원본 학습/테스트 데이터를 예측한 결과 값을 기반으로 메타 모델을 위한 학습용/테스트용 데이터를 생성함.
2. Step 1에서 개별 모델들이 생성한 학습용 데이터를 모두 Stacking 형태로 합쳐서 메타 모델이 학습할 최종 학습용 데이터 세트를 생성함.
3. 나머지 각 모델들이 생성한 테스트용 데이터를 모두 Stacking 형태로 합친 후 메타 모델이 학습할 최종 학습용 데이터 세트를 생성함.
4. 메타 모델은 최종적으로 생성된 학습 데이터 세트와 원본 학습 데이터의 레이블 데이터를 기반으로 학습함.
5. 학습 후 최종적으로 생성된 테스트 데이터 세트를 예측하고, 원본 테스트 데이터의 레이블 데이터를 기반으로 평가함.

첫번째 K Fold : M x N → M x 1 (M, )

Feature Selection

Feature Selection이란,

• 모델을 구성하는 주요 피처들을 선택하는 것