Dealing with Data Imbalance in Text_Classification

Dealing_with_Data_Imbalance_in_Text_Classification.pdf

Text Classification - Class Imbalance

특정 클래스 들의 데이터 수가 상대적으로 적은 Imbalance(불균형) 문제

Text Representation

<aside> 💡 텍스트를 벡터 형태로 바꾼 representation을 생성해내는 것

</aside>

• 대표적인 예

  • Bag of Words(BoW)

  • TF-IDF

  • GLOVE

    → 단어 등장 수를 표현한 행렬을 Factorization 등의 방법으로 차원을 줄인 후 사용하는 방법

  • DOC2VEC

    → Word2Vec을 기반으로 만들어진 embedding 방법

    → 단어들간의 관계(동의어와 반의어 관계 등)를 파악 가능

  • Word2Vec with char n-grams(fastText)

Class Imbalance로 인해 발생하는 문제점 및 해결 방법

• Class 등의 수가 너무 불균형할 때 일반적인 Classfire 들은 제대로 작동을 못함.
• precision과 recall 간의 trade-off를 잘 처리하기 위한 방법들이 필요.
  1. 분류 전에 전처리를 하는 방식
  2. 분류 알고리즘 자체를 수정

Resampling Methods

<aside> 💡 데이터 셋을 수정해서 클래스의 사이즈 간 차이를 줄이는 방법

</aside>

Resampling 방식

1. Undersampling - majority class(data 수가 많은 class)의 데이터를 삭제하는 방식

   → 기존 실험들에서 좋지 않은 결과를 내는 것으로 밝혀짐. → ❌

2. Oversampling - minority class(data 수가 적은 class)의 데이터를 만들어내는 방식

Oversampling

1. Random Oversampling

   <aside> 💡 minority class 에서 샘플을 랜덤으로 뽑아서 복사하는 방법

   </aside>

2. SMOTE(= Synthetic Minority Over-sampling Technique)

   <aside> 💡 minority class 의 샘플을 가져와 이들을 잇는 선에서 중간값을 택하여 만들어내는 방식

   </aside>

   

   • 합성을 기반으로 하는 방법임.

3. SMOTE-SVM

   <aside> 💡 SVM Classfier에 의해 만들어진 Suppoort Vectors(경계선과 가까운 vertor들)에 속하는 인스턴스 들에만 SMOTE algorithm 을 적용한 방법

   </aside>

   • SVM을 학습 후 support vector들에 속하는 샘플들이 나오면 SMOTE를 이용해 Oversampling
   • 클래스 간의 경계선을 좀 더 뚜렷하게 만드는 효과