기존 학습 진행 시

• google colab - GPU 기준으로 한 epoch당 33분 정도 소요

  → 학습 속도를 개선하기 위한 방법이 필요하다 생각됨.

학습 속도 개선을 위한 방법들

• 미세 조정 대상 레이어 지정
• Optimizer 및 학습률 조정
• 배치 크기 조정
• 데이터 전처리 개선

→ 위와 같은 방법들로 build_model() 함수를 변경함.

미세 조정 대상 레이어 지정

• ‘robertaModel’의 미세 조정 대상 레이어를 지정함.

• TFXLMRobertaModel.from_pretrained() 에서 ‘trainable 매개변수를 True로 설정함

  → 모든 레이어를 미세 조정함

• trainable=True로 설정함

  → 일부 레이어만 미세조정

• Example

  robertaModel = TFXLMRobertaModel.from_pretrained(model_name, trainable=True)
  

Optimizer 및 학습률 조정

• Optimizer와 학습률은 학습 속도에 영향을 미칠 수 있는 중요한 요소
• 다른 Optimizer를 시도하거나 학습률을 변경
• 학습률을 더 작게 변경

배치 크기 조정

• 학습 속도에 영향을 줄 수 있는 요소
• 더 작은 배치 크기로 학습을 진행하면 학습속도가 더 빨라짐.