Tutorial Notebook

Numpy, Pandas Python Package

import numpy as np
import pandas as pd

import os
for dirname, _, filenames in os.walk('/Kaggle/input'):
    for filename in filenames:
        print(os.path.join(dirname,filename))

WANDB (Weights & Biased)

• WANDB는 MLOps 플랫폼으로 머신러닝, 딥러닝을 학습하는데 필요한 다양한 기능들을 제공함.
• 대표적인 기능
  • 실험관리
  • 하이퍼파라미터 튜닝
  • 데이터, 모델 버저닝
  • 모델 관리
  • 데이터 시각화
  • 협업 리포트

초기 설정

1. WANDB 홈페이지에 접속해 회원가입

2. WANDB Library 설치

   pip install wandb
   

3. WANDB 로그인

   wandb login
   
   # 결과:
   wandb: You can find your API key in your browser here: <https://app.wandb.ai/authorize>
   wandb: Paste an API key from your profile and hit enter:
   

   • 위 링크로 들어가 API Key 복사
   • 커맨드 창에 붙여넣기 후 엔터
   • 로그인 완료

   

os.environ[”WANDB_API_KEY”] 입력

os.environ["WANDB_API_KEY"] = "<WANDB API KEY 입력>" ## to silence warning

transformers, matplotlib, tensorflow

transformers 패키지 설치

pip install transformers

Import

from transformers import BertTokenizer, TFBertModel
import matplotlib.pyplot as plt
import tensorflow as tf