Batch Normalization: Accelerating Network Training by Reducing Internal Covariate Shift 리뷰

기존에 NLP 프로젝트를 진행하며 한 쌍의 문장(전제와 가설로 구성됨)을 entailment(관련있음), contradiction (모순) 또는 neutral (관련없음) 세 가지 범주로 분류하는 프로젝트를 진행했는데, 전부터 배치 정규화에 대해 궁금해서 이와 관련된 논문인 ‘Batch Normalization: Accelerating Network Training by Reducing Internal Covariate Shift’를 읽게 되었다.

Internal Covariate Shift 문제를 해결하기 위한 방법으로 Batch Normalization(배치 정규화) 방법을 논문의 저자들이 제시하였고, Batch Normalization은 네트워크 훈련 과정에서 Internal Covariate Shift 현상을 줄여주어 학습 속도를 개선시켜주며 높은 정확도를 갖게 해준다고 주장했다. 결론적으로 Batch Normalization은 인공 신경망의 학습 과정을 가속화하고 성능을 향상시킬 수 있는 좋은 도구이며, 다양한 응용 분야에서 활용이 가능하다는 것을 말한다는 걸 이 논문을 통해 알 수 있었다.

하지만, 교수님께서 알려주신 ‘How Does Batch Normalization Help Optimization?’ 논문을 읽고, Batch Normalization과 Internal Covariate Shift 현상은 크게 관계가 없다는 것을 알 수 있었다.

이 논문을 통해 같은 문제점을 해결하는데 시간이 지날 수록 다르게 판단된다는 점을 알 수 있었고, 어느 연구를 하는데에 있어 문헌 조사를 좀 더 깊게 해야된다는 필요성을 느꼈다.