선정 논문 : Batch Normalization: Accelerating Network Training by Reducing Internal Covariate Shift

❔해당 논문 선정 이유

• 이 당시에 학습 속도를 향상시키는 방법에 대해 어떤 방법을 이용했는지 궁금해 읽어보게 되었습니다.

🔎 Covariate Shift 현상

입력 데이터의 분포가 학습할 때와 테스트할 때 다르게 나타나는 현상

Covariate Shift 현상

🔎 Internal Covariate Shift 현상

뉴럴 네트워크 내부에서 Covariate Shift가 일어나는 현상

출처: https://github.com/ndb796/Deep-Learning-Paper-Review-and-Practice

• 매 단계마다 hidden layer에 입력으로 들어오는 데이터의 분포가 달라지는 것입니다.
• ReLU 함수를 이용하거나 적은 학습률을 적용하는 것과 같은 방식으로 이 문제를 해결 가능하지만, ReLU 함수를 적용한다면 훈련 초기엔 괜찮을 수 있으나, 후반부로 갈수록 같은 문제가 발생할 수 있으며, 적은 학습률을 적용시 학습속도가 느려질 수 있는 문제점이 존재합니다.
• 이 논문의 저자는 학습이 잘 되지 않는 근본적인 문제를 다음 현상으로 인한 것으로 주장을 하며, Batch Normalization 기법이 이 현상을 해결해준다고 주장했습니다.

Abstract / Introduction

• 해당 논문에서는 제일 먼저 Internal Covariate Shift 현상으로 인한 문제점을 제시했습니다.

• 그래서 각 training mini-batch에 대한 정규화를 수행하면서 이런 문제를 해결하고자 했고, Batch Normalization을 사용했을 때 14배 빠른 속도로 동일한 성능 내는 것을 확인했습니다.

  → Internal Covariate Shift 문제를 해결하기 위한 방법으로 Batch Normalization(배치 정규화) 제시했습니다.

Normalization via Mini-Batch Statistics