Abstract

⭐ Summary

• 이 아키텍처의 주요 특징은 네트워크 내부의 컴퓨팅 리소스의 활용도가 향상되었다는 점임.

  → 정교한 설계 덕에 네트워크의 depth & width를 늘려도 연산량이 증가하지 않고 유지됨.

• Goggle 팀에서는 성능을 최적화하기 위해 Hebbian principle과 multi-scale processing을 적용함

  → 이 구조를 GoogLeNet 이라고 부름

  → GoogLeNet은 22개의 layer를 가지며, Inception 이라는 코드네임을 가짐.

🔎 Hebbian Principle

• 함께 활성화되는 뉴런은 함께 연결된다.

  → 신경과학적 관점에서 Hebbian Principle은 뉴런 간 시냅스 연결의 강도 조절과 연관이 있음. 만약 2개의 뉴런이 동시에 활성화되면 그들 간의 시냅스 연결이 강화되고, 동시성이 없거나 차이가 있으면 연결 강도가 약화됨.

• 학습과 기억 메커니즘을 설명하는 데에 사용됨.

  → 어떤 경험이나 학습 상황에서 동시에 활성화되는 뉴런들은 그 경험을 나타내는 패턴으로 연결이 강화되어 미래에 비슷한 패턴이 나타날 때 해당 뉴런들이 함께 활성화되기 쉽게됨.

• 뉴런 간 연결 강도를 조절하여 인공신경망에서 학습 알고리즘을 개발하는 데에도 사용됨.

🔎 Multi-scale Processing

• 신호나 데이터를 다양한 해상도나 크기로 동시에 처리하는 개념
• 인지적인 처리, 이미지 처리, 음성 처리 등 다양한 분야에 사용됨.
• 정보의 계층적인 구조를 이용하여 특징을 추출하고 의미있는 패턴을 파악하는 데에 유용함.
• Ex) 컴퓨터 비전에서 객체 인식을 수행할 때, 다중 스케일 처리는 다른 크기의 객체에 대한 정보를 동시에 처리하여 크기에 불변적인 특징을 추출하는데 사용될 수 있음.

Introduction

⭐ Summary - 1

• 딥러닝의 발전 동향, GoogLeNet이 나오게 된 배경, 설계 주안점에 대한 소개
  • 지난 3년간, 딥러닝의 발전 덕분에 CNN 분야에서 큰 발전이 이루어졌는데, 이 발전은 단순히 더 좋은 하드웨어의 성능, 더 큰 Dataset, 더 큰 모델 때문이기 보다는 새로운 아이디어와 알고리즘, 그리고 개선된 신경망 구조 덕분임.
• Google 팀이 개발한 GoogLeNet은 AlexNet보다 파라미터의 수가 12배나 적음에도 불구하고 훨씬 정확함.