딥러닝 구성 요소

layer (층)

• 입력층(Input Layer) : 데이터를 받아들이는 층
• 은닉층(Hidden Layer) : 모든 입력 노드부터 입력 값을 받아 가중합을 계상하고, 이 값을 활성화 함수에 적용하여 출력층에 전달하는 층
• 출력층(Output Layer) : 신경망의 최종 결과값이 포함된 층

Weight (가중치)

• 노드와 노드 간의 연결강도
• 입력 값이 연산 결과에 미치는 영향력을 조절하는 요소

Bias (바이어스)

• 가중합에 더해주는 상수로, 하나의 뉴런에서 활성화 함수를 거쳐 최종적으로 출력되는 값을 조절하는 역할을 함.

Weight Sum (가중합)

• 가중치와 신호의 곱을 합한 것

• 전달함수라고도 함.

  → 노드의 가중합이 계산되면 이 가중합을 활성화 함수로 보내기 때문

• 가중합 공식

  

함수

• 활성화 함수(Activation Function) : 신호를 입력받아 이를 적절히 처리하여 출력해주는 함수

  Ex) Sigmoid, Hyperbolic Tangent, ReLU 등

  • Sigmoid

    

    • 선형 함수의 결과를 0~1 사이에서 비선형 형태로 변환해줌.
    • 로지스틱 회귀와 같은 분류 문제를 확률적으로 표현하는 데 사용됨.
    • 기울기 소멸 문제로 딥러닝 모델에선 잘 사용하지 않음.

  • Hyperbolic Tangent

    

    • 선형 함수의 결과를 -1 ~ 1 사이에서 비선형 형태로 변형해줌.
    • 결과값의 평균이 0이 아닌 양수로 편향된 문제를 해결하는 데 사용했지만, 기울기 소멸 문제는 여전히 발생함.

  • ReLU

    

    • 0보다 작은 입력에 대해서는 0을 출력하고, 0 이상의 입력에 대해서는 입력을 그대로 출력하는 함수
    • 기울기 소실 문제를 개선하고, 계산이 빠르며 신경망 학습에서 좋은 성능을 보임
    • 최근의 딥러닝 모델에서 가장 많이 사용되는 활성화 함수 중 하나

  • Leaky ReLU

    

    • 0보다 작은 입력에 대해서는 0.1과 곱한 값을 출력하고, 0 이상의 입력에 대해서는 입력을 그대로 출력하는 함수
    • ReLU의 문제점 중 하나인 죽은 뉴런(dead neurons)을 해결할 수 있음

  • Softmax

    

    • 입력받은 값을 출력으로 0~1사이의 값으로 모두 정규화하며 출력 값들의 총합은 항상 1이 되는 특성을 가지고 있음.
    • 출력 값이 확률로 해석될 수 있기 때문에, 다중 클래스 분류 문제에서 주로 사용됨.
    • 오버피팅(Overfitting) 방지에 효과적이며, 학습을 안정화시키는 효과가 있음.

  • ReLU & Softmax 구현(PyTorch)

    class Net(torch.nn.Module):
    	def __init__(self, n_feature, n_hidden, n_output):
    		super(Net, self).__init__()
    		self.hidden = torch.nn.Linear(n_feature, n_hidden) # hidden layer
    		self.relu = torch.nn.ReLU(inplace=True)
    		self.out = torch.nn.Linear(n_hidden, n_output) # output layer
    		self.softmax = torch.nn,Softmax(dim=n_output)
    	def forward(self, x):
    		x = self.hidden(x)
    		x = self.relu(x) # hidden layer를 위한 Relu 함수
    		x = self.out(x)
    		x = self.softmax(x) # output layer를 위한 Softmax 함수
    		return x
    

• 손실 함수(Loss Function) : 가중치 학습을 위해 출력 함수의 결과와 실제 값 간의 오차를 측정하는 함수

  • 평균 제곱 오차(Mean Squared Error)

    

    • 실제 값과 예측 값의 차이(error)를 제곱하여 평균을 낸 것

    • 회귀에서 손실 함수로 주로 사용됨.

    • 구현 (PyTorch)

      import torch
      
      loss_fn = torch.nn.MSELoss(reduction='sum')
      y_pred = model(x)
      loss = loss_fn(y_pred, y)
      

  • 크로스 엔트로피 오차(Cross Entropy Error)

    

    • classification(분류) 문제에서 원-핫 인코딩(One-Hot Encoding) 했을 때만 사용할 수 있는 오차 계산법

    • 일반적인 분류 문제에서 데이터의 출력을 0과 1로 구분하기 위해 Sigmoid 함수를 사용하지만, 이 함수에 포함된 자연 상수 e 때문에 평균 제곱 오차 적용 시 매끄럽지 못한 그래프가 출력됨.

    • 경사 하강법 과정에서 학습이 지역 최소점에서 멈출 수 있음.

    • 구현 (PyTorch)

      loss = nn.CrossEntropyLoss()
      # torch.randn: 평균이 0이고 표준편차가 1인 가우시안 정규분포를 이용하여 숫자 생성
      input = torch.randn(5, 6, requires_grad=True) 
      target = torch.empty(3, dtype=torch.long).random_(5)
      output = loss(input, target)
      output.backward()