[DL] Weight matrix 차원 공식

• 심층신경망을 구현하기 위해선, Weight matrix, Layer 간의 정확한 dimension 파악이 중요하다.

심층신경망 예

• W는 Weight matrix, L은 Layer이며 구성 요소는 다음과 같다.
  • Input x1, x2
  • W1, W2, W3, W4, W5
  • L1 (유닛 3개), L2 (유닛 5개), L3 (유닛 4개), L4 (유닛 2개), L5 (유닛 1개)
  • Output yhat
• Weight matrix dimension을 구하는 공식은 다음과 같다.
  • Wi == ( L i 의 유닛 개수, L i-1 의 유닛개수 )
  • W3 == ( L3 의 유닛 개수, L2 의 유닛개수 ) == (4, 5)
• 참고로, 역전파 시 가중치 업데이트 공식은 W - α * dw 를 사용하기 때문에
• W와 dw의 dimension 또한 동일해야한다.