오늘의 인기 글
최근 글
최근 댓글
Today
Total
11-29 02:49
관리 메뉴

우노

[DL] Weight matrix 차원 공식 본문

AI/Deep Learning

[DL] Weight matrix 차원 공식

운호(Noah) 2021. 1. 11. 22:52
  • 심층신경망을 구현하기 위해선, Weight matrix, Layer 간의 정확한 dimension 파악이 중요하다.

심층신경망 예

  • W는 Weight matrix, L은 Layer이며 구성 요소는 다음과 같다.
    • Input x1, x2
    • W1, W2, W3, W4, W5
    • L1 (유닛 3개), L2 (유닛 5개), L3 (유닛 4개), L4 (유닛 2개), L5 (유닛 1개)
    • Output yhat
  • Weight matrix dimension을 구하는 공식은 다음과 같다.
    • Wi == ( L i 의 유닛 개수, L i-1 의 유닛개수 )
    • W3 == ( L3 의 유닛 개수, L2 의 유닛개수 ) == (4, 5)
  • 참고로, 역전파 시 가중치 업데이트 공식은 W - α * dw 를 사용하기 때문에
  • W와 dw의 dimension 또한 동일해야한다.
Comments