우노
[DL] Weight matrix 차원 공식 본문
- 심층신경망을 구현하기 위해선, Weight matrix, Layer 간의 정확한 dimension 파악이 중요하다.
심층신경망 예
- W는 Weight matrix, L은 Layer이며 구성 요소는 다음과 같다.
- Input x1, x2
- W1, W2, W3, W4, W5
- L1 (유닛 3개), L2 (유닛 5개), L3 (유닛 4개), L4 (유닛 2개), L5 (유닛 1개)
- Output yhat
- Weight matrix dimension을 구하는 공식은 다음과 같다.
- Wi == ( L i 의 유닛 개수, L i-1 의 유닛개수 )
- W3 == ( L3 의 유닛 개수, L2 의 유닛개수 ) == (4, 5)
- 참고로, 역전파 시 가중치 업데이트 공식은 W - α * dw 를 사용하기 때문에
- W와 dw의 dimension 또한 동일해야한다.
'AI > Deep Learning' 카테고리의 다른 글
[DL] 간단한 순전파와 역전파 예제 (5) | 2021.01.12 |
---|---|
[DL] 파라미터와 하이퍼파라미터의 차이 (0) | 2021.01.12 |
[DL] 활성화 함수의 역할 및 종류 (0) | 2021.01.10 |
[DL] 경사 하강법(Gradient Descent) (0) | 2020.07.30 |
[DL] Keras 단순 선형 회귀 튜토리얼 (0) | 2020.07.29 |
Comments