[DL] 파라미터와 하이퍼파라미터의 차이

• 파라미터와 하이퍼 파라미터는 명확히 다른 개념입니다.
• 하지만 많은 사람들이 두 단어를 혼용해서 쓰고 있습니다.
• 파라미터와 하이퍼 파라미터의 차이에 대해 알아보겠습니다.

파라미터 (Parameter)

• 파라미터는 모델 내부에서 결정되는 변수입니다.
• 예
  • weight coefficient (가중치 계수)
  • bias (편향)
• weight coefficient, bias와 같은 파라미터들은 모델 내부에서 데이터를 통해 구해집니다.

하이퍼 파라미터 (Hyper parameter)

• 하이퍼 파라미터는 모델링할 때 사용자가 직접 세팅해주는 값을 뜻합니다.
• 예
  • learning rate
  • epoch
  • iteration
• 모델링을 할 때, 사용자가 직접 세팅해야 하는 값은 상당히 많습니다.
• 그 모든 게 다 하이퍼 파라미터입니다.
• 하이퍼 파라미터는 정해진 최적의 값이 없습니다.
• 휴리스틱한 방법이나 경험에 의해 결정하는 경우가 많습니다.
• 물론, 베이지안 옵티미제이션과 같이 자동으로 하이퍼 파라미터를 선택해주는 라이브러리도 있긴 합니다.