[ML] 모델 파라미터와 모델 하이퍼 파라미터 차이 (Difference between a model parameter and a model hyper parameter)

머신러닝 모델에서 파라미터와 하이퍼 파라미터라는 용어를 혼용해서 사용하는 경우가 많습니다. 그래서 오늘은 둘 사이에 어떤 차이가 있는지에 대해 공부해 보려 합니다. 둘의 차이를 잘 비교해놓은 사이트가 있어서 해당 글을 참고했습니다.

What is the Difference Between a Parameter and a Hyperparameter?

 

1. 모델 파라미터

파라미터는 그 값이 데이터들에 의해 결정되는 값을 말합니다. 회귀 모델 같은 경우 데이터에 따라 계수와 상수항이 결정됩니다.

데이터에 분포에서도 파라미터는 사용됩니다. 정규분포의 경우, 평균µ와 표준편차σ에 의해 분포가 결정됩니다. 이러한 값들을 모두 파라미터라 부릅니다.

 

• 파라미터는 예측을 할 때 모델에서 필요로 합니다
• 파라미터는 데이터로부터 추정되거나 학습됩니다
• 파라미터는 직접 설정되지 않는다
• 파라미터는 종종 모델의 일부로 저장됩니다

 

2. 모델 하이퍼 파라미터

하이퍼 파라미터는 데이터에 의해 결정되는 값이 아닌 사용자가 직접 지정하는 값을 의미합니다. 하이퍼 파라미터에 따라 모델의 성능이 바뀌지만 확실히 표준화된 방법이 없기 때문에 하이퍼 파라미터의 값을 바꿔가며 모델의 성능을 측정하고 직접 최적화 시켜주어야 합니다. K-최근접 이웃 모델의 경우 사용자가 새로운 값이 들어왔을 때 확인할 이웃의 수 K를 직접 지정해주어야 합니다. 이러한 값을 하이퍼 파라미터라 합니다.

 

• 하이퍼 파라미터는 파라미터를 추정하는 데 도움이 되는 프로세스에 사용됩니다(파라미터 추정에 사용됩니다)
• 하이퍼 파라미터는 종종 직접 설정해야 합니다
• 하이퍼 파라미터는 종종 휴리스틱에 의해 설정됩니다
• 하이퍼 파라미터는 종종 예측 모델링 문제를 위해 설정됩니다