[ML] 파라미터(Parameter)와 하이퍼 파라미터(Hyperparameter)

이번 포스팅에서는 파라미터(Parameter)와 하이퍼파라미터(Hyperparameter)의 정의에 대해 정리해보겠습니다. 둘은 다른 개념임에도 이름이 비슷해서 그런지 혼용해서 자주 사용되곤 합니다. 

 

제가 참고하는 텍스트북에는 파라미터(Parameter)와 하이퍼파라미터(Hyperparameter)의 정의에 대해 깔끔하게 정리된 정의가 없어서, 아래 링크의 페이지를 참고하였습니다.

 

https://medium.com/@ompramod9921/model-parameters-and-hyperparameters-in-machine-learning-502799f982d7

Model Parameters and Hyperparameters in machine learning

 

1. 파라미터(Parameter)

파라미터라는 용어는 분야에 따라 다양한 의미를 갖는데, 머신러닝 분야에 적합한 정의를 인용하자면 아래와 같습니다.

 

A parameter is a variable that is learned from the data during the training process.

 

즉, 파라미터는 모델이 학습을 통해 스스로 조정하는 값들을 의미합니다. 예를 들어 선형 회귀 모델에서 기울기와 절편은 학습을 통해 결정되는 값으로 모델의 파라미터라고 할 수 있습니다. 신경망에서의 가중치(Weight)들 또한 학습을 통해 결정되는 값으로, 파라미터라 할 수 있습니다.

 

2. 하이퍼파라미터(Hyperparameter)

하이퍼파라미터에 대한 정의를 인용하자면 아래와 같습니다.

 

A hyperparameter is a variable that is set before the training process begins.

 

하이퍼파라미터는 모델 학습 전에 사람이 직접 설정해주어야 하는 값들을 의미합니다. 예를 들어, 신경망에서 은닉층의 수, 층별 노드(뉴런)의 개수, 학습률(Learning Rate) 등은 학습으로 결정되는 값들이 아닌, 학습 이전에 사용자가 설정해주어야 하는 값입니다. 따라서 하이퍼파라미터는 학습 과정에서 최적화되지 않으며, 별도의 최적화 과정을 거쳐야 합니다.

 

하이퍼파라미터의 최적화(Hyperparameter Optimization)과정을 하이퍼파라미터 튜닝(Hyperparamter Tuning)이라고 부르기도 하는데, 이는 별도의 포스팅을 통해 정리해보겠습니다.