파라미터와 하이퍼파라미터

1. 파라미터란?

머신러닝에서 파라미터는 모델의 구성요소이자 데이터로부터 학습되는 것을 파라미터라고 한다. 즉, 가중치나 평향과 같이 모델이 학습을 통해 최적의 값을 찾는 변수를 의미한다.

 

예를 들어 선형 회귀 모델에서 Y =  aX + b라는 직선의 방적식이 있고 a, b 이 두 값을 파라미터라고 한다. 머신런닝이 학습을 통해 각각  a는 -3, b는 5라는 최적의 값을 찾게된다.

 

2. 하이퍼파라미터란?

하이퍼파라미터는 모델이 학습을 하면서 최적의 값을 자동으로 찾는 것이 아닌 사람이 직접 지정해 주어야하는 변수를 의미한다. 하이퍼파라미터의 경우 머신러닝 모델의 성능에 결정적인 영향을 끼치게 된다. 

하이퍼파라미터는 여러 가지 값을 대입해보면서 최적의 값을 찾아 선택해야하는데 이렇게 최적값을 찾는 과정을 모델 튜닝이라고 한다.

 

하이퍼 파라미터와 파라미터의 관계를 표현하면 아래와 같다.

출처 : https://www.kdnuggets.com/2020/02/practical-hyperparameter-optimization.html