파라미터와 하이퍼파라미터 (train 하는가? 안하는가?)

 

파라미터는 train을 통해서 조절되는 값이다.

 

$$ y  = f(x; \theta) $$ 

위의 식은 입력값 x가 주어졌을 때 출력 값 y를 잘 매핑하는 최적의 파라미터 θ 를 찾는 parametric function이다. 

최적의 파라미터 θ를 찾기 위해서는  학습을 통해서 y를 잘 매핑할 때 까지 계속 반복해서 찾는다.

모델이 학습해야 하는 것이 명확하게 정해져 있어 (위의 식에서는 theta) 속도가 빠르고 모델을 이해하기 쉽다. 

 

 

하이퍼 파라미터란 최적의 모델을 구현하기 위해 모델에 설정하는 변수이다. 

하이퍼 파라미터는 train을 하지않고 user가 값을 직접 세팅해서 모델링을 하는 것이다. 

하이퍼파라미터를 통해 모델의 파라미터를 추정하는데 도움이 될  수 있는 프로세스에서 사용된다. 

그리고 오버피팅을 방지하기 위해 사용하는데, 모델이 학습한 데이터 말고 처음 보는 데이터를 예측할 때 잘 맞출 수 있도록(일반화) 도움을 준다. 

 

하이퍼 파라미터의 예시로는 학습률(learning rate), 배치사이즈, epoch(train 반복 횟수),  가중치 초기화 등이 있다. 

 

 

참고 

https://ittrue.tistory.com/42

[ML] 4-1. 머신러닝에서의 하이퍼파라미터란 무엇일까? (파라미터 vs 하이퍼파라미터)