I. 튜닝 프로세스 신경망을 학습시킬 때 여러 가지 하이퍼파라미터가 관여한다. 여기서 하이퍼파라미터는 파라미터와 명확하게 다른 개념이다. 파라미터는 모델 내부에서 결정되는 변수를 뜻하고 하이퍼파라미터는 모델링을 할 때 사용자가 직접 세팅해주는 값을 뜻한다. 딥러닝에는 다양한 하이퍼파라미터가 존재한다. 상황에 따라 다를 수도 있지만 보통 우선 조정하는 순서로 나열해보면 다음과 같다. - 학습률 - 모멘텀(Momentum) - 학습률 (α) - 모멘텀(Momentum) 알고리즘의 β - 은닉 유닛의 수 - 미니배치 크기 - 은닉층의 갯수 - 학습률 감쇠(learning rate decay) 정도 - 아담(Adam) 알고리즘의 β1, β2, ϵ 이렇게 다양한 하이퍼파라미터가 존재하는데 심층 신경망을 학습 시킬..
