lr_scheduler (1) 썸네일형 리스트형 The Road Less Scheduled (NeurIPS 2024, Oral paper) 내용 정리 배경 및 문제 제기일반적으로 stochastic optimization 문제, 특히 deep learning 모델 학습에서는 학습 과정을 안정적으로 수렴시키기 위해 learning rate schedule을 사용한다. 이러한 schedule은 특정 시간에 따른 learning rate 감소나 형태 변화를 명시적으로 설정하여, training 중 성능을 향상시키는 전략이다. 하지만 schedule을 사용하려면 미리 학습 종료 시점(T)을 가정하거나 전체 training 횟수(epoch)를 알고 있어야 하고, hyper-parameter tuning이 복잡해진다.한편, 기존 이론들은 non-smooth convex setting에서 단순한 SGD를 평균화한 Polyak-Ruppert averaging(PA).. 이전 1 다음
