ON THE CONVERGENCE OF ADAM AND BEYOND

좋은문장

Abstract

• 최근 Stochastic optimization methods인 RMSProp, ADAM, ADADELTA, NADAM 등의 방법론은 past gradients의 이동평균으로 scale된 gradient update를 사용했으나 Optimal solution에 수렴하는 것에 실패
  
  
• 본 논문에서는 Optimal solution에 수렴하지 못하는 원인이 이동평균에 있다는 것을 보인다

1 INTRODUCTION

Stochastic gradient descent(SGD)는 minibatch에서 측정된 loss의 negative gradient 방향으로 parameter를 반복적으로 update한다.

 

SGD varaints는 Gradient의 각 좌표(per-features basis) 를 제곱된 Past gradient의 평균을 사용해 조정했다.

 

즉, 각 feature마다 다른 learning rate가 적용되어 학습 과정에서 더 효율적으로 parameter를 업데이트 했음.

 

처음으로 ADAGRAD가 vanilla SGD와 비교해서 높은 성능을 보였다.

 

• ADAGRAD

 

ADAGRAD는 loss function가 non-convex하고 gradient가 dense한 settiong에서 learning rate가 decay되어 성능이 악화된다.

 

그 이유는 update할 때 모든 past gradient $g_t$를 분모로 사용하기 때문이다.

 

즉 $g_t$를 계산할 때 $g_{t-1}$와 새로운 Gradient의 값을 보정하지 않고 그대로 더하였기 때문에 학습이 진행될수록 무한정 커지는 경우가 발생

 

이 issue를 다루기 위해서 RMSPROP, ADAM, ADADELTA, NADAM이 제안되었다.

 

이 메소드들은 squared past gradient의 이동평균을 사용하여 learning rate의 감소를 막았다

• ADAM

• RMSPROP

 

오로지 past few gradients에 의존하여 parameter를 update하는 경향이 있다.

 

게다가 어떤 mini-batch에서 드물게 large gradient 값이 제공됐을 때, 이동평균으로 인해 large gradient 영향은 사라질 것이다.

 

본 논문에서는 이 상황을 detail하게 분석한다.

 

---

Reference

https://arxiv.org/abs/1904.09237

On the Convergence of Adam and Beyond

 

 

https://heytech.tistory.com/382

[Deep Learning] 최적화(Optimizer): (1) Momentum