Self paced learning 이란 curriculum learning (데이터를 특정 순서로 주면서 모델을 훈련시키는 방법)의 일종입니다. 잘 작동할 경우 모델이 더 적은 데이터로 더 좋은 성능을 내게 됩니다.

하지만 Curriculum learning 은 모델에 점차적으로 난이도가 높아지는 순서대로 데이터를 주는데 그러려면 데이터에 ‘난이도’라는 추가 레이블링 작업이 필요하게 됩니다.

Self paced learning 은 model 이 현재 주어진 데이터를 얼마나 잘 예측했는가(loss)로 난이도를 판단합니다. 데이터 전체에 대해 훈련하지만 모델이 보기에 난이도가 낮게 보이는 데이터가 주어졌을때만 backprop 을 합니다. 따라서 별도의 레이블링 과정이 불필요합니다.

이처럼 모델의 예측결과를 훈련에 사용하는 방법에는 active learning, semi supervised learning 등이 있습니다.