Regularization 방법중에 하나로 소개가 되어있길래 찾아봤습니다.

https://blog.si-analytics.ai/21 에 잘 정리가 되어있네요. 간단하게 말하면 실제 레이블이 0, 1, 2 중에 1이라고 할때 one hot encoding하듯이 0, 1, 0으로 레이블을 주지말고 0.25, 0.75, 0.25정도로 주는 방법입니다.

직관적으로 생각해도 이렇게되면 regularization 효과는 잘 나타나겠네요. 결국 레이블간 서로 구분이 좀 더 뚜렷하게(?), 그러니까 더 smooth 한 boundary 형태로 분류하는 모델이 만들어진다고 합니다.

레이블을 그렇게 주던가 아니면 weight decay 같은걸로 boundary를 스무스하게 만들던가하는게 결국 아이디어는 비슷해보입니다. 오버핏하지 말자로요.