Tag: statistics
-
MASE, RMSSE
MAE, RMSE를 scale. Scale 시 이전 예측값으로 미래를 예측하는 방법 사용.
-
STR (Seasonal Trend decomposition using Regression)
https://robjhyndman.com/publications/str/
-
Theta Model
시계열을 분할한뒤, 분할된 요소를 각각 예측하고 다시 결합 https://towardsdatascience.com/theta-model-for-time-series-forecasting-642ad1d00358
-
Label Smoothing
Regularization 방법중에 하나로 소개가 되어있길래 찾아봤습니다. https://blog.si-analytics.ai/21 에 잘 정리가 되어있네요. 간단하게 말하면 실제 레이블이 0, 1, 2 중에 1이라고 할때 one hot encoding하듯이 0, 1, 0으로 레이블을 주지말고 0.25, 0.75, 0.25정도로 주는 방법입니다. 직관적으로 생각해도 이렇게되면 regularization 효과는 잘 나타나겠네요. 결국 레이블간 서로 구분이 좀 더 뚜렷하게(?), 그러니까 더 smooth 한 boundary 형태로 분류하는…
-
주가 regression에 어떤 metric을 써야할까
MSE, RMSE 등은 오차가 커질수록 크게 penalty를 준다. 따라서 outlier에 너무 크게 영향을 받는다. MAPE (Mean Absolute Percentage Error)는 주가가 퍼센트로 수익이 결정되는걸 생각하면 가장 괜찮아보인다. 그런데 Wikipedia등에 보면 이 방법의 단점으로 negative error (actual < forecast)에 큰 penalty를 준다고 지적하여 사용을 꺼리게한다. 하지만 그런 지적은 주가와는 무관한 이야기이다. Errors on percentage errors에서 보인 예를…
-
L1 norm VS L2 norm
Stackoverflow post p-norm 정의
-
lightgbm
xgboost vs lightgbm 검색해보니 이렇게 훌륭한 글을 올려두신 분이 계시네요. https://assaeunji.github.io/machine%20learning/2021-01-07-xgboost/ 읽어보니 둘간에 사용하는 방법은 크게 다르지 않아서 xgboost 코드를 거의 그대로 쓸 수 있어 보입니다.
-
Deep learning model tuning
구글 리서치에서 나온 딥 러닝 튜닝 가이드 https://github.com/google-research/tuning_playbook
-
Deep learning model interpretation
SHAP 란 “SHAP (SHapley Additive exPlanations) is a game theoretic approach to explain the output of any machine learning model.” 이라고 합니다. 사용 사례는 https://walkwithfastai.com/SHAP 에서 볼 수 있습니다.
-
딥러닝 파라미터 튜닝
늘 뭔가 흑마술처럼 생각되는게 파라미터 튜닝인데 구글에서 좋은 글을 github에 올렸습니다. https://github.com/google-research/tuning_playbook 이전까지는 그냥 남들 쓰는 파라미터 배끼고 남들 쓰는 범위안에서 GridSearchCV 돌리는게 보통이었는데 참고해볼만 할 것 같습니다.