Passion is like genius; a miracle.

xgboost vs lightgbm 검색해보니 이렇게 훌륭한 글을 올려두신 분이 계시네요. https://assaeunji.github.io/machine%20learning/2021-01-07-xgboost/ 읽어보니 둘간에 사용하는 방법은 크게 다르지 않아서 xgboost 코드를 거의 그대로 쓸 수 있어 보입니다.

SHAP 란 “SHAP (SHapley Additive exPlanations) is a game theoretic approach to explain the output of any machine learning model.” 이라고 합니다. 사용 사례는 https://walkwithfastai.com/SHAP 에서 볼 수 있습니다.

늘 뭔가 흑마술처럼 생각되는게 파라미터 튜닝인데 구글에서 좋은 글을 github에 올렸습니다. https://github.com/google-research/tuning_playbook 이전까지는 그냥 남들 쓰는 파라미터 배끼고 남들 쓰는 범위안에서 GridSearchCV 돌리는게 보통이었는데 참고해볼만 할 것 같습니다.

일하다보면 종종 데이터 탐색과 그 탐색의 결과로 제안을 하는 일을 구분하지 못하는 경우를 본다. 문서를 쓰면서 어떤 분석을 했는지 raw data를 하나하나 나열하고 그 과정의 어려움을 설명하고, 남아있는 기술적 문제를 설명하려 하던가. 이런 설명이 필요한 컨텍스트와 리더쉽 또는 product manager 에게 자신의 분석을 보이는 설명은 서로 달라야한다. 내 분석을 통해 설득하고 제안하는 것이 주가 되어야한다.…

Imbalanced data 를 다루는데 유용한 Imbalanced learn이라는 라이브러리를 하나 찾았습니다. Scikit learn 도 그렇듯이 이런 라이브러리의 장점은 메뉴얼만 보고 있어도 어떤 알고리즘들이 존재하는지를 쉽게 알 수 있단 점입니다. 특히 undersampling technique 방법이라고는 random sampling 만 생각하고 있다가 다양한 Prototype selection 알고리즘을 접하게 되었는데 이게 참 인상적이네요. 예를들어 Near Miss 1, 2, 3 알고리즘이 인상깊었습니다. 단순히…

Decision tree는 흔히 설명력이 좋다고 한다. 트리를 보면 어떻게 분류가 되는지 볼 수 있기에 그렇다. 하지만 실제로 모델을 적용하는데는 한계가 발생하는 경우가 있다. 예를들어 X[i]=0 이라면 logistic regression의 경우 Coef[i] * X[i] = 0 이 되어 X[i]가 예측에 영향을 주지 않는다. 하지만 Decision tree는 X[i]=0 인 경우에 어떤 결론을 내릴 수 있다. 예를들어 영어 문장내…

http://blog.datadive.net/interpreting-random-forests/ This is how eli5 explains a tree.