Passion is like genius; a miracle.

  • lightgbm

    xgboost vs lightgbm 검색해보니 이렇게 훌륭한 글을 올려두신 분이 계시네요. https://assaeunji.github.io/machine%20learning/2021-01-07-xgboost/ 읽어보니 둘간에 사용하는 방법은 크게 다르지 않아서 xgboost 코드를 거의 그대로 쓸 수 있어 보입니다.

    Tags:

  • Deep learning model tuning

    구글 리서치에서 나온 딥 러닝 튜닝 가이드 https://github.com/google-research/tuning_playbook

    Tags:

    ,

  • Deep learning model interpretation

    SHAP 란 “SHAP (SHapley Additive exPlanations) is a game theoretic approach to explain the output of any machine learning model.” 이라고 합니다. 사용 사례는 https://walkwithfastai.com/SHAP 에서 볼 수 있습니다.

    Tags:

  • ssh-add 를 자동실행하는 방법

    https://unix.stackexchange.com/questions/90853/how-can-i-run-ssh-add-automatically-without-a-password-prompt 에서 다양한 방법을 본 결과 저는 그냥 keychain 쓰기로 했습니다. 맥에서는 ssh config 안에 키체인을 사용하게 자동으로 되서 신경을 안썼는데 chrome os 안의 리눅스는 설정을 해야하는군요. sudo apt-get install keychain 으로 설치한다음 ~/.bash_profile에 다음을 추가합니다. 그러면 재부팅때 마다 실행되면서 패스워드를 단 한번 요청하게 됩니다. 아래는 이미 패스워드가 입력된 상황입니다. 이외에도 ssh-ident 를 쓰는 방법도…

    Tags:

  • 딥러닝 파라미터 튜닝

    늘 뭔가 흑마술처럼 생각되는게 파라미터 튜닝인데 구글에서 좋은 글을 github에 올렸습니다. https://github.com/google-research/tuning_playbook 이전까지는 그냥 남들 쓰는 파라미터 배끼고 남들 쓰는 범위안에서 GridSearchCV 돌리는게 보통이었는데 참고해볼만 할 것 같습니다.

    Tags:

  • 제안을 위한 분석

    일하다보면 종종 데이터 탐색과 그 탐색의 결과로 제안을 하는 일을 구분하지 못하는 경우를 본다. 문서를 쓰면서 어떤 분석을 했는지 raw data를 하나하나 나열하고 그 과정의 어려움을 설명하고, 남아있는 기술적 문제를 설명하려 하던가. 이런 설명이 필요한 컨텍스트와 리더쉽 또는 product manager 에게 자신의 분석을 보이는 설명은 서로 달라야한다. 내 분석을 통해 설득하고 제안하는 것이 주가 되어야한다.…

    Tags:

  • Imbalanced data를 다루는 라이브러리

    Imbalanced data 를 다루는데 유용한 Imbalanced learn이라는 라이브러리를 하나 찾았습니다. Scikit learn 도 그렇듯이 이런 라이브러리의 장점은 메뉴얼만 보고 있어도 어떤 알고리즘들이 존재하는지를 쉽게 알 수 있단 점입니다. 특히 undersampling technique 방법이라고는 random sampling 만 생각하고 있다가 다양한 Prototype selection 알고리즘을 접하게 되었는데 이게 참 인상적이네요. 예를들어 Near Miss 1, 2, 3 알고리즘이 인상깊었습니다. 단순히…

    Tags:

  • VSCode 에서 내가 작성한 모듈을 찾지 못해 ModuleNotFound가 나올 때

    여러가지 방법이 있지만 가장 간단한 방법은 내 프로젝트의 루트디렉토리 또는 소스 코드가 있는 디렉토리를 PYTHONPATH에 지정하는 것입니다. settings.json에 다음 라인을 추가합니다. 만약 windows라면 terminal.integrated.env.windows로 지정하면 됩니다. settings.json은 ctrl+p 를 눌러 command palette를 연다음 open user settings 를 검색하면 됩니다. 해당 필드를 업데이트 한 뒤에는 반드시 vscode를 재시작합니다. 이후에는 어떻게 실행해도 내가 작성한 모듈이 잘 보이게…

    Tags:

  • 시니어 엔지니어로 넘어가기 위한 기술: 코드 읽기

    쥬니어 시절, 나를 도와주는 시니어 엔지니어들로부터 도움을 받은 일이 많았다. 그 때 어깨너머로 배운 점 중 하나는 그들은 정말 빠르게 문제를 파악하고 해결한다는 것이었다. 이제 나 역시 10년이 충분히 넘어간 경력을 쌓은 시점에서 되돌아보건데 경험이 많은 엔지어는 이런 점이 달랐다. 디버깅 메시지를 볼 줄 알았다. 내가 작업하던 서버들은 덩치가 컸다. 컴파일만해도 수십분이 걸리고 실행하는데도 그만큼의…

    Tags:

  • 트위터

    어느덧 이제 블로그를 한지 굉장히 오랜 시간이지나 얼마나 했는지도 모를만큼 시간이 지났습니다. 다른 모든 개발자 하늘처럼 나는 이제 글도 별로 쓰지 않는데 뭔가 배우는 것이 없어서가 아니라 그냥 글을 쓰지 않기 때문에 글을 쓰지 않고 있네요. 트위터에는 종종 글을 쓰는데 와서 봐 줬으면 좋겠습니다. @Minkoo 입니디.

    Tags: