Passion is like genius; a miracle.

http://en.wikipedia.org/wiki/Chebyshev’s_inequality 평균으로부터 k sigma 이상 떨어진 데이터의 비율은 1/k^2 보다 작다. 예를들어 평균에서 6 sigma이상 떨어진 데이터의 비율은 1/36이하이다. Chevyshev Inequality는 아주 tight한 bound는 아니라서 실제로는 이 식으로 구해진 값보다 더 적은 데이터만 평균보다 k sigma 떨어져있다.

http://www.kdnuggets.com/2012/09/pedro-domingos-useful-things-about-machine-learning.html 머신 러닝에 대한 folk knowledge가 정리된글. Communications of ACM글인데 링크된 곳에 무료 버젼도 링크도있습니다.

Wizard for Mac 이라는 툴인데 꽤나 편해 보입니다. 아무래도 이런툴들은 R로도 쉽게 할수 있는 일을 해주는 것 뿐이지만 각종 분석 기법이 잘 정리되어 있고, 기법마다 관련된 시각화나 통계량이 역시 잘 정리되어있는게 강점입니다. 예를들면 ordered probit과 multinomial logit이 라디오 단추로 제공되는것처럼요.

두번째 course.org로 부터 받은 certification. Machine Learning 분야에서 잘 알려진 Andrew Ng의 수업이었고, Octave도 잘 배워서 좋았습니다. 시간 좀 내서extra credit 프로그래밍도 다 마쳤더니 만점을 넘는 점수를 받았습니다. ml-class.org에서 8월 20일(미국시간기준)에 새 클래스가 열리니 관심있으신분은 수강신청하세요~.

요즘 기계학습이나 데이터 분석을 이야기할때 많이 거론되는 회사중 하나가 LinkedIn인데, 이 회사에서도 최근 Youtube에 Techtalk채널을 개설해 동영상을 올리고 있네요. 위의 동영상은 P2P, Virtual Cluster, HPC Cluster, Multicore, GPU, FPGA의 각 수준에서 병렬화를 이용한 machine learning입니다. 이 동영상에서 보인 발표자료는 http://hunch.net/~large_scale_survey/에 있습니다. 마침 KDD2011의 튜토리얼에도 사용된 자료이더군요.

Output: It was just luck that we reached 100% accuracy. Running this multiple times may show 96% accuracy, too.

http://en.wikipedia.org/wiki/Partial_least_squares_regression PCA 와 유사하지만 데이터의 분산만을 잡으려는 PCA와 달리 Y값까지 함께 고려해 orthogonal한 새로운 feature와 response들을 X, Y로 부터 만들고, 이로부터 수행하는 linear regression. 데이터에 비해 변수가 많을때 OLS(Ordinary Least Square)에 비해 유용함. Tutorial: http://en.wikipedia.org/wiki/Partial_least_squares_regression 책: http://www.maths.bath.ac.uk/~jjf23/LMR/