Passion is like genius; a miracle.

If you have trouble because of RGtk2 (e.g., it’s saying you don’t have gtk2.8.0 or higher while you have one already). If so, follow this procedure. (Note: Don’t use macports! It won’t work with RGtk2 properly.) Instead, install R from r-project.org. This is pretty much important. Don’t install R from macports. Install R from http://www.r-project.org/.…

Random projection in dimensionality reduction: Applications to image and text data This is really easy way of dimensionality reduction. Simply, multiply data with random matrix where is a random number from . If is a dxN dimension where d is very high dimension and N is the number of data and is a kxd dimension…

It’s the Effect Size, Stupid http://en.wikipedia.org/wiki/Effect_size Statistical significance를 사용하여 두 그룹간의 차이를 검증할때에는 두 그룹간의 차이뿐만 아니라 샘플의 크기에도 영향을 받습니다. 왜냐하면 샘플의 크기가 커질수록 confidence interval 이 줄어들기 때문입니다. 또 어찌되었던지간에 statistical significance라는건 두 그룹간에 차이가 실제로는 없는데 우연히 차이가 발생할 확률로부터 계산하는데 이 값은 두 그룹간의 차이가 얼마나 큰가를 직접적으로 평가하는 것이 아닙니다.…

Pretty much readable document on SVM: A User’s Guide to Support Vector Machines. It’s a doc posted on python based machine learning tools: PyML.

After finishing 8-week of homeworks, lectures, and programming, I finally received my statement of accomplishment from nlp class, coursera. Now, I’m taking http://ml-class.org/, and wish more people can take these special opportunities.

최근에 Oreilly에서 나온 Machine Learning for Hackers를 읽었습니다. 일단 이 책은 R을 어느정도 아는 독자를 대상으로 machine learning을 가르쳐주는 컨셉의 책으로 시작했을것이라고 추측이되지만, 결과적으로는 거의 모든것을 이미 알고있는 독자만 읽을 수 있습니다. 구체적으로는 이런 스킬셋이 필요합니다. 1) ggplot에 익숙해야함. 2) R을 이해하고 있어야함. 3) Machine learning이나 statistics에 지식이 있어야함. 책에서 설명하는 모든 알고리즘을 이미 알고…

Reshape package is powerful tool for reshaping data and aggregation. Nice tutorial can be found at: http://www.jstatsoft.org/v21/i12/paper > require(reshape) We’re going to use french_fries. But as it’s big, get some samples. > ff <- french_fries[sample(nrow(french_fries), 20),] > ff time treatment subject rep potato buttery grassy rancid painty 303 5 2 15 1 4.1 0.2 0.2…

This is follow up on the previous posting ANOVA IN R. In R, whether we have different number of repeated experiments does not matter when executing aov(). Given four different systems a1, a2, a3 and a4 and measurements, I’ll describe how we check if their means are different, how we get confidence interval at each…

reshape package provides with convenient function called rescaler: > d = data.frame(x=1:5) > library(reshape) > rescaler(d$x, type="sd") [1] -1.2649111 -0.6324555 0.0000000 0.6324555 1.2649111 > with(d, (1-mean(x))/sd(x)) [1] -1.264911 There are other types of rescaling: range(to make data 0~1), rank(rank data by value), robust(use median and MAD instead of mean and sd). > rescaler(d$x, type="robust") [1]…

GGPLOT2는 R을 위한 문법 기반의 그래픽 시스템입니다. 기본적으로 포함된 R의 plotting function 들이 보통 하나의 함수안에서 모든 기능을 다 넣기때문에 plot을 여러가지로 변형하거나 재사용하거나 확장하기가 어려웠던 반면, gpplot2는 graphics자체를 다시 생각하고 차트의 요소를 geom, statistics, scales, coordinate system, faceting, position, aesthetics등으로 분리했습니다. 그리고 각 차트는 이러한 요소들의 조합으로 그려지게 됩니다. 그렇기 때문에 각 요소를 손쉽게…