It’s the Effect Size, Stupid
http://en.wikipedia.org/wiki/Effect_size
Statistical significance를 사용하여 두 그룹간의 차이를 검증할때에는 두 그룹간의 차이뿐만 아니라 샘플의 크기에도 영향을 받습니다. 왜냐하면 샘플의 크기가 커질수록 confidence interval 이 줄어들기 때문입니다. 또 어찌되었던지간에 statistical significance라는건 두 그룹간에 차이가 실제로는 없는데 우연히 차이가 발생할 확률로부터 계산하는데 이 값은 두 그룹간의 차이가 얼마나 큰가를 직접적으로 평가하는 것이 아닙니다.
이와 달리 샘플크기에 영향을 받지 않고, 두개 그룹간의 차이를 보다 직접적으로 평가하는 z score like measure가 effect size인데, correlation coefficient, R^2, Cohen’s d (R에서는 MBESS package를 사용), relative risk, odds ratio 등으로 계산합니다.
Cohen’s d는 다음과 같이 계산합니다.
여기서 s 는 pooled standard deviation이고 