x <- list(data.frame(math=90, science=85),
          data.frame(math=98, science=82))

One commonly known approach is to convert the list to vector using unlist(), and then convert to matrix, and then finally make it as data frame.

> x <- list(data.frame(math=90, science=85),
+           data.frame(math=98, science=82))
> 
> as.data.frame(matrix(ncol=2, byrow=TRUE, unlist(x)))
  V1 V2
1 90 85
2 98 82

But this has drawback as unlist() will perform type-coercion as vector can contain only one data type. For example, we get weird names in the example below.

> x <- list(data.frame(name="foo", value=1),
+           data.frame(name="bar", value=2))
> 
> as.data.frame(matrix(ncol=2, byrow=TRUE, unlist(x)))
  V1 V2
1  1  1
2  1  2

Solution for this is to use do.call() with rbind(). It calls rbind for each elements in the list.

> x <- list(data.frame(name="foo", value=1),
+           data.frame(name="bar", value=2))
> 
> do.call(rbind, x)
  name value
1  foo     1
2  bar     2

But the issue is that the rbind is slow.

> x <- lapply(1:10000, function(x) {
+   data.frame(name=paste(x, "foo"), value=x)
+ })
> head(x)
[[1]]
   name value
1 1 foo     1

[[2]]
   name value
1 2 foo     2

[[3]]
   name value
1 3 foo     3

[[4]]
   name value
1 4 foo     4

[[5]]
   name value
1 5 foo     5

[[6]]
   name value
1 6 foo     6

> system.time(do.call(rbind, x))
   user  system elapsed 
 10.100   0.014  10.114 

Ten seconds is not bad, right? But it can be several minutes as data frame gets more columns in it.

rbindlist in data.table solves this problem as in the below. See that it takes almost negligible amount of time.

> library(data.table)
> x <- lapply(1:10000, function(x) {
+   data.frame(name=paste(x, "foo"), value=x)
+ })
> system.time(rbindlist(x))
   user  system elapsed 
  0.003   0.000   0.003 

data.table is subclass of data.frame. Thus, it should work where data.frame is necessary. And, if needed, data.table can be easily converted to data.frame using as.data.frame().

> library(rjson)
> # This gives you list.
> x <- fromJSON('[{"name": "foo", "score": 95},{"name": "bar", "score": 87}]')
> str(x)
List of 2
 $ :List of 2
  ..$ name : chr "foo"
  ..$ score: num 95
 $ :List of 2
  ..$ name : chr "bar"
  ..$ score: num 87
> x
[[1]]
[[1]]$name
[1] "foo"

[[1]]$score
[1] 95


[[2]]
[[2]]$name
[1] "bar"

[[2]]$score
[1] 87

> # Convert to data frame.
> y = as.data.frame(do.call(rbind, x))
> class(y)
[1] "data.frame"
> y
  name score
1  foo    95
2  bar    87

You need some formatting of the json file contents if your file is not formatted nicely:

$ cat data.json 
{"name": "foo", "score": 95}
{"name": "bar", "score": 87}

Here’s how to for loading the file contents in such case:

> l <- paste("[", paste(readLines("data.json"), collapse=","), "]")
> l
[1] "[ {\"name\": \"foo\", \"score\": 95},{\"name\": \"bar\", \"score\": 87} ]"

It takes a bit more effort if json object has some nested elements. This is one of the ways to get data frame.

> # See that x is list of list because of score field.
> (x <- fromJSON(
+ '[{"name": "foo", "score": {"a": 95, "b": 97} },{"name": "bar", "score": {"a": 87, "b": 98}}]'))
[[1]]
[[1]]$name
[1] "foo"

[[1]]$score
[[1]]$score$a
[1] 95

[[1]]$score$b
[1] 97


[[2]]
[[2]]$name
[1] "bar"

[[2]]$score
[[2]]$score$a
[1] 87

[[2]]$score$b
[1] 98

> # Thanks to as.data.frame, score$a and score$b becomes score.a and score.b.
> (x <- lapply(x, function(x) { as.data.frame(x) }))
[[1]]
  name score.a score.b
1  foo      95      97

[[2]]
  name score.a score.b
1  bar      87      98

> # It's now trivial to convert to data frame.
> (x <- do.call(rbind, x))
  name score.a score.b
1  foo      95      97
2  bar      87      98
> class(x)
[1] "data.frame"
> str(x)
'data.frame':	2 obs. of  3 variables:
 $ name   : Factor w/ 2 levels "foo","bar": 1 2
 $ score.a: num  95 87
 $ score.b: num  97 98

Above is just preliminary example of conversion. See https://github.com/minkooseo/ml/tree/master/json for more code and examples.

이번 업데이트에서는 r-project.org에 속한 ihelp 프로젝트의 메일링 리스트 ihelp-r4pda@lists.r-forge.r-project.org 를 통해서 많은 피드백을 받아서 반영하였습니다. ihelp의 이철희님이 많은 피드백을 주셨고 이에 따라 크고 작은 개선이 이었습니다. 피드백을 받고 가장 크게 바꾼것은 ‘제어문, 연산, 함수’ 챕터를 좀 더 보강한 점입니다.

수정 및 보충 사항외에, 이번에는 선형회귀 챕터를 추가하였습니다. 사실 선형회귀 하나만 해도 두꺼운 책 한권이라 모든 내용을 다 쓴다는건 물리적으로 불가능한 일이고, 이 책이 선형회귀 책도 아니니 만큼 적당선에서(?) 마무리 지어봤습니다.

그런데 쓰면 쓸수록 데이터 과학이란 정말로 여러 학문의 교점에 서있단 생각이 듭니다. 글이 도움이 될 수 있는 대상 독자층을 잘 선택하고 쓰면 좋겠는데, 제가 모든 분야를 다 꿰뚫고 있는건 아닌지라 부족함이 많네요. 일단은 앞서 적은 메일링 리스트 ihelp-r4pda@lists.r-forge.r-project.org로 책 내용과 관련한 메일등을 주시면 (질문도 환영입니다) 읽는 분이나 저에게나 도움이 될 것 같습니다.

다음 3개월 동안은 머신러닝 알고리즘으로 챕터를 쓸 생각입니다.

이번에는 앞서 공개드린 문서의 셀수도 없이 많은 오탈자와 비문을 수정했고, 6장 그래프, 7장 통계분석을 추가하였습니다. 6장 그래프에서 Lattice나 ggplot에 대해서 쓰지 못한 것은 너무 아쉽지만 그 둘을 쓰다보면 상당시간 동안 그래프만 그리고 있게 될것 같아서 잠시 미뤄두고 있습니다. 아직 집필중인 7장의 통계 분석 챕터에도 쓰고 싶은 내용이 너무나도 많이 남아있습니다만, 그걸 다 쓰고 다음 버젼을 공개하려면 몇달이 걸릴지 가늠하기가 어려워 중간 단계에서 올리게되었습니다.

아마 다음 버젼 역시 2~3개월 후에 올리게 될 것 같습니다. 현재 생각하고 있는 7장의 추가 주제는 다음과 같습니다.
- 추정 및 검정(평균, 분산 비율)
- Permutation Test
- 회귀분석(OLS, GLM 약간)
- 분산분석(ANOVA)
- 비모수 통계

잘 써서 종이 책으로 내도 되지만 이렇게 웹상에 공개하는 것이 더 많은 독자를 만나는 방법이라고 생각해서 이렇게 올리고 있습니다. 많은 트윗, RT, Like, +1 부탁드립니다.

> x <- as.factor(c("A", "B", "C", "D", "B", "A"))
> x
[1] A B C D B A
Levels: A B C D
> levels(x)[levels(x) == "D"] <- "C"
> x
[1] A B C C B A
Levels: A B C

Run:
./ec2_ready.sh && ./ec2_work.sh

ec2.config

 
_your_server_.compute.amazonaws.com

common.sh

#!/bin/bash
export SERVER=ubuntu@`cat ec2.config`
export PEM=_your_pem_file_.pem
export COPY="scp -i ${PEM}"
export SSH="ssh -t -t -oStrictHostKeyChecking=no -i ${PEM}"

ec2_ready.sh

#!/bin/bash
source common.sh

tar cvzf code.tgz _your_code_

${COPY} code.tgz ${DEST}:
${SSH} ${SERVER} << SSH_END
# Prepare
sudo apt-get update
sudo apt-get -y install r-base-core

tar xvzf code.tgz

# Prepare R
cat > .Rprofile << END
options(repos="_your_favorite_repo_")
END

sudo R --no-save << END
install.packages("randomForest")
install.packages("DMwR")
install.packages("DAAG")
install.packages("doBy")
install.packages("e1071")
install.packages("gbm")
install.packages("party")
install.packages("plyr")
install.packages("stringr")
END

# Prepare shutdown, so that it terminates at least within 24hrs.
# Otherwise, it takes money!
echo "sudo halt" | at now + 1440 min

SSH_END

ec2_work.sh

#!/bin/bash
source common.sh

${SSH} ${SERVER} << SSH_END
R --no-save << END > log.txt 2>&1
data(iris)
rf <- randomForest(Species ~., data=iris)
summary(rf)
save(file="work.RData")
END
SSH_END

${COPY} ${SERVER}:log.txt .
${COPY} ${SERVER}:work.RData .

rbinom() 으로 10000개 데이터에서 트레이닝셋(1인경우), 테스트셋(0인 경우)를 선택. (앞면이 나올 확률이 70%인 동전을 한번 던지는 실험을 10000회 수행)

rbinom(n=10000, size=1, prob=.7)

sample()로 train, validation, test를 데이터 overlapping 안되게 선택.

sample(c("train", "validation", "test"), 10000, replace=TRUE, prob=c(.7, .15, .15))

역시 골프 잘 치는 사람들은 정말 많군요.

Output:

...
[[10]]
[[10]]$train
    Sepal.Length Sepal.Width Petal.Length Petal.Width    Species
105          6.5         3.0          5.8         2.2  virginica
29           5.2         3.4          1.4         0.2     setosa
18           5.1         3.5          1.4         0.3     setosa
149          6.2         3.4          5.4         2.3  virginica
2            4.9         3.0          1.4         0.2     setosa
43           4.4         3.2          1.3         0.2     setosa
114          5.7         2.5          5.0         2.0  virginica
104          6.3         2.9          5.6         1.8  virginica
...
[[10]]$validation
    Sepal.Length Sepal.Width Petal.Length Petal.Width    Species
11           5.4         3.7          1.5         0.2     setosa
44           5.0         3.5          1.6         0.6     setosa
67           5.6         3.0          4.5         1.5 versicolor
...

http://r4pda.co.kr/에 ‘R을 이용한 데이터 분석 실무’라는 제목으로 책을 올렸습니다.

이 책의 컨셉은 어느정도 프로그래밍도 되고, 통계나 머신 러닝기법에 대한 개념이 있는 분이 손쉽게 R을 사용해 데이터를 분석할 수 있게 하는 것입니다. 이런 이유로 개념적인 성격의 것은 빼고 (사실 그런 책을 쓸 능력도 안되구요), 실무적으로 적용하는 것에 중심을 두고 쓰고 있습니다. 지금은 데이터 타입, 프로그래밍에 필요한 제어문이나 함수, 데이터 조작이 작성되어있습니다. 이후에는 통계 분석, 시각화, 머신 러닝 알고리즘 적용 등을 작성할 생각입니다.

앞으로 2년은 더 걸리지 않을까? 생각하며 쓰고 있는데, 얼마나 시간이 걸리든 이번에는 끝까지 써볼 생각입니다.

혹시 읽어보시다가 오탈자가 보이거나 잘못된 내용이 있으면 알려주세요. 적극적으로 개선해보겠습니다.