LeNet-5, convolutional neural networks LeNet-5 is our latest convolutional network designed for handwritten and machine-printed character recognition. See LeNet 5 architecture diagram.

다양한 알고리즘의 동작 모습 Visualizing Optimization Algos

Method 1. Using [np.newaxis]. Method 2. Using None. Method 3. Using reshape. Method 4. Using expand_dims.

http://mscoco.org/ Microsoft COCO is a new image recognition, segmentation, and captioning dataset. Crowd sourcing 으로 caption data 구축한다고 합니다.

http://stackoverflow.com/questions/35241251/in-tensorflow-what-is-the-difference-between-sampled-softmax-loss-and-softmax-c Vocabulary가 크다면 softmax를 모든 단어에 계산하는 비용이 크다. 이를 줄이기 위해 Target 이 아닌 단어 중 일부를 제거하고 마치 그 단어들이 처음부터 없었던 것처럼 softmax를 계산한다. Udacity deep learning 강의 중 word embedding 구현 트릭으로 설명됨.

Udacity deep learning 강의 중에 나온 제안. 차이는 30개 정도를 보면 유의하다고 말할 수 있다. 보통 소수점이하 첫번째자리까지 classifier performance 차이를 검출하고자하므로 0.1% 차이가 30개 test data를 바꾸게 해야함. 따라서 적절한 테스트 데이터 크기는 30,000이다. 왜냐하면 30,000 × 0.001 = 30이므로. 물론 이는 통계적으로 엄밀한 접근은 아니긴합니다.

Rbitrary Standards R 코드의 특이한 점들에 대한 FAQ. 예를들어

Wake sleep algorithm에 나오는 용어라서 설명을 찾아둠. High level explanation of variational inference Problem: (1) Given an input x, the posterior probability distribution over outputs y is too complicated to work with. Or (2) Given a training corpus x, the posterior probability distribution over parameters y is too complicated to work with. Solution: Approximate that…

데이터 사이언티스트 면접 질문 리스트 넘버웍스란 회사에서 사용한 면접 질문 리스트라고 합니다.

Gaussian Process가 무엇인지 이제 어렴풋이나마 이해하게 되었는데 정말 말도 안되게 신기한 녀석이군요. 처음으로 위키피디아 문서가 정의를 이해하는데 부족하다는 느낌이 들어 자료를 정리합니다. 아래 내용이 아주 좋았습니다. 단 몇페이지만 읽어도 감을 잡기 좋았습니다. Gaussian Processes for Regression: A Quick Introduction 동영상은 정의를 완전히 이해하는데는 부족하지만 다양한 예가 나와서 좋았습니다. 유튜브에서 동영상을 열고 관련 동영상에서 다음 챕터를…