abraxsus의 entropy에 대한 comment에 대한 답글. 컴싸 지도교수 모임할때 했던 거. 별로 공개할 생각없었지만서도 올려봄. 오라일리에서나온 BLAST 책이 가장 쉬운 설명인 듯.
엔트로피를 이해하는데 핵심적인 내용은, 1) 열역학의 엔트로피랑 아무 상관없다, 2) 엔트로피=정보라고 설명하는 곳도 있지만, 사실 엔트로피는 ‘불확실성의 감소 정도’를 의미하는 것일 듯 하네요. 그렇지만 섀넌의 경우와 달리 대부분의 애플리케이션에선, 만약 어떤 심볼을 보았을 때 그 심볼을 보았다는 사실이 명확하므로 엔트로피가 결국 정보라고 이야기되는 것인 듯. 반대로 섀넌의 경우엔 노이즈 채널을 가정하였으므로 현재의 불확실성을 제로라고 말할 수 없음. 어쨌든, 이런 배경으로 인해 엔트로피가 곧 정보라고 설명하는 곳이 많은 듯합니다. 그리고 그것이 이해를 어렵게하는 중요 요인..
음, 그리고 abraxsus가 말한 리눅스의 경우는 대단히 흥미롭군요ㅎㅎ
Leave a Reply