엔트로피 [entropy]

요약
물질계의 열적 상태를 나타내는 물리량의 하나.

본문

1865년 R.E.클라우지우스가 변화를 뜻하는 그리스어 τροπη에서 이 물리량을 엔트로피라 이름하였다. 이론적으로는 물질계가 흡수하는 열량 dQ와 절대온도 T와의 비 dS=dQ/T로 정의한다. 여기서 dS는 물질계가 열을 흡수하는 동안의 엔트로피 변화량이다. 열기관의 효율을 이론적으로 계산하는 이상기관의 경우는 모든 과정이 가역과정이므로 엔트로피는 일정하게 유지된다. 일반적으로 현상이 비가역과정인 자연적 과정을 따르는 경우에는 이 양이 증가하고, 자연적 과정에 역행하는 경우에는 감소하는 성질이 있다. 그러므로 자연현상의 변화가 자연적 방향을 따라 발생하는가를 나타내는 척도이다.

대부분 자연현상의 변화는 어떤 일정한 방향으로만 진행한다. 즉, 자연현상의 변화는 물질계의 엔트로피가 증가하는 방향으로 진행한다. 이것을 엔트로피 증가의 법칙이라고 한다. 예를 들면, 온도차가 있는 어떤 2개의 물체를 접촉시켰을 때, 열 q가 고온부에서 저온부로 흐른다고 하면 고온부(온도 T1)의 엔트로피는 q/T1만큼 감소하고, 저온부(온도 T2)의 엔트로피는 q/T2만큼 증가하므로, 전체의 엔트로피는 이 변화를 통하여 증가한다. 역으로 저온부에서 고온부로 열이 이동하는 자연현상에 역행하는 과정, 예를 들면 냉동기의 저온부에서 열을 빼앗아 고온부로 방출하는 과정에서 국부적으로 엔트로피가 감소하지만, 여기에는 냉동기를 작동시키는 모터 내에서 전류가 열로 바뀐다는 자연적 과정이 필연적으로 동반하므로 전체로서는 엔트로피가 증가한다. 때때로 자연현상은 국부적으로 엔트로피가 감소하는 비자연적 변화를 따르는 것도 있지만, 그것에 관계되는 물질계 전체를 다루어 보면, 항상 엔트로피를 증가시키는 방향으로 현상이 변화한다. 이 이론은 자연현상이 일어나는 방향을 정하는 것으로서, 에너지보존법칙과 함께 열역학의 기본법칙으로서 중요하다. 이상기체에서 엔트로피가 증가하지 않는 것은 가역변화라고 하는 비현실적인 변화를 가정하고 있기 때문이다.

엔트로피는 물질계의 열적 상태로부터 정해진 양으로서, 통계역학의 입장에서 보면 열역학적인 확률을 나타내는 양이다. 엔트로피 증가의 원리는 분자운동이 확률이 적은 질서 있는 상태로부터 확률이 큰 무질서한 상태로 이동해 가는 자연현상으로 해석한다. 예를 들면, 마찰에 의해 열이 발생하는 것은 역학적 운동(분자의 질서 있는 운동)이 열운동(무질서한 분자운동)으로 변하는 과정이다. 그 반대의 과정은 무질서에서 질서로 옮겨가는 과정이며, 이것은 자발적으로 일어나지 않는다.

일반적으로 열역학적 확률의 최대값은 온도가 균일한 열평형상태에 대응하는 것이다. 고찰하고 있는 물질계가 다른 에너지 출입이 없는 고립계인 경우에는 늦던 빠르던 전체가 열평형에 도달하여 모든 열과정이 정지하는 것이라고 생각된다. 이로부터 엔트로피 증가의 법칙이 발표된 직후 만약 이 법칙이 정당하다면 우주는 어느 것이나 열평형에 도달하여 모든 종류의 에너지가 분자의 불규칙적인 열운동으로 변하여, 열의 종말, 즉 우주의 종말에 도달하게 될 것이라는 논쟁이 있었다. 그러나 이는 우주를 고립된 유한한 계라고 가정했을 때의 결론이다.

출처: 네이버 백과사전

–

Shannon 은 엔트로피의 개념을 통하여 Information Theory를 정립하는 빛나는 쾌거를 이룩하였다.

전에 포스팅했었던 모든 종류의 압축의 깰 수 없는 상한선을 보여준것도, 영어를 압축할때 몇비트가 필요한지를 계산한 것도 그사람.

심지어 그 사람의 개념을 사용해 Bioinformatics에서는 H (relative entrophy)를 이용, PAM과 BLOSUM의 정보량을 측정하기도 한다….

좋은 자료가 하나 있던데 (as long as you can understand it): http://www-ee.stanford.edu/~gray/it.pdf