[BOOK-0009] 정보이론과 비트(bit)

통신의 근본 문제는 한 지점에서 선택된 메시지를 다른 지점에서 정확하게 혹은 비슷하게 재현하는 데 있다. 흔히 그 메시지는 의미를 갖는다. "클로드 섀넌"

인포메이션은 지적인 호기심을 채우는데 제격인 책이다. 저자의 폭넓은 지식에 매혹되어 책은 잘 읽히는 편이지만 워낙 다양한 주제를 다루다 보니 책을 덮은 후 독후감을 작성하기 어려운 문제점이 있다.

그래서 책에서 가장 핵심이라고 생각하는 7장 정보이론에 대한 간략한 정리로 독후감을 대체하려고 한다.
정보이론을 위해 섀넌은 "정보"에서 "의미"를 제거한 후 "물리적인 것"에만 초점을 맞춘다. 즉 정보는 불확실성, 의외성, 어려움 그리고 엔트로피였다. 이에 따라 H로 표기되는 정보의 척도를 사건에 '선택'이 얼마나 개입하는지 혹은 결과가 얼마나 불확실한지 말해주는 불확실성의 척도로 정의하려 했고 확률 함수로 정보를 측정하는 명쾌한 해결책을 내놓는다. 바로 로그 가중치를 둔 확률의 합을 구하는 공식이었다. 이는 메시지의 불가능성을 보여주는 평균 로그로 사실상 의외성의 척도였다.

H = - Σ p * log(2,p)

결과로 나온 단위는 '비트(bit)'로 부를 수 있다. 16개의 가능한 메시지가 있다면 그 정보량은 - Σ 1/16 * log(2,1/16) = 4bit가 되는 것을 확인할 수 있다.

비트라는 단위에 이렇게 심오함이 담겨 있다는 흥미로움과 해당 분야에서 있으면서도 그러한 사실을 몰랐다는 민망함을 동시에 느낄 수 있었다.