섀넌이 정보량을 정의하는 관점은 이렇다. 잦은 것은 정보량이 적고 드문 것은 정보량이 많다. 자주 쓰는 건 예측하기 쉽기 때문이다. 예를 들어,
습니‘가 읽혔다. 그러면 다음 글자는 ‘다‘가 되기 쉽다. 흔히 그렇게 쓰므로, 그래서 다음 글자가 ‘다인 메시지는 정보가 적은 거다. 그런데 다음글자가 꺼인 메시지는 정보가 많은 거다. 예측하기 힘든 드문 경우이기때문이다.
‘ 자주 보이고 드물게 보이는 차이. 이 차이가 없으면 예측이 어렵다. 그래서 차이 없이 모든 글자가 골고루 사용되는 세계에서 온 메시지는 정
‘보가 많다. 반면에 그 차이가 있는 세계에서 온 메시지는 정보가 적다.
자주 보이는 글자들은 흔히 나타날 것이므로 보지 않고도 맞추기 쉬기때문이다.
이 정리를 곱씹어 보자. 아무리 잡음이 많은 채널이라도 초당 전달하는정보량이 채널 용량을 넘지만 않는다면(H < C) 온전하게 전달할 방법이있다고 했다. 따라서, 초당 정보량이 채널 용량을 초과한다면(H>C) 메시지의 정보량을 줄여주면 온전하게 전달할 수 있다. 그럼 정보량을 어떻게줄이나? 정보량을 줄이는 방법은 메시지에 있는 심벌들을 반복하거나 잡음으로 상처 날 메시지를 원상복구시키는 방법을 추가하면 된다. 이런 부가적인(정보량을 줄이는) 방법들을 메시지에 추가하다 보면 단위시간당 전달할 수 있는 정보량은 줄어들 게고 언젠가는 H<C가 돼서 그런 메시지는 온전히 전달할 수 있게 된다.
