Cantidad de información

La cantidad de información que es capaz de manejar un sistema está en función de la variedad de mensajes que puede elaborar,  por ejemplo en que el caso de ocho lámparas de distinto color sabemos que se pueden codificar 2 ⁸, correspondientes a la posibles combinaciones  de lámparas encendidas o apagadas, en este caso la variedad esta dada por N = 2 ⁸, esto es lo posibles mensajes que puede elaborar el sistema para transmitirlos. La cantidad de información en el caso de un código binario como:

I = log ₂ N

 La unidad binaria de información es un bit (Binary digIT) de ahí que en el arreglo de lámparas la cantidad de información es de 8 bit, con lo lo cual se pueden codificar diferentes mensajes. En nuestra computadoras al arreglo de 8 bit se le conoce como bytes, y es la manera como se codifican los caractres en los teclados, así para cada caracter solo se requiere un byte. (Escultura dedicada a la Entropía,  Universidad de Monterrey, México, tomada d ela wikipedia)

Shannon expresó la cantidad de información mediante  la expresión

H = – Σ p(i) . ln p(i)

Donde Σ es la suma desde i = 1 hasta i = n,  H es la cantidad “esperada” de información,  p(i) es la probabilidad que tiene la señal i de ser transmitida y ln el logaritmo con la base elegida par amedir la cantidad de información. En el caso binario sería logaritmo de base 2.

Se conoce a la variable H como entropía de Shannon, por su similitud de la expresión de la entropía en la termodinámica. Puede observarse que que I = -H  por lo que también se le conoce como entropía negativa,  así en un sistema termodinámico H mide «el grado de desorden»,  I mide el grado de orden que puede ser distinguida en su sistema. Un «sistema ordenado» sería aquel que tiene una estructura reconocible. Conforme el sistema va incrementando su entropía los patrones reconocibles de una estructura van disminuyendo.