Teoría de la información
La teoría de la información es un campo de matemáticas aplicadas que cuantifica los datos para almacenar la mayor cantidad de datos posible en un medio o para comunicarse a través de un canal. La entropía de información, que es una unidad de datos, suele expresarse como el número medio de bits utilizados para el almacenamiento o la comunicación. Por ejemplo, si la información meteorológica diaria tiene 3 bits de entropía, se podría describir el tiempo del día como de 3 bits en promedio. La entropía de la información no es muy diferente de la entropía en la termodinámica, cuanto mayor es la entropía de la información, mayor es la incertidumbre. Por el contrario, como la cantidad de información en el sistema es el grado de incertidumbre, la entropía de información de un sistema con menos incertidumbres puede ser reducida. En el caso del alfabeto inglés, si todos los alfabetos tienen la misma probabilidad, la entropía de la información es 4.754887 bits, pero si se calcula el valor de la frecuencia alfabética, se reduce a 4.08 bits. Además de esto, hay varias razones, como la alta probabilidad de que ciertas ortografías vienen después de una ortografía determinada, por lo que la entropía de la información se puede reducir aún más.