Teoría de la información
La teoría de la información (inglés) es una rama de la matemática aplicada, la ingeniería eléctrica y la informática, que implica la cuantificación de la información. La teoría de la información es desarrollada por Claude Shannon para encontrar las limitaciones básicas de las operaciones de procesamiento de señal, como la compresión de datos, el almacenamiento confiable y la transmisión de datos. Desde sus inicios, se ha extendido a muchas otras áreas, incluida la inferencia estadística, el procesamiento del lenguaje natural, la criptografía, la neurobiología, las funciones de codificación molecular y evolutiva, la selección del modelo de ecología, la termofísica, la computación cuántica, la lingüística, Detección de plagio, reconocimiento de patrones, detección de anomalías y otras formas de análisis de datos. La entropía es una medida clave de la información, generalmente expresada por el número promedio de bits de un mensaje que debe almacenarse o transmitirse. La entropía mide la cantidad de incertidumbre involucrada en la predicción del valor de una variable aleatoria. Por ejemplo, el resultado de especificar una moneda (dos resultados posibles) es menor (menos entropía) que el resultado de los dados especificados (seis posibles resultados). ...