Informationstheorie
Informationstheorie (Englisch) ist ein Fachbereich der angewandten Mathematik, Elektrotechnik und Informatik mit der Quantifizierung von Informationen. Die Informationstheorie wurde von Claude Shannon entwickelt, um die grundlegenden Grenzen von Signalverarbeitungsoperationen wie Datenkomprimierung, zuverlässiger Speicherung und Datenübertragung zu ermitteln. Seit seiner Gründung wurde es auf viele andere Gebiete ausgedehnt, einschließlich statistischer Inferenz, natürlicher Sprachverarbeitung, Kryptographie, Neurobiologie, evolutionärer und molekularer Codierungsfunktionen, Auswahl von Ökologiemodellen, Thermophysik, Quantencomputing, Plagiaterkennung, Mustererkennung, Anomalieerkennung und andere Formen der Datenanalyse. Die Entropie ist ein wichtiges Maß für die Information, die normalerweise durch die durchschnittliche Anzahl von Bits einer Nachricht ausgedrückt wird, die gespeichert oder übertragen werden müssen. Die Entropie misst den Grad der Unsicherheit bei der Vorhersage des Wertes einer Zufallsvariablen. Beispielsweise ist das Ergebnis der Angabe einer Münze (zwei mögliche Ergebnisse) weniger (weniger Entropie) als das Ergebnis der angegebenen Würfel (sechs mögliche Ergebnisse). ...