Teoria informațiilor
Teoria informației este un domeniu al matematicii aplicate care cuantifică date pentru a stoca cât mai multe date pe un mediu sau pentru a comunica pe un canal. Entropia informației, care este o unitate de date, este de obicei exprimată ca numărul mediu de biți folosiți pentru stocare sau comunicare. De exemplu, dacă informațiile meteo zilnice au 3 biți de entropie, ați putea descrie vremea zilei ca aproximativ 3 biți în medie. Entropia informației nu este mult diferită de entropia în termodinamică. Cu cât entropia informațională este mai mare, cu atât este mai mare incertitudinea. Dimpotrivă, deoarece cantitatea de informații din sistem este gradul de incertitudine, entropia informațională a unui sistem cu mai puține incertitudini poate fi redusă. În cazul în care litera a alfabetului englez, în cazul în care toate au aceeași probabilitate de apariție de informații este, de asemenea, enteuropieun 4.754887 biți, dar dacă se calculează valorile de frecvență apariție a alfabetului este redus la 4,08 biți. În plus, există mai multe motive, cum ar fi probabilitatea mare ca anumite scrieri să vină după o anumită ortografie, astfel încât entropia informațională să poată fi redusă în continuare.