Teoria informațiilor
Teoria informațiilor (engleză) este o ramură a matematicii aplicate, a ingineriei electrice și a informaticii, care implică cuantificarea informațiilor. Teoria informațiilor este dezvoltată de Claude Shannon pentru a găsi limitările de bază ale operațiilor de procesare a semnalului, cum ar fi compresia datelor, stocarea fiabilă și transmiterea datelor. De la înființare, a fost extinsă și în multe alte domenii, incluzând inferența statistică, prelucrarea lingvistică naturală, criptografia, neurobiologia, funcțiile de codificare evolutivă și moleculară, selecția modelelor ecologice, termofizica, calculul cuantic, Detecția plagiatului, recunoașterea modelului, detectarea anomaliilor și alte forme de analiză a datelor. Entropia este o măsură cheie a informațiilor, exprimată de obicei prin numărul mediu de biți dintr-un mesaj care trebuie să fie stocat sau transmis. Entropia măsoară cantitatea de incertitudine implicată în prezicerea valorii unei variabile aleatorii. De exemplu, rezultatul specificării unei monede (două rezultate posibile) este mai mic (mai puțin entropie) decât rezultatul zarurilor specificate (șase rezultate posibile). ...