Teoria informacji
Teoria informacji jest dziedziną matematyki stosowanej, która określa ilościowo dane, aby przechowywać jak najwięcej danych na nośniku lub komunikować się nad danym kanałem. Entropia informacji, która jest jednostką danych, jest zwykle wyrażana jako średnia liczba bitów używanych do przechowywania lub komunikacji. Na przykład, jeśli codzienna informacja o pogodzie ma 3 bity entropii, można opisać dzień pogody jako średnio około 3 bity. Entropia informacji nie różni się znacznie od entropii w termodynamice. Im wyższa entropia informacji, tym większa jest niepewność. Przeciwnie, ponieważ ilość informacji w systemie jest stopniem niepewności, można zredukować entropię informacyjną systemu o mniejszej niepewności. W przypadku alfabetu angielskiego, jeśli wszystkie alfabety mają takie samo prawdopodobieństwo, entropia informacji wynosi 4.754887 bitów, ale jeśli obliczy się wartość częstotliwości alfabetycznej, jest ona zmniejszona do 4.08 bitów. Ponadto istnieje wiele powodów, takich jak wysokie prawdopodobieństwo, że pewne pisowni pochodzą po pewnej pisowni, a zatem entropia informacji może być dalej zmniejszona.