Teoria informacji
Teoria informacji (angielski) jest oddziałem matematyki stosowanej, elektrotechniki i informatyki, obejmującym kwantyfikację informacji. Teorię informacyjną opracowuje Claude Shannon w celu znalezienia podstawowych ograniczeń operacji przetwarzania sygnału, takich jak kompresja danych, niezawodne przechowywanie i transmisja danych. Od jego powstania została rozszerzona na wiele innych dziedzin, w tym wnioskowanie statystyczne, przetwarzanie języków naturalnych, kryptografia, neurobiologia, ewolucyjne i molekularne funkcje kodowania, dobór modelu ekologii, termofizyka, informatyka kwantowa, język lingwistyka, Wykrywanie plagiatu, rozpoznawanie wzorców, wykrywanie anomalii i inne formy analizy danych. Entropia jest kluczowym miernikiem informacji, zwykle wyrażanym przez przeciętną liczbę bitów wiadomości, które muszą być przechowywane lub transmitowane. Entropia mierzy ilość niepewności związanej z przewidywaniem wartości zmiennej losowej. Na przykład, wynikiem określenia monety (dwa możliwe wyniki) jest mniej (mniej entropii) niż wynik określonej kostki (sześć możliwych wyników). ...