Bilgi teorisi
Bilgi teorisi (İngilizce), bilginin nicelleştirilmesini içeren, uygulanan matematiğin, elektrik mühendisliği ve bilgisayar bilimlerinin bir dalıdır. Bilgi teorisi, veri sıkıştırma, güvenilir depolama ve veri iletimi gibi sinyal işleme operasyonlarının temel sınırlamalarını bulmak için Claude Shannon tarafından geliştirilmiştir. Kuruluşundan bu yana, istatistiksel çıkarsama, doğal dil işleme, kriptografi, nevrobiyoloji, evrimsel ve moleküler kodlama fonksiyonları, ekoloji modeli seçimi, termofizik, kuantum hesaplama, dilbilim gibi diğer birçok alana genişletilmiştir. İntihal tespiti, kalıp tanıma, anormallik tespiti ve diğer veri analiz biçimleri. Entropi, bilginin önemli bir ölçüsüdür ve genellikle bir mesajın depolanması veya iletilmesi gereken ortalama bit sayısı tarafından ifade edilir. Entropi, rastgele bir değişkenin değerinin tahmininde yer alan belirsizlik miktarını ölçer. Örneğin, bir madeni para belirtme sonucu (iki olası sonuç) belirtilen zarların sonucundan (altı olası sonuç) daha az (daha az entropi) olur. ...