Теорія інформації
Теорія інформації - це область прикладної математики, яка кількісно визначає дані, щоб зберігати якомога більше даних на середовищі або спілкуватися по каналу. Ентропія інформації, яка є одиницею даних, зазвичай виражається як середня кількість бітів, що використовуються для зберігання або зв'язку. Наприклад, якщо інформація про погоду протягом дня з 3-бітної ентропією, можна описати погоду в середньому дня близько трьох біт. Інформація Ентропія являє собою концепцію, яка суттєво відрізняється від ентропії термодинаміки, тим вище інформаційна ентропія, тим більше невизначеності. З іншого боку, обсяг інформації в системі є ступенем невизначеності, оскільки інформація ентропія системи менше невизначеності може бути зменшена. Якщо буква англійського алфавіту, якщо всі мають однакову ймовірність поява інформації також enteuropieun 4.754887 трохи, але якщо розрахувати значення частоти появи алфавіту зменшується до 4,08 біт. Це відбувається на додаток до будь-яких чарам за ним через багатьох причин, чому те чи інше заклинання цілком ймовірно, наприклад, дуже високою ентропії інформації здатний додатково зменшити.