Teoria da informação
A teoria da informação (inglês) é um ramo de matemática aplicada, engenharia elétrica e ciência da computação, envolvendo a quantificação de informações. A teoria da informação é desenvolvida por Claude Shannon para encontrar as limitações básicas das operações de processamento de sinais, tais como a compressão de dados, armazenamento confiável e transmissão de dados. Desde a sua criação, foi ampliado para muitas outras áreas, incluindo inferências estatísticas, processamento de linguagem natural, criptografia, neurobiologia, funções de codificação molecular e evolutiva, seleção de modelos de ecologia, termofísica, computação quântica, lingüística, Detecção de plágio, reconhecimento de padrões, detecção de anomalia e outras formas de análise de dados. Entropy é uma medida chave da informação, geralmente expressa pelo número médio de bits de uma mensagem que precisa ser armazenada ou transmitida. A entropia mede a quantidade de incerteza envolvida na previsão do valor de uma variável aleatória. Por exemplo, o resultado da especificação de uma moeda (dois resultados possíveis) é menor (menos entropia) do que o resultado dos dados especificados (seis possíveis resultados). ...