माहिती सिद्धांत
माहितीची थिअरी (इंग्रजी) हे लागू गणित, विद्युत अभियांत्रिकी आणि संगणक विज्ञान यांची एक शाखा आहे ज्यामध्ये माहितीचे प्रमाणीकरण समाविष्ट आहे. डेटा संकुचन, विश्वसनीय संचयन आणि डेटा ट्रांसमिशनसारख्या सिग्नल प्रोसेसिंग ऑपरेशनची मूलभूत मर्यादा ओळखण्यासाठी क्लाउड शॅननने माहिती सिद्धांत विकसित केला आहे. त्याची सुरूवात झाल्यापासून ती इतर अनेक भागात विस्तारित केली गेली आहे जसे की संख्याशास्त्रीय अनुमान, नैसर्गिक भाषा प्रक्रिया, क्रिप्टोग्राफी, न्युरोबायोलॉजी, उत्क्रांती आणि आण्विक कोडींग कार्ये, पर्यावरणाचे मॉडेल निवड, थर्मोफिझिक्स, क्वांटम कम्प्युटिंग, भाषाशास्त्र, वाड्ःमयचौर्य ओळख, नमुना ओळख, विसंगती शोधणे आणि डेटा विश्लेषणाचे अन्य प्रकार. एंट्रोपी माहितीचा एक मुख्य उपाय आहे, सामान्यतः संदेशाच्या बिट्सची सरासरी संख्या ज्यास संग्रहित करण्याची किंवा संक्रमित करण्याची आवश्यकता असते. एन्टरपीप यादृच्छिक चल च्या मूल्याचे भाकीत करताना अनिश्चिततेची रक्कम मोजते. उदाहरणार्थ, विशिष्ट नाणे (सहा संभाव्य परिणाम) परिणामांपेक्षा एक नाणे (दोन संभाव्य परिणाम) निर्दिष्ट परिणाम (कमी एन्ट्रोपी) कमी आहे. ...