Θεωρία πληροφορίας
μαθηματική θεωρία του τομέα της θεωρίας πιθανοτήτων και της στατιστικής / From Wikipedia, the free encyclopedia
Η θεωρία πληροφορίας είναι τμήμα των εφαρμοσμένων μαθηματικών και ασχολείται με την ποσοτικοποίηση της πληροφορίας. Η θεωρία της πληροφορίας αναπτύχθηκε από τον Κλοντ Σάνον για να βρει τα θεμελιώδη όρια της επεξεργασίας σήματος σε εφαρμογές όπως η συμπίεση δεδομένων και η αξιόπιστη αποθήκευση και μετάδοση δεδομένων. Από τη θεμελίωση της έχει διευρυνθεί ώστε να βρει εφαρμογές σε πολλούς άλλους τομείς, όπως στην θεωρία πιθανοτήτων, την στατιστική, την πληροφορική, την επεξεργασία φυσικής γλώσσας, την κρυπτογραφία, στα δίκτυα εκτός των δικτύων επικοινωνίας - όπως και στη νευροβιολογία,[1] στην εξέλιξη[2] και τη λειτουργία[3] μοριακών κωδικών στην οικολογία, στους κβαντικούς υπολογιστές, στην ανίχνευση λογοκλοπής και σε άλλες μορφές ανάλυσης δεδομένων.[4]
Μία βασική ποσότητα στην θεωρία πληροφορίας είναι η εντροπία. Η εντροπία ποσοτικοποιεί την αβεβαιότητα που εμπλέκεται στην πρόβλεψη της τιμής μίας τυχαίας μεταβλητής. Για παράδειγμα, το αποτέλεσμα μίας ρίψης ενός "δίκαιου" νομίσματος (–Κορώνα ή γράμματα– δύο ισοδύναμα πιθανά αποτελέσματα) παρέχει λιγότερη πληροφορία (δηλαδή μικρή εντροπία) από τον αν θα έχει ήλιο στην Αθήνα τον επόμενο δεκαπενταύγουστο (πάλι είναι δύο πιθανά αποτελέσματα, αλλά το ενδεχόμενο του ήλιου είναι πολύ πιο πιθανό).
Τα θεμελιώδη θέματα της θεωρίας της πληροφορίας βρίσκουν εφαρμογές στην συμπίεση δεδομένων (στα αρχεία ZIP, MP3 και JPEG), και την χωρητικότητα καναλιού (στην ψηφιακή συνδρομητική γραμμή DSL). Ο τομέας είναι στην «διασταύρωση» των μαθηματικών, της στατιστικής, της επιστήμης των υπολογιστών, της φυσικής, της νευρολογίας και της ηλεκτρικής εφαρμοσμένης μηχανικής. Πολλές από τις εφαρμογές του είναι κρίσιμες για την επιτυχία των αποστολών του Βόγιατζερ στο διάστημα, την ανακάλυψη του CD, την κατασκευή των κινητών τηλεφώνων, την εξέλιξη του διαδικτύου, την επιστήμη της γλωσσολογίας και της ανθρώπινης αντίληψης, την κατανόηση των μαύρων τρυπών και πολλών ακόμη άλλων πεδίων. Σημαντικά «υπο-πεδία» της θεωρίας πληροφορίας είναι ο πηγαίος κώδικας, η χωρητικότητα καναλιού, η αλγοριθμική θεωρία πολυπλοκότητας, η αλγοριθμική θεωρία της πληροφορίας, τα στοιχεία θεωρίας της ασφάλειας, καθώς και τα μέτρα ενημέρωσης.