Teoria informacji
Z Wikipedii
Teoria informacji - dział matematyki na pograniczu statystyki i informatyki, mający również olbrzymie znaczenie w współczesnej telekomunikacji, dotyczący przetwarzania informacji oraz jej transmisji, kompresji, kryptografii itd.
Spis treści |
[edytuj] Historia i charakterystyka teorii informacji
Za ojca teorii informacji uważa się Claude'a E. Shannona, który prawdopodobnie po raz pierwszy użył tego terminu w 1945 roku, w swojej pracy zatytułowanej "A Mathematical Theory of Cryptography". Natomiast w 1948 roku, w kolejnej pracy pt. "A Mathematical Theory of Communication" przedstawił najważniejsze zagadnienia związane z tą dziedziną nauki. Shannon stworzył podstawy ilościowej teorii informacji, dlatego późniejsi autorzy próbowali stworzyć teorie wyjaśniające wartość (cenność) informacji. W Polsce Marian Mazur stworzył oryginalną teorię opisującą zarówno ilość jak i jakość informacji. Opisał ją m.in. w wydanej w 1970 roku książce Jakościowa teoria informacji. Wprowadził w niej rozróżnienie między informacjami opisującymi a informacjami identyfikującymi i wykazał, że tylko liczba informacji identyfikujących jest tym samym co ilość informacji wyrażona wzorem Claude E. Shannona - wbrew panującemu dotychczas przeświadczeniu, że odnosi się on do wszelkich informacji.
Ważne pojęcia teorii informacji:
- bit: najmniejsza jednostka informacji potrzebna do zakodowania, które z dwóch możliwych zdarzeń zaszło.
Zobacz wyższe jednostki informacji.
- entropia: najmniejsza średnia ilość informacji potrzebna do zakodowania faktu zajścia zdarzenia ze zbioru zdarzeń o danych prawdopodobieństwach.
Wzór na entropię to:
gdzie p(i) to prawdopodobieństwo zajścia zdarzenia i.
Pojęcie entropii w termodynamice jest do pewnego stopnia związane z pojęciem entropii w teorii informacji.
[edytuj] Model statystyczny rzędu N
Jest to model rozkładu prawdopodobieństwa, w którym pod uwagę bierze się N poprzednich znaków:
- model rzędu 0 oznacza, że nie bierze się pod uwagę poprzednich znaków
- model rzędu 1 oznacza, że bierze się pod uwagę jeden poprzedni znak
- model rzędu 2 oznacza, że bierze się pod uwagę dwa poprzednie znaki
- model nieskończonego rzędu oznacza, że bierze się pod uwagę wszystkie poprzednie znaki.
[edytuj] Literatura
- Thomas M. Cover, Joy A. Thomas, Elements of Information Theory. Wiley Series in Telecommunications, 1991.
- Gareth A. Jones, Mary J. Jones, Information and Coding Theory. Springer, 2000.
- David J.C. MacKay, Information Theory, Inference, and Learning Algorithms. Cambridge University Press, 2003.
- Ming Li, Paul Vitanyi, An Introduction to Kolmogorov Complexity and Its Applications. Springer, 1997.
- Marian Mazur, Jakościowa teoria informacji. WNT, Warszawa 1970, ss. 223.
[edytuj] Zobacz też
[edytuj] Linki zewnętrzne
- Teoria informacji (materiały dydaktyczne MIMUW na studia informatyczne II stopnia)
- Paweł Przybyłowicz, Wstęp do teorii Informacji i kodowania
| 65. rocznica bitwy pod Lenino |
|
W dniach 12-13 października 1943 roku koło wsi Lenino na Białorusi odbyła się bitwa pomiędzy 33. armią radziecką, w której skład wchodziła 1. dywizji piechoty im. Tadeusza Kościuszki a wojskami niemieckimi. W tym roku mija 65 lat od tego wydarzenia.
|
| Pilot jest chory, do Brukseli poleci jeden samolot |
|
Pilot - dowódca drugiej załogi samolotu rządowego się rozchorował w związku z tym do dyspozycji polskich władz jest w najbliższych dniach tylko jeden samolot. Na lot do Brukseli złożył zamówienie rząd w dniach 13, 14, 15 października - poinformował w Kontrapunkcie RMF FM i Newsweeka Bogdan Klich minister obrony narodowej.
|
| Nie lubimy ukraińskich pisarzy? |
|
"Gazeta Wyborcza": polski konsulat we Lwowie niechętnie wydaje wizy Ukraińcom, nawet jeśli mają zaproszenie od polskich instytucji państwowych.
|
| Sondaż: ile jeszcze potrwa kryzys |
|
"Gazeta Wyborcza": jak długo potrwa jeszcze kryzys finansowy w świecie? - Na tak postawione pytanie "Gazety Wyborczej" 36 proc. badanych odpowiedziało, że "wiele lat", 14 proc., że "rok", 26 proc., że "kilka miesięcy", a 11 proc., że "kilka tygodni lub mniej".
|
| Daremna pomoc z Unii? |
|
"Gazeta Wyborcza": województwa nie wykorzystają w tym roku kilku miliardów złotych unijnej pomocy.
|