Теория информации

Тео́рия информа́ции — раздел прикладной математики, изучающий способы измерения количества информации и ее передачи. Теория информации оперирует с математическими моделями, а не с реальными физическими объектами (источниками и каналами связи). Она использует математический аппарат теории вероятностей и математической статистики. Основные разделы теории информации — кодирование источника (сжимающее кодирование) и канальное (помехоустойчивое) кодирование. Теория информации связана с криптографией. Основоположником теории информации признают Клода Шеннона. Разработанная им теория, изначально понимавшаяся как строго математическая задача в статистике, дала возможность определить емкость коммуникационного канала систем передачи данных. Передающая часть теории не занимается значением (семантикой) передаваемого сообщения, однако, дополняющая часть теории информации обращает внимание на содержимое через сжатие c потерями субъекта сообщения, используя критерий точности. Разработанные Клодом Шенноном в 1940-х годах основы теории информации были существенно дополнены и расширены работами Н. Винера, В.А. Котельникова, А.Н. Колмогорова.