Беседы об информатике - страница 18
Вернемся к тому, с чего начался этот разговор. Мы наблюдали самолет в некотором ряде его прошлых положений. На основании обработки данных наблюдений с применением некоторой статистической теории сделано предсказание будущего положения самолета. Можно ли сказать, что мы знаем будущее положение самолета, то есть имеем информацию о будущем его положении? Иными словами, можно ли считать, что мы знаем о местоположении самолета, если на вопрос: находится ли самолет в пределах круга данного радиуса или нет? — ответ будет или «да», или «нет». Повлияет ли он на то, что мы называем знанием, другая формулировка ответа: самолет будет находиться в пределах круга данного радиуса с вероятностью 0,6?
Пусть каждый из читателей постарается сам для себя ответить на поставленный здесь вопрос. Что касается авторов, то мы твердо убеждены в следующем. Знание вероятности наступления некоторого события представляет собой знание. Только это не знание о самом событии как таковом, а знание того, сколько раз может наступить это событие, если условия для его наступления создаются достаточно много раз подряд.
Любые выводы, основанные на вероятностях, нельзя считать информацией о событии. А количественную меру, построенную на вероятности, нельзя считать мерой информации.
Не скроем, подобное мнение противоречит установившейся на сегодня точке зрения большинства ученых на теорию информации. Поэтому нам представляется важным проследить тот исторический путь, в результате которого сформировался вероятностный подход к информационным процессам.
В 1876 году президент США Гарфилд весьма категорично высказался по поводу телефона:
— Как открытие оно исключительное, но только кто им будет пользоваться?
Вопреки мнению президента телеграфная, телефонная, а в дальнейшем и радиосвязь развивалась чрезвычайно быстрыми темпами и со временем неотъемлемой составной частью вошла в промышленные комплексы и государственный аппарат многих стран. Стало ясно, что связь, тем более на далекие расстояния, достаточно дорогое удовольствие. Возникла насущная необходимость проектировать системы связи на строгой научной основе.
Общепризнанным основоположником современной общей теории связи, которую в большинстве случаев считают также и теорией информации, является американский ученый К. Шеннон. К. Шеннон занимался исследованием конкретного процесса — процесса передачи сигналов по телеграфным и телефонным каналам. Ход его рассуждений был примерно таким. По телеграфному каналу передаются сообщения, представляющие собой последовательности букв какого-нибудь алфавита, например латинского. При желании можно составить следующую таблицу соответствий: a — 00000, b — 00001, c — 00010, d — 00011, e — 00100 и т. д. Последовательность из пяти символов, каждый из которых может быть либо нулем, либо единицей, имеет 32 различные конфигурации. Этого достаточно, чтобы поставить по одной из них в соответствие каждой букве латинского алфавита (их всего 26), а также некоторым самым важным знакам препинания.
Пусть символу 1 соответствует некоторое положительное электрическое напряжение в цепи телеграфного канала, а символу 0 — такое же по абсолютной величине, но отрицательное электрическое напряжение. Факт установления в телеграфной цепи напряжения данного знака называется посылкой. Каждая посылка соответствует одному символу: либо 1 (положительное напряжение), либо 0 (отрицательное напряжение). Длительность посылки определяется свойствами телеграфного канала и не может быть меньше некоторой величины τ. Шеннон считал все посылки одинаковой длительности, равной τ.
В подобных условиях передача одной буквы латинского алфавита занимает время, равное 5τ. Для передачи двух букв требуется 5·2·τ и в общем случае для передачи n букв — 5nτ единиц времени. Нельзя ли передать сообщение, представляющее собой последовательность n букв латинского алфавита, по данному каналу связи за время, меньшее, чем 5nτ? Такую задачу поставил перед собой и пытался решить К. Шеннон.
Оказалось, это задача разрешимая, если сообщения представляют собой слова какого-то языка или последовательности слов. Разрешима она потому, что разные буквы в любом языке встречаются не одинаково часто. Например, в тексте на русском языке длиной, скажем, в тысячу букв буква «о» встречается примерно 90 раз, буква «р» — 40 раз, а буква «ф» — 2 раза. Аналогичные закономерности справедливы для английского и других языков. В чем заключалась основная идея Шеннона?