Беседы об информатике - страница 22

Тут-то и вскрылась самая уязвимая точка шенноновской теории. В чем же дело? Пусть имеются две системы, характеризуемые в данный момент разными значениями энтропии, то есть разной степенью неопределенности. Обе системы получают одно и то же сообщение. Но энтропия их изменяется от полученного сообщения по-разному, в зависимости от их начального состояния. Значит, количество информации в сообщении зависит не от самого сообщения, а от того, кто его получает. Ясно, что в таких условиях не может быть построена никакая самосогласованная физическая теория.

Обычно высказанные соображения иллюстрируют следующим примером. Получено сообщение о том, что температура воздуха равна +20 °C. Вероятность такого значения температуры в наших широтах велика летом и очень мала зимой. В полном соответствии с теорией Шеннона делается вывод, что одно и то же сообщение летом содержит меньше информации, а зимой больше.

Поразительно, что многие воспринимают подобные вещи как нечто само собой разумеющееся. Им даже в голову не приходит, что коли так, то следует создавать не одну, а по меньшей мере две разные теории информации. Одну — зимнюю, другую — летнюю. Подобные рассуждения о температуре эквивалентны тому, как если бы мы считали, что гвоздь является гвоздем только для того, кому он нужен, а для того, кому он не нужен, он вовсе даже и не гвоздь.

Каждый последовательный физик понимает, что если результат измерения температуры несет какую-либо информацию, то количество этой информации зависит от того, насколько тщательно проведены измерения, от точности измерительного прибора, может быть, от других каких-либо условий, но ни в коем случае не от того, кто или что является получателем сообщения о величине температуры.

На этом неприятности не закончились. Мера Шеннона в принципе не накладывает ограничений на количество информации. Вероятность некоторого события может быть сколь угодно близка к единице, и, следовательно, количество информации по Шеннону может быть сколь угодно близко к нулю. Наоборот, вероятность некоторого события может быть сколь угодно близка к нулю, и, естественно, количество информации по Шеннону может быть сколь угодно близко к бесконечности. Но какое действие на реальную физическую систему произведет сообщение, содержащее исчезающе малое количество информации? Иметь дело с физическими величинами, способными обращаться в бесконечность, также крайне неудобно. Бесконечность делится на любое количество частей, и каждая из них все равно остается бесконечностью.

Примечательно, что с подобными трудностями столкнулся сам К. Шеннон. Попытавшись определить количество информации в непрерывно изменяющемся сигнале, он сразу получил бесконечность. А ведь непрерывно изменяющийся сигнал — это то, что передает в эфир любая радиостанция. Чтобы выйти из этого затруднения, К. Шеннону пришлось ввести в рассмотрение некоторую малую величину — квант количества информации.

С аналогичной задачей за сорок с лишним лет до К. Шеннона столкнулся Макс Планк. Он изучал ситуацию, в которой величина, в его случае энергия излучения нагретого тела, обращалась в бесконечность. В качестве математического аппарата для описания ситуации использовалась энтропия. В чем состоял выход, предложенный М. Планком? Не считать излучение непрерывным, а ввести в рассмотрение некую порцию — квант излучения, — тот самый квант, который затем лег в основу квантовой физики. Так стоило ли через сорок лет начинать все сначала?

Применительно к термодинамической энтропии трудами крупнейших физиков второй половины XIX века Р. Клаузиуса (1822–1888), Л. Больцмана и Дж. Гиббса (1839–1903) удалось сформулировать весьма общий закон природы, получивший название закона неубывания энтропии, или второго начала термодинамики. Согласно этому закону энтропия замкнутой физической системы может только либо оставаться постоянной, либо возрастать. Пожалуй, сейчас уместно еще раз предоставить слово Н. Винеру.

«Мы сказали, что количество информации, будучи отрицательным логарифмом величины, которую можно рассматривать как вероятность, по существу есть некоторая отрицательная энтропия. Интересно отметить, что эта величина в среднем имеет свойства, которые мы приписываем энтропии… Как и следовало ожидать, процессы, ведущие к потере информации, весьма сходны с процессами, ведущими к увеличению энтропии».