загрузка...

§ 2. Информация без вероятности

  Математические теории строятся в основном аксиоматически. Формулируется несколько аксиом, и, согласно определенным правилам, дедуктивно выводятся все остальные положения теории. Подобным образом, как раздел теории вероятностей, строится и статистическая теория информации.
Но аксиоматически можно создать и некоторые другие теории информации, минуя теорию вероятностей, на базе теории множеств. Такие теории действительно уже созданы (хотя еще недостаточно разработаны). Однако возникает вопрос: зачем необходимо создавать такие теории? И почему мы можем назвать их теориями информации?
Построение и развитие статистической теории информации оправдывается ее приложениями, практикой. Эта теория отражает некоторые закономерности явлений природы, общества и познания (мышления). Для того чтобы делать вывод о необходимости невероятностных теорий информации, следует показать их возможное практическое приложение и недостаточность лишь статистического подхода. Рассмотрим некоторые факты, которые свидетельствуют об ограниченности вероятностных представлений в теории информации.
Вскоре после работ К. Шеннона появились попытки оценить количество информации в живых организмах. Подробно об этих попытках мы расскажем далее (см. § 8). Здесь лишь отметим, что на молекулярном уровне в соответствии с вероятностной теорией информации одноклеточный организм содержит не менее 10 , а может быть, даже 10 битов . Это количество информации, по Кастлеру, выражает в двоичных единицах число молекулярных конфигураций, совместимых с жизнью.
С какой вероятностью могут возникнуть структуры с таким количеством информации? Согласно теории вероятностей, возникновение биологической организации мы можем рассматривать как некоторый опыт, имеющий очень большое число исходов. Предположим, что эти исходы равновероятны. В этом случае вероятность какого-либо определенного исхода (допустим, возникновения данной биологической организации) и ко - личество информации в ней связаны простой формулой (p = 2“1). Если I = 103 битов, то p = 2“1000. Следовательно, чтобы случайно возникла биологическая структура с количеством информации в 103 битов, необходимо сделать выбор из 21000 возможностей.
См. Кастлер Г. Возникновение биологической организации. М.: Мир, 1967. С. 14-19.
Столь низкая вероятность делает, по существу, невозможным возникновение жизни в результате чисто случайного сочетания молекул. Г. Кастлер и многие другие биологи на основании подобных расчетов приходят к выводу о том, что живая структура не может возникнуть в одном случайном акте. Следовательно, в процессе возникновения жизни случайность и необходимость взаимосвязаны [***]. Но этот вывод говорит и о другом: количество информации в биологической организации не может оцениваться лишь методами вероятностной теории. Для этого нужно изменить само математическое построение теории информации. Биология, следовательно, дает новый заказ математике.
Мысль о необходимости создания невероятностных концепций информации следует и из ее приложения к теории познания и логике. Применение статистической теории информации в теории познания и логике столкнулось с тем фактом, что не всякий процесс и не всякий результат (форма) научного познания носит вероятностный характер. Действительно, если имеется какое-то множество элементов, то выбор этих элементов может происходить случайно, т. е. элемент выбирается наугад. Но элементы могут выбираться и по какому-то заранее заданному строгому плану (или, как еще говорят, детерминированному алгоритму). Следовательно, уничтожение неопределенности, т. е. получение информации, может происходить и в других формах, отличающихся от формы вероятностного процесса. Понятие неопределенности в общем оказывается шире понятия вероятности. Скорее всего, неопределенность есть некоторое отношение элемента, входящего в множество, и числа всех элементов множества. Когда это отношение имеет случайный характер (например, случайный выбор элемента из множества), мы имеем дело со статистической теорией информации. Если же это отношение неслучайно, то вступают в силу невероятностные теории информации.
Подобная ситуация с приложениями статистической теории информации отнюдь не является неожиданной. Ясно, что любая теория имеет свои границы применимости. Не случайно К. Шеннон подчеркивал, что «глубокое понимание математической стороны теории информации и ее практических приложений к вопросам общей теории связи является обязательным условием использования теории информации в других областях науки. Я лично полагаю, что многие положения теории информации могут оказаться очень полезными в этих науках; действительно, в ней уже достигнуты некоторые весьма значительные результаты. Однако поиск путей применения теории информации в других областях не сводится к тривиальному переносу терминов из одной области науки в другую. Этот поиск осуществляется в длительном процессе выдвижения новых гипотез и их экспериментальной проверки» [†††].
Таким образом, К. Шеннон не отрицал возможности появления новых математических теорий информации. Более того, уже в его статье «Математическая теория связи» мы находим идеи того направления невероятностных концепций информации, которое называется сейчас комбинаторным. Комбинаторика - это раздел элементарной математики, в котором рассматриваются некоторые операции с множествами, состоящими из ко - нечного числа элементов (соединения, сочетания, размещения, перестановки). Пример комбинаторного определения количества информации - I = logn, где n - число элементов во множестве. Формула комбинаторного количества информации по своему виду не отличается от формулы статистического количества информации с равными вероятностями. Поэтому некоторое время комбинаторный подход не выделялся из статистического, поскольку молчаливо предполагалось, что первый является частным случаем последнего. Тем не менее, несмотря на внешнее тождество формул комбинаторного и статистического определения, между ними существует различие.
Это различие сказывается в самой идее теории вероятно - стей и комбинаторики. Для теории вероятностей характерно то, что она математическими средствами изучает случайные процессы. Специфика вероятностного количества информации связана со статистическими закономерностями. Статистические совокупности могут обладать как конечным, так и бесконечным числом элементов (событий). В комбинаторике же всегда рассматривается конечное число элементов множества, причем они не должны подчиняться в общем случае статистическим закономерностям. Для комбинаторного количества информации важно лишь количество элементов, мощность множества. Оно характеризует уничтожение той неопределенности, которая возникает при выборе одного элемента из некоторой конечной совокупности. Этот выбор может не носить случайного характера.
Существуют другие невероятностные подходы к определению информации, например динамический и топологический.
Под динамическими системами в классическом смысле
имеются в виду механические системы (с конечным числом сте-
*
пеней свободы) . Именно изучение этих систем привело к понятию динамических закономерностей, т. е. таких, когда между причиной и следствием существует взаимооднозначная связь.
В математике под динамическими системами понимают любые системы (не только механические), поведение которых определяется системой дифференциальных уравнений с конечным числом действительных переменных. Кроме механических к динамическим системам могут быть отнесены некоторые физические, биологические (например, любой организм), ряд кибернетических и других систем.
Основанием для применения теории информации к динамическим системам послужили некоторые аналогии динамиче- [‡‡‡]
ских систем с так называемым свойством «перемешивания» и случайными процессами. В результате работ А. Н. Колмогорова, В. А. Рохлина, Я. Г. Синая и других ученых эти аналогии были значительно углублены, и удалось получить целый ряд интересных результатов благодаря использованию понятия негэнтро- пии. Так, несмотря на то что статистические системы многозначны, а динамические системы однозначно детерминированы, некоторые свойства последних могут быть охарактеризованы количеством информации. Это значит, что понятие информации не связано со спецификой статистических закономерностей, а отражает определенное свойство, общее для статистических и динамических систем.
В 1955 г. американский математик, биолог и социолог
**
Н. Рашевский , исходя из соображений теоретической биологии, ввел новое определение количества информации, которое названо им топологическим. Топология - это раздел математики, изучающий топологические свойства пространства, т. е. такие, которые остаются неизменными (инвариантными) при взаимооднозначных и непрерывных (так называемых гомеоморфных) преобразованиях. Топологические свойства пространства характеризуют как бы его качественный аспект, тогда как метрические свойства (например, протяженность) выражают его количественный аспект, возможность измерения. Первые носят более фундаментальный ха- 2              рактер, чем вторые. Трехмерность реаль
ного пространства и одномерность времени - пример их топологических свойств.
Для того чтобы показать, в чем заключается идея топологического количе - ства информации, рассмотрим простей- [§§§]
ший топологический комплекс - граф. Элементарное представление о графе дает, например, обычный треугольник, у которого вершины обозначены точками с цифрами (1, 2, 3).
Эти нумерованные точки называются вершинами графа, а линии, исходящие из них, - его ребрами. Количество ребер, исходящих из вершины графа, определяет ее степень. Так, в нашем примере из каждой вершины исходят по два ребра, следовательно, они имеют степень 2. Если в графе, как в рассмотренном выше примере, вершины имеют одинаковую степень и смежность (каждая из них смежна двум вершинам с одинаковой степенью), то считается, что они топологически тождественны и количество информации такого графа равно нулю. Информационным содержанием обладают лишь графы, вершины которых топологически различны.
Топологическое количество информации отличается от статистического. Как показал Г. Карреман *, информационное содержание соединения графов может оказаться меньше, чем сумма информационных содержаний графов, его образующих, и даже меньше, чем одного из первоначальных графов.
Из статистической теории информации известно, что если две статистические совокупности объединяются в одну сложную, то в последней энтропия (и, соответственно, количество информации) увеличивается. Энтропия сложной совокупности будет равна сумме энтропии, если объединяются независимые совокупности, и будет меньше этой суммы, если до объединения между совокупностями существовала статистическая связь (корреляция). Но в статистической теории информации не бывает такого положения, что энтропия (и количество информации) в объединенной системе может быть меньше, чем в какой- либо из ее частей. Таким образом, между статистическим и топологическим подходом к определению количества информации существует различие. [****]
По мнению Н. Рашевского, с помощью топологического подхода можно определять информационное содержание составляющих организм молекул. Теория графов позволяет учитывать различное расположение атомов в молекуле. Топология таких молекулярных графов влияет на информационное содержание организма, которое связано, в частности, с такими основными характеристиками жизненных функций, как выбор и усвоение пищи, репродукция и т. д. Полное информационное содержание
организма не является, однако, только топологическим или ста*
тистическим. Последователь Н. Рашевского Э. Тракко определил более сложные формулы количества информации того или иного объекта, которые зависят не только от топологических и статистических, но и от других характеристик.
Наконец, последний из рассматриваемых здесь нестатистических подходов к определению количества информации был
**
предложен в 1965 г. А. Н. Колмогоровым . Речь идет об алгоритмическом подходе.
А. Н. Колмогоров отмечает, что чаще всего нас интересует количество информации в индивидуальном объекте А относительно индивидуального объекта В, т. е. взаимное, относительное количество информации. По аналогии с этим вероятностным определением количества информации как функции связи двух систем вводится определение алгоритмического количества информации .
Не вдаваясь подробно в строгое определение алгоритмического количества информации, изложим простейшие идеи этого
Trucco Е. On the Information Content of Graphs: Coumpound Simbols; Different States for Each Point // The Bulletin of Mathematical Biophysics. Chicago. 1956. Vol. 18. № 3.
**
См. Колмогоров А. Н. Три подхода к определению понятия «количество информации» // Проблемы передачи информации. 1965. Т 1. Вып. 1.
***
Алгоритмом называется программа, инструкция о выполнении в заданном порядке некоторых операций, позволяющих решать совокупность задач определенного класса. Примером простейших алгоритмов являются правила, по которым выполняются арифметические действия.
подхода. Предположим, что дана некоторая последовательность букв (или цифр, или иных элементов множества): а, а, а, а... а. Очевидно, что эта последовательность весьма проста и длина программы, полностью восстанавливающей эту последовательность, будет мала. Несколько большей окажется длина программы, полностью восстанавливающей последовательность а, b, с, а, b, с, а, b, с и т. д. Эта программа будет содержать большее число команд (операций), позволяющих полностью восстановить последовательность, чем предыдущая, в силу различий между элементами а, b и с.
Наконец, если имеется последовательность а, b, с, d, е, к, l, m и т. д., где каждая следующая буква новая, то ее программа состоит из такого числа команд, которое не может быть меньше, чем число элементов этой последовательности. Таким образом, при помощи длины программы можно выражать «сложность» (алгоритм) последовательности. Алгоритмическое количество информации, отмечает А. Н. Колмогоров, является как бы минимальной длиной программы, которая при заданном А (алгоритме) позволяет получить В (последовательность).
Мы кратко рассмотрели некоторые невероятностные подходы к определению количества информации. Каждый из упомянутых подходов обнаруживает нечто общее со статистическим подходом, но все же отличается от него. Общее между ними состоит в том, что они изучают переход от неопределенности к определенности, хотя особенности конкретного перехода определяются спецификой той или иной структуры. Единой формулы количества информации пока не существует. Все же можно отметить, что объединение статистического, динамического, топологического и комбинаторного подходов возможно на базе теоретико-множественной математики. Алгоритмическое же определение понятия количества информации, по-видимому, может быть обосновано с позиций конструктивного направления в математике, так как сторонники этого направления признают ре-
альными лишь такие объекты, которые или могут быть построены, или для построения которых указан соответствующий метод.
На основе всего изложенного можно присоединиться к мнению А. Н. Колмогорова о том, что «информация по своей
природе - не специально вероятностное понятие» (выделено
*
мной. - А. У.) .
В настоящее время предполагается изменение соотношения между теорией информации и теорией вероятностей. Оказывается, возможно не только определение количества информации без вероятности, но и определение вероятности посредством количества информации.
Такую попытку «информационного» обоснования теории вероятностей предпринял, например, А. Н. Колмогоров, отправляясь от предложенного им алгоритмического определения количества информации.
Новое обоснование теории вероятностей посредством теории информации предложили также польские ученые - физик Р. С. Ингарден и математик К. Урбаник. В своей статье «Информация без вероятности» они дают философско-методологическую интерпретацию своей концепции: «Возможность изменения до сих пор общепринятого направления дедукции кажется интересной не только с чисто логической и математической точки зрения, но также с точки зрения философии математики и физических представлений. В самом деле, информация кажется интуитивно более простым и более элементарным понятием, чем понятие вероятности. Она дает более грубое и общее описание некоторых физических и других ситуаций, нежели вероятность. Следовательно, информация представляет более примитивную ступень знания, чем вероятность. Далее, принципиальное отделение понятий вероятности и информации кажется удобным и полезным с точки зрения статистической физики. В физике превалируют [††††] ситуации, где информация известна (например, энтропия некоторой макроскопической системы) и может быть измерена с высокой степенью точности, в то время как распределение вероятностей неизвестно и практически не может быть измерено вовсе (особенно когда степени свободы такой системы имеют порядок 10 ). Наконец, можно заметить, что новое аксиоматическое определение информации свободно от несущественной связи с вероятностью, делает более ясным путь дальнейшего обобщения этого определения» *.
Р. С. Ингарден отмечает, что в их концепции понятие информации выступает как более фундаментальное или по крайней мере понятия вероятности и информации могут рассматриваться как принадлежащие к двум различным уровням абстракции и дающие два различных разреза действительности **.
В классическом изложении теория вероятностей показывает, как из случайных («микроскопических») величин формируются неслучайные. Здесь в математическом плане конкретизируется превращение случайного в необходимое.
В предлагаемом построении теории вероятностей необходимость и случайность меняются местами, отражая тот факт, что ни одна из них не является первичной, ни одна из них не доминирует в реальной действительности.
Новый способ определения вероятности на основе коли - чества информации означает «макроскопический» подход вме - сто традиционного «микроскопического». Такой способ дал бы вместо статистической - информационную термодинамику, физику и т. д. Если ранее использовался своего рода «алгоритм» перехода от микромира к макромиру, то информационный подход может дать «обратный алгоритм» - перехода от макромира к микромиру.
Здесь невозможно рассмотреть все методологические вопросы, которые возникают в ходе развития невероятностных подходов к определению количества информации. И хотя понятие информации (в количественном аспекте) длительное время основывалось на понятии вероятности, мы видим, как постепенно происходит изменение взглядов на соотношение понятий информации и вероятности, на их роль как в математических, так и в естественно-научных теориях. 
<< | >>
Источник: Урсул А. Д.. Природа информации: философский очерк. 2010

Еще по теме § 2. Информация без вероятности:

  1. 1.4.1.2.4 Вероятная направленность
  2. Угол вероятности
  3. 3. ДЕТЕРМИНИЗМ, ТЕОРИЯ ВЕРОЯТНОСТЕЙ, СИММЕТРИЯ
  4. Акторы, вероятная каузальность и переходное отношение
  5. 4. Образование невозможно без серьезного интереса к истине, без уверенности в познаваемости мира
  6. Убедитесь в том, что ваша компания реалистично оценивает вероятность изменения окружающей ее бизнес-среды
  7. 1.2. ВИДЫ ИНФОРМАЦИИ
  8. Урсул А. Д.. Природа информации: философский очерк, 2010
  9. 10.8. ПРИОБРЕТЕНИЕ ДОПОЛНИТЕЛЬНОЙ ИНФОРМАЦИИ
  10. Коммуникация и информация