Семантическая информация

Семантическая информация — смысловой аспект информации, отражающий отношение между формой сообщения и его смысловым содержанием.

Начиная с работ Клода Шеннона, принято считать^[1], что понятие информации складывается из трёх аспектов: синтаксического, семантического и прагматического. Синтаксический связан с техническими проблемами хранения и передачи информации, семантический имеет отношение к смыслу и значению истинности сообщений, прагматический затрагивает вопросы влияния информации на поведение людей. Теория семантической информации исследует область человеческих знаний и является составной частью разработки искусственного интеллекта^[2].

История

Формирование понятия семантической информации

Возникновение семиотики в 19 веке создало предпосылки для появления понятия семантической информации^[3]. Окончательно оно сложилось после появления Математической теории связи, созданной Клодом Шенноном в 1948 году^[4]. Теория Шеннона, рассматриваемая сейчас как теория синтаксической информации, полностью игнорирует смысл сообщения. Именно тогда была осознана необходимость создания теории семантической информации.

Теория Бар-Хиллела и Карнапа

В 1952 году Йегошуа Бар-Хиллелом и Рудольфом Карнапом была предложена теория семантической информации, основанная на понятии логических вероятностей^[5]. Семантическая информация трактуется авторами как синоним смыслового содержания, которым обладают как истинные, так и ложные выражения. Рассматриваются две основные меры количества семантической информации в предложении ${\displaystyle s}$. Первая ${\displaystyle {\mbox{cont}}(s)}$ определяется так:

${\displaystyle {\mbox{cont}}(s)=1-q(s)}$,

где ${\displaystyle q(s)}$ — абсолютная логическая вероятность предложения ${\displaystyle s}$. Вторая мера ${\displaystyle {\mbox{inf}}(s)}$ является нелинейной функцией первой:

${\displaystyle {\mbox{inf}}(s)=\log _{2}{\frac {1}{1-{\mbox{cont}}(s)}}=\log _{2}{\frac {1}{q(s)}}}$.

Она интересна тем, что для двух логически независимых предложений ${\displaystyle s_{1}}$ и ${\displaystyle s_{2}}$ имеем неравенство: ${\displaystyle {\mbox{cont}}(s_{1})+{\mbox{cont}}(s_{2})>{\mbox{cont}}(s_{1}\land s_{2})}$, где «${\displaystyle \land }$» — знак логической связки «И», тогда как:

${\displaystyle {\mbox{inf}}(s_{1})+{\mbox{inf}}(s_{2})={\mbox{inf}}(s_{1}\land s_{2})}$, (*)

что больше подходит для меры количества информации.

Для определения величин логических вероятностей предложений Бар-Хиллел и Карнап конструируют формальный язык и составляют с его помощью описания всевозможных состояний универсума (так называемое «множество возможных миров»). Приведём пример простого языка, в котором имеется одна константа ${\displaystyle a}$ (под ней мы будем подразумевать девушку Алису) и два предиката: ${\displaystyle B}$ и ${\displaystyle W}$, обозначающие свойства «красива» и «умна». Тогда выражение ${\displaystyle B(a)}$ означает предложение «Алиса красива», а выражение ${\displaystyle W(a)}$ — «Алиса умна». Теперь используем логическую связку «НЕ», которую обозначим символом: «${\displaystyle \neg }$». Тогда выражение ${\displaystyle \neg B(a)}$ будет означать предложение «Алиса не красива», а выражение ${\displaystyle \neg W(a)}$ — «Алиса не умна». Теперь мы можем составить все возможные описания состояний универсума для нашего скромного языка. Всего их будет четыре.

${\displaystyle B(a)\land W(a)}$

${\displaystyle B(a)\land \neg W(a)}$

${\displaystyle \neg B(a)\land W(a)}$

${\displaystyle \neg B(a)\land \neg W(a)}$

Как можно видеть, каждый мир универсума состоит из логически независимых атомарных предложений (и их отрицаний), называемых базисными. Обычно в формальных языках используется множество констант и множество предикатов, причём, не обязательно одноместных. Так что количество миров может быть очень большим.

Если не заданы предварительные условия, то логические вероятности всех миров одинаковы. В этом случае величина абсолютной логической вероятности предложения ${\displaystyle s}$ равна отношению числа миров, в которых ${\displaystyle s}$ истинно, к общему числу миров в универсуме. В теории Бар-Хиллела и Карнапа величины логических вероятностей аналитических выражений одинаковы и равны единице (поскольку они истинны во всех мирах), а логическая вероятность противоречия равна нулю. Величины логических вероятностей синтетических выражений заключены в интервале от нуля до единицы.

Чем больше миров в универсуме, тем выше неопределённость (относительно того, какой мир является истинным). После получения сообщения ${\displaystyle s}$ неопределённость уменьшается, поскольку те миры, в которых ${\displaystyle s}$ ложно, можно исключить из рассмотрения. Семантическая информация в предложении ${\displaystyle s}$ понимается как множество исключённых миров (оно обозначается символом ${\displaystyle {\mbox{Cont}}(s)}$). По поводу этого определения авторы пишут, что оно согласуется с древним философским принципом «omnis determinatio est negatio» («всякое определение является исключением»). Теперь для меры ${\displaystyle {\mbox{cont}}(s)}$ можем записать:

${\displaystyle {\mbox{cont}}(s)={\frac {|{\mbox{Cont}}(s)|}{|{\mbox{U}}|}}}$,

где ${\displaystyle |{\mbox{Cont}}(s)|}$ — мощность множества ${\displaystyle {\mbox{Cont}}(s)}$, ${\displaystyle |{\mbox{U}}|}$ — мощность множества всех миров универсума ${\displaystyle {\mbox{U}}}$.

Количество семантической информации в сообщении ${\displaystyle s}$ относительно знаний получателя ${\displaystyle e}$ определяется следующим образом:

${\displaystyle {\mbox{inf}}(s/e)={\mbox{inf}}(s\land e)-{\mbox{inf}}(e)=\log _{2}{\frac {q(e)}{q(s\land e)}}=\log _{2}{\frac {1}{q(s/e)}}}$,

где ${\displaystyle q(s/e)}$ — относительная (условная) логическая вероятность истинности высказывания ${\displaystyle s}$ при условии истинности выражения ${\displaystyle e}$.

Замечательно, что чисто внешне формулы теории Бар-Хиллела и Карнапа похожи на формулы теории Шеннона. И там, и здесь мы имеем логарифмы и вероятности. Только у Шеннона все вероятности — статистические (то есть эмпирические), а не логические.

Если логическая вероятность выражения ${\displaystyle s\land e}$ меньше логической вероятности выражения ${\displaystyle e}$, то сообщение ${\displaystyle s}$ несёт новую информацию получателю, обогащая, таким образом, его знания. Если ${\displaystyle e}$ имплицирует ${\displaystyle s}$, то ${\displaystyle s\land e}$ эквивалентно ${\displaystyle e}$ и сообщение ${\displaystyle s}$ не несёт информации адресату (поскольку в нём для него нет ничего нового). Если выражение ${\displaystyle s\land e}$ является противоречием, то ${\displaystyle q(s\land e)=0}$. Количество семантической информации в противоречии по Бар-Хиллелу и Карнапу равно бесконечности. Этот парадоксальный результат впоследствии послужил поводом для критики со стороны Лучано Флориди.

Альтернативные идеи

Хотя теория Бар-Хиллела и Карнапа до сих пор пользуется вниманием исследователей, она вызвала поток новых идей. Александр Харкевич предложил измерять ценность информации по изменению вероятности достижения определённой цели, возникающему под воздействием данного сообщения^[6]. Юлий Шрейдер полагал, что количество семантической информации в послании любой природы можно оценивать как степень изменения системы знаний адресата в результате восприятия сообщения^[7]. Идея о семантическом аспекте связи информации и энтропии была впервые предложена в 1966 советским философом и логиком Евгением Казимировичем Войшвилло в работе «Попытка семантической интерпретации статистических понятий информации и энтропии».