С О Ц И Н Т Е Г Р У М

Предыдущее сообщение - моё.
Artashir

Мне кажется Вас вводит в заблуждение термин "бит", но в теории информации энтропия тоже измеряется в битах. Ниже привожу два отрывка из учебных пособий.

"

Тема 2

Семантические основы социальной информатики

Информология- общая теория информации.

Часто понятие "информация" используют, не задумываясь о глубине его содержания, отождествляя понятия знание, данные, информация. Очевидно, что "обиходное" употребление термина "информация” совершенно неуместно, когда речь идет о теории или теориях информации. Нередко в этих теоретических построениях термин "информация" наполнен разным смыслом, а следовательно, сами теории высвечивают лишь часть граней некоторой системы знаний, которую можно назвать общей теорией информации или "информологией" - наукой о процессах и задачах передачи, распределения, обработки и преобразования информации.

Возникновение информологии как науки можно отнести к концу 50-х годов нашего столетия, когда американским инженером Р. Хартли была сделана попытка ввести количественную меру информации, передаваемой по каналам связи.

Рассмотрим простую игровую ситуацию. До получения сообщения о результате подбрасывания монеты человек находится в состоянии неопределенности относительно исхода очередного броска. Сообщение партнера дает информацию, снимающее эту неопределенность. Заметим, что число возможных исходов в описанной ситуации равно 2, они равноправны (равновероятны) и каждый раз передаваемая информация полностью снимала возникавшую неопределенность. Хартли принял "количество информации", передаваемое по каналу связи относительно двух равноправных исходов и снимающее неопределенность путем оказания на один из них, за единицу информации, получившую название "бит".

Создатель статистической теории информации К. Шеннон обобщил результат Хартли и его предшественников. Его труды явились ответом на бурное развитие в середине века средств связи: радио, телефона, телеграфа, телевидения. Теория информации Шеннона позволяла ставить и решать задачи об оптимальном кодировании передаваемых сигналов с целью повышения пропускной способности каналов связи, подсказывала пути борьбы с помехами на линиях и т.д.

В работах Хартли и Шеннона информация возникает перед нами лишь в своей внешней оболочке, которая представлена отношениями сигналов, знаков, сообщений друг к другу - синтаксическими отношениями. Количественная мера Хартли-Шеннона не претендует на оценку содержательной (семантической) или ценностной, полезной (прагматической) сторон передаваемого сообщения."




"Количество информации, по Шеннону

Пусть дан некоторый ансамбль сообщений, то есть перечень сообщений с указанием вероятности появления каждого из них. При этом суммарная вероятность всех сообщений должна быть равна единице. Говорят, что ансамбль представляет собой группу сообщений. В ансамбле не указывается конкретное число сообщений, так как оно не имеет особого значения. Указываются только порядковые номера сообщений.



Верхняя строка содержит номера поступающих сообщений, нижняя – вероятности их появления.

Количество информации, которое содержится в i-м сообщении равно



, то есть чем менее вероятно сообщение тем больше информации оно содержит. Таким образом, от частной ситуации равной вероятности сообщений, рассмотренной Хартли, Шеннон перешел к общему случаю.

Количество информации, которое содержит в среднем одно сообщение можно рассматривать как математическое ожидание



Полученное выражение называется энтропией источника:



Энтропия источника – среднее количество информации в одном сообщении.

Если в источнике есть множество сообщений, точно знать о каждом из них необязательно. В этом заключается преимущество среднего значения количества информации. Усреднение позволило Шеннону оценить как редкие, так и частые сообщения.

Энтропия HИ характеризует источник сообщения. Аналогично можно получить и “энтропийную характеристику сигнала”.

Каждое сообщение передается n сигналами, каждый из которых может принимать K значений. Будем считать, что в сигнале, которым передается i-е сообщение, содержится элементарных сигналов со значением j. Тогда можно утверждать, что значение сигнала j встретится в канале связи с вероятностью



Символ j появится раз в i-м сообщении только в том случае, если появится само сообщение; так получается произведение .

По Хартли информационная емкость сигнала зависит от n и K:



где 1/K – вероятность появления любого сообщения из возможных.

Шеннон оценил среднее значение количества информации



где HC – энтропия одного элементарного сигнала, который имеет K рабочих значений разной вероятности."


Жаль, что без формул, но и так понятно. Даже если взглянуть на уравнение Шеннона, то видно, что при вероятности равной единице (отсутствие неопределенности) функция будет равна нулю. Как же тогда эта функция может определять ненулевой объем информации в условиях отсутствия неопределенности?

О чём и речь. Современное общеупотребительное измерение информации в битах, байтах, гигабайтах и т.д. уходит корнями именно в формулы Хартли - Шеннона.

Речь идёт в данном случае об отсутствии неопределённости апостериори, то есть по факту наличия информации. Например, есть слово "Навуходоносор". Она содержит, допустим, A бит информации. И именно A бит, никакой неопределённости здесь нет. Для того, чтобы узнать, сколько именно бит содержится в этом слове, надо представть его в виде некой комбинации двоичных нулей и единиц, допустим 01001110100010. Конкретная комбинация из N символов, никакой неопределённости нет. Нет неопределённости и в том, что это именно слово "Навуходоносор".
Где же здесь неопределённость? А неопределённость здесь не реальная, а воображаемая, потенциальная. Она содержится не в количестве информации, и не в самой информации, а в общем количестве слов, которые в принципе можно закодировать теми же N двоичными символами. И чем больше эта потенциальная неопределённость, тем ценнее конкретное сообщение, которое само по себе не содержит неопределённости, как бы снимает эту потенциальную непределённость.

Смысл формул:
1) Сказанное выше - один смысл, а точнее - одно применение формул Хартли-Шеннона - для оценки количество детерминированной информации, содержащейся в данной системе.
2) Но те же формулы могут использоваться и для оценки неопределённости некой системы, реальной неопределённости, а не потенциальной. Например, в некоторой местности возможны следующие варианты погодных условий:
- ясная погода с вероятностью 1/2;
- дождь с вероятностью 1/2.
(Других вариантов нет).
Неопределённость этой ситуации, согласно формуле Шеннона, составит 1 бит.
Ваши рассуждения об энтропии по Шеннону относятся исключительно ко второму применению энтропии Шеннона - как меры неопределённости, содержащейся в системе. Я их не отрицая. Но тем не менее, я хочу уточнить, что энтропия Шеннона применяется, кроме того, и для оценки и количества детерминированной информации, содержащейся в системе. Одна и та же формула оценивает разные вещи. В том числе она может описывать и разные части системы. Детерминированная часть - оценивается количеством бит, котырыми можно описать эту детерминированную часть. Стохастическая часть - описывается исходя из вероятностей случайных событий, которые могут там приосходить.
Говоря о шенноновской энтропии, всегда следует указывать, что имеется ввиду - количество детерминированной информации либо мера реальной неопределённости ситуации.

Давайте по порядку.

Сначала два вопроса:
1)Вы согласны, что при вероятности равной 1 функция уравнения Шеннона (что бы она не означала) равна 0?

2)Вы согласны, что при отсутствии неопределенности вероятность равна единице?

Теперь по вашей фразе:
"Речь идёт в данном случае об отсутствии неопределённости апостериори, то есть по факту наличия информации. Например, есть слово "Навуходоносор". Она содержит, допустим, A бит информации. И именно A бит, никакой неопределённости здесь нет."

В этом случае неопределенность отсутствует всегда. Так при подбрасывании монетки, всегда что-то выпадает одно. Никакой неопределенности апостериори. Вероятность всегда - гипотеза, ее не пощупать руками.

Предположим, что по радио мы постоянно получаем сигнал ....0101010... он никогда не менялся и никогда не поменяется. Если мы применим формулу Шеннона (с вероятностью 1), то получим, что объем информации (и энтропии) равен нулю. Вы согласны? Оно и понятно, этот сигнал нам ничего не дает. Теперь предположим, что при том же самом сигнале, мы знаем что он может измениться, и что при его изменении мы должны в полном обмудировании выдвинуться в точку сбора. Теперь, даже при том, что апостериори получаемые нами сигналы одинаковы, во втором случае этот сигнал несет информацию, потому что появилась неопределенность.

И если слово "Навуходоносор" является единственным словом, которым исписано абсолютно все с одинаноковой плотностью, то оно не несет нам никакой информации. Это слово только тогда информативно, когда есть неопределенность, когда из этих букв можно составить и другие слова.

Да, согласен.

Согласен, но считаю, что всегда следует уточнять: о какой неопределённости идёт речь.
1) О потенциальной неопределённости. Например, информация о том, что при подбрасывании конкретной монетки в конкретный прошедший момент времени выпал орёл, равна одному биту. Это свершившийся факт, и в нём нет никакой неопределённости. Но есть потенциальная неопределённость в том, что в принципе здесь может быть два исхода.
2) Реальная неопределённость ситуации. Некто Вася Иванов всё время целые сутки напролёт подбрасывает монету. Неопределённость этой ситуации тоже равна одному биту. Но это именно неопределённость ситуации, а не неопределённость сообщения.
Итак, я считаю, что следует различать энтропию детерминированного сообщения (при подбрасывании данной конкретной монеты в конкретный момнент времени выпал орёл) и неопределённость ситуации, связанной с наличинем случайных событий.

Для того, чтобы выяснить из-за чего весь сыр-бор (возможно только терминологический) предлагаю давать нам обоим свои ответы на поставленные вопросы, чтобы обнаружить точку расхождения.

1) Можете ли Вы привести пример сигнала в котором отсутствует неопределенность, но вероятности которого отлична от 1?

Мой ответ: Не могу

2) Можно ли сказать в ситуации, когда Вася собирается только один раз кинуть монетку , что реальная(именно реальная) неопределенность заключается в том, что здесь в принципе могут быть два исхода?

Мой ответ: Можно.

3) Сначала описание ситуации. Пусть по радио, при помощи морзянки, передается сообщение: "следущий сеанс связи завтра в то же время". Его можно передать при помощи разного числа импульсов, в зависимости от того, как мы обозначаем буквы (каким сочетанием точек и тире) и на каком языке сообщение. Если же это шифровка то число импульсов может быть очень большим, чтобы запутать врага. И, наоборот, оно может быть передано каким-нибудь одним сочетанием (например: 6 тире), так у радистов принято передавать стандартные, часто употребляемые фразы. Более того сообщение может быть передано вообще без импульсов, если его отсутствие в указанное время что-то означает. Так на море в минуты радиомолчания, отсутствие сигнала соответствует сообщению: "все нормально".

Теперь вопрос. Считаете ли Вы что по сигналам передающим информацию нельзя определить ее объем, раз одно и то же сообщение можно передать совершенно разным количеством сигналов?

Мой ответ: Да, считаю.

И еще один, последний вопрос.

4) Согласны ли Вы с определением Шеннона: информация - снятая неопределенность.

Исчезаю до понедельника, поэтому решил отправить свое сообщение не дождавшись ответов.

Представим себе ситуацию. Наблюдатель А подбрасывает монетку. Можно сказать, что он получает от нее сигнал. Он не знает, что выпадет, но когда она упадет (выпал орел), эта неопределенность будет снята. И, следовательно, можно сказать, что он получил информацию (1бит). Если бы она все время падала орлом вверх, и только (в следствии конструктивных особенностей), и он бы об этом знал, то никакой неопределенности бы не было, и ничего бы не было снято, поэтому по Шеннону и его формуле никакой информации передано бы не было.

Теперь, пусть о результате броска он передает информацию наблюдателю В следующим образом: если выпадает орел, то в 14.00 наблюдатель А не посылает сигналы наблюдателю В. В этой ситуации для наб.А нет никакой неопределенности (то, что вы назвали «потенциальной вероятностью»), но дело в том, что эта информация уже не для него, а для наб.В, и именно с его точки зрения она должна описываться. А для него (В) эта информация только тогда будет равна 1 биту, когда для него существует неопределенность (поступит этот сигнал или нет в установленное время), если бы ее не было, и в это время приемник всегда бы молчал (и В об этом знает) то очередная тишина никакой информации бы не несла.

Таким образом, по Шеннону и его формуле там, где нет неопределенности («реальной»), нет и переданной информации. По этой формуле энтропия определяется объемом информации снимающей неопределенность. Поэтому никакого разночтения этой формулы не существует. Да, иногда объемом информации называется количество занятой поверхности на магнитном носители, но он не высчитывается по формуле Шеннона и зависит от алгоритма сжатия и т.д. и т.п. Иногда объемом информации называется число сигналов «пробегающих» по кабелю, но этот объем тоже не высчитывается по этой формуле. Та же информация которая определяется по ней равна энтропии. Поэтому нельзя сказать, что формула Шеннона описывает разные «сущности» в зависимости от того, к чему ее применяют (к энтропии или к информации).

Я же в своих работах отталкиваюсь именно от этого определения и энтропии, и информации. Во-первых, потому что если под информацией понимать сигналы ее передающие (или объем жесткого диска), то одно и тоже сообщение может передаваться разным количеством сигналов (и даже вообще без сигнала), то есть эта величина не отражает информационную насыщенность сообщения. Во-вторых, число сигналов переданных и записанных можно описать не прибегая к термину «информация». Мы же не говорим, что в лотке содержатся десять бит яиц. А, вот информацию, как снятую неопределенность в других терминах описать уже очень трудно. И, следовательно, именно такое определение является самостоятельным термином, с которым приятно иметь дело. И, в-третьих, наше сознание прекрасно знает и подтверждает, что без неопределенности нет информации. Так, мы не ощущаем чудовищного сжатия атмосферой своего тела. А зачем? Ведь это не информация, ведь это ощущение, доведись нам его испытывать никогда бы не менялось.

Совершенно непонятно, о какой вероятности здесь идёт речь.

Конечно, можно.

Считаю, что по сигналам, передающим информацию, можно определить её объём. Но могут быть различные методы подсчёта этой информации.

Да, согласен. Именно поэтому я и утверждаю, что в информации о системах и в степени сложности систем никакой неопределённости нет.

Формула Хартли-Шеннона и была предложена для оценки количества информации, передаваемой по каналу связи.

1) В данном случае под вероятностью имеется ввиду вероятность того, что сигнал окажется в том или ином состоянии. По формуле Шеннона если она равна 1, то объем информации равен нулю. Вы утверждаете, что по этой формуле высчитывается объем информации в отсутствии неопределенности. Вот я прошу Вас привести пример сигнала, который никогда не меняя своего состояния (отсутствие неопределенности) имеет вероятность этого состояния отличную от 1.

2) Ваше определение "потенциальной" неопределенности: "есть потенциальная неопределённость в том, что в принципе здесь может быть два исхода" совпадает с утверждением: "когда Вася собирается только один раз кинуть монетку , то реальная(именно реальная) неопределенность заключается в том, что здесь в принципе могут быть два исхода" Заметьте, что в определении "потенциальной" неопределенности Вы употребляете будущее время, хотя, наверное имели ввиду, что неопределенность была когда-то но пропала. То есть Ваша "потенциальная" неопределенность равносильна ее отсутствию( о чем Вы сами, собственно, и указываете). Но тогда зачем вводить эти термины (реальная-потенциальная)? Предлагаю обходиться без них.

3)"Считаю, что по сигналам, передающим информацию, можно определить её объём. Но могут быть различные методы подсчёта этой информации."

Я привел примеры, когда информацию можно передать вообще без сигнала. И таким образом можно передать разные сообщения. Каким образом тогда определить объем информации? Сигналов то 0!


4)"Да, согласен. Именно поэтому я и утверждаю, что в информации о системах и в степени сложности систем никакой неопределённости нет."

Итак, по Шеннону (и у нас с Вами) информация - снятая неопределенность. Это значит, что если ее и не было, то какие бы сигналы мы не получили они бы не считались информацией, как не снявшие неопределенности. Допустим, мы имеем канал по которому поступают сигналы, характеризующие какую-то систему, и пусть мы знаем что эти сигналы никогда не меняются (....0101010101...). Понятно, что очередные 0101 никакой неопределенности не снимают, ее попросту нет, следовательно, эти сигналы поступающие от системы не несут никакой информации. Вы согласны?

5)"Формула Хартли-Шеннона и была предложена для оценки количества информации, передаваемой по каналу связи"

Именно информации, а не количества сигналов. Зная характеристики метронома, который является источником сигналов, мы можем подсчитать сколько их пройдет по данному каналу, но это не будет информацией.

Всякое уже сделанное сообщение, например, эта цитата, никогда не изменит своего состояния. Тем не менее, она имеет вероятность, отличную от единицы. Это 1/общее количество комбинаций, которые можно закодировать данным набором символов.


Потому что в случае реальной неопределённости событие ещё не совершилось. В случае потенциальной неопределённости мы уже имеем в наличии некоторое сообщение, но есть воображаемая неопределённость, которую снимает получение этого сообщения.


Объём информации определяется в зависимости от количества возможных типов сигналов. Отсутствии сигнала также может рассматриваться как один из видов сигналов.


Нет, просто каждый раз по каналу передаётся одна и та же информация.
Снимаемая неопределённость здесь состоит в том, что принципе существуют разные объекты реального мира, каждый из которых описывается разной комбинацией нулей и единиц. Объект, информация о котором передаётся по каналу связи, описывается как какая-то конкретная комбинация нулей и единиц. И каждый раз приходит информация об одном и том же объекте (например, описание лягушки).


Да, разумеется.

1) Что Вы скажете на такую фразу: эта система никогда не изменит своего состояния, находясь в каком-то одном единственном, но вероятность этого единственного состояния не равна единице, потому что можно изменить состояние этой системы? Вы видите ее не логичность? Ее можно представить в таком виде: А никогда не будет Б, а С не равно 1, потому что А может быть Б. Понятно что это не может быть. Тут уж или одно или второе или может или не может.

То же и с Вашим примером. Сообщение у Вас не меняется, но имеет вероятность отличную от нуля потому что может измениться.

Вы не различаете понятий информация и носитель. Вы думаете, что получив сообщение и записав его на "неменяющуюся" бумажку, Вы держите в руках неменяющуюся информацию. Это не так.

Предположим, что эта бумажка - шпоргалка или памятка. То есть Вы не всегда и не очень точно помните ее содержимое. Тогда ее текст имеет для Вас некоторую неопределенность. Причем чем хуже у Вас память, тем информативней для Вас эта записка, потому что больше неопределенность. Заглядывая в нее Вы эту неопределенность снимаете, получая таким образом информацию. Если Вы всегда точно знаете ее содержимое, то никакой информации она Вам не даст, потому что не будет неопределенности которую она сможет снять.

Я думаю Вам приходилось записывать какое нибудь даже не очень длинное название (скажем, лекарства) чтобы не забыть, на бумажке. Но сомневаюсь, чтобы Вы носили записку со своим именем хотя в нем может быть не меньше букв.

Теперь вопрос: Вы считаете, что физические носители информации и есть информация?

2) "Потому что в случае реальной неопределённости событие ещё не совершилось. В случае потенциальной неопределённости мы уже имеем в наличии некоторое сообщение, но есть воображаемая неопределённость, которую снимает получение этого сообщения. "

Значит ли это что на самом деле неопределенность не снимается, поскольку речь идет лишь о воображаемой неопределенности? Ведь не может же "воображаемая" неопределенность равняться "просто" неопределенности.

При таком подходе информация передаваемая по какому-нибудь новостному каналу радио равна по своему объему, поступающей нам по каналу, где постоянно (и мы знаем, что это никогда не изменится) крутят по кругу алфавит, букву за буквой. Вопрос: Вы считаете оба этих канала равным по объему передаваемой информации? И какой из них Вы бы слушали?

3)"Объём информации определяется в зависимости от количества возможных типов сигналов. Отсутствии сигнала также может рассматриваться как один из видов сигналов."


Хорошо. Вопрос. У нас отсуствует сигнал. Как нам его принять за сигнал и подсчитать объем передаваемой им информации если этот сигнал отсутствует всегда? (это серьезно)

4) Вопрос: Чему равен объем информации (в битах) передавемый неизменяемым сигналом ..0101010... ?

5) "Именно информации, а не количества сигналов. Зная характеристики метронома, который является источником сигналов, мы можем подсчитать сколько их пройдет по данному каналу, но это не будет информацией.



Да, разумеется."

Вопрос: если вечный метроном передает неменяющийся сигнал ....01010101.... то будет ли это информацией?

Естественно, нет. Вообще непонятно, причём здесь носители информации.

Количество информации рассчитывается в каждом конкретном случае отдельно. Почему в Вашем примере оно должно быть одним и тем же ?