Цитата:
Мне кажется Вас вводит в заблуждение термин "бит", но в теории информации энтропия тоже измеряется в битах
О чём и речь. Современное общеупотребительное измерение информации в битах, байтах, гигабайтах и т.д. уходит корнями именно в формулы Хартли - Шеннона.
Цитата:
Даже если взглянуть на уравнение Шеннона, то видно, что при вероятности равной единице (отсутствие неопределенности) функция будет равна нулю. Как же тогда эта функция может определять ненулевой объем информации в условиях отсутствия неопределенности?
Речь идёт в данном случае об отсутствии неопределённости апостериори, то есть по факту наличия информации. Например, есть слово "Навуходоносор". Она содержит, допустим, A бит информации. И именно A бит, никакой неопределённости здесь нет. Для того, чтобы узнать, сколько именно бит содержится в этом слове, надо представть его в виде некой комбинации двоичных нулей и единиц, допустим 01001110100010. Конкретная комбинация из N символов, никакой неопределённости нет. Нет неопределённости и в том, что это именно слово "Навуходоносор".
Где же здесь неопределённость? А неопределённость здесь не реальная, а воображаемая, потенциальная. Она содержится не в количестве информации, и не в самой информации, а в общем количестве слов, которые
в принципе можно закодировать теми же N двоичными символами. И чем больше эта
потенциальная неопределённость, тем ценнее конкретное сообщение, которое само по себе не содержит неопределённости, как бы снимает эту
потенциальную непределённость.
Смысл формул:
1) Сказанное выше - один смысл, а точнее - одно применение формул Хартли-Шеннона - для оценки количество детерминированной информации, содержащейся в данной системе.
2) Но те же формулы могут использоваться и для оценки неопределённости некой системы, реальной неопределённости, а не потенциальной. Например, в некоторой местности возможны следующие варианты погодных условий:
- ясная погода с вероятностью 1/2;
- дождь с вероятностью 1/2.
(Других вариантов нет).
Неопределённость этой ситуации, согласно формуле Шеннона, составит 1 бит.
Ваши рассуждения об энтропии по Шеннону относятся исключительно ко второму применению энтропии Шеннона - как меры неопределённости, содержащейся в системе. Я их не отрицая. Но тем не менее, я хочу уточнить, что энтропия Шеннона применяется, кроме того, и для оценки и количества детерминированной информации, содержащейся в системе. Одна и та же формула оценивает разные вещи. В том числе она может описывать и разные
части системы. Детерминированная часть - оценивается количеством бит, котырыми можно описать эту детерминированную часть. Стохастическая часть - описывается исходя из вероятностей случайных событий, которые могут там приосходить.
Говоря о шенноновской энтропии, всегда следует указывать, что имеется ввиду - количество детерминированной информации либо мера реальной неопределённости ситуации.