С О Ц И Н Т Е Г Р У М

цивилизационный форум
     На главную страницу сайта Социнтегрум      Люди и идеи      Организации      Ресурсы Сети      Публикации      Каталог      Публикатор_картинок
                       
 
Текущее время: Чт мар 28, 2024 10:29 pm

Часовой пояс: UTC + 3 часа [ Летнее время ]




Начать новую тему Ответить на тему  [ Сообщений: 110 ]  На страницу Пред.  1, 2, 3, 4, 5, 6 ... 8  След.
Автор Сообщение
 Заголовок сообщения:
СообщениеДобавлено: Пн сен 13, 2004 4:57 pm 
Не в сети
Администратор форума
Администратор форума
Аватара пользователя

Зарегистрирован: Ср авг 25, 2004 12:26 am
Сообщения: 1050
Откуда: Москва
Цитата:
Вопрос. У нас отсуствует сигнал. Как нам его принять за сигнал и подсчитать объем передаваемой им информации если этот сигнал отсутствует всегда? (это серьезно)

В этом случае информация нулевая, потому что в принципе отсутствуют
какие-либо альтернативы.

Цитата:
Вопрос: Чему равен объем информации (в битах) передавемый неизменяемым сигналом ..0101010... ?

Два бита. Одна цифра несёт один бит информации (одна комбинация из двух возможных), две цифры - соответственно, два бита. Сообщение 01, содержащее 2 бита информации, передаётся бесконечное число раз.

Цитата:
Вопрос: если вечный метроном передает неменяющийся сигнал ....01010101.... то будет ли это информацией?

Безусловно.

Вы, как мне кажется, сильно ушли от проблемы оценки энтропии систем на проблемы передачи информации. Поэтому предлагаю следующий вопрос. Представим себе, что на полке стоят 3 книги или 3 компакт-диска, на которых записана информация об устройсте
1) автомобиля
2) лягушки
3) человека
Записанная в них информация не меняется. Считаете ли Вы, что вследствие этого записанная информация равна нулю ?


Вернуться к началу
 Профиль Отправить email  
 
 Заголовок сообщения:
СообщениеДобавлено: Вт сен 14, 2004 1:45 pm 
Не в сети
Давний участник
Давний участник

Зарегистрирован: Вт авг 31, 2004 12:32 pm
Сообщения: 29
Откуда: Минск
1) На мой вопрос: «Вы считаете, что физические носители информации и есть информация?»

Вы отвечаете: «Естественно, нет. Вообще непонятно, причём здесь носители информации.»

После этого Вы предлагаете мне представить три не меняющиеся книги, такие же компакты, и спрашиваете: «Записанная в них информация не меняется. Считаете ли Вы, что вследствие этого записанная информация равна нулю ?» То есть, исходя из того, что эти предметы не подвергаются изменениям, Вы заключаете, что и информация не меняется. Таким образом в оценке информации Вы не учитываете ни описываемый объект (что нормально ), ни получателя информации (что не нормально). Другими словами, для оценки информации Вы оперируете только ее носителями, отождествляя одно с другим.

Но дело в том, что в данном примере, ничего нельзя сказать об информации, потому что нет главного – ее получателя. Информация – знание, а не тоненькая фольга с дырочками, ни перепады напряжения, ни капли красителя на целлюлозе. И я уже приводил пример того, как можно передать информацию вообще без носителя.

И когда говорят о том, что информация – снятая неопределенность, то имеется ввиду неопределенность в знаниях, а не в физических объектах. Вопрос: Вы согласны, что в этом определении имеется ввиду неопределенность в знаниях, а не в физических объектах?

Так, получая информацию о пне, в котором нет физической неопределенности, в виде записки в которой тоже нет физической неопределенности, мы снимаем неопределенность в своих знаниях об этом пне. Мы не знали, что будет написано в этой неизменяемой записке об этом неизменяемом пне. Налицо неопределенность. И если она снимается, то значит мы получили информацию. Если же мы заранее знали, что будет в ней написано, то она нам ничего не даст, нельзя будет сказать, что мы получили информацию, так как не было неопределенности.
2) Смотрите в какой тупик можно зайти, если связывать информацию с сигналом. Вы утверждаете, что никогда не меняющийся сигнал …01010101.. несет информацию в 2бита.

Во-первых, понятно, что при этом Вы не пользовались формулой Шеннона, потому что в условии оговорена неизменяемость сигнала. Этот сигнал не меняется, и поэтому никакой неопределенности (вероятности отличной от 0) нет. Так если у нас есть кубик со специальным механизмом внутри, благодаря которому он всегда падает шестеркой вверх, то вероятность 6 будет равна 1, ни о какой «воображаемой» («…а ведь можно вообразить …..») неопределенности из-за которой эта вероятность станет отличной от 1 говорить нельзя. Точно так же нельзя говорить ни о какой «воображаемой» неопределенности, которая якобы есть в этом никогда не меняющемся сигнале. А по формуле Шеннона в этом сигнале информации нет, поскольку нет неопределенности. То есть Вы и здесь отождествили сигнал и информацию.

Во-вторых. Почему Вы взяли только один кусочек 01, а не скажем 0101? Ну и что, что повторяется. Может это повторение важно, так в морзянке некоторые буквы передаются как повторяющиеся сигналы (4 тире, например). А «очень» несколько отличается по смыслу от «очень очень». Таким образом можно вычленить любую группу и объявить о передаче 4,6,8 и т.д. бит. Никаких ограничений.

В-третьих. Представьте себе зимовье полярников. По рации они принимают два канала по одному все время передается 0101010 (сигнал метронома), и они знают, что он не меняется, а по второму время от времени передается 1 и тогда они выскакивают на льдину и машут руками (прилетел самолет с посылками). По Вашему способу подсчета информации неменяющийся сигнал метронома (2бита) обладает большей информативностью, чем второй канал (1бит) с неопределенностью. Но разве мы можем с этим согласится? Что это за информация тогда такая!

В-четвертых. Вы написали, что канал, по которому никогда ничего не передается никакой информации не несет. Но Вы писали также, что и молчание можно считать своего рода сигналом. И тогда молчащий сигнал можно записать как …0000000000000… а это по Вашей логике, как минимум 1бит.


Вернуться к началу
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: Вт сен 14, 2004 9:02 pm 
Не в сети
Администратор форума
Администратор форума
Аватара пользователя

Зарегистрирован: Ср авг 25, 2004 12:26 am
Сообщения: 1050
Откуда: Москва
Цитата:
После этого Вы предлагаете мне представить три не меняющиеся книги, такие же компакты, и спрашиваете: «Записанная в них информация не меняется. Считаете ли Вы, что вследствие этого записанная информация равна нулю ?» То есть, исходя из того, что эти предметы не подвергаются изменениям, Вы заключаете, что и информация не меняется. Таким образом в оценке информации Вы не учитываете ни описываемый объект (что нормально ), ни получателя информации (что не нормально). Другими словами, для оценки информации Вы оперируете только ее носителями, отождествляя одно с другим.

Но дело в том, что в данном примере, ничего нельзя сказать об информации, потому что нет главного – ее получателя. Информация – знание, а не тоненькая фольга с дырочками, ни перепады напряжения, ни капли красителя на целлюлозе.

Вы приписываете мне весьма странную мысль, что автомобиль и книга, где описано его устройство - одно и то же ...
И всё-таки я так и не понял: почему, если есть книга, то "ничего нельзя сказать" о количестве информации, которое в ней закключается ? Почему в искусственных примерах (кто-то бросает монетку, потом передаёт один и тот же сигнал и т.д.) можно оценить информацию, а в конкретном, практическом примере - нельзя ? Оценка количества информации, содержащейся в определённом тексте - это реальная, а не казуистическая задача. Почему Вы считаете её в принципе нерешаемой ?

Цитата:
И когда говорят о том, что информация – снятая неопределенность, то имеется ввиду неопределенность в знаниях, а не в физических объектах. Вопрос: Вы согласны, что в этом определении имеется ввиду неопределенность в знаниях, а не в физических объектах?

Я считаю, что в этом определении имеется в виду неопределённость по отношению к общему количеству возможных сочетаний, которые в принципе можно закодировать данным количеством символов средствами данной системы счисления, данного алфавита, данного языка. Например, если взять общее количество сочетаний, которое можно закодировать миллионом букв, то это будет неопределённость (некий испанец Луллий пытался создать "литературную машину", которая создаёт различные сочетаниия из букв и слов). И, например, роман "Война и мир" снимает эту неопределённость. Объём информации, содержащийся в романе, не зависит от того, читали ли мы его раньше или нет.
То же касается пресловутой записки, в которой описан пень. В ней содержится неизменный объём информации, который не зависит от того, что мы раньше знали об этом пне. Оценка прагматической ценности информации - это совсем иная задача, чем оценка объёма информации. Понятно, что информация о том, какая погода будет завтра, представляет для нас значительно большую прагматическую ценность, чем информация о том, какая погода была вчера. Как оценить эту разницу количественно - отдельный вопрос. Но сам объём информации о погоде в битах в обоих случаях будет одним и тем же.

И если сказать совсем просто - объём информации можно оценить как количество символов, которым она записана. (Один символ или знак можно принять за единицу информации).


Вернуться к началу
 Профиль Отправить email  
 
 Заголовок сообщения:
СообщениеДобавлено: Ср сен 15, 2004 11:18 am 
А Вы мне приписываете приписывание странных мыслей :D. Я нигде не утверждал, что ход Ваших мыслей приводит к отождествлению пня и записки, автомобиля и книги его описывающей. Речь шла об отождествлении записки и информации. Впрочем, к делу.

1) Сколько информации содержится в книге? Вы согласились с определением Шеннона. Можно еще привести определение из глоссария по информатике: "Информация – сведения об окружающем мире, которые повышают уровень осведомленности человека" но это одно и то же.

Итак, ситуация. Перед нами лежит книга, и мы знаем, что в ней на всех 100 страницах напечатано либо 10 000 единиц, либо столько же нулей . Вопрос 1 (очень прошу ответить): сколько информации мы получим открыв эту книгу? По теории информации - 1 бит, по Вашему способу (Один символ или знак можно принять за единицу информации) - 10 000 бит (столько же сколько в полноценной книге).

Теперь представим, что мы точно знаем о том, что в книге 10 000 нулей. Вопрос 2: сколько информации мы получим открыв книгу теперь? По теории вероятности - 0, потому что не будет снята никакая неопределенность, и наша осведомленность не увеличится.

По поводу книги пока все. Подожду ответов, чтобы лучше разобраться в Ваших аргументах. Но обязательно продолжу :D.

2) Вы как молитву повторяете: "Я считаю, что в этом определении имеется в виду неопределённость по отношению к общему количеству возможных сочетаний, которые в принципе можно закодировать данным количеством символов средствами данной системы счисления, данного алфавита, данного языка"

Но ответьте на вопрос 3: ПОЧЕМУ объем информации зависит от количества сочетаний которые возможны в принципе? Что за блажь такая?

И потом если это - неопределенность, то снять ее невозможно. Даже если Вы прочитаете книгу количество этих "в принципе возможных сочетаний" не изменится. Поэтому если Вы действительно согласны с определением Шеннона, то введя такую "неопределенность" Вы должны согласиться и с тем, что, вообще, никакая книга не несет информации. Вопрос 4: Согласны ли Вы с тем, что ту неопределенность, которую Вы представили как принципиальную возможность различных сочетаний, нельзя снять?

Очень прошу ответить на эти 4 вопроса, мне так будет проще разобраться. Под конец приведу отрывок из учебника:

"В теории информации количеством информации называют числовую характеристику сигнала , которая не зависит от его формы и содержания и характеризует неопределенность, которая исчезает после получения сообщения в виде данного сигнала . В этом случае количество информации зависит от вероятности получения сообщения о том или ином событии.

Для абсолютно достоверного события (событие обязательно произойдет, поэтому его вероятность равна 1) количество информации в сообщении о нем равно 0. Чем невероятнее событие, тем большее количество информации несет сообщение о нем. Лишь при равновероятных ответах ответ “да” или “нет” несет один бит информации.

Количество информации при вероятностном подходе можно вычислить, пользуясь следующими формулами:

1). Формула Хартли.

I = log2 N или 2I = N,

где N - количество равновероятных событий (число возможных выборов),

I - количество информации.

2). Модифицированная формула Хартли.

I = log2 (1/p) = - log2 p ,

где p - вероятность наступления каждого из N возможных равновероятных событий.

3). Формула Шеннона.

H = S pi hi = - S pi log2 pi ,

где pi - вероятность появления в сообщении i-го символа алфавита;

hi = log2 1/pi = - log2 pi - количество собственной информации, переносимой одним символом;

Н - среднее значением количества информации."


Вернуться к началу
  
 
 Заголовок сообщения:
СообщениеДобавлено: Ср сен 15, 2004 2:01 pm 
Не в сети
Администратор форума
Администратор форума
Аватара пользователя

Зарегистрирован: Ср авг 25, 2004 12:26 am
Сообщения: 1050
Откуда: Москва
Цитата:
Итак, ситуация. Перед нами лежит книга, и мы знаем, что в ней на всех 100 страницах напечатано либо 10 000 единиц, либо столько же нулей . Вопрос 1 (очень прошу ответить): сколько информации мы получим открыв эту книгу? По теории информации - 1 бит, по Вашему способу (Один символ или знак можно принять за единицу информации) - 10 000 бит (столько же сколько в полноценной книге).

Это искуственная, придуманная ситуация. Вообще-то только структурированный текст может рассматриваться как информация. Если же напечатан подряд один и тот же ноль, или вообще чистые страницы, то количество информации можно считать как угодно - это уже казуистика. Вопрос в том, как подсчитать количество информации в реальной книге.

Цитата:
Теперь представим, что мы точно знаем о том, что в книге 10 000 нулей. Вопрос 2: сколько информации мы получим открыв книгу теперь?

Опять же, можно сказать один бит, можно сказать 10 000 бит, можно сказать - информация неопределена - искусственная ситуация.

Цитата:
Но ответьте на вопрос 3: ПОЧЕМУ объем информации зависит от количества сочетаний которые возможны в принципе?

В приведённой Вами цитате из учебника:
Формула Шеннона.
H = S pi hi = - S pi log2 pi ,
где pi - вероятность появления в сообщении i-го символа алфавита;
hi = log2 1/pi = - log2 pi - количество собственной информации, переносимой одним символом;
Н - среднее значением количества информации
Количество информации, переносимое одним символом алфавита - величина обратная вероятности появления данного символа. В свою очередь, вероятность появления символа есть величина, обратная общему количеству символов в алфавите. Следовательно, с одним символом сообщения связана информация
(1/n)*log2 n = (1/n) hi,
где n - общее количество символов в алфавите.
Общее количество возможных исходов (то, что наверху знака суммы), равно n*m, где m - общее количество символов в сообщении, n - количество символов в алфавите. Предполагая, что все слагаемые в сумме (1/n)*log2 n равны, можем записать что сумма равна
H=n*m*(1/n)*log2 n=m*log2 n=m*hi
То есть количество информации можно определить как
H = количество символов в сообщении * количество информации, содержащееся в одном символе алфавита.

Цитата:
Вопрос 4: Согласны ли Вы с тем, что ту неопределенность, которую Вы представили как принципиальную возможность различных сочетаний, нельзя снять?

Конечно, не согласен. Всякое сообщение, содерщащее несколько символов определённого языка, снимает эту потенциальную неопределённость.


Вернуться к началу
 Профиль Отправить email  
 
 Заголовок сообщения:
СообщениеДобавлено: Ср сен 15, 2004 3:44 pm 
1)То есть Вы утверждаете, что в приведенных примерах с книгой нельзя подсчитать объем информации. Я Вас правильно понял? Мне нужно это уточнить, чтобы двигаться дальше. И не нужно отвергать эти примеры, ничего невозможного в них нет.

2) На вопрос: "ПОЧЕМУ объем информации зависит от количества сочетаний которые возможны в принципе?" Вы не ответили и почему то привели выкладки, которые иллюстрировали мнение обратное Вашему, выбросив верхнюю цитату: "Для абсолютно достоверного события (событие обязательно произойдет, поэтому его вероятность равна 1) количество информации в сообщении о нем равно 0. Чем невероятнее событие, тем большее количество информации несет сообщение о нем. Лишь при равновероятных ответах ответ “да” или “нет” несет один бит информации."

По тем формулам которые Вы привели неопределенность такая, что при достоверно известном сигнале она равна нулю. Ваша же неопределенность не равна 0, даже если все заранее известно. Поэтому эти уравнения Вам не подходят. Вы же предлагали мерить информацию по количеству сигналов, формула Шеннона здесь не причем.


3) "Всякое сообщение, содерщащее несколько символов определённого языка, снимает эту потенциальную неопределённость."

По Вашей логике сигнал, который никогда не меняется, имеет неопределенность потому что можно себе представить, как это можно изменить. И я уже говорил, что в теории вероятности так не поступают. Но держа в руках бумагу с телеграммой и читая текст вы точно так же можете переставить эти буквы "в принципе". Получается, что если мы точно знаем, что по проводу передается слово "башня", то можем переставить буквы "в принципе", хотя этого никогда и не произойдет, а если мы точно знаем что у нас в руках бумажка с написаным словом "башня" то уже нельзя их переставить даже "в принципе", потому что буквы уже не перепрыгнут, хотя до этого эта "стабильность" нас не останавливала. Вот ответьте: почему мы не можем переставить мысленно "в принципе" слова в полученном сообщении, ничего на самом деле не переставляя (так же как и в сигнале)?




Но давайте допроанализируем ситуации с книгами. А анализ и начинают с элементарных примеров, чтобы перейти потом к сложным.


Вернуться к началу
  
 
 Заголовок сообщения:
СообщениеДобавлено: Чт сен 16, 2004 12:01 am 
Не в сети
Администратор форума
Администратор форума
Аватара пользователя

Зарегистрирован: Ср авг 25, 2004 12:26 am
Сообщения: 1050
Откуда: Москва
Цитата:
1)То есть Вы утверждаете, что в приведенных примерах с книгой нельзя подсчитать объем информации. Я Вас правильно понял? Мне нужно это уточнить, чтобы двигаться дальше. И не нужно отвергать эти примеры, ничего невозможного в них нет.

Да, я считаю, что если там напечатан один единственный символ, и не уточняется, а какие там вообще могут быть символы, нельзя ставить вопрос и о количестве информации.
2) Я говорил об измерении информации в зависимости от количества символов в тексте, а не сигналов.
3) Измерять количество информации в сигнале, который никогда не меняется, не имеет никакого отношения к определению объёма информации, содержащегося в тексте. Вы утверждаете, что измерить объём информации, содержащейся в тексте, невозможно в принципе, хотя так и не объяснили, почему. Подход, который Вы предлагаете, ориентирован на абсолютно искусственную и не имеющую практического смысла ситуацию измерения количества информации в сигнале, который никогда не меняется.

Вот, возможно, более близкий к исходной постановке задачи пример. Представим себе лототрон, в котором 32 шара, и на каждом шаре записана одна буква алфавита. Тогда, если из лототрона вытаскивают один шар, то количество информации составит СУММА (i=1 to 32) 1/32 * Log2 32 =
СУММА (i=1 to 32) 5/32 = 32 * 5/32 = 5. Вы с этим согласны ?

Цитата:
Но давайте допроанализируем ситуации с книгами. А анализ и начинают с элементарных примеров, чтобы перейти потом к сложным.

Анализируйте. Но я всё же считаю, что лучше анализировать ситуацию с настоящими книгами, а не с придуманными с одним символом на всю книгу.


Вернуться к началу
 Профиль Отправить email  
 
 Заголовок сообщения:
СообщениеДобавлено: Чт сен 16, 2004 12:03 am 
Не в сети
Администратор форума
Администратор форума
Аватара пользователя

Зарегистрирован: Ср авг 25, 2004 12:26 am
Сообщения: 1050
Откуда: Москва
Почему Вы всё время заходите как гость ?


Вернуться к началу
 Профиль Отправить email  
 
 Заголовок сообщения:
СообщениеДобавлено: Чт сен 16, 2004 1:55 pm 
Не в сети
Давний участник
Давний участник

Зарегистрирован: Вт авг 31, 2004 12:32 pm
Сообщения: 29
Откуда: Минск
1) Странно, что при условии в примере с книгой: "...Перед нами лежит книга, и мы знаем, что в ней на всех 100 страницах напечатано либо 10 000 единиц, либо столько же нулей..." Вы говорите о том что: "Да, я считаю, что если там напечатан один единственный символ, и не уточняется, а какие там вообще могут быть символы, нельзя ставить вопрос и о количестве информации. " Где же не уточняется?!

2) ВЫ считаете что "Количество символов в тексте" и "количество сигналов в сообщении" в теории информации - не одно и то же? Вы действительно так считаете?

3) Мой ответ на этот пункт зависит от вашего ответа на предыдущий. Это что касается книги. Но почему Вы решили, что определение нулевого уровня информации не имеет практического смысла. Очень странно. Наоборот, было бы очень хорошо таким образом отсеивать монографии, статьи, речи политиков которые не несут никакой информации, а только муссируют, то что и так все знают (из пустого в порожнее). И разве определение того, что напряжение в цепи отсутствует (равно нулю) и мы можем хвататься за оголенные концы, не имеет практического смысла?

Теперь лототрон. Кстати, это сигнал или уже текст? Да, 5 бит.

4) Встречный вопрос. Если в лототроне два шара А и В, причем вероятности их выпадения не равны. По этой же формуле которую Вы применили информация полученная при вынимании одного шара будет меньше единицы. ВЫ с этим согласны?


Вернуться к началу
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: Чт сен 16, 2004 2:14 pm 
Не в сети
Администратор форума
Администратор форума
Аватара пользователя

Зарегистрирован: Ср авг 25, 2004 12:26 am
Сообщения: 1050
Откуда: Москва
1) Из описания не понятны условия задачи: или 10 000 единиц или 10 000 нулей - это условия ? Или всё таки условие - там может быть любой текст из нулей и единиц ?

Цитата:
2) ВЫ считаете что "Количество символов в тексте" и "количество сигналов в сообщении" в теории информации - не одно и то же? Вы действительно так считаете?

Отличие есть в том случае, если мы должны учитывать особенности канала связи, что к рассматривавемой проблеме не имеет отношения.

Цитата:
3) Мой ответ на этот пункт зависит от вашего ответа на предыдущий. Это что касается книги. Но почему Вы решили, что определение нулевого уровня информации не имеет практического смысла. Очень странно. Наоборот, было бы очень хорошо таким образом отсеивать монографии, статьи, речи политиков которые не несут никакой информации, а только муссируют, то что и так все знают (из пустого в порожнее).


Прагматическая ценность таких статей, речей, монографий - это совсем не то, что количество информации, заключённое в них. Например, задача любого учебника, в отличие от научного исследования - изложить общеизвестные факты. Но из этого не следует, что там содержится 0 информации.

Цитата:
Теперь лототрон. Кстати, это сигнал или уже текст? Да, 5 бит.

Лототрон - это лототрон, то есть некий генератор случайных событий.
Тогда следующий вопрос: согласны ли Вы, что одна буква 32-х-символьного алфавита несёт в себе информацию в 5 бит ?

Цитата:
4) Встречный вопрос. Если в лототроне два шара А и В, причем вероятности их выпадения не равны. По этой же формуле которую Вы применили информация полученная при вынимании одного шара будет меньше единицы. ВЫ с этим согласны?

Да, согласен.


Вернуться к началу
 Профиль Отправить email  
 
 Заголовок сообщения:
СообщениеДобавлено: Чт сен 16, 2004 2:23 pm 
Не в сети
Администратор форума
Администратор форума
Аватара пользователя

Зарегистрирован: Ср авг 25, 2004 12:26 am
Сообщения: 1050
Откуда: Москва
И - цитата из книги "Математика и кибернетика в экономике", М.: Экономика, 1975., с. 163-164
Цитата:
В 1928 г. Хартли определил информацию как
H = m log n,
где m - количество символов в сообщении, а n - количество доступных для использования различных символов.

То есть та же формула, которую я приводил вчера в своих выкладках. Так о чём спорим ?


Вернуться к началу
 Профиль Отправить email  
 
 Заголовок сообщения:
СообщениеДобавлено: Чт сен 16, 2004 2:57 pm 
Не в сети
Давний участник
Давний участник

Зарегистрирован: Вт авг 31, 2004 12:32 pm
Сообщения: 29
Откуда: Минск
1) "или 10 000 единиц или 10 000 нулей" - конечно это условие, что же еще.

2) Вовсе нет. Текст нам тоже поступает по каналу связи (зрение), мы же не учитываем его характеристики.

Учебник пишется для тех, кто еще этого не знает. Естественно, что для них есть неопределенность, которая потом снимается. Азбука информативна для первокласника, и не несет информации для Вас.

3) Если выпадение всех букв равновероятно, то выпадение одной буквы принесет 5бит информации. Теперь по той же формуле Шеннона (формула Хартли сюда не подойдет по условию) подсчитайте количество информации, если вероятность буквы А равно 1, а вероятности других букв равно 0. Получится 0 бит. Вы согласны? Если Вы скажете что эта формула здесь не применима, то это будет очень странно.

P.S. Спор же идет о том, что по формуле Шеннона, при вероятности какого-то исхода равной 1, информация равна 0. И о том,что при вероятности раной 1 неопределенность отсутствует.


Вернуться к началу
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: Чт сен 16, 2004 3:33 pm 
Не в сети
Администратор форума
Администратор форума
Аватара пользователя

Зарегистрирован: Ср авг 25, 2004 12:26 am
Сообщения: 1050
Откуда: Москва
1)
Цитата:
"или 10 000 единиц или 10 000 нулей"

При такой постановке задачи есть алфавит, включающий только 2 символа: 10000 нулей и 10000 единиц. Поэтому книга, содержащая 10 000 нулей, несёт в себе один бит информации. Что из этого ?

2)
Цитата:
Если выпадение всех букв равновероятно, то выпадение одной буквы принесет 5 бит информации. Теперь по той же формуле Шеннона (формула Хартли сюда не подойдет по условию) подсчитайте количество информации, если вероятность буквы А равно 1, а вероятности других букв равно 0. Получится 0 бит.

Что Вы вкладываете в понятие "вероятность буквы A" ? Вероятность выпадения буквы в лототроне ? Но тогда должен быть лототрон, содержащий только шары с изображением буквы A. Или речь идёт о букве, написанной в тексте ?

3)
Цитата:
P.S. Спор же идет о том, что по формуле Шеннона, при вероятности какого-то исхода равной 1, информация равна 0. И о том,что при вероятности равной 1 неопределенность отсутствует.

Думаю, спор о том, что именно может выступать в качестве вероятности в формуле Шеннона.

4) Возвращаясь к формуле Хартли. Вы согласны, что количество информации в тексте по этой формуле можно определить как
H = m log n,
где m - количество символов в сообщении, а n - количество доступных для использования различных символов ?


Вернуться к началу
 Профиль Отправить email  
 
 Заголовок сообщения:
СообщениеДобавлено: Чт сен 16, 2004 5:49 pm 
Не в сети
Давний участник
Давний участник

Зарегистрирован: Вт авг 31, 2004 12:32 pm
Сообщения: 29
Откуда: Минск
1) То есть несмотря на большое количество символов в тексте его информативность мизерная. А ведь "в принципе" на месте этих нулей могли быть различные буквы.

2)Речь идет о лототроне. Шары с разными буквами, но в силу скажем конструктивных особенностей, всегда выпадает шар с буквой В. По теории вероятности, вероятность выпадения шара В равно 1. Подставляя в формулу Шеннона получаем объем информации равный 0. Вы согласны?

Точно также и с единичным сигналом, если его наличие и отсутствие равновероятны, то он передает 1бит. Если они неравновероятны то объем информации уже меньше 1. Если "неравновероятность" продолжает расти, то и объем информации уменьшается. Когда же эта "неравновероятность" достигнет предела (1 и 0) объем информации по формуле Шеннона станет равной 0. То есть этот сигнал не буджет передавать информацию. Вы согласны?

3) В качестве вероятности в формуле Шеннона выступает то же, что и во всей теории вероятности (ТВ). По которой если сказано, что пули вылетающие из устройства все время попадают в десятку, то вероятность этого равна 1, а не1/10 с учетом того что "в принципе" они могут попасть и в 9, и в 8, и в 7 и т.д. Если сказано что из 32 шаров все время выпадает один, то значит вероятность его выпадения - 1, а не 1/32.

4)Согласен. Но, мне кажется, Вы зыбываете о том, что формула Хартли создана только для равновероятных событий. Там же где нет равновероятности используют более общую формулу Шеннона.


Вернуться к началу
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: Пт сен 17, 2004 12:39 pm 
Не в сети
Администратор форума
Администратор форума
Аватара пользователя

Зарегистрирован: Ср авг 25, 2004 12:26 am
Сообщения: 1050
Откуда: Москва
Цитата:
1) То есть несмотря на большое количество символов в тексте его информативность мизерная. А ведь "в принципе" на месте этих нулей могли быть различные буквы.

Однако :shock:
Я не случайно говорил до этого, что эта ситуация с придуманной книгой не имеет решения, так как Вы всё время меняете исходную постановку задачи.
И вот - ещё одно подтверждение. Буквально позавчера Вы утверждали, что в качестве исходной постановки задачи берётся следующее :
Цитата:
"или 10 000 единиц или 10 000 нулей" - конечно это условие, что же еще.

Итак, всего два варианта: или 10 000 единиц или 10 000 нулей, других вариантов быть не может.
Теперь вдруг выясняется, что там вовсе не только эти два варианта,
а "в принципе" на месте этих нулей могли быть различные буквы ( :!: ).
И исходя из этих всё время меняющихся условий исходной постановки задачи Вы делаете какие-то далеко идущие выводы, что будто бы в любом тексте по определению содержится мизер информации, что информацию, содержащуюся в тексте, измерить вообще нельзя и т.д.
Прежде чем делать такие выводы, нужно прежде всего определиться с условиями задачи, а потом уже переходить к количественной оценке информации.


Вернуться к началу
 Профиль Отправить email  
 
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 110 ]  На страницу Пред.  1, 2, 3, 4, 5, 6 ... 8  След.

Часовой пояс: UTC + 3 часа [ Летнее время ]


Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 6


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Перейти:  
cron






Powered by phpBB2
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group
Русская поддержка phpBB