С О Ц И Н Т Е Г Р У М

цивилизационный форум
     На главную страницу сайта Социнтегрум      Люди и идеи      Организации      Ресурсы Сети      Публикации      Каталог      Публикатор_картинок
                       
 
Текущее время: Пт мар 29, 2024 5:19 pm

Часовой пояс: UTC + 3 часа [ Летнее время ]




Начать новую тему Ответить на тему  [ Сообщений: 110 ]  На страницу Пред.  1, 2, 3, 4, 5, 6, 7, 8  След.
Автор Сообщение
 Заголовок сообщения:
СообщениеДобавлено: Пт сен 17, 2004 1:51 pm 
Ну, слава богу? Наконец-то Вы увидели всю противоречивость этого подхода. А ведь пример с книгой именно это и показывал. Потому что, то что в ней заключен 1 бит не вызывал сомнения с самого начала, и это было оговорено при первом же о ней упоминании: "Итак, ситуация. Перед нами лежит книга, и мы знаем, что в ней на всех 100 страницах напечатано либо 10 000 единиц, либо столько же нулей . Вопрос 1 (очень прошу ответить): сколько информации мы получим открыв эту книгу? По теории информации - 1 бит, по Вашему способу (Один символ или знак можно принять за единицу информации) - 10 000 бит (столько же сколько в полноценной книге). "

Пример был и призван показать ошибочность Вашего подхода к вероятности. Ведь Вы утверждали,что даже если исход заранее известен, то это не значит, что его вероятность равна 1, и, следовательно, присутствует неопределенность. Именно Вы настаивали на том, что не имеет значения, что в действительности происходит с сигналом, главное - какие сочитания могут быть "в принципе". Чтобы показать абсурдность этого подхода и была придумана эта книга. Мы знаем по условию, что могут быть либо единицы, либо нули, но ведь раньше это знание Вас никогда не останавливало :D , Вы же все время утверждали о "принципиальной" возможности перестановки. Именно поэтому у неменяющегося сигнала по Вашим словам все равно была неопределенность. В рассматриваемой книге тоже символы не меняются, но по Вашей же концепции это не так уж и важно, главное, что можно вообразить себе перестановки в принципе. Именно этот подход я и критиковал. А поскольку Вы согласились, что несмотря на толщину данной книги, при этих условиях, информация остается равной 1биту, то мои усилия были не напрасны.

Я нигде не менял условия задачи, и она имеет конкретное решение - 1 бит. Путаница возникает только если мы введем "потенциальную неопределенность" ("в принципе"), или будем настаивать на измерении информации по количеству символов.

Итак, судя по вполне праведному гневу, Вы согласны с тем, что в случае с лототроном, который всегда выбрасывает одну букву из 32, вероятность ее выпадения равна 1, а не 1/32? Потому что мы не должны учитывать те возможности, которые могут быть только "в принципе", а не в реальности.

И, следовательно, в случае с одним сигналом, по формуле Шеннона если вероятность его получения равна единице, то объем информации, который он передает равен нулю.


Вернуться к началу
  
 
 Заголовок сообщения:
СообщениеДобавлено: Пт сен 17, 2004 2:39 pm 
Не в сети
Администратор форума
Администратор форума
Аватара пользователя

Зарегистрирован: Ср авг 25, 2004 12:26 am
Сообщения: 1050
Откуда: Москва
Почему "наконец-то". Я всегда говорил, что Вы всё время меняете условия задачи.
Цитата:
в ней на всех 100 страницах напечатано либо 10 000 единиц, либо столько же нулей.

и в то же время:
"в принципе" там могут быть любые буквы алфавита.
А потом вообще окажется, что "в принципе" там одни чистые страницы...


Вернуться к началу
 Профиль Отправить email  
 
 Заголовок сообщения:
СообщениеДобавлено: Пт сен 17, 2004 3:13 pm 
"Речь идёт в данном случае об отсутствии неопределённости апостериори, то есть по факту наличия информации. Например, есть слово "Навуходоносор". Она содержит, допустим, A бит информации. И именно A бит, никакой неопределённости здесь нет. Для того, чтобы узнать, сколько именно бит содержится в этом слове, надо представть его в виде некой комбинации двоичных нулей и единиц, допустим 01001110100010. Конкретная комбинация из N символов, никакой неопределённости нет. Нет неопределённости и в том, что это именно слово "Навуходоносор".
Где же здесь неопределённость? А неопределённость здесь не реальная, а воображаемая, потенциальная. Она содержится не в количестве информации, и не в самой информации, а в общем количестве слов, которые в принципе можно закодировать теми же N двоичными символами. И чем больше эта потенциальная неопределённость, тем ценнее конкретное сообщение, которое само по себе не содержит неопределённости, как бы снимает эту потенциальную непределённость. "

Эта Ваша позиция, которую Вы заявили, и которую я пытаюсь опровергнуть все это время. Допустим Ваш оппонент говорит, что дождь в принципе сегодня невозможен. Тогда возражая Вы ему можете сказать: Смотри все заходят насквозь мокрые, а ведь дождь "в принципе" невозможен, как же так? И это не значит что вы утверждаете и то и это. Вы, таким образом, противопоставляете эти мнения, указывая на их несопоставимость. И мне странно что моя фраза: "То есть несмотря на большое количество символов в тексте его информативность мизерная. А ведь "в принципе" на месте этих нулей могли быть различные буквы." Вызвала у Вас такую неадекватную реакцию, тем более что по ходу всего разговора я употреблял словосочетание "в принципе" в кавычках, говоря именно о вашей позиции разделения "реальной" неопределенности и "воображаемой".

Но мне не понятно, Вы согласны с тем, что в указанных примерах (в последнем сообщении) с лототроном и единичным сигналом по формуле Шеннона объем информации равен 0? Или мы опять будем искать "воображаемую" неопределенность, неопределенность "в принципе".


Вернуться к началу
  
 
 Заголовок сообщения:
СообщениеДобавлено: Пт сен 17, 2004 3:15 pm 
Не в сети
Администратор форума
Администратор форума
Аватара пользователя

Зарегистрирован: Ср авг 25, 2004 12:26 am
Сообщения: 1050
Откуда: Москва
Говорить об измерении информации можно только в том случае, если
заранее оговорено, какие возможные варианты символов или сигналов при
этом используются.

Допустим у нас имеется символ 0. Если известно, что для кодирования
используются только символы 0 или 1, то наш 0 несёт одно количество
информации (1 бит), но если для кодирования используются 10 различных
символов 0,1,2,3,4,5,6,7,8,9, то 0 несёт уже совсем другое количество
информации. Если для кодирования используются 10 цифр + 32 буквы алфавита, то тот же 0 несёт уже третье количество информации.

В Вашем же примере количество используемых вариантов заранее не
оговорено. То имеется только два варианта (10000 нулей либо 10000
единиц), судя по цитате
Цитата:
Перед нами лежит книга, и мы знаем, что в ней на всех 100 страницах
напечатано либо 10 000 единиц, либо столько же нулей,

то выясняется, что "в принципе" могут использоваться
любые буквы алфавита, и сколько их всего - неизвестно.

Поэтому и бессмысленно оценивать количество информации.


Вернуться к началу
 Профиль Отправить email  
 
 Заголовок сообщения:
СообщениеДобавлено: Пт сен 17, 2004 3:25 pm 
Не в сети
Администратор форума
Администратор форума
Аватара пользователя

Зарегистрирован: Ср авг 25, 2004 12:26 am
Сообщения: 1050
Откуда: Москва
Опять же, ничего не могу сказать про пример с лототроном.
Или он
Цитата:
выбрасывает одну букву из 32,

или потом вдруг выяснится, что он выбрасывает не одну, а 32 буквы... и т.д.
Без указания вариантов бессмысленно ставить вопрос о количестве информации. И всё это - элементарные сведения, которые излагаются в школьном учебнике по информатике.


Вернуться к началу
 Профиль Отправить email  
 
 Заголовок сообщения:
СообщениеДобавлено: Пт сен 17, 2004 3:35 pm 
Не в сети
Администратор форума
Администратор форума
Аватара пользователя

Зарегистрирован: Ср авг 25, 2004 12:26 am
Сообщения: 1050
Откуда: Москва
Если Вам не нравится мой подход к подсчёту количества информации, то изложите свой. Опишите, как с Вашей точки зрения оценить количество информации, содержащейся в тексте. Но, пожалуйста, оговорите исходные условия, то есть какие символы там могут использоваться. Одно дело - нули и единицы, другое дело - кириллический алфавит и совсем иное - китайский алфавит :) .


Вернуться к началу
 Профиль Отправить email  
 
 Заголовок сообщения:
СообщениеДобавлено: Сб сен 18, 2004 1:10 pm 
Не в сети
Давний участник
Давний участник

Зарегистрирован: Вт авг 31, 2004 12:32 pm
Сообщения: 29
Откуда: Минск
1) Пример с книгой.

Условие следущее: "Перед нами лежит книга, и мы знаем, что в ней на всех 100 страницах
напечатано либо 10 000 единиц, либо столько же нулей,"

И на основании всего разговора я убеждал Вас, что неопределенности "в принципе" (воображаемой) быть не может (Вы не можете этого отрицать) Поэтому по этому примеру моя позиция однозначна - один бит.

Ответьте как мужчина :D. При этом условии сколько информации содержится в книге? Если один бит, то это значит, что никакой "возможной" неопределенности, неопределенности "в принципе" мы не учитываем (и правильно делаем).

2)Пример с лототроном. Ответьте однозначно, ради бога:o. При условии, что лототрон ВСЕГДА выдает букву В, хотя в нем крутится 32 буквы. Какова вероятность ее выпадения? И чему будет равен объем информации при этом по формуле Шеннона?

3) Теперь по поводу алфавита. Вы согласны, что разные буквы имеют разные вероятности появления в тексте? Поэтому, собственно, к ним применяется уравнение Шеннона, а не Хартли.


Вернуться к началу
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: Сб сен 18, 2004 3:32 pm 
Не в сети
Администратор форума
Администратор форума
Аватара пользователя

Зарегистрирован: Ср авг 25, 2004 12:26 am
Сообщения: 1050
Откуда: Москва
1) При условии или 10000 единиц или 10000 нулей - действительно, один бит, но только в этом случае. Если предполагать там ещё какие-то символы, то, конечно, уже не один бит.
2)
Цитата:
Пример с лототроном. Ответьте однозначно, ради бога:o. При условии, что лототрон ВСЕГДА выдает букву В, хотя в нем крутится 32 буквы.

Что о нас подумают, если кто-нибудь это прочитает :lol: Что там может быть быть, кроме единицы.
3)
Цитата:
Теперь по поводу алфавита. Вы согласны, что разные буквы имеют разные вероятности появления в тексте? Поэтому, собственно, к ним применяется уравнение Шеннона, а не Хартли.

Конечно, согласен. Весь вопрос в том, как оценить эту вероятность появления того или иного символа в тексте. Об этом только и речь. Здесь всё не так просто. Если мы принимает сигналы по кабелю, то здесь понятно, что из себя представляет вероятность - насколько часто приходит именно данный сигнал по сравнению с другими типами сигналов, то есть статистическое определение вероятности.
Иное дело - книга. Какое определение вероятности здесь применить - классическое, статистическое ...? Всё не так просто.


Вернуться к началу
 Профиль Отправить email  
 
 Заголовок сообщения:
СообщениеДобавлено: Пн сен 20, 2004 11:33 am 
Не в сети
Давний участник
Давний участник

Зарегистрирован: Вт авг 31, 2004 12:32 pm
Сообщения: 29
Откуда: Минск
1) Давайте применим формулу Шеннона к "испорченному" лототрону, который ВСЕГДА выдает только букву В, но в котором крутятся 32 буквы. Включим в эту формулу все 32 состояния. И, следовательно, в этой формуле будут 32 слагаемых. Из них 31 будет равно 0, поскольку вероятность выпадения 31 буквы равно 0, но и 32-ое слагаемое (буква В), тоже будет равно нулю поскольку вероятность равна 1, а логорифм единицы равен 0. Таким образом по формуле Шеннона, такой лототрон несет нам о информации. Вы согласны? Поэтому в учебниках и пишут:"Для абсолютно достоверного события (событие обязательно произойдет, поэтому его вероятность равна 1) количество информации в сообщении о нем равно 0"

2) Должно ли быть различие в информации, если мы сами читаем эту книгу, либо это делает другой и передает нам ее содержимое по какому-нибудь кабелю? ПРи том, что особенности канала связи (потери) мы не рассматриваем, считая его идеальным.


Вернуться к началу
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: Пн сен 20, 2004 2:47 pm 
Не в сети
Администратор форума
Администратор форума
Аватара пользователя

Зарегистрирован: Ср авг 25, 2004 12:26 am
Сообщения: 1050
Откуда: Москва
1) Конечно, такой лототрон несёт 0 информации (0 информации содержится в сообщении о том, что выпала буква B).
2)
Цитата:
Должно ли быть различие в информации, если мы сами читаем эту книгу, либо это делает другой и передает нам ее содержимое по какому-нибудь кабелю? ПРи том, что особенности канала связи (потери) мы не рассматриваем, считая его идеальным.

Различие, думаю, есть - различие в технике подсчёта вероятностей для формулы Шеннона. Если передаётся какая-либо информация по кабелю, то нам известна статистика частоты передачи той или иной буквы по этому кабелю. Скажем, буква а передаётся с вероятностью 1/30, буква б - с вероятностью 1/23 и т.д. (в среднем по этому кабелю). Но что принять за вероятности появления букв в книге, которую мы читаем ? Здесь возможно несколько подходов.


Вернуться к началу
 Профиль Отправить email  
 
 Заголовок сообщения:
СообщениеДобавлено: Пн сен 20, 2004 4:06 pm 
1) Довнесем ясность. Следовательно, если у нас есть несколько таких лототронов, каждый из которых (в заданной последовательности) выдает какую-нибудь букву, то объем информации в таком слове равна 0, потому-что мы все знаем заранее. И поскольку информация каждого такого лототрона равна 0, то и их сумма тоже.

2) Теперь по поводу оценки информации в тексте. Возможны, конечно, разные способы, но речь идет только о методе на основе формулы Шеннона. И уж, конечно, информация в тексте должна равняться, переданной информации, когда этот текст куда-то передают. Иначе возникнет белеберда. Допустим читатель А передает текст В, и В его записывает, и было бы странно если записанная информация будет в два раза больше или меньше, чем полученная по каналу ( канал связи без потерь ). Ведь в таком случае закономерен вопрос: а откуда взялась лишняя информация, раз ее никто не прлучал, или куда делась полученная, раз мы все записали? Не говоря уже о том, что мы не можем получить информацию безо всякого канала, ведь чтение и есть ее получение по каналу связи (зрению). Вы согласны, что информация в тексте должна равнятся переданной информации когда его передают?

Что же касается, частоты появления какой-либо буквы в тексте, то эта частота характерна для данного языка. И при анализе текста на объем информации при помощи формулы Шеннона, используются именно эти значения вероятности.


Вернуться к началу
  
 
 Заголовок сообщения:
СообщениеДобавлено: Пн сен 20, 2004 4:35 pm 
Не в сети
Администратор форума
Администратор форума
Аватара пользователя

Зарегистрирован: Ср авг 25, 2004 12:26 am
Сообщения: 1050
Откуда: Москва
Цитата:
1) Довнесем ясность. Следовательно, если у нас есть несколько таких лототронов, каждый из которых (в заданной последовательности) выдает какую-нибудь букву, то объем информации в таком слове равна 0, потому-что мы все знаем заранее. И поскольку информация каждого такого лототрона равна 0, то и их сумма тоже.

Равна нулю неопределённость ситуации, связанной с данными лототронами. Но если, допустим, мы передаём ту же последовательность символов по каналу связи, то нельзя оценить, что в этом слове 0 информации. Пример иллюстрирует различие между понятиями "количество информации в слове" и "неопределённость ситуации".


Вернуться к началу
 Профиль Отправить email  
 
 Заголовок сообщения:
СообщениеДобавлено: Пн сен 20, 2004 4:44 pm 
Не в сети
Администратор форума
Администратор форума
Аватара пользователя

Зарегистрирован: Ср авг 25, 2004 12:26 am
Сообщения: 1050
Откуда: Москва
Цитата:
Вы согласны, что информация в тексте должна равнятся переданной информации когда его передают?

Можно принять и такой принцип за основу оценки количества информации в тексте.
Цитата:
Что же касается, частоты появления какой-либо буквы в тексте, то эта частота характерна для данного языка. И при анализе текста на объем информации при помощи формулы Шеннона, используются именно эти значения вероятности.

Да, один из подходов, основанный на статистическом определении вероятности.
Другой подход - использовать не частоту появления буквы в тексте, характерную вообще для данного языка, а частоту, характерную именно для данного текста (основано на классическом определении вероятности).
Третий подход - просто условно принять появление любых символов в тексте равновероятным и применять формулу Хартли. Именно этот подход используется, пусть неосознанно, когда говорят, что файл содержит столько-то килобайт или мегабайт.
Четвёртый подход - вообще считать, что раз есть написанный тект, то все буквы уже известны и накакой неопределённости нет. То есть текст - это аналог той самой группы лототронов, где уже известно выпадение каждой буквы. Получается, что и информация равна нулю.


Вернуться к началу
 Профиль Отправить email  
 
 Заголовок сообщения:
СообщениеДобавлено: Вт сен 21, 2004 1:20 pm 
Не в сети
Давний участник
Давний участник

Зарегистрирован: Вт авг 31, 2004 12:32 pm
Сообщения: 29
Откуда: Минск
Разговор начался со способов "трактовки" формулы Шеннона, поэтому давйте поставим точку в этом вопросе. А потом я постараюсь пояснить почему именно этот метод оценки информации применяется в науке.

Если применяют формулу Шеннона то никогда не используют 2,3,4 способы (о которых Вы упоминули в последнем сообщении). Иногда первый способ, когда вероятность каждой буквы, определяется для языка, дополняется еще методом Маркова, из- за чего информативность текста еще больше снижается. Но способы измерения вероятности для каждой из букв, во-первых, дают приблизительно одни и те-же результаты, а во-вторых не меняют принцип. Вы согласны с тем, что каким бы техническим приемом не мерить вероятность, в условиях полной достоверности она будет равна 1? И, следовательно, по формуле Шеннона информация будет равна нулю?

Педставьте себе, что Вас инструктируют в помещении с сильным эхом. Разве будет это означать, что Вы получили удвоенную (или утроенную) информацию, по сравнению с ситуацией без эхо? Нет. Потому что отраженный звук не несет для Вас ничего нового. Вы заранее знаете, что "скажет" эхо, И по формуле Шеннона его информативность равна 0.

Или вот. Перед Вами на столе лежат две одинаковые книги. Вы читаете слово в одной, потом то же самое слово в другой, и так слово за словом. Будет ли это означать, что мы получаем удвоенную информацию? Если мы согласимся на это всю теорию информации "вспучит" от противоречий, некоторые из которых мы уже рассмотрели. Именно поэтому в учебниках по иформатике пишут: "Информация – сведения об окружающем мире, которые повышают уровень осведомленности человека." То есть если мы что то уже знаем, то это для нас не информация. Естественно, что при таком подходе информация - мера новизны и неопределенности. Поэтому в наших любимых учебниках и пишут: " Количеством информации называют числовую характеристику сигнала , отражающую ту степень неопределенности (неполноту знаний), которая исчезает после получения сообщения в виде данного сигнала . Эту меру неопределенности в теории информации называют энтропией." То есть, при этом подходе одной и той же формулой определяется и энтропия и информация и сложность потому, что это одно и то же.

Что же касается носителей информации, то в технике принято их измерять и описывать через максимальный объем информации которую они могут хранить, передавать и т.д. А один простейший элемент (дырка, импульс и т.д) может переносить один бит. Может и 0, но максимально - 1бит. Поэтому если говорят, что диск вмещает 1мегабайт, то имеется ввиду, что это максимальный (а не действительный) объем информации (больше нельзя не под каким видом), который можно на нем хранить. Потому что если его содержимое, не повышает уровень осведомленности человека (по приведенному определению), то Вы с него получите 0 информации.
То есть информация - то, что получили, и зависит от получателя. А поскольку для производителей вычислительной техники, необходима была характеристика оторванная от субъекта, вот и ввели эту максимальную информативность.

Такой подход к информации, через формулу Шеннона, позволяет отбрасывает все лишнее, оставляя самую суть информации. Поэтому в одной статье информации может быть больше, чем в 10 томах текста. И именно так "понимает" информацию наше сознание. Поэтому мы не замечаем того, что никогда не меняется.


Вернуться к началу
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: Вт сен 21, 2004 11:15 pm 
Не в сети
Администратор форума
Администратор форума
Аватара пользователя

Зарегистрирован: Ср авг 25, 2004 12:26 am
Сообщения: 1050
Откуда: Москва
Цитата:
Что же касается носителей информации, то в технике принято их измерять и описывать через максимальный объем информации которую они могут хранить, передавать и т.д.

Это верно.
Цитата:
Вы согласны с тем, что каким бы техническим приемом не мерить вероятность, в условиях полной достоверности она будет равна 1? И, следовательно, по формуле Шеннона информация будет равна нулю?

В том-то и дело, что от того, как именно мы измеряем вероятность, зависит то, что получится на выходе.
Цитата:
Что же касается, частоты появления какой-либо буквы в тексте, то эта частота характерна для данного языка. И при анализе текста на объем информации при помощи формулы Шеннона, используются именно эти значения вероятности.

Согласно этой формуле, один символ несёт p log2 1/p информации, где p - частота появления данного символа в языке. Если в книге содержится n символов (одних и тех же), то общее количество информации составит
n * m * p * log2 1/p, где m - общее количество используемых символов.
Соответственно две одинаковых книги, если считать по формуле, получается, содержат в 2 раза больше информации, чем одна книга.


Вернуться к началу
 Профиль Отправить email  
 
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 110 ]  На страницу Пред.  1, 2, 3, 4, 5, 6, 7, 8  След.

Часовой пояс: UTC + 3 часа [ Летнее время ]


Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 10


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Перейти:  






Powered by phpBB2
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group
Русская поддержка phpBB