С О Ц И Н Т Е Г Р У М

цивилизационный форум
     На главную страницу сайта Социнтегрум      Люди и идеи      Организации      Ресурсы Сети      Публикации      Каталог      Публикатор_картинок
                       
 
Текущее время: Пт мар 29, 2024 12:29 am

Часовой пояс: UTC + 3 часа [ Летнее время ]




Начать новую тему Ответить на тему  [ Сообщений: 110 ]  На страницу Пред.  1, 2, 3, 4, 5, 6, 7, 8  След.
Автор Сообщение
 Заголовок сообщения:
СообщениеДобавлено: Ср сен 22, 2004 1:30 pm 
Не в сети
Давний участник
Давний участник

Зарегистрирован: Вт авг 31, 2004 12:32 pm
Сообщения: 29
Откуда: Минск
1) Каким бы способом Вы не считали вероятность, в случае абсолютной достоверности она будет равна 1. Вы возражаете и я снова чувствую запах неопределенности "в принципе", "воображаемой". Приведите пример способа подсчета вероятности при котором вероятность абсолютно достоверного события не равна 1, но это должна быть научная вероятность, а не "кухонная" :D .

2) Я твердо намерен :D постоянно приводить определения из учебников: "Информация – сведения об окружающем мире, которые повышают уровень осведомленности человека." Понятно, что количество получаемой информации зависит от осведомленности получателя. Как же тогда оценить информативность книги? Принято информацией содержащейся в книге, считать информацию которую получит читатель недогадывающийся о ее содержимом, но владеющий (что естественно) языком на котором она написана. Если человек точно знает ее содержимое (каждую букву), то полученная им информация от нее (при повторном прочтении) будет равна нулю, поскольку его осведомленность не увеличится, и не будет выполнено условие Шеннона - никакая неопределенность не снимется, ввиду ее отсутствия, в данном случае. Вы возражаете, следовательно считаете, что при описанном способе "сдвоенного" чтения читатель получает удвоенную информацию. Но если он отложит вторую книгу, читая только одну, то разве он при этом получит меньше информации? И, следовательно, Вы считаете, что в помещении с эхом информация удваивается. Это так?


Вернуться к началу
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: Чт сен 23, 2004 1:40 am 
Не в сети
Администратор форума
Администратор форума
Аватара пользователя

Зарегистрирован: Ср авг 25, 2004 12:26 am
Сообщения: 1050
Откуда: Москва
При чём здесь неопределённость "в принципе", о которой я говорил до этого ?Сейчас речь совсем о другом.
Вы сами до этого написали, что вероятности, используемые в формуле Шеннона для оценки количества информации в тексте, есть частоты использования того или иного символа в данном языке. Допустим, частота использования буквы а составляет 1/16. Тогда одна буква а несёт
1/16 log2 16 = 1/16 *4 = 1/4 единиц информации, а 1000 одних и тех же букв а : 1/4 + 1/4 + 1/4 + ... и т.д. 1000 раз, то есть 1000 * 1/4 = 250. Те же рассуждения можно привести в примере с эхом и т.д.
Я, естественно, не отрицаю, что вероятность достоверного события равна 1. Было бы очень странно, чтобы я это отрицал. Но, если признать, что в формуле Шеннона используются в качестве вероятностей именно частоты использования символов в языке, то при подстановке в формулу вероятностей для 1000 одинаковых символов, 1000 одинаковых книг получится именно такой результат, какой я описал выше, и никакой другой. Не надо приводить мне цитаты из учебников, приводите их самой формуле :D !

Таким образом, Ваша интерпретация формулы Шеннона противоречит Вашему же пониманию теории информации... Внесите какие-то корректировки. Противоречия-то явные.


Вернуться к началу
 Профиль Отправить email  
 
 Заголовок сообщения:
СообщениеДобавлено: Чт сен 23, 2004 2:31 pm 
Возьмем пример с книгой в которой все буквы а. Если мы этого не знаем, не знаем, какая буква будет в каждый следущий раз, и если такая монотонность не заставит нас догодаться об отсутствии в данной книге альтернативы, то энтропия и объем информации будет считаться именно так, как Вы написали. В этом случае мы здорово повышаем свою осведомленность, потому что склонны видеть в каждом символе любую из букв, то есть в результате чтения мы отбрасываем огромное число вариантов которые предполагали до чтения.Будем считать это применением формулы Шеннона в ситуации №1.

Теперь, пусть мы знаем заранее, что в книге либо все буквы а, либо все нули. Тогда информацию для нас будет поставлять только один первый символ. Применим формулу Шеннона. она будет иметь вид суммы где первое слагаемое будет равняться единице (если оба исхода равновероятны) все же остальные слагаемые равны 0, поскольку после первого символа мы уже с абсолютной достоверностью знаем о том, какими будут следующие. Таким образом по формуле Шеннона объем информации в этом случае равен 1биту. Это ситуация соответствует той, в которой либо все 0, либо все 1 (в книге), и в которой, как мы выяснили содержится 1 бит информации. Это применение формулы Шеннона в случае №2.

Теперь, пусть мы точно знаем, что в книге все буквы - буквы А. По сравнению с предыдущей ситуацией изменится только первое слагаемое. Оно тоже станет равным нулю, поскольку в этом случае нам и о первом символе все достоверно известно. То есть в этом случае информация получаемая от книги равна 0, она не повысит нашей осведомленности. Это было применение формулы Шеннона в случае №3.

Итак, во всех трех примерах мы использовали эту формулу правильно, и получили три разных результата , хотя речь шла об одной и той же книге с одними буквами А, но в этом нет никакого противоречия. Раз информация лишь то, что повышает осведомленность человека, то и ее объем будет в первую очередь зависеть от от осведомленности получателя информации. В первом случае человек минимально осведомлен о содержимом книги перед ее прочтением, и его осведомленность поэтому повысится в наибольшей степени, а в третьем его осведомленность о содержимом максимально, поэтому оно уже не может повысится и объем полученной информации равен 0. Вы согласны, что во всех трех примерах формула Шеннона применена корректно?

Теперь в случае с эхом. Если мы знакомы с этим явлением, и знаем что оно не "говорит" само, а только все повторяет, то по формуле Шеннона оно не будет нести информацию, так как оно будет для нас абсолютно достоверным.

Итак, ВЫ все еще настаиваете, что применяя формулу Шеннона, мы получим удвоенную информацию в помещении с эхом? И что человек читающий две одинаковые книги, указанным выше способом, получает столько же информации, как если бы он таким же образом читал разные книги? А люди всю жизнь читающие одну книгу, и которые знают ее наизусть, получают столько же информации, как если бы читали с такой же скоростью, но разные книжки?


Вернуться к началу
  
 
 Заголовок сообщения:
СообщениеДобавлено: Чт сен 23, 2004 4:32 pm 
Не в сети
Администратор форума
Администратор форума
Аватара пользователя

Зарегистрирован: Ср авг 25, 2004 12:26 am
Сообщения: 1050
Откуда: Москва
Нет, конечно, я ни на чём таком не настаиваю. Я просто отмечаю, что формальное применение в формуле Шеннона в качестве вероятностей частоты появления символов в языке приводит к такому результату.
В ситуациях 2 и 3 Вы иным образом определяете вероятность. Следовательно, Вы констатируете, что использовать в формуле Шеннона в качестве вероятностей частоту использования символов в языке можно не всегда (ранее Вы это отрицали).


Вернуться к началу
 Профиль Отправить email  
 
 Заголовок сообщения:
СообщениеДобавлено: Чт сен 23, 2004 5:22 pm 
Не в сети
Давний участник
Давний участник

Зарегистрирован: Вт авг 31, 2004 12:32 pm
Сообщения: 29
Откуда: Минск
В указанных примерах было показано, что формула Шеннона определяет количество информации, которое получает ее получатель. Однако в этом случае объем информации в большей степени зависит от самого получателя, от его осведомленности. Но для того что бы иметь возможность сравнивать книги между собой по информативности принято считать ту информацию, которую получит неосведомленный читатель (но знающий язык), то есть опять речь идет не о фактически полученной информации, а о максимальной (как и для любого носителя). Вы же все кидаете в одну кучу. Так нельзя.

Разве непонятно, что и в способе 1, и в способе 2, и в способе 3 применяется один метод. Это не разные методы!!! Как Вы не можете понять, что полученная информация зависит от осведомленности ее получателя?! И поэтому во всех трех способах отличаются только читатели. Метод один, но разная осведомленность получателей информации, поэтому и результат разный. Вы же в течении всего разговора смешиваете понятия информации и ее носителя (мол, если книга не меняется - то и полученная от нее информация всегда и везде одинакова).

Итак, похоже Вы согласились, что если мы перечитываем книгу, которую знаем наизусть, то полученная нами информация равна нулю. Это так? Ведь в противном случае Вы должны признать, что люди читающие все жизнь одну книгу получают столько же информации, сколько и те, кто читает разные. Ответьте пожалуйста на этот вопрос.


Вернуться к началу
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: Чт сен 23, 2004 6:03 pm 
Не в сети
Администратор форума
Администратор форума
Аватара пользователя

Зарегистрирован: Ср авг 25, 2004 12:26 am
Сообщения: 1050
Откуда: Москва
Цитата:
В указанных примерах было показано, что формула Шеннона определяет количество информации, которое получает ее получатель. Однако в этом случае объем информации в большей степени зависит от самого получателя, от его осведомленности. Но для того что бы иметь возможность сравнивать книги между собой по информативности принято считать ту информацию, которую получит неосведомленный читатель (но знающий язык), то есть опять речь идет не о фактически полученной информации, а о максимальной (как и для любого носителя).

Это верно.
Цитата:
Разве непонятно, что и в способе 1, и в способе 2, и в способе 3 применяется один метод. Это не разные методы!!!

Но по-разному считается вероятность. И не стоит утверждать, что она всегда считается одинаково.
Цитата:
если мы перечитываем книгу, которую знаем наизусть, то полученная нами информация равна нулю

Если мы заранее знали, что это - та же самая книга. Если не знали заранее, что содержится в книге, то получаем некоторую информацию.


Вернуться к началу
 Профиль Отправить email  
 
 Заголовок сообщения:
СообщениеДобавлено: Чт сен 23, 2004 6:49 pm 
Не в сети
Давний участник
Давний участник

Зарегистрирован: Вт авг 31, 2004 12:32 pm
Сообщения: 29
Откуда: Минск
1)В примерах 1-3 понятие вероятности не меняется, она одна и та же меняется ее значение для разных читателей. Так метод определения веса один, но один кирпич - 1кг, а второй - 2кг. Вес разный, но считается то он одинаково! Также и с вероятностью. Но вы опять связываете информацию с носителем (мол, если носитель не меняется, то и вероятность его элементов тоже не должна меняться). Но и информация и вероятность элементов и символов, зависит от получателя информации. Для одного она может равняться 1, а для другого 0. Вы же согласились что если мы наизусть знаем содержимое книги и знаем что, это та же книга, то вероятность ее символов (для нас) равна 1 или 0. Но для других читателей, которые ее еще не читали эта вероятность может быть и 0,5 и 0,6 и т.д. Но считается она одинаково!!! Не будете же Вы утверждать, что вес кирпича и дробинки считается по разному!?

2) Итак, информация от книги которую мы знаем наизусть, по формуле Шеннона, равна 0. И если она не меняется, то так и остается нулем. Она не меняется, следовательно, неопределенность равна 0. И энтропия равна 0. То есть одна и та же формула при условии, что мы все знаем о неизменной системе (книге) описывает и количество информации и энтропию(меру неопределенности). Потому что при данных условиях это одно и то же. Или как я где-то читал :) :" Количеством информации называют числовую характеристику сигнала , отражающую ту степень неопределенности (неполноту знаний), которая исчезает после получения сообщения в виде данного сигнала . Эту меру неопределенности в теории информации называют энтропией."


Вернуться к началу
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: Чт сен 23, 2004 11:43 pm 
Не в сети
Администратор форума
Администратор форума
Аватара пользователя

Зарегистрирован: Ср авг 25, 2004 12:26 am
Сообщения: 1050
Откуда: Москва
Всё правильно, просто мне казалось, что ранее Вы говорили, что вероятность можно считать только как частоту. Ну ладно, с этим разобрались.
Теперь о том, что я называл до этого "воображаемой" неопределённостью или неопределённостью в принципе.
Цитата:
формула Шеннона определяет количество информации, которое получает ее получатель. Однако в этом случае объем информации в большей степени зависит от самого получателя, от его осведомленности. Но для того что бы иметь возможность сравнивать книги между собой по информативности принято считать ту информацию, которую получит неосведомленный читатель (но знающий язык), то есть опять речь идет не о фактически полученной информации, а о максимальной (как и для любого носителя).

Информация, которую получит неосведомлённый человек (максимальную полученную информацию) я и считал неопределённостью в принципе.
Эту характеристику я считаю важной, поскольку она отражает сам текст или какую-либо систему реального мира с точки зрения её сложности, и эта характеристика не зависит от наблюдателя.


Вернуться к началу
 Профиль Отправить email  
 
 Заголовок сообщения:
СообщениеДобавлено: Пт сен 24, 2004 9:59 am 
Должен отдать Вам должное. Вы интересный собеседник, и очень корректный спорщик. А уж спорщиков я повидал много (сам такой :) )

Итак. Я думаю пора перейти, собственно к обществу, и проанализировать его в свете всего вышеуточненного относительно информации и энтропии. Вы согласны?


Вернуться к началу
  
 
 Заголовок сообщения:
СообщениеДобавлено: Пт сен 24, 2004 10:07 am 
Не в сети
Давний участник
Давний участник

Зарегистрирован: Вт авг 31, 2004 12:32 pm
Сообщения: 29
Откуда: Минск
Предыдущее сообщение мое.


Вернуться к началу
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: Пт сен 24, 2004 12:21 pm 
Не в сети
Администратор форума
Администратор форума
Аватара пользователя

Зарегистрирован: Ср авг 25, 2004 12:26 am
Сообщения: 1050
Откуда: Москва
Что ж, мне также интересна эта дискуссия.
Но вернёмся к исходной проблеме - энтропия больших систем в экономике и обществе. Далее условно я буду называть её просто "большая система".

В отношении такой большой системы я хотел бы отметить следующее. Во-первых, она обладает сложной структурой, во-вторых, характеризуется некоторой неопределённостью. В связи с этим я и предлагал измерять энтропию по Шеннону для двух составляющих большой системы.

Можно предложить аналогию большой системы с лототроном.
Представим себе лототрон, в котором лежат шары, на шарах написаны буквы, и эти буквы всё время выдаются по схеме с возвращением. Каждая буква выдаётся со своей вероятностью. Отсюда по формуле Шеннона считаем некоторую энтропию, которая характеризует неопределённость ситуации.
Но кроме того, сам лототрон имеет некоторое устройство с технической точки зрения. Допустим, устройство лототрона, принципы его работы, описание отдельных узлов и механизмов изложены в некоторой книге. Текст состоит из отдельных символов, и можно подсчитать информацию, которая содержится в этой книге. Для инженера-"лототронщика" (не путать с лохотронщиком :) )эта информация будет невелика, потому что он и так имеет знания об устройстве лототронов. Но для наблюдателя, который впервые знакомится с информацией об устройстве лототронов, энтропия по Шеннону данной книги будет достаточно большой. Эта энтропия характеризует фактически степень сложности устройства лототрона, и она не зависит от наблюдателя.
Итак, с лототроном связаны:
1) Энтропия информации об устройстве лототрона H1 (для ранее не информированного наблюдателя), которая характеризует степень сложности устройства самого лототрона.
2) Энтропия H2, которая характеризует неопределённость ситуации, которая связана с этим лототроном и рассчитывается на основе вероятностей выпадения отдельных букв.

Энтропии H1 и H2 - разные величины, хотя и считаются по одной и той же формуле. Вы с этим согласны ?


Вернуться к началу
 Профиль Отправить email  
 
 Заголовок сообщения:
СообщениеДобавлено: Сб сен 25, 2004 11:39 am 
Не в сети
Давний участник
Давний участник

Зарегистрирован: Вт авг 31, 2004 12:32 pm
Сообщения: 29
Откуда: Минск
Так вчера загрузили работой, что некогда было ответить. Вот и ходи после этого на службу! Нет не согласен.

Пусть у нашего лототрона три составляющие: шары, барабан, ось. Наблюдатель А предполагает, что ось имеет три равновероятных положения или вида (с соответствующей вероятностью), барабан -4, шары -32. С учетом этого он по формуле Шеннона считает свою собственную (Вы все время об этом забываете) неопределенность знаний об этой системе. После получения информации эта неопределенность пропадает, и количество полученной информации оценивается через снятую неопределенность. Наблюдатель же Б полагает, что ось имеет один определенный вид и положение, барабан тоже, а шары - 32 равновероятных. И он тоже считает свою неопределенность по формуле Шеннона, точно так же как и В. Но разве можно считать значения неопределенности посчитанные одинаковым образом и А и В разными величинами, только потому, что они оказались неодинаковыми по величине?! Конечно, это одна и та же величина, посчитанная одним и тем же способом, но для разных наблюдателей. В конце концов может появится наблюдатель, для которого и с шарами не будет никакой неопределенности.

Что же касается того, что информация о системе полученная совершенно неосведомленным наблюдателем характеризует систему - то это не так. Такая информация будет равняться бесконечности. Представьте себе человека, который неосведомлен о том что молекулы твердой оси, например, не могут просто взять и разлететься в разные стороны. Ему нужна будет информация о месте положении каждого атома электрона и т.д. Таким образом, информация полученная неосведомленным наблюдателем будет зависить от его степени неосведомленности.


Вернуться к началу
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: Вс сен 26, 2004 1:49 am 
Не в сети
Администратор форума
Администратор форума
Аватара пользователя

Зарегистрирован: Ср авг 25, 2004 12:26 am
Сообщения: 1050
Откуда: Москва
Если я правильно понял, Вы полагаете, что всякие оценки энтропии по определению субъективны, так как зависят от наблюдателя. Но тогда как Вы можете утверждать, что имеется тенденция к возрастанию энтропии в экономических системах ? Ведь всё зависит от наблюдателя - для кого-то она повышается, для кого-то уменьшается, для кого-то вообще равна бесконечности...


Вернуться к началу
 Профиль Отправить email  
 
 Заголовок сообщения:
СообщениеДобавлено: Пн сен 27, 2004 12:19 pm 
Не в сети
Давний участник
Давний участник

Зарегистрирован: Вт авг 31, 2004 12:32 pm
Сообщения: 29
Откуда: Минск
Нет не так. Есть одна информационная величина, которая не зависит от субъекта и которая в теории информации является объективной оценкой самой системы.

Наберите тысячу наблюдателей разной степени осведомленности, разного типа восприятия, с разными алгоритмами обработки информации и водите их от системы к системе. Полная информация об одной системе будет варьироваться, скажем, от 25бит до бесконечности, второй - от 345 до бесконечности и т.д. Таким образом, легко понять, что отличительным информационным свойством системы является нижний предел той информации, которой достаточно для полного описания системы. Именно по нему системы и сравнивают, когда говорят, что одна система содержит больше информации чем вторая. И этот нижний предел информации равен энтропии самой системы (уже не наблюдателя), и поэтому она является не субъективной, а объективной характеристикой системы.

Однако все мы люди. И информацию о системе получаем так как умеем и далеко не в идеальном виде. В таком случае ее (информацию о системе) можно представить как сумму энтропии системы (которая меняется) и некоторый неменяющийся для данной системы объем информации, который нам необходим, в силу субъективных причин, для описания системы, даже если ее энтропия равна 0. Второе слагаемое - константа для данной системы. А теперь вспомним о том, что в анализе развития, скажем, общества нас интересуют именно изменения, то есть производные. А поскольку второе слагаемое суммы - константа, то производная по времени от информации будет равен такой же производной по энтропии. Другими словами: если увеличивается энтропия, то увеличивается и объем информации, которой она описывается.

Вы согласны, что при неизменном типе восприятия, при увеличении энтропии системы, обязательно будет увеличиваться и объем информации необходимый для описания этой системы?


Вернуться к началу
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: Пн сен 27, 2004 2:34 pm 
Не в сети
Администратор форума
Администратор форума
Аватара пользователя

Зарегистрирован: Ср авг 25, 2004 12:26 am
Сообщения: 1050
Откуда: Москва
Цитата:
отличительным информационным свойством системы является нижний предел той информации, которой достаточно для полного описания системы. Именно по нему системы и сравнивают, когда говорят, что одна система содержит больше информации чем вторая.

Но опять же, если некоторый наблюдатель всё и так знает о данной системе, то для него нижним пределом информации о системе будет 0.
Цитата:
(информацию о системе) можно представить как сумму энтропии системы (которая меняется) и некоторый неменяющийся для данной системы объем информации, который нам необходим, в силу субъективных причин, для описания системы, даже если ее энтропия равна 0.

Не понял, что это за объём информации, который нужен для описания системы, даже если её энтропия равна нулю ? Ведь как раз через энтропию по Шеннону мы и описываем количество информации. Как можно говорить о каком-то объёме информации, не прибегая для этого к понятию энтропии ?
Цитата:
Вы согласны, что при неизменном типе восприятия, при увеличении энтропии системы, обязательно будет увеличиваться и объем информации необходимый для описания этой системы?

Всё зависит от того, что понимать под объёмом информации, необходимым для описания системы. Разве энтропия это и не есть тот самый объём информации ? Разве это не одно и то же ?


Вернуться к началу
 Профиль Отправить email  
 
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 110 ]  На страницу Пред.  1, 2, 3, 4, 5, 6, 7, 8  След.

Часовой пояс: UTC + 3 часа [ Летнее время ]


Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 6


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Перейти:  
cron






Powered by phpBB2
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group
Русская поддержка phpBB