Информационная вселенная (кто что слышал?)

[Droog_Andrey]

Термализованную энергию в системе нельзя использовать просто по определению (термализованная энергия это такая энергия которой принципиально нельзя использовать для совершению полезной работы). Т.е. это то же самое но другими словами.

Совершенно верно, т.к. свободная энергия Гельмгольца (та самая, которую можно использовать для совершения работы) по определению равна A = E - TS (кстати говоря, имеется фундаментальное ограничение 0 < TS/E < 1/2). Но это вовсе не значит, что эта самая энергия TS не существует! Так же и с информацией.

Энтропия - это мера неопределенности.

Энтропия - это мера многообразия состояний.

более естественным на мой взгляд, кажется акцент на извлечении информации и её использовании, хотя бы уточнением «извлекаемая».

Это только кажется.

Поймите, мы не должны привносить субъективные взгляды в смысл фундаментальных понятий. Мало ли что нам удобно или неудобно. Микросостояния нетождественны - значит, объективно существует информация, описывающая их отличия, и баста. Не важно, умеем мы извлекать эту информацию или не умеем. Научимся когда-нибудь, быть может.

[Муха_]

Вашу концепцию "рациональности" вы не пояснили (поэтому не понятно это синоним основного тезиса "минимальности", или не совсем).

В общем случае это синоним минимальности. Минимальный алгоритм может быть идентифицирован как минимальный, потому, что он и есть минимальный . Правда, я думаю, что минимальные алгоритмы на самом деле очень распространены. Если вселенная где-то использовала именно такой алгоритм, то он может быть идентифицирован для блока. Если она использовала другой, больший алгоритм, а мы подумаем, что она использовала минимальный, то что мы потеряем? Ведь минимальный алгоритм тоже генерирует те же блоки.

Мне всегда казалось, что это вы переворачиваете вопрос.
Когда вам угодно, пользуетесь вероятностями (см. выше); а когда нет - чтобы перевесить вероятности, вводите некие смутные соображения/тезисы - про "рациональности" и "минимальности".

Мне кажется, я говорю о простых вещах. Не похоже, чтобы вам эти вещи были непонятны. Может вы пытаетесь увидеть в моих сообщениях что-то чего там нет.

То что вы называете "обратным вопросом", мне всегда казалось суть вопроса на самом деле.

В чем же суть вопроса на самом деле?

Бесконечно сложных алгоритмов не существует по определению (каждый конкретный алгоритм - конечен).

Бесконечно сложный алгоритм - это алгоритм, к которому редуцируется все бытие, поскольку оно точно может
быть редуцировано к алгоритму и скорее всего не может быть редуцировано к конечному алгоритму .

[onight]

Микросостояния нетождественны - значит, объективно существует информация, описывающая их отличия, и баста. Не важно, умеем мы извлекать эту информацию или не умеем. Научимся когда-нибудь, быть может.

Надо согласиться, что Вы правы.
Ну что же, баста так баста!

[onight]

onight

Как для плотностей точно записать интеграл, чтобы получить аналог дискретной величины Sum( P(Xk)*ln(P(Xk)) )?

Точно так же, только через интеграл: Integral{ p(x)ln(p(x)) dx }
Тут x - непрерывная случайная величина, p(x) - плотность вероятности (ее интеграл равен 1 из-за нормировки), а сам интеграл со знаком минус - энтропия распределения случайной величины (самая большая энтропия, когда распределение равновероятно). Если p(x) дельта ф-я, то энтропия равна нулю.

Я полагал, что переходом от дискретности к непрерывности будет процедура, которая сохраняет логический смысл информации по Шеннону:

lim (Δx->0, Sum(p(x)Δx * ln(p(x)*Δx)))

Здесь, при Δx стремящимся к нулю, ln(p(x)*Δx)) стремится к бесконечности быстрее, чем p(x)Δx, в результате чего сумма тоже стремится к бесконечности.

Посмотрел в литературе, предельный переход к непрерывному случаю в общепринятом смысле невозможен. Выходят из положения так.

H_Δ = -Sum(p(x_k)Δx_k * ln(p(x_k)*Δx_k)) = -Sum(p(x_k)Δx_k*ln(p(x_k))) - Sum(p(x_k)Δx_k*ln(Δx_k))

Фиксация Δx_k=ε превращает второе слагаемое в константу, зависящую только от  ε

ln(ε)*Sum(p(x_k)Δx_k) = ln(ε)

Зависимость энтропии от плотности остается в первом слагаемом. Так, что выражение для плотности вероятности получается пригодным для использования в практических целях. Прошу прощения если обратил внимание на второстепенные детали.

А вот как с дельта функцией получается ноль не вижу.

[dzver]

onight

А вот как с дельта функцией получается ноль не вижу.

Как бы формально исходится из того, что для данной ф-ле 0*ln0 = 0, посколку lim(x->0){x*ln(x)}=0
Можно показать по правилу производных (лопиталя или как его там):
lim(x->0){x*ln(x)} = lim(x->0){ln(x)/x^(-1)} = lim(x->0){-x^(-1)/x^(-2)}=lim(x->0){-x}=0
либо просто проверить на калкуляторе.

Так что для интеграла дельта функции, подинтегральное выражение везде равно нулю кроме в конкретной точке, где p(x)=1, но там он соответно равен просто 1*ln(1) = 0, т.е все равно нулю везде.

Иначе вы правы, тут есть некая специфика выражающаяся в отбрасывании постоянного члена.
Как я понимаю, "инженерный смысл" в том, что сравнивается энтропия разных плотностей вероятности при фиксированном (сколь угодно малом) разбиении интервала. И при сравнении данная "калибровочная константа" выпадает так как для данного конкретного разбиения, она всегда одна и та же.

Т.е. для сравнения дельта-функции с любой другой плотности, поступим так же (получая для дельта-функции нулевую энтропию); выкидывая на этот раз "одинаковую бесконечность" с обоих сторон.
Похоже на ренормализаций в квантовой механике.

Это на самом деле интересно поскольку таким образом можно пытаться вычислять "абсолютную энтропию/инфу амплитуды вероятности" квантовой системе (беря для p = Psi x Psi*).
Однако вроде никто так не поступает, наверное не только из-за того что абсолютного смысла нет (величина абсолютно получается бесконечная, и имеет конечный смысл только при сравнении), но и есть дополнительные характеристики не включенные априорно в скалярной ф-и амплитуды вероятности - как спин и пр.

[dzver]

Droog_Andrey

Не важно, умеем мы извлекать эту информацию или не умеем. Научимся когда-нибудь, быть может.

Т.е вы считаете что когда-нибудь, быть может, вечный двигатель второго рода будет возможен?

[lapay]

Микросостояния нетождественны - значит, объективно существует информация, описывающая их отличия, и баста. Не важно, умеем мы извлекать эту информацию или не умеем. Научимся когда-нибудь, быть может.

Вот это правильно. Термодинамическая энтропия - это постоянная Больцмана умножения на логарифм номера энергетического уровня (главного квантового числа, считаем, что все уровни расщепляются, хоть и в слабой степени, одинаковых уровней нет), на котором находится система. Всё максимально точно и однозначно.

[dzver]

lapay

Термодинамическая энтропия - это постоянная Больцмана умножения на логарифм номера энергетического уровня (главного квантового числа, считаем, что все уровни расщепляются, хоть и в слабой степени, одинаковых уровней нет), на котором находится система. Всё максимально точно и однозначно.

Не считаете ли вы что вроде нужно добавить что понятие имеет смысл только для термодинамических систем - т.е. таких с огромнейшего к-ва неконтролируемых степеней свободы.
Или, ему можно придать какой-то смысл для элементарных квантовых систем (осциллятор в потенциальном ящике, атом водорода)?

[onight]

onight

А вот как с дельта функцией получается ноль не вижу.

Так что для интеграла дельта функции, подинтегральное выражение везде равно нулю кроме в конкретной точке, где p(x)=1, но там он соответно равен просто 1*ln(1) = 0, т.е все равно нулю везде.

Прошу обратить внимание (если вы не это имели в виду), что в конкретной точке x₀, нулю равен соответствующий член первоначальной дискретной суммы H_Δ = Sum(p(x_k)Δx_k * ln(p(x_k)*Δx_k)), как вы заметили, потому что p(x₀)Δx₀=1, а 1*ln(1) = 0.

Это значит, что при общем соотношении H_Δ = Hc + Hε,
Hc = -Hε < 0

Действительно можно предположить, что IN(-inf,+inf, ln(δ(x-x₀))δ(x-x₀)dx) должен быть больше нуля.

[dzver]

onight
Эээ, гм, вы опять формально правы.

Хотя я был сказал так.
Вычисляя энтропию через этот интеграл плотности вероятности, мы всегда имеем ввиду исходную сумму и то что она равна первого слагаемого: поскольку от второго слагаемого (возникающее по-разному в разбиений разной малости - но одинаковое для разбиения заданной малости) всегда отвлекаемся и считаем его откалибрированного на ноль (хотя оно и равно бесконечности в пределе интеграла) - не так ли?

И по этой логики, имея
HΔ =(по определению выше)= Hc + 0,
в данном случае
Hc = -Hε = 0

Сам черт ногу сломит в этих особенностей.

[lapay]

Не считаете ли вы что вроде нужно добавить что понятие имеет смысл только для термодинамических систем - т.е. таких с огромнейшего к-ва неконтролируемых степеней свободы.
Или, ему можно придать какой-то смысл для элементарных квантовых систем (осциллятор в потенциальном ящике, атом водорода)?

Без разницы для каких квантовых систем. Разница только в том, что многочастичную систему нельзя сразу, одним квантом, кинуть с нулевого на большой уровень, а атом водорода можно. Поэтому в больших системах переток энергии идёт плавно, можно ввести температуру, как среднюю энергию степени свободы, и так далее.

[Droog_Andrey]

вы считаете что когда-нибудь, быть может, вечный двигатель второго рода будет возможен?

Нет. Не путайте энергию и информацию.

[dzver]

Не считаете ли вы что вроде нужно добавить что понятие имеет смысл только для термодинамических систем - т.е. таких с огромнейшего к-ва неконтролируемых степеней свободы.
Или, ему можно придать какой-то смысл для элементарных квантовых систем (осциллятор в потенциальном ящике, атом водорода)?

Без разницы для каких квантовых систем. Разница только в том, что многочастичную систему нельзя сразу, одним квантом, кинуть с нулевого на большой уровень, а атом водорода можно. Поэтому в больших системах переток энергии идёт плавно, можно ввести температуру, как среднюю энергию степени свободы, и так далее.

Интересно.
Значит по вашему, термодинамическая величина энтропия имеет смысл вплоть до одночастичных систем.
Так как в чистых состояний известна энергия, тогда для таких систем должна иметь смысл и температура из dE=T*dS например?
Какова температура и энтропия электрона в потенциальном ящике, например в основном и втором энергетическом состоянии?
Распространяется ли это на не-квантовомеханических систем (например температура/энтропия единственной классической молекулы газа в коробке)?

[dzver]

вы считаете что когда-нибудь, быть может, вечный двигатель второго рода будет возможен?

Нет. Не путайте энергию и информацию.

Никто и не путает.

Вы говорили:

Не важно, умеем мы извлекать эту информацию или не умеем. Научимся когда-нибудь, быть может.

Т.е. мы "когда нибудь, быть может" научимся извлекать/использовать полную информацию о точном микросостоянии термодинамических систем.
Если это так, то сразу можно будет воспользоваться этим знанием чтобы "перехватывать" микроскопические флуктуации, и соответно без дополнительных затрат энергии извлечь полезную работу из термализованной энергии (демон максвелла опускает/поднимает перегородку в ящике когда нужно и пр. варианты).
Или объясните - что нам помешает этого сделать, если ваше предсказание сбудется?   

[Droog_Andrey]

"Перехватывать" без затрат энергии не получится. Передача информации требует затрат энергии. Более того, речь не шла об извлечении полной информации.

[lapay]

Интересно.
Значит по вашему, термодинамическая величина энтропия имеет смысл вплоть до одночастичных систем.
Так как в чистых состояний известна энергия, тогда для таких систем должна иметь смысл и температура из dE=T*dS например?
Какова температура и энтропия электрона в потенциальном ящике, например в основном и втором энергетическом состоянии?
Распространяется ли это на не-квантовомеханических систем (например температура/энтропия единственной классической молекулы газа в коробке)?

Температура, как физическое понятие, имеет смысл в системах, где происходит хаотичный обмен энергией между частицами. Например, в возбуждённом ядре есть температура нуклонов. В атоме обмена энергией между электронами нет, поэтому нет и температуры, как и для одной частицы в потенциальной яме.

[dzver]

Температура, как физическое понятие, имеет смысл в системах, где происходит хаотичный обмен энергией между частицами.

А разве не то же самое для энтропию?
Допустим, нет... и величина T=dE/dS "не температура" по смыслу, хотя и формально та же самая.
Пусть система, это атом водорода во втором состоянии.
По вашему, с точност до константы ее энтропия ln(2) = 1бит.
Электрон переходит в первом состоянии, и энтропия атома теперь ln(1)=0 бит.
Поскольку энтропия всей замкнутой системы при этом не может уменьшаться (или может?), выходит энтропия излученного фотона >= 1 бит.
То же самое но если электрон в начале упал на первом с третьего уровня - выходит энтропия такого излученного фотона >=ln(3) бит. 
Верно? Если нет, скоригируйте и напишите как правильно.

[onight]

Сам черт ногу сломит в этих особенностей.

Не поленился и посчитал численно энтропию на интервале 1 для нормального распределения с различной дисперсией D. Кроме точки D=0, все посчитано честно на выборке N=1001. Для D=0 экстраполировано. Здесь зеленая линия это – Hε. Красная Hc – это выражение для энтропии в непрерывном представлении. Как и следовало она меньше нуля. Суммарная H_Δ обладает тем свойством, что для дельта распределения (D=0) энтропия равна нулю.

[Муха_]

Как нам обустроить Россию теорию информации... (самый общий принцип).

Первой проблемой при построении начал любой теории является объективное определение сущностей проблемной области.
Пример: геометрия. Вводится понятие прямой. Прямая - это нечто прямое. Мы имеем субъективное ощущение прямоты, которое
нужно свести к чему-то формальному, независимому от воображения столь непосредственно.
Для того, чтобы избавиться от субъективизма (в геометрии и везде), опираемся на 3 столпа:
1. Понятие количества. Понятие высоко объективное. Если количество A больше чем количество B, то оно больше "действительно", а
а не с точки зрения некого субъекта или в контексте мотиваций некого субъекта.
2. Понятие некой выполняемой процедуры, которую любой субъект выполнит одинаково и которая может выполняться
автоматически вообще без субъекта. Это представление более субъективно чем количество, но тоже годится.
3. Понятие минимума и максимума количества. Образная идея, вытекающая из объединения идей количества и выполняемой процедуры.
Имеется ввиду максимально или минимально достижимое количество в рамках некой процедуры.

Теперь разбираемся с геометрией и прямой. Вводится процедура соединения двух точек линией. Вводится процедура подсчета
длины (т.е. количества) линии. Прямая линия определяется как линия, которая соответствует минимуму длины.
Таким образом, получено максимально объективное понятие прямой.

Теперь переходим к теории информации.
Какие количества мы можем в ней увидеть:
- количество элементов в системе (бит в массиве, узлов и ребер в графе, правил в таблице правил и т.д.).
- количество преобразований системы, выполненных по некому правилу (количество переходов автомата,
количество шагов алгоритма, количество применения правил в клеточном автомате и т.д.).

Характерная процедура для этой теории:
- последовательное преобразование системы по неким заданным правилам (выполнение алгоритма и др.).

Дальше, нужно делать то, что делалось в геометии: находить экстремумы количеств, порождаемых в рамках процедур.
(Отступление: к сожалению, количество элементов и количество шагов определено довольно нечетко, как видно из того, что
написано в скобках при определении количеств. Например, сколько бит требует описание графа?
Отсюда получаем такую-же неоднозначность в дальнейшем определении понятий.)

1. Минимум количества шагов, необходимых для сборки некой системы с нуля.

Этот минимум будет равен количеству элементов в системе. Тут мы получаем определение количества элементов через
определение количества шагов.

2. Минимум начального количества элементов, необходимых для сборки системы с нуля.

Этот минимум дает количество информации по Колмогорову в системе.

На этом пока и остановимся. Суть сообщения заключалась в том, чтобы продемонстрировать общий подход к "объективизации"
сущностей, необходимой для построения теорий...

[lapay]

Пусть система, это атом водорода во втором состоянии.
По вашему, с точност до константы ее энтропия ln(2) = 1бит.
Электрон переходит в первом состоянии, и энтропия атома теперь ln(1)=0 бит.
Поскольку энтропия всей замкнутой системы при этом не может уменьшаться (или может?), выходит энтропия излученного фотона >= 1 бит.
То же самое но если электрон в начале упал на первом с третьего уровня - выходит энтропия такого излученного фотона >=ln(3) бит. 
Верно? Если нет, скоригируйте и напишите как правильно.

Энтропия фотона определяется размерами ящика, в котором он находится \[ S=ln{\frac{L}{\lambda}} \]. Поэтому надо учитывать и кинетическую энергию атома, от которой то же зависит энергия фотона. Так как энергия замкнутой системы не меняется, то и энтропия не меняется то же. Другое дело, если мы попытаемся измерить энтропию (посчитать уровни). Для этого нам придётся эту замкнутую систему соприкасать с измерительным прибором, тогда энергия системы изменится, а энтропия может увеличиться.