Определения энтропии

spiritmc

Какое определение энтропии вам знакомо?
Если знаете больше --- какие.
1. По Клаузиусу.
1а. Ограниченное ("не знаю, что такое unkompensierte Verwandlung").
2. По Больцману.
2а. Неправильное ("не знаю, что такое микросостояние").
2б. Гуманитарное ("энтропия --- мера беспорядка").
3. По Гиббсу.
4. По Каратеодори.
5. По Шеннону.
5а. Неправильное.
5б. Гуманитарное ("мера незнания").
6. Другое (какое?).
Примечания.
1. Под "неправильным" понимается что-то вроде
"формулу помню правильно, но смысл величин не помню или не понимаю."
2. Под пониманием понимается достаточно (не)строгое, в меру возможностей
(способностей) восприятие величины, в том числе --- в связи со всем остальным.
3. Подходы Гиббса и Каратеодори, думаю, либо известны, либо нет.
Народных истолкований мне не известно.
Хотя вполне допускаю их существование.
4. Определение Клаузиуса, считаю, достаточно сложно истолковать неправильно.
Убедительная просьба ко всем (в т. ч. к модераторам):
обсуждение вести в отдельной ветке.
Просьбы к специалистам (, iDvs, Doppelganger, OlegShvedov):
1) не давить никого авторитетом;
2) если вспомните ещё распространённые варианты и разновидности,
давайте и их.
---
"Все мы вышли из равновесия и должны в него --- вернуться."

zuzaka

б
в принципе, другие тоже знакомы, но в повседневной жизни я пользуюсь только 2б
Гы, только сейчас дочитал до конца Спасибо за оказанное доверие, боюсь, оно не вполне адекватно моим скромным знаниям

Alexx13

Был знаком с тремя: цитирую по памяти:
1) S=k ln Г, k - постоянная Больцмана, Г - "статистический вес" - число возможных состояний системы, S - энтропия
2) d S=d Q/ T, Т - абсолютная температура системы, Q - "количество теплоты"
3) хаос (гуманитарное)
Слыхал, что есть ещё энтальпия. Каков её смысл?

karim

3

a7137928

Знаю 2 определения: теоретико-множественная (по Колмогорову, развитие идеи Шеннона) и топологическая (Шеннона).

Alexx13

Вероятностное определение, из теории информации, (коей Шеннон корифей не Шеннона?
п.с. скажи плз. как оно определяется, тобою упомянутое (или где посмотреть, если печатать долго). Интересно ещё "по Каратеодори" как энтропия определяется? Ну и смысл. (Шеннон, например, "энтропию" с "информацией" связал, рассматривая процессы передачи данных).

zuzaka

по-моему, изложение формулировки Каратеодори в Квасникове можно почитать

Alexx13

Ээ...э, где?
п.с. о чём там, в двух словах? (понимаю, что об энтропии)

dumber

чего-то чисто математическое, типа какие-то там голономные функции, откуда вроде как напрашивается само собой существование энтропии (причем для любого числа членов, а не только для 2-х)

zuzaka

давай потом? боюсь слажать по памяти, а книга не под рукой

demiurg

Пользуюсь 2а и иногда 2б (если че людям объясняю остальные знакомы...

a7137928

Вроде то, что я сейчас напишу, правильно... если что, поправьте
Определение Шеннона из теории информации - про него можно почитать в лекциях Дьячкова на http://www.it-msu.narod.ru/ но там без поллитры не разберешься =) не очень понятно написано, только формулы, ничего толком не объяснено
Топологическая энтропия - очень похоже на Шеннона, но, видимо, все-же не совсем оно.
Топ. энтропия определяется так: у нас есть источник информации, который последовательно генерирует буквы, таким образом получаются слова. Буквы берутся из конечного алфавита {a_1..a_k}, источник может генерировать слова вообще любые или с какими-то ограничениями. Например, он не может генерировать определенные последовательности букв ("плохие слова"). В общем случае источник может сгенерировать любое слово любой длины из некоторого регулярного языка.
Ну так вот, если W(n) - количество допустимых слов длины n, то энтропия языка равна
h = lim sup (lnW(n/n,
такой предел всегда существует.
Пример: если источник может генерить любые слова, без запретов, то энтропия максимальна и равна ln k, где k - число букв в алфавите.
Про энтропию Колмогорова написано в книге П.Биллингслея "Энтропия и информация". В нек. случаях она равна топологической, но не всегда.
Я мог бы тут написать определения по Шеннону (из лекций Дьячкова) и Колмогорову (из Би но в первом случае надо долго вспоминать, а во втором долго писать

Alexx13

Спасибо. =)
Есть ещё в теорвере Венцеля глава по теории информации. Вроде бы Дьячков читал так же, как в Венцеле.

a7137928

А еще есть хорошая книжка Яглома "Вероятность и информация". Она очень простая, для школьников, но там хорошо показан смысл использующихся понятий и видно, как они работают в конкретных задачах. Например, там рассматривается задача определения фальшивой монеты за минимальное количество взвешиваний. Обычно эта задача дается на какой-нибудь олимпиаде, где требуется только придумать алгоритм, позволяющий за N взвешиваний определить фальшивую монету, а доказывать минимальность N не требуется. Но если энтропия эксперимента больше информации, получаемой за N-1 взвешивание, то это значит, что за меньше чем N взвешиваний мы никак не выберем всю энтропию, и поэтому число N действительно будет минимальным.

yoshkinkot

б, 5

spiritmc

Подразумевается что-то вроде "это такая голономная дифференциальная форма."
---
...Я работаю антинаучным аферистом...

stm7929259

2, 2б, 5
Оставить комментарий
Имя или ник:
Комментарий: