Как известно, чтобы сбить человека с мысли, достаточно облить его молоком и поджечь.
В теории динамических систем, энтропия динамической системы — число, выражающее степень хаотичности её траекторий. Различают метрическую энтропию, описывающую хаотичность динамики в системе с инвариантной мерой для случайного выбора начального условия по этой мере, и топологическую энтропию, описывающую хаотичность динамики без предположения о законе выбора начальной точки.
При этом, вариационный принцип утверждает, что для непрерывной динамической системы на компактном множестве, топологическая энтропия равна супремуму метрических, взятому по всем возможным выборам инвариантных мер данной системы.
Информацио́нная энтропи́я — мера неопределённости или непредсказуемости информации, неопределённость появления какого-либо символа первичного алфавита.
Энтропия — это количество информации, приходящейся на одно элементарное сообщение источника, вырабатывающего статистически независимые сообщения.
При этом, вариационный принцип утверждает, что для непрерывной динамической системы на компактном множестве, топологическая энтропия равна супремуму метрических, взятому по всем возможным выборам инвариантных мер данной системы.
Информацио́нная энтропи́я — мера неопределённости или непредсказуемости информации, неопределённость появления какого-либо символа первичного алфавита.
При отсутствии информационных потерь численно равна количеству информации на символ передаваемого сообщения.
Например, в последовательности букв, составляющих какое-либо предложение на русском языке, разные буквы появляются с разной частотой, поэтому неопределённость появления для некоторых букв меньше, чем для других. Если же учесть, что некоторые сочетания букв (в этом случае говорят об энтропии n-ого порядка, см. ниже) встречаются очень редко, то неопределённость ещё более уменьшается.
Например, в последовательности букв, составляющих какое-либо предложение на русском языке, разные буквы появляются с разной частотой, поэтому неопределённость появления для некоторых букв меньше, чем для других. Если же учесть, что некоторые сочетания букв (в этом случае говорят об энтропии n-ого порядка, см. ниже) встречаются очень редко, то неопределённость ещё более уменьшается.
Для иллюстрации понятия информационной энтропии можно также прибегнуть к примеру из области термодинамической энтропии, получившему название демона Максвелла. Концепции информации и энтропии имеют глубокие связи друг с другом, но, несмотря на это, разработка теорий в статистической механике и теории информации заняла много лет, чтобы сделать их соответствующими друг другу.
Энтропия — это количество информации, приходящейся на одно элементарное сообщение источника, вырабатывающего статистически независимые сообщения.