Лучшие вопросы
Таймлайн
Чат
Перспективы

Дифференциальная энтропия

Из Википедии, свободной энциклопедии

Remove ads

Дифференциальная энтропия (относительная энтропия[1], энтропия непрерывной случайной величины[1]) — обобщение понятия информационной энтропии для случая непрерывной случайной величины. В теории информации интерпретируется как средняя информация непрерывного источника.

Формула дифференциальной энтропии

Суммиров вкратце
Перспектива

В случае одномерной случайной величины дифференциальная определяется по формуле:

где  — плотность распределения случайной величины [1].

Дифференциальная энтропия, в отличие от энтропии дискретной случайной величины, неинвариантна к преобразованию координат[2].

Дифференциальную энтропию можно определить как разность энтропий двух отличающих на бесконечно малую величину квантованных значений случайной величины, имеющей равномерное распределение на интервале, равном единице. Отсюда название энтропии — дифференциальная, то есть разностная[1].

Remove ads

Условная дифференциальная энтропия

Суммиров вкратце
Перспектива

Условная дифференциальная энтропия для случайной величины при заданной случайной величине определяется по формуле[3]:

где — совместная плотность вероятности случайных величин и , — условная плотность вероятности случайной величины при заданном значении случайной величины .

Безусловная и условная дифференциальные энтропии могут быть как положительными, так и отрицательными величинами.

Для дифференциальной энтропии справедливы равенства, аналогичные для энтропии дискретного источника[4]:

(для независимых случайных величин — равенство)
.
Remove ads

Примеры дифференциальных энтропий

В этом случае дифференциальная энтропия принимает максимальное значение среди всех распределений случайных величин, значения которых находятся в интервале , равное [5].

.

В этом случае дифференциальная энтропия принимает максимальное значение среди всех распределений случайных величин, значения которых находятся в интервале [6], равное [7].

.

В этом случае дифференциальная энтропия принимает максимальное значение среди всех распределений случайных величин, значения которых находятся в интервале [6], равное .

Remove ads

Примечания

Литература

Loading related searches...

Wikiwand - on

Seamless Wikipedia browsing. On steroids.

Remove ads