Лучшие вопросы
Таймлайн
Чат
Перспективы
Дифференциальная энтропия
Из Википедии, свободной энциклопедии
Remove ads
Дифференциальная энтропия (относительная энтропия[1], энтропия непрерывной случайной величины[1]) — обобщение понятия информационной энтропии для случая непрерывной случайной величины. В теории информации интерпретируется как средняя информация непрерывного источника.
Формула дифференциальной энтропии
Суммиров вкратце
Перспектива
В случае одномерной случайной величины дифференциальная определяется по формуле:
где — плотность распределения случайной величины [1].
Дифференциальная энтропия, в отличие от энтропии дискретной случайной величины, неинвариантна к преобразованию координат[2].
Дифференциальную энтропию можно определить как разность энтропий двух отличающих на бесконечно малую величину квантованных значений случайной величины, имеющей равномерное распределение на интервале, равном единице. Отсюда название энтропии — дифференциальная, то есть разностная[1].
Remove ads
Условная дифференциальная энтропия
Суммиров вкратце
Перспектива
Условная дифференциальная энтропия для случайной величины при заданной случайной величине определяется по формуле[3]:
где — совместная плотность вероятности случайных величин и , — условная плотность вероятности случайной величины при заданном значении случайной величины .
Безусловная и условная дифференциальные энтропии могут быть как положительными, так и отрицательными величинами.
Для дифференциальной энтропии справедливы равенства, аналогичные для энтропии дискретного источника[4]:
- (для независимых случайных величин — равенство)
- .
Remove ads
Примеры дифференциальных энтропий
- Случайная величина имеет равномерное распределение на интервале :
В этом случае дифференциальная энтропия принимает максимальное значение среди всех распределений случайных величин, значения которых находятся в интервале , равное [5].
- Случайная величина имеет нормальное распределение на интервале :
- .
В этом случае дифференциальная энтропия принимает максимальное значение среди всех распределений случайных величин, значения которых находятся в интервале [6], равное [7].
- Случайная величина имеет экспоненциальное распределение на интервале :
- .
В этом случае дифференциальная энтропия принимает максимальное значение среди всех распределений случайных величин, значения которых находятся в интервале [6], равное .
Remove ads
Примечания
Литература
Wikiwand - on
Seamless Wikipedia browsing. On steroids.
Remove ads