F-дивергенция

f-дивергенцией (f-расхождением) называется класс функционалов ${\displaystyle D_{f}(P\parallel Q)}$, определяющих в общем случае несимметричную меру расхождения между двумя распределениями вероятностей ${\displaystyle P}$ и ${\displaystyle Q}$. Обычно применяется в теории информации и теории вероятностей. Функционал однозначно определяется (порождается) функцией ${\displaystyle f(t)}$, удовлетворяющей определённым условиям.

Данный класс дивергенций был введён и изучался независимо друг от друга учёными Чисара^[1], Моримото^[2], а также Али и Силви^[3]. Поэтому иногда можно встретить названия f-дивергенция Чисара, дивергенция Чисара—Моримото или расстояние Али—Силви.

Определение

Пусть ${\displaystyle P}$ и ${\displaystyle Q}$ — распределения вероятностей, заданные на множестве ${\displaystyle \Omega }$, такие что ${\displaystyle P}$ абсолютно непрерывно по отношению к ${\displaystyle Q}$. Пусть функция ${\displaystyle f(t)}$ выпукла при ${\displaystyle t\geq 0}$ и ${\displaystyle f(1)=0}$. Тогда функция ${\displaystyle f}$ задаёт f-дивергенцию ${\displaystyle P}$ относительно ${\displaystyle Q}$ следующим образом:

${\displaystyle D_{f}(P\parallel Q)=\int _{\Omega }f\left({\frac {dP}{dQ}}\right)dQ=\operatorname {E} _{Q}f\left({\frac {dP}{dQ}}\right).}$

Если ${\displaystyle \mu }$ — любая мера на ${\displaystyle \Omega }$, и оба распределения ${\displaystyle P}$ и ${\displaystyle Q}$ непрерывны относительно ${\displaystyle \mu }$, т.е. существуют функции ${\displaystyle p={\frac {dP}{d\mu }}}$ и ${\displaystyle q={\frac {dQ}{d\mu }}}$, тогда f-дивергенция может быть записана как

${\displaystyle D_{f}(P\parallel Q)=\int _{\Omega }f\left({\frac {p}{q}}\right)q\,d\mu .}$

В случае лебеговой меры ${\displaystyle \mu =x}$ распределения имеют плотности ${\displaystyle p(x)}$ и ${\displaystyle q(x)}$, тогда f-дивергенция принимает вид

${\displaystyle D_{f}(P\parallel Q)=\int _{\Omega }f\left({\frac {p(x)}{q(x)}}\right)q(x)\,dx.}$

Для дискретных распределений ${\displaystyle P=\{p_{i}\}}$ и ${\displaystyle Q=\{q_{i}\}}$, где ${\displaystyle i=1,...,N}$,

${\displaystyle D_{f}(P\parallel Q)=\sum _{i=1}^{N}f\left({\frac {p_{i}}{q_{i}}}\right)q_{i}.}$

Функция ${\displaystyle f(t)}$ определена с точностью до слагаемого ${\displaystyle c(t-1)}$, где ${\displaystyle c}$ — произвольная константа. Действительно, вид f-дивергенции не зависит от выбора ${\displaystyle c}$, поскольку слагаемое ${\displaystyle c(t-1)}$ функции ${\displaystyle f(t)}$ даёт нулевой вклад в значение интеграла. Кроме того, функция ${\displaystyle f(t)}$ может содержать положительную мультипликативную константу ${\displaystyle k}$, которая определяет единицу измерения дивергенции. В связи с этим некоторые авторы (например, Бассевиль^[4]) указывают дополнительные ограничения, налагаемые на функцию ${\displaystyle f(t)}$:

${\displaystyle f'(1)=0,}$

${\displaystyle f''(1)=1.}$

Первое из этих ограничений фиксирует константу ${\displaystyle c}$, второе — константу ${\displaystyle k}$. Условие ${\displaystyle f'(1)=0}$ может быть полезно тем, что в этом случае ${\displaystyle f(t)\geq 0}$ с минимумом в точке ${\displaystyle t=1}$ (см. Лизе и Вайда^[5]), и выражение для f-дивергенции интуитивно проще воспринимается. Однако такой способ конкретизировать функцию ${\displaystyle f(t)}$ не всегда удобен: например, для существования непрерывной версии f-энтропии, связанной с данной f-дивергенцией, может потребоваться другое значение константы ${\displaystyle c}$.

f-дивергенция может быть разложена в ряд Тейлора и записана в виде взвешенной суммы расстояний χ-типа (см. Нильсен и Нок^[6]).

Частные случаи f-дивергенции

Многие известные дивергенции, такие как дивергенция Кульбака—Лейблера, квадрат расстояния Хеллингера, расстояние хи-квадрат и ряд других, являются частными случаями f-дивергенции, которым соответствует определённый выбор функции ${\displaystyle f(t)}$. В следующей таблице приведены некоторые распространённые виды дивергенций между распределениями вероятностей и соответствующая им функция ${\displaystyle f(t)}$ (см. Лизе и Вайда^[5]).

Дивергенция	Порождающая функция ${\displaystyle f(t)}$
Дивергенция Кульбака—Лейблера	${\displaystyle t\ln t}$
Обратная Дивергенция Кульбака—Лейблера	${\displaystyle -\ln t}$
Квадрат расстояния Хеллингера	${\displaystyle {\frac {1}{2}}({\sqrt {t}}-1)^{2},\,1-{\sqrt {t}},\,t-{\sqrt {t}}}$
Расстояние полной вариации	${\displaystyle {\frac {1}{2}}|t-1|\,}$
Расстояние ${\displaystyle \chi ^{2}}$ Пирсона	${\displaystyle (t-1)^{2},\,t^{2}-1,\,t^{2}-t}$
Расстояние ${\displaystyle \chi ^{2}}$ Неймана	${\displaystyle {\frac {1}{t}}-1,\,{\frac {1}{t}}-t}$
Альфа-дивергенция	${\displaystyle {\begin{cases}{\frac {4}{1-\alpha ^{2}}}{\big (}t-t^{(1+\alpha )/2}{\big )},&{\text{если}}\ \alpha \neq \pm 1,\\t\ln t,&{\text{если}}\ \alpha =1,\\-\ln t,&{\text{если}}\ \alpha =-1\end{cases}}}$
Альфа-дивергенция (другие обозначения)	${\displaystyle {\begin{cases}{\frac {t^{\alpha }-t}{\alpha (\alpha -1)}},&{\text{если}}\ \alpha \neq 0,\,\alpha \neq 1,\\t\ln t,&{\text{если}}\ \alpha =1,\\-\ln t,&{\text{если}}\ \alpha =0\end{cases}}}$

Свойства

• Неотрицательность: ƒ-дивергенция всегда неотрицательна, и равна нулю, только если распределения ${\displaystyle P}$ и ${\displaystyle Q}$ совпадают. Это непосредственно следует из неравенства Йенсена:

  ${\displaystyle D_{f}(P\!\parallel \!Q)=\int _{\Omega }\!f{\bigg (}{\frac {dP}{dQ}}{\bigg )}dQ\geq f{\bigg (}\int _{\Omega }{\frac {dP}{dQ}}dQ{\bigg )}=f(1)=0.}$

• Монотонность: если ${\displaystyle \kappa }$ — произвольная переходная вероятность, которая переводит меры ${\displaystyle P}$ и ${\displaystyle Q}$ соответственно в ${\displaystyle P_{\kappa }}$ и ${\displaystyle Q_{\kappa }}$, тогда

  ${\displaystyle D_{f}(P\!\parallel \!Q)\geq D_{f}(P_{\kappa }\!\parallel \!Q_{\kappa }).}$

  Равенство здесь имеет место тогда и только тогда, когда переход порождается достаточной статистикой по отношению к ${\displaystyle \{P,Q\}}$.
• Совместная выпуклость: для любого ${\displaystyle 0\leq \lambda \leq 1}$

  ${\displaystyle D_{f}{\Big (}\lambda P_{1}+(1-\lambda )P_{2}\parallel \lambda Q_{1}+(1-\lambda )Q_{2}{\Big )}\leq \lambda D_{f}(P_{1}\!\parallel \!Q_{1})+(1-\lambda )D_{f}(P_{2}\!\parallel \!Q_{2}).}$

  Это следует из выпуклости отображения ${\displaystyle (p,q)\mapsto qf(p/q)}$ на ${\displaystyle \mathbb {R} _{+}^{2}}$.
• Самодвойственность: если ${\displaystyle D(P\parallel Q)}$ является f-дивергенцией, то ${\displaystyle D(Q\parallel P)}$ тоже является f-дивергенцией, т.е. класс f-дивергенций содержит как прямые, так и обратные (двойственные) дивергенции. Действительно,

  ${\displaystyle {D^{*}}_{f}(P\parallel Q){\stackrel {\mathrm {df} }{\;=\;}}D_{f}(Q\parallel P)=\int _{\Omega }f\left({\frac {dQ}{dP}}\right)dP=\int _{\Omega }f^{*}\left({\frac {dP}{dQ}}\right)dQ=D_{f^{*}}(P\parallel Q),}$

  где ${\displaystyle f^{*}(t)=tf(1/t)}$ — двойственная порождающая функция. Нетрудно видеть, что ${\displaystyle f^{*}(1)=f(1)=0}$, ${\displaystyle f^{*}(t)}$ непрерывна (кроме, быть может, точки ${\displaystyle t=0}$) и ${\displaystyle {f^{*}}''(t)={\frac {1}{t^{3}}}f''(1/t)\geq 0}$ почти всюду на ${\displaystyle t\geq 0}$ в силу выпуклости ${\displaystyle f}$, т.е. функция ${\displaystyle f^{*}(t)}$ удовлетворяет условиям порождающей функции f-дивергенции.

С учётом последнего свойства класс f-дивергенций можно было бы эквивалентным образом определить как ${\displaystyle {D^{*}}_{f}(P\parallel Q)=\operatorname {E} _{P}f\left({\frac {dQ}{dP}}\right)}$. Подобное определение встречается, например, у Чжана^[7]. Таким образом, интерпретация распределения ${\displaystyle Q}$ как истинного, которая следует из определения f-дивергенции, не является её фундаментальным свойством, а является лишь следствием соглашения о порядке следования аргументов в определении. Иными словами, аргументы ${\displaystyle P}$ и ${\displaystyle Q}$ концептуально равноправны.

f-дивергенция является безразмерной величиной независимо от размерности множества ${\displaystyle \Omega }$.

Связанные понятия

Кроме f-дивергенции, И. Чисар определил связанное с ней понятие f-энтропии (Чисар^[8]).