Нерівність Єнсена

Нерівність Єнсена — зв'язує визначений інтеграл опуклої функції та значення цієї функції від інтеграла. Вона була доведена данським математиком Йоганом Єнсеном у 1906 році.^[1]

Нерівність Єнсена узагальнює твердження, що січна лінія опуклої функції лежить над її графіком.

Візуалізація опуклості і нерівності Єнсена.

Враховуючи свою загальність, нерівність проявляється у багатьох формах залежно від контексту, деякі з яких представлені нижче. У найпростішому випадку нерівність стверджує, що значення опуклого перетворення є меншим або дорівнює значенню отриманого після опуклого перетворення; це простий наслідок того, що обернене твердження вірне щодо перетворень увігнутих функцій.

Нерівність Єнсена узагальнює твердження, що січна опуклої функції лежить над графіком функції (нерівність Єнсена для двох точок): січна лінія утворюється ваговими середніми значеннями опуклої функції (для ${\displaystyle t\in [0,1]}$),

${\displaystyle tf(x_{1})+(1-t)f(x_{2}),}$

у той час як графік функції є опуклою функцією зважених середніх значень

${\displaystyle f(tx_{1}+(1-t)x_{2}).}$

Отже, нерівність Єнсена має вигляд

${\displaystyle f(tx_{1}+(1-t)x_{2})\leq tf(x_{1})+(1-t)f(x_{2}).}$

У контексті теорії ймовірності нерівність як правило подається у наступному вигляді: якщо ${\displaystyle X}$ — випадкова величина, а ${\displaystyle \varphi }$ — опукла функція, то

${\displaystyle \varphi ({\rm {E}}[X])\leq {\rm {E}}[\varphi (X)].}$

Різниця між двома частинами нерівності,

${\displaystyle {\rm {E}}\left[\varphi (X)\right]-\varphi \left({\rm {E}}[X]\right)}$

називається проміжком Єнсена ^[2].

Формулювання

Класична форма нерівності Єнсена включає декілька чисел і вагових коефіцієнтів. Нерівність можна сформулювати у досить загальному вигляді, використовуючи або мову теорії міри, або (що еквівалентно) теорії ймовірності. У термінах теорії ймовірності нерівність можна узагальнити далі.

Дискретний випадок

Для дійсної опуклої функції φ, та чисел ${\displaystyle x_{1},x_{2},\dots ,x_{n}}$ з її області визначення та додатних чисел a_i, справджується:

${\displaystyle \varphi \left({\frac {\sum a_{i}x_{i}}{\sum a_{i}}}\right)\leq {\frac {\sum a_{i}\varphi (x_{i})}{\sum a_{i}}};}$

нерівність міняє знак, коли φ — угнута функція:

${\displaystyle \varphi \left({\frac {\sum a_{i}x_{i}}{\sum a_{i}}}\right)\geq {\frac {\sum a_{i}\varphi (x_{i})}{\sum a_{i}}}.}$

Рівність виконується тоді і тільки тоді, коли ${\displaystyle x_{1}=x_{2}=\dots =x_{n}}$ або ${\displaystyle \varphi }$ є лінійною на її області визначення, що містить ${\displaystyle x_{1},x_{2},\dots ,x_{n}}$. Частковим випадком є

${\displaystyle \varphi \left({\frac {\sum x_{i}}{n}}\right)\leq {\frac {\sum \varphi (x_{i})}{n}}.}$

Позначивши ${\displaystyle \lambda _{i}={\frac {a_{i}}{\sum _{i=1}^{n}a_{i}}}}$ отримаємо еквівалентне формулювання:

${\displaystyle f\left(\sum _{i=1}^{n}\lambda _{i}x_{i}\right)\leqslant \sum _{i=1}^{n}\lambda _{i}f(x_{i}),}$

де

${\displaystyle \lambda _{1}+\lambda _{2}+\dots +\lambda _{n}=1.}$

За допомогою нерівності Єнсена в даному вигляді можна довести:

• Нерівність Коші,
• Нерівності про середнє.

Інтегральне та ймовірнісне формулювання

Нехай ${\displaystyle (\Omega ,A,\mu )}$ — ймовірнісний простір, тобто ${\displaystyle \mu (\Omega )=1}$. Якщо ${\displaystyle g}$ — дійснозначна функція, яка є ${\displaystyle \mu }$ — інтегровною, ${\displaystyle \varphi }$ — опукла функція на дійсній прямій, тоді ^[3]

${\displaystyle \varphi \left(\int _{\Omega }g\,{\rm {d}}\mu \right)\leq \int _{\Omega }\varphi \circ g\,{\rm {d}}\mu .}$

У аналізі функцій однієї змінної може знадобитися оцінка для

${\displaystyle \varphi \left(\int _{a}^{b}f(x)\,{\rm {d}}x\right),}$

де ${\displaystyle a,b\in {\mathbb {R} }}$ та ${\displaystyle f\colon [a,b]\to {\mathbb {R} }}$ — невід'ємна функція, яка інтегровна за Лебегом. У цьому випадку міра Лебега відрізка ${\displaystyle [a,b]}$ не обов'язково має дорівнювати одиниці. Однак, за допомогою інтегрування з використанням заміни змінних, інтервал може бути відмасштабований так, що міра дорівнюватиме одиниці. Тоді можна застосувати нерівність Єнсена і отримаємо^[4]

${\displaystyle \varphi \left({\frac {1}{b-a}}\int _{a}^{b}f(x)\,{\rm {d}}x\right)\leq {\frac {1}{b-a}}\int _{a}^{b}\varphi (f(x))\,{\rm {d}}x.}$

Аналогічний результат можна сформулювати у термінах теорії ймовірності за допомогою простої зміни позначень. Нехай ${\displaystyle (\Omega ,{\mathfrak {F}},P)}$ — ймовірністний простір, ${\displaystyle X}$ — інтегровна дійснозначна випадкова величина, а ${\displaystyle \varphi }$ — опукла функція. Тоді^[5]

${\displaystyle \varphi ({\rm {E}}[X])\leq {\rm {E}}[\varphi (X)].}$

У цьому ймовірнісному формулюванні міра ${\displaystyle \mu }$ визначається як ймовірність ${\displaystyle P}$, інтеграл відносно ${\displaystyle \mu }$ як математичне сподівання ${\displaystyle E}$, а функція ${\displaystyle g}$ як випадкова величина ${\displaystyle X}$.

Зауважимо, що рівність буде мати місце тоді і лише тоді, коли ${\displaystyle \varphi }$ є лінійною функцією на деякій множині ${\displaystyle A}$ такій, що ${\displaystyle P(X\in A)=1}$ (це випливає з наведеного нижче інтегрального доведення).

Загальна нерівність в ймовірнісному формулюванні

Більш загально, нехай ${\displaystyle T}$ — дійсний топологічний векторний простір, ${\displaystyle X}$ — ${\displaystyle T}$-значна інтегровна випадкова величина. У цих загальних умовах інтегровний означає, що в просторі ${\displaystyle T}$ існує елемент ${\displaystyle E[X]}$, такий, що для будь-якого елемента ${\displaystyle z}$ із спряженого простору до простору ${\displaystyle T}$: ${\displaystyle \operatorname {E} |\langle z,X\rangle |<\infty /}$ та ${\displaystyle \langle z,\operatorname {E} [X]\rangle =\operatorname {E} [\langle z,X\rangle ]}$. Тоді для будь-якої вимірної опуклої функції ${\displaystyle \varphi }$ та під-${\displaystyle \sigma }$-алгебри ${\displaystyle {\mathfrak {G}}}$ у ${\displaystyle \sigma }$-алгебрі ${\displaystyle {\mathfrak {F}}}$:

${\displaystyle \varphi \left(\operatorname {E} \left[X\mid {\mathfrak {G}}\right]\right)\leq \operatorname {E} \left[\varphi (X)\mid {\mathfrak {G}}\right].}$

Тут ${\displaystyle \operatorname {E} [\cdot \mid {\mathfrak {G}}]}$ є умовним математичним сподіванням відносно ${\displaystyle \sigma }$-алгебри ${\displaystyle {\mathfrak {G}}}$. Це загальне твердження зводиться до попередніх, якщо топологічний векторний простір ${\displaystyle T}$ є дійсною віссю, а ${\displaystyle {\mathfrak {G}}}$ є тривіальною ${\displaystyle \sigma }$-алгеброю ${\displaystyle \{{\varnothing ,\Omega }\}}$ (де ${\displaystyle \varnothing }$ — порожня множина}, а ${\displaystyle \Omega }$ — простір елементарних подій)^[6].

Уточнена та узагальнена форма

Нехай ${\displaystyle X}$ — одновимірна випадкова величина із математичним сподіванням ${\displaystyle \mu }$ та дисперсією ${\displaystyle \sigma ^{2}\geq 0}$. Нехай ${\displaystyle \varphi (x)}$ — двічі диференційована функція, визначимо функцію

${\displaystyle h(x)\triangleq {\frac {\varphi (x)-\varphi \left(\mu \right)}{(x-\mu )^{2}}}-{\frac {\varphi '(\mu )}{x-\mu }}.}$

Тоді^[7]

${\displaystyle {\begin{aligned}\sigma ^{2}\inf {\frac {\varphi ''(x)}{2}}&\leq \sigma ^{2}\inf h(x)\leq E[\varphi (X)]-\varphi ({\rm {E}}[X])\leq \\&\leq \sigma ^{2}\sup h(x)\leq \sigma ^{2}\sup {\frac {\varphi ''(x)}{2}}.\end{aligned}}}$

Зокрема, якщо ${\displaystyle \varphi (x)}$ — опукла функція, то ${\displaystyle \varphi ''(x)\geq 0}$ і стандартний вигляд нерівності Єнсена безпосередньо випливає, якщо додатково вважати функцію ${\displaystyle \varphi (x)}$ двічі диференційованою.

Доведення

Графічне доведення нерівності Єнсена для ймовірнісного випадку. Пунктирна крива вздовж осі ${\displaystyle X}$ є гіпотетичним розподілом ${\displaystyle X}$, тоді як пунктирна крива вздовж осі ${\displaystyle Y}$ є відповідним розподілом значень ${\displaystyle Y}$. Зауважимо, що опукле відображення ${\displaystyle Y(X)}$ дедалі більше ``розтягує розподіл для збільшення значень ${\displaystyle X}$.

Доведення нерівності Єнсена для ${\displaystyle n}$ змінних без слів. Без втрати загальності вважаємо, що сума додатних вагових коефіцієнтів дорівнює 1. Звідси випливає, що вагома точка знаходиться в опуклій оболонці вихідних точок, яка лежить над самою функцією за означенням опуклості. Звідси випливає відповідне твердження.^[8]

Нерівність Єнсена можна довести декількома способами, і нижче буде запропоновано три різні доведення, що відповідають вищезазначеним твердженням. Однак перед тим як приступати до цих математичних доведень варто проаналізувати інтуїтивно зрозумілий графічний аргумент на основі ймовірнісного випадку, де ${\displaystyle X}$ є дійсним числом (див. рисунок). Припускаючи гіпотетичний розподіл значень ${\displaystyle X}$, можна одразу визначити положення математичного сподівання ${\displaystyle {\rm {E}}[X]}$ та його образу ${\displaystyle \varphi ({\rm {E}}[X])}$ на графіку. Враховуючи, що для опуклих відображень ${\displaystyle Y=\varphi (X)}$ відповідний розподіл значень ${\displaystyle Y}$ є зростаючим і розтягується при зростаючих значеннях ${\displaystyle X}$, легко зрозуміти, що розподіл ${\displaystyle Y}$ є ширшим в інтервалі, що відповідає ${\displaystyle X>X_{0}}$ і вужчим при ${\displaystyle X<X_{0}}$ для будь-якого ${\displaystyle X_{0}}$. Зокрема, це також справедливо для ${\displaystyle X_{0}={\rm {E}}[X]}$.

Отже, на цьому рисунку математичне сподівання для ${\displaystyle Y}$ завжди зміщуватиметься вгору по відношенню до положення ${\displaystyle \varphi ({\rm {E}}[X])}$. А налогічне міркування справедливе, якщо розподіл ${\displaystyle X}$ охоплює спадну частину опуклої функції, або одночасно спадну і зростаючу його частини. Це доводить нерівність, тобто

${\displaystyle \varphi ({\rm {E}}[X])\leq {\rm {E}}[\varphi (X)]={\rm {E}}[Y],}$

яка перетворюється у рівність, якщо ${\displaystyle \varphi ({X})}$ не є строго опуклою функцією, наприклад, якщо вона є прямою, або, якщо ${\displaystyle X}$ має вироджений розподіл (тобто є константою).

Наведені нижче доведення формалізують це інтуїтивне поняття.

Доведення 1 (дискретна форма)

Якщо ${\displaystyle \lambda _{1}}$ і ${\displaystyle \lambda _{2}}$ — два довільні невід'ємні дійсні числа такі, що ${\displaystyle \lambda _{1}+\lambda _{2}=1}$, то з опуклості ${\displaystyle \varphi }$ випливає

${\displaystyle \forall x_{1},x_{2}\colon \quad \varphi \left(\lambda _{1}x_{1}+\lambda _{2}x_{2}\right)\leq \lambda _{1}\varphi (x_{1})+\lambda _{2}\varphi (x_{2}).}$

Цю нерівність можна легко узагальнити: якщо ${\displaystyle \lambda _{1},\dots ,\lambda _{n}}$ — невід'ємні дійсні числа такі, що ${\displaystyle \lambda _{1}+\dots +\lambda _{n}=1}$, тоді

${\displaystyle \varphi (\lambda _{1}x_{1}+\lambda _{2}x_{2}+\cdots +\lambda _{n}x_{n})\leq \lambda _{1}\varphi (x_{1})+\lambda _{2}\varphi (x_{2})+\cdots +\lambda _{n}\varphi (x_{n})}$

для будь-яких ${\displaystyle x_{1},\dots ,x_{n}}$. Цю скінченну форму нерівності Єнсена можна довести за допомогою методу математичної індукції: за припущення опуклості твердження справедливе для ${\displaystyle n=2}$. Припустимо, що воно справедливе і для деякого ${\displaystyle n}$, потрібно довести нерівність для ${\displaystyle n+1}$. Щонайменше одне з ${\displaystyle \lambda _{i}}$ є додатним і строго меншим 1, нехай ${\displaystyle \lambda _{1}}$; тоді з означення опуклості:

${\displaystyle {\begin{aligned}\varphi \left(\sum _{i=1}^{n+1}\lambda _{i}x_{i}\right)&=\varphi \left(\lambda _{1}x_{1}+(1-\lambda _{1})\sum _{i=2}^{n+1}{\frac {\lambda _{i}}{1-\lambda _{1}}}x_{i}\right)\\&\leq \lambda _{1}\varphi (x_{1})+(1-\lambda _{1})\varphi \left(\sum _{i=2}^{n+1}{\frac {\lambda _{i}}{1-\lambda _{1}}}x_{i}\right).\end{aligned}}}$

Оскільки

${\displaystyle \sum _{i=2}^{n+1}{\frac {\lambda _{i}}{1-\lambda _{1}}}=1,}$

то можна застосувати індукційні гіпотези до останнього члена в попередній формулі для того, щоб отримати результат, а саме кінцеву форму нерівності Єнсена.

Для того, щоб отримати загальну нерівність з цієї кінцевої форми, необхідно використовувати аргумент щільності. Скінченну форму можна переписати як

${\displaystyle \varphi \left(\int x\,{\rm {d}}\mu _{n}(x)\right)\leq \int \varphi (x)\,{\rm {d}}\mu _{n}(x),}$

де ${\displaystyle \mu _{n}}$ — міра, що задається довільною опуклою комбінацією дельта-функцій Дірака:

${\displaystyle \mu _{n}=\sum _{i=1}^{n}\lambda _{i}\delta _{x_{i}}.}$

Оскільки опуклі функції є неперервними, й опуклі комбінації дельта-функцій Дірака є слабко щільними в множині ймовірнісних мір (що можна легко перевірити), то загальне твердження отримується легко за допомогою граничного переходу.

Доведення 2 (інтегральне формулювання)

Нехай ${\displaystyle g}$ — дійснозначна ${\displaystyle \mu }$-інтегровна функція у ймовірностному просторі ${\displaystyle \Omega }$, а ${\displaystyle \varphi }$ — опукла дійснозначна функція. Оскільки ${\displaystyle \varphi }$ опукла, то для кожного дійсного значення ${\displaystyle x}$ маємо непусту множину субдиференціалів, які можна розглядати як лінії, що дотикаються до графіка функції ${\displaystyle \varphi }$ в точці ${\displaystyle x}$, але які знаходяться над графіком функції ${\displaystyle \varphi }$ або нижче нього у всіх точках (опорні лінії графіка).

Тепер, якщо визначимо

${\displaystyle x_{0}:=\int _{\Omega }g\,{\rm {d}}\mu ,}$

то внаслідок існування субдиференціалів для опуклих функцій можемо вибрати ${\displaystyle a}$ та ${\displaystyle b}$ такі, що

${\displaystyle ax+b\leq \varphi (x)}$

для всіх дійсних ${\displaystyle x}$ і ${\displaystyle ax_{0}+b=\varphi (x_{0}).}$ Але тоді маємо, що ${\displaystyle \varphi \circ g(x)\geq ag(x)+b}$ для всіх ${\displaystyle x}$. Оскільки маємо ймовірнісну міру, то інтеграл є монотонним з ${\displaystyle \mu (\Omega )=1}$, так що

${\displaystyle {\begin{aligned}\int _{\Omega }\varphi \circ g\,{\rm {d}}\mu &\geq \int _{\Omega }(ag+b)\,{\rm {d}}\mu =\\&=a\int _{\Omega }g\,{\rm {d}}\mu +b\int _{\Omega }{\rm {d}}\mu =\\&=ax_{0}+b=\varphi (x_{0})=\varphi \left(\int _{\Omega }g\,{\rm {d}}\mu \right),\end{aligned}}}$

що й треба було довести.

Зауваження

Якщо функція ${\displaystyle f(x)}$ угнута (опукла догори), то знак в нерівності змінюється на протилежний.