Функције губитака за класификацију

У машинском учењу и математичкој оптимизацији, функције губитка за класификацију су рачунски изводљиве функције губитка које представљају цену плаћену за нетачност предвиђања у проблемима класификације (проблеми идентификације којој категорији припада одређено запажање). Дато ${\displaystyle {\mathcal {X}}}$ као простор свих могућих улаза (обично ${\displaystyle {\mathcal {X}}\subset \mathbb {R} ^{d}}$ ), и ${\displaystyle {\mathcal {Y}}=\{-1,1\}}$ као скуп ознака (могућих излаза), типичан циљ класификационих алгоритама је проналажење функције ${\displaystyle f:{\mathcal {X}}\mapsto \mathbb {R} }$ који најбоље предвиђа ознаку ${\displaystyle y}$ за дати улаз ${\displaystyle {\vec {x}}}$ . Међутим, због непотпуних информација, шума у мерењу или вероватноћа компоненти у основном процесу, могуће је да исти ${\displaystyle {\vec {x}}}$ генерише различите ${\displaystyle y}$ . Као резултат, циљ проблема учења је да се минимизира очекивани губитак (такође познат као ризик), дефинисан као

${\displaystyle I[f]=\displaystyle \int _{{\mathcal {X}}\times {\mathcal {Y}}}V(f({\vec {x}}),y)p({\vec {x}},y)\,d{\vec {x}}\,dy}$

Бајесове конзистентне функције губитка: губитак нула-један (сива), губитак дивљака (зелена), логистички губитак (наранџаста), експоненцијални губитак (љубичаста), губитак тангента (браон), губитак квадрата (плава)

где је ${\displaystyle V(f({\vec {x}}),y)}$ дата функција губитка, и ${\displaystyle p({\vec {x}},y)}$ је функција густине вероватноће процеса који је генерисао податке, што је еквивалентно:

${\displaystyle p({\vec {x}},y)=p(y\mid {\vec {x}})p({\vec {x}}).}$

У оквиру класификације, неколико често коришћених функција губитка је написано искључиво у смислу производа праве лабеле ${\displaystyle y}$ и предвиђене лабеле ${\displaystyle f({\vec {x}})}$ . Стога се могу дефинисати као функције само једне променљиве ${\displaystyle \upsilon =yf({\vec {x}})}$, тако да ${\displaystyle V(f({\vec {x}}),y)=\phi (yf({\vec {x}}))=\phi (\upsilon )}$ са прикладно одабраном функцијом ${\displaystyle \phi$ :\mathbb {R} \to \mathbb {R} } . Оне се називају функције губитка засноване на маржи . Одабир функције губитка засноване на маржи представља избор ${\displaystyle \phi }$ . Избор функције губитка унутар овог оквира утиче на оптималну ${\displaystyle f_{\phi }^{*}}$ што минимизира очекивани ризик.

У случају бинарне класификације, могуће је поједноставити израчунавање очекиваног ризика из горе наведеног интеграла. Односно:

${\displaystyle {\begin{aligned}I[f]&=\int _{{\mathcal {X}}\times {\mathcal {Y}}}V(f({\vec {x}}),y)p({\vec {x}},y)\,d{\vec {x}}\,dy\\[6pt]&=\int _{\mathcal {X}}\int _{\mathcal {Y}}\phi (yf({\vec {x}}))p(y\mid {\vec {x}})p({\vec {x}})\,dy\,d{\vec {x}}\\[6pt]&=\int _{\mathcal {X}}[\phi (f({\vec {x}}))p(1\mid {\vec {x}})+\phi (-f({\vec {x}}))p(-1\mid {\vec {x}})]p({\vec {x}})\,d{\vec {x}}\\[6pt]&=\int _{\mathcal {X}}[\phi (f({\vec {x}}))p(1\mid {\vec {x}})+\phi (-f({\vec {x}}))(1-p(1\mid {\vec {x}}))]p({\vec {x}})\,d{\vec {x}}\end{aligned}}}$

Друга једнакост произилази из горе описаних својстава. Трећа једнакост произилази из чињенице да су 1 и −1 једине могуће вредности за ${\displaystyle y}$, а четврта јер је ${\displaystyle p(-1\mid x)=1-p(1\mid x)}$ . Термин у заградама ${\displaystyle [\phi (f({\vec {x}}))p(1\mid {\vec {x}})+\phi (-f({\vec {x}}))(1-p(1\mid {\vec {x}}))]}$ је познат као условни ризик.

Може се решити за минимизатор од ${\displaystyle I[f]}$ узимањем функционалног извода последње једнакости у односу на ${\displaystyle f}$ и изједначавањем извода са 0. Ово ће резултирати следећом једначином:

${\displaystyle {\frac {\partial \phi (f)}{\partial f}}\eta +{\frac {\partial \phi (-f)}{\partial f}}(1-\eta )=0\;\;\;\;\;(1)}$

што је еквивалентно постављању извода условног ризика једнаком нули.

С обзиром на бинарну природу класификације, природна селекција за функцију губитка (под претпоставком да је једнака цена за лажне позитивне и лажно негативне ) била би функција губитка 0-1 ( функција индикатора 0–1), која узима вредност 0 ако је предвиђено класификација једнака оној праве класе или 1 ако се предвиђена класификација не поклапа са правом класом. Овај избор је моделован по следећој једнокости:

${\displaystyle V(f({\vec {x}}),y)=H(-yf({\vec {x}}))}$

где ${\displaystyle H}$ означава функцију Хевисајдовог корака. Међутим, ова функција губитка није конвексна и није глатка, а решавање оптималног решења је НП-тежак комбинаторни оптимизациони проблем. Као резултат тога, боље је заменити сурогате функције губитка који су погодни за уобичајено коришћене код алгоритама учења, јер имају погодна својства као што је конвексност и глаткос. Поред њихове рачунске поправљивости, може се показати да решења проблема учења помоћу ових сурогата губитака омогућавају опоравак стварног решења оригиналног проблема класификације. Неки од ових сурогата су описани у наставку.

У пракси, расподела вероватноће ${\displaystyle p({\vec {x}},y)}$ је непозната. Сходно томе, користити тренинг сет за обуку ${\displaystyle n}$ независно и идентично распоређених тачки узорка

${\displaystyle S=\{({\vec {x}}_{1},y_{1}),\dots ,({\vec {x}}_{n},y_{n})\}}$

извучен из простора елемантарних узорака података, настоји се минимизирати емпиријски ризик

${\displaystyle I_{S}[f]={\frac {1}{n}}\sum _{i=1}^{n}V(f({\vec {x}}_{i}),y_{i})}$

као замена за очекивани ризик.

Бајесова конзистенција

Користећи Бајесову теорему, може се показати да је оптимална ${\displaystyle f_{0/1}^{*}}$, тј. она који минимизује очекивани ризик повезан са губитком нула-један, имплементира Бајесово правило оптималне одлуке за проблем бинарне класификације и у облику је:

${\displaystyle f_{0/1}^{*}({\vec {x}})\;=\;{\begin{cases}\;\;\;1&{\text{if }}p(1\mid {\vec {x}})>p(-1\mid {\vec {x}})\\\;\;\;0&{\text{if }}p(1\mid {\vec {x}})=p(-1\mid {\vec {x}})\\-1&{\text{if }}p(1\mid {\vec {x}})<p(-1\mid {\vec {x}})\end{cases}}}$ .

За функцију губитка се каже да је калибрисана класификацијом или Бајесова конзистентна ако је оптимална ${\displaystyle f_{\phi }^{*}}$ је такава да ${\displaystyle f_{0/1}^{*}({\vec {x}})=\operatorname {sgn} (f_{\phi }^{*}({\vec {x}}))}$ и стога је оптималана према Бајесовом правилу одлучивања. Бајесова конзистентна функција губитка омогућава нам да пронађемо Бајесову оптималну функцију одлучивања ${\displaystyle f_{\phi }^{*}}$ директним минимизовањем очекиваног ризика и без потребе за експлицитним моделирањем функција густине вероватноће.

За губитак конвексне маргине ${\displaystyle \phi (\upsilon )}$, може се показати да ${\displaystyle \phi (\upsilon )}$ је Бајес конзистентан ако и само ако је диференцибилан на 0 и ${\displaystyle \phi '(0)<0}$ . Ипак, овај резултат не искључује постојање неконвексних Бајесових конзистентних функција губитка. Општији резултат каже да се Бајесове конзистентне функције губитка могу генерисати коришћењем следеће формулације:

${\displaystyle \phi (v)=C[f^{-1}(v)]+(1-f^{-1}(v))C'[f^{-1}(v)]\;\;\;\;\;(2)}$ ,

где ${\displaystyle f(\eta ),(0\leq \eta \leq 1)}$ је било која инверзибилна функција таква да је ${\displaystyle f^{-1}(-v)=1-f^{-1}(v)}$ и ${\displaystyle C(\eta )}$ било која диференцибилна стриктно конкавна функција таква да је ${\displaystyle C(\eta )=C(1-\eta )}$ . Табела-И приказује генерисане Бајесове конзистентне функције губитка за неке примере избора ${\displaystyle C(\eta )}$ и ${\displaystyle f^{-1}(v)}$ . Имајте на уму да нису сви губитци конвексни. Показало се да су такве неконвексне функције губитка корисне у раду са одступницима у класификацији. За све функције губитка генерисане из (2), постериорна вероватноћа ${\displaystyle p(y=1|{\vec {x}})}$ може се наћи помоћу функције инверзне везе као ${\displaystyle p(y=1|{\vec {x}})=\eta =f^{-1}(v)}$ . Такве функције губитка где се задња вероватноћа може повратити коришћењем инверзибилне везе називају се функције правилног губитка .

Табела-И

Име губитка	${\displaystyle \phi (v)}$	${\displaystyle C(\eta )}$	${\displaystyle f^{-1}(v)}$	${\displaystyle f(\eta )}$
Експоненцијално	${\displaystyle e^{-v}}$	${\displaystyle 2{\sqrt {\eta (1-\eta )}}}$	${\displaystyle {\frac {e^{2v}}{1+e^{2v}}}}$	${\displaystyle {\frac {1}{2}}\log({\frac {\eta }{1-\eta }})}$
Логистиц	${\displaystyle {\frac {1}{\log(2)}}\log(1+e^{-v})}$	${\displaystyle {\frac {1}{\log(2)}}[-\eta \log(\eta )-(1-\eta )\log(1-\eta )]}$	${\displaystyle {\frac {e^{v}}{1+e^{v}}}}$	${\displaystyle \log({\frac {\eta }{1-\eta }})}$
Квадрат	${\displaystyle (1-v)^{2}}$	${\displaystyle 4\eta (1-\eta )}$	${\displaystyle {\frac {1}{2}}(v+1)}$	${\displaystyle 2\eta -1}$
Севиџ	${\displaystyle {\frac {1}{(1+e^{v})^{2}}}}$	${\displaystyle \eta (1-\eta )}$	${\displaystyle {\frac {e^{v}}{1+e^{v}}}}$	${\displaystyle \log({\frac {\eta }{1-\eta }})}$
Тангента	${\displaystyle (2\arctan(v)-1)^{2}}$	${\displaystyle 4\eta (1-\eta )}$	${\displaystyle \arctan(v)+{\frac {1}{2}}}$	${\displaystyle \tan(\eta -{\frac {1}{2}})}$

Једини минимизатор очекиваног ризика, ${\displaystyle f_{\phi }^{*}}$, повезан са горе генерисаним функцијама губитака може се директно наћи из једначине (1) и показати да је једнака одговарајућој ${\displaystyle f(\eta )}$ . Ово важи чак и за неконвексне функције губитка, што значи да се алгоритми засновани на градијенту спуштања, као што је повећање градијента, који се може користити за конструисање минимизатора.

Исправне функције губитка, маргина губитка и регуларизација

(Црвени) стандардни логистички губитак ( ${\displaystyle \gamma =1,\mu =2}$ ) и (Плава) повећана маржа Логистички губитак ( ${\displaystyle \gamma =0.2}$ ).

За валидне функције губитка, маргина губитка се може дефинисати као ${\displaystyle \mu _{\phi }=-{\frac {\phi '(0)}{\phi ''(0)}}}${\displaystyle |yf({\vec {x}})|\geq 1} . Поред тога, емпиријска минимизација ризика од овог губитка је еквивалентна класичној формулацији за машине подржане векторима (SVMs). Тачно класификоване тачке које леже изван маргиналних граница вектора подршке се не кажњавају, док се тачке унутар граница маргине или на погрешној страни хиперравне кажњавају на линеарни начин у поређењу са њиховом удаљености од исправне границе.

Док је функција губитка зглоба и конвексна и континуирана, није глатка (не може се разликовати) на ${\displaystyle yf({\vec {x}})=1}$ . Сходно томе, функција губитка зглоба се не може користити са методама градијентног спуста или методама стохастичког градијента које се ослањају на диференцијабилност у целом домену. Међутим, губитак зглоба има субградијент на ${\displaystyle yf({\vec {x}})=1}$, што омогућава коришћење субградијентних метода спуштања . SVM-ови који користе функцију губитка зглоба такође се могу решити коришћењем квадратног програмирања .

Минимизатор од ${\displaystyle I[f]}$ за функцију губитка зглоба је

${\displaystyle f_{\text{Hinge}}^{*}({\vec {x}})\;=\;{\begin{cases}1&{\text{if }}p(1\mid {\vec {x}})>p(-1\mid {\vec {x}})\\-1&{\text{if }}p(1\mid {\vec {x}})<p(-1\mid {\vec {x}})\end{cases}}}$

када ${\displaystyle p(1\mid x)\neq 0.5}$, што одговара функцији индикатора 0–1. Овај закључак чини губитак зглоба прилично атрактивним, јер се могу поставити границе између очекиваног ризика и знака функције губитка зглоба. Губитак зглоба се не може извести из (2) јер ${\displaystyle f_{\text{Hinge}}^{*}}$ није инверзибилан.

Генерализовани глатки губитак зглоба

Генерализована глатка функција губитка зглоба са параметром ${\displaystyle \alpha }$ се дефинише као:

${\displaystyle f_{\alpha }^{*}(z)\;=\;{\begin{cases}{\frac {\alpha }{\alpha +1}z&{\text{if }}z\leq 0\\{\frac {1}{\alpha +1}}z^{\alpha +1z+{\frac {\alpha }{\alpha +1}}&{\text{if }}0<z<1\\0&{\text{if }}z\geq 1\end{cases}},}$

где је

${\displaystyle z=yf({\vec {x}}).}$

Она се монотоно повећава и достиже 0 када ${\displaystyle z=1}$ .