Розрізнювальна модель

Розрі́знювальні моде́лі (англ. discriminative models), що також називають умо́вними моде́лями (англ. conditional models), є класом моделей, які застосовуються в машинному навчанні для моделювання залежності неспостережуваної змінної ${\displaystyle y}$ від спостережуваної змінної ${\displaystyle x}$. В рамках імовірнісної схеми це здійснюється моделюванням умовного розподілу ймовірності ${\displaystyle P(y|x)}$, який може застосовуватися для передбачення ${\displaystyle y}$ з ${\displaystyle x}$.

Розрізнювальні моделі, на противагу до породжувальних, не дозволяють породжувати приклади зі спільного розподілу ${\displaystyle x}$ та ${\displaystyle y}$. Проте для таких задач як класифікація та регресія, що не потребують спільного розподілу, розрізнювальні моделі можуть демонструвати чудову продуктивність.^[1][2][3] З іншого боку, породжувальні моделі є зазвичай гнучкішими за розрізнювальні у вираженні залежностей в складних задачах навчання. До того ж більшість розрізнювальних моделей за своєю природою є керованими, і їх неможливо легко розширити для некерованого навчання. Зрештою вибір між розрізнювальною та породжувальною моделлю диктують особливості конкретного застосування.

Визначення

На відміну від породжувального моделювання, яке вчить спільний розподіл ${\displaystyle P(x,y)}$, розрізнювальне моделювання навчається ${\displaystyle P(y|x)}$ або прямому відображенню заданої не спостережуваної (цільової) змінної ${\displaystyle x}$ в клас міток ${\displaystyle y}$ в залежності від спостережуваних змінних (тренувальних прикладів). При практичному розпізнаванні об'єктів, ${\displaystyle x}$, зазвичай, є вектором (наприклад, рядком пікселів або ознаками, отриманими з зображення тощо). З ймовірнісної точки зору, це досягається моделювання умовної ймовірності ${\displaystyle P(y|x)}$, що використовується для прогнозування ${\displaystyle y}$ по ${\displaystyle x}$. Зауважимо, що є різниця між умовною моделлю та дискримінаційною моделлю, хоча найчастіше вони класифікуються як дискримінаційна модель.

Чиста розрізнювальна модель порівнянно з умовною моделлю

Умовна модель моделює умовний ймовірнісний розподіл, а розрізнювальна модель прагне оптимізувати відображення вхідних даних навколо найбільш подібних тренувальних даних^[4].

Приклади

Приклади розрізнювальних моделей, що використовуються в машинному навчанні, включать: логістичну регресію, один із типів узагальненої лінійної регресії^[en], що застосовується для передбачення двійкових або категорійних виходів (відомий також як максимально-ентропійні класифікатори^[en]); метод опорних векторів, підсилювання (метаалгоритм), умовні випадкові поля, лінійну регресію, нейронні мережі тощо.

Див. також

• Породжувальна модель