Доречно-векторна машина

У математиці, доре́чно-ве́кторна маши́на (ДВМ, англ. Relevance Vector Machine, RVM) — це методика машинного навчання, яка використовує баєсове висновування для отримання ощадливих розв'язків для регресії та ймовірнісної класифікації.^[1] ДВМ має однаковий функційний вигляд з опорно-векторною машиною, але забезпечує ймовірнісну класифікацію.

Вона фактично рівнозначна моделі ґаусового процесу з функцією коваріації^[en]

${\displaystyle k(\mathbf {x} ,\mathbf {x'} )=\sum _{j=1}^{N}{\frac {1}{\alpha _{j}}}\varphi (\mathbf {x} ,\mathbf {x} _{j})\varphi (\mathbf {x} ',\mathbf {x} _{j})}$

де ${\displaystyle \varphi }$ є ядровою функцією^[en] (зазвичай ґаусовою), ${\displaystyle \alpha _{j}}$ є дисперсіями апріорних значень елементів вектора вагових коефіцієнтів ${\displaystyle w\sim N(0,\alpha ^{-1}I)}$, а ${\displaystyle \mathbf {x} _{1},\ldots ,\mathbf {x} _{N}}$ є вхідними векторами тренувального набору.^[2]

У порівнянні з опорно-векторними машинами (ОВМ, англ. support vector machines, SVM), баєсове формулювання ДВМ уникає набору вільних параметрів, як в ОВМ (які зазвичай вимагають післяоптимізацій на основі перехресної перевірки). Проте ДВМ використовують метод навчання, подібний до очікування-максимізації, і відтак схильні до ризику локальних мінімумів. Це відрізняється від стандартних алгоритмів на основі послідовної мінімальної оптимізації (ПМО), що використовують ОВМ, які гарантують знаходження глобального оптимуму (для опуклої задачі).

Доречно-векторну машину запатентовано у США^[en] компанією Microsoft.^[3]

Див. також

• Ядровий трюк
• Масштабування Платта^[en]: перетворює ОВМ на ймовірнісну модель