Радиально-базисная функция

Радиальная базисная функция (РБФ) — функция из набора однотипных радиальных функций, используемых как функция активации в одном слое искусственной нейронной сети или как-либо ещё, в зависимости от контекста. Радиальная функция^[англ.] — это любая вещественная функция, значение которой зависит только от расстояния до начала координат ${\displaystyle \phi \left(\mathbf {x} \right)=\phi \left(\left\|\mathbf {x} \right\|\right)}$ или от расстояния между некоторой другой точкой ${\displaystyle \mathbf {c} }$, называемой центром: ${\displaystyle \phi \left(\mathbf {x} ,\mathbf {c} \right)=\phi \left(\left\|\mathbf {x} -\mathbf {c} \right\|\right)}$. В качестве нормы обычно выступает евклидово расстояние, хотя можно использовать и другие метрики.

Линейные комбинации радиальных базисных функций также можно использовать для аппроксимации заданной функции. Аппроксимация может быть интерпретирована как простейшая разновидность нейронной сети; именно в этом контексте радиальные базисные функции были впервые определены в работе Дэвида Брумхэда и Дэвид Лоу в 1988 году^[1][2], основанной на фундаментальной работе Майкла Пауэлла 1977 года^[3][4][5].

Радиальные базисные функции также используются в качестве ядра в методе опорных векторов.^[6]

Виды

Часто используемые радиально-базисные функций включают в себя (${\displaystyle r=\left\|\mathbf {x} -\mathbf {x} _{i}\right\|}$):

• Функция Гаусса:

  ${\displaystyle \phi \left(r\right)=e^{-\left(\varepsilon r\right)^{2}}}$

• Мультиквадратичная:

  ${\displaystyle \phi \left(r\right)={\sqrt {1+\left(\varepsilon r\right)^{2}}}}$

• Обратная квадратичная:

  ${\displaystyle {\displaystyle \phi \left(r\right)={\dfrac {1}{1+\left(\varepsilon r\right)^{2}}}}}$

• Обратная мультиквадратичная:

  ${\displaystyle \phi \left(r\right)={\dfrac {1}{\sqrt {1+\left(\varepsilon r\right)^{2}}}}}$

• Полигармонический сплайн:

  ${\displaystyle {\begin{aligned}\phi \left(r\right)&=r^{k},&k&=1,3,5,\dotsc \\\phi \left(r\right)&=r^{k}\ln \left(r\right),&k&=2,4,6,\dotsc \end{aligned}}}$

• Тонкий сплайн пластины (специальный полигармонический сплайн):

  ${\displaystyle \phi \left(r\right)=r^{2}\ln \left(r\right)}$

Приближение

Две ненормализованных гауссовых радиальных базисных функций одной переменной, c центрами в точках ${\displaystyle x_{1}=0{,}75}$ и ${\displaystyle x_{2}=3{,}25}$ соответственно.

Для аппроксимации функций с помощью радиальных базисных функций обычно берётся их линейная комбинация вида:

${\displaystyle y\left(\mathbf {x} \right)=\sum _{i=1}^{N}w_{i}\,\phi \left(\left\|\mathbf {x} -\mathbf {x} _{i}\right\|\right)}$,

где в качестве аппроксимирующей функции ${\displaystyle y\left(\mathbf {x} \right)}$ берётся сумма ${\displaystyle N}$ радиальных базисных функций с центрами в точках ${\displaystyle \mathbf {x} _{i}}$ и коэффициентами ${\displaystyle w_{i}}$. Коэффициенты можно вычислить с помощью метода наименьших квадратов, поскольку аппроксимирующая функция является линейной по отношению к коэффициентам ${\displaystyle w_{i}}$.

Аппроксимационные схемы такого рода особенно полезны^{[источник не указан 2676 дней]} в прогнозировании временных рядов, управлении нелинейных систем, демонстрирующих достаточно простое хаотическое поведение, и 3D-моделировании в компьютерной графике.

Нейронные сети на основе РБФ

Основная статья: Сеть радиально-базисных функций

Линейная комбинация:

${\displaystyle y\left(\mathbf {x} \right)=\sum _{i=1}^{N}w_{i}\,\phi \left(\left\|\mathbf {x} -\mathbf {x} _{i}\right\|\right)}$

также может быть интерпретирована как простейшая искусственная нейронная сеть с одним слоем, называемая сетью радиально-базисных функций, в которой радиальная базисная функция исполняет роль функции активации. Можно показать, что любая непрерывная функция на компактном интервале в принципе может быть интерполирована с произвольной точностью при достаточно большом ${\displaystyle N}$.

Аппроксимации ${\displaystyle y\left(\mathbf {x} \right)}$ является дифференцируемой по ${\displaystyle w_{i}}$. Коэффициенты можно вычислить при помощи любого стандартного итерационного метода для нейронных сетей.

Таким образом, радиальные базисные функции предоставляют собой гибкий инструмент интерполирования при условии, что множество центров более-менее равномерно покрывает область определения искомой функции (в идеале центры должны быть равноудалены от ближайших соседей). Тем не менее, как правило в промежуточных точках аппроксимация достигает высокой точности только если множество радиальных базисных функций дополнено полиномом, ортогональным к каждой из РБФ.