径向基函数

径向基函数简介

径向基(Radial Basis Function, RBF)函数是一个取值仅仅依赖于离原点距离的实值函数，也就是$\phi(x) = \phi(||x||)$,或者还可以是到任意一点$c$的距离，$c$点即为中心点，也就是$\phi(x,c) = \phi(||x-c||)$。
任意一个满足$\phi(x) = \phi(||x||)$特性的函数$\phi$都叫做径向量函数，标准的一般使用欧氏距离，尽管其他距离函数也是可以的。

常用RBF函数

常用径向基函数包括（$r=||x-x_i||$）：

Gaussian:
$\phi (r)=e^{-(\varepsilon r)^{2}}$
Multiquadric:

$\phi(r) = \sqrt{(1+(\epsilon r)^2)}$

Inverse Quadraic:

$\phi(r) = \frac{1}{1+(\epsilon r)^2}$

Inverse Multiquadric:

$\phi(r) = \frac{1}{\sqrt{(1+(\epsilon r)^2)}}$

Polyharmonic spline:

$\phi (r)=r^{k},\;k=1,3,5,\dots$ $\phi (r)=r^{k}\ln{(r)},\;k=2,4,6,\dots$

Thin plate spline (a special polyharmonic spline):

$\phi (r)=r^{2}\ln(r)$

函数逼近

RBF函数一般用来逼近其他复杂的函数，逼近函数$y(\mathbf x)$用$N$个RBF的加权和来表示，每个RBF有不同的中心$\mathbf x_i$，其一般形式如下：

$y(\mathbf x) = \sum_{i=1}^N w_i \phi( || \mathbf x - \mathbf x_i || )$

理论上来说，只要$N$足够大，$y(\mathbf x)$能够以任意的精度逼近在某个区间的任意连续函数。

RBF网络

函数

$y(\mathbf x) = \sum_{i=1}^N w_i \phi( || \mathbf x - \mathbf x_i || )$

还可以通过一个简单的单层人工神经网络来表达，即RBF网络，径向基函数作为网络的激活函数。

因为$y(\mathbf x)$相对于$w_i$是可微的，所有这些权重可以通过神经网络中标准的迭代法来学习得到。

通过这种方式使用径向基函数在收敛后可以在拟合集中得到一个合理的结果，但是在拟合集外面表现会很差，除非添加一个垂直于径向基函数的多项式项。