移动最小二乘法

移动最小二乘法（Moving Least Square，MLS）主要应用于曲线与曲面拟合，该方法基于紧支撑加权函数（即函数值只在有限大小的封闭域中定义大于零，而在域外则定义为零）和多项式基函数，通过加权最小二乘法建立适合散点（Scattered points）模型的拟合函数。其主要特点是：

1. 不需对拟合和插值区域进行划分，只需散点模型；
2. 由于 MLS 引入了紧支撑权函数，因此具有局部拟合或插值特点。
3. 改变基函数的多项式次数可以方便地控制曲线曲面拟合或插值精度，改变权函数可以改变曲线曲面的光滑度。

一、移动最小二乘法原理

曲线与曲面拟合是寻找一个相对简单的函数来逼近一个数据集的过程。通过按距离加权的方法计算近似函数值和给定数据值的差的平方和来度量拟合的性能，这就是加权最小二乘法的基本思想。移动最小二乘法的提出是对传统加权最小二乘方法更一般性的推广。并特别强调加权函数的紧支撑性，因此具有局部数值分析的特点。

在拟合区域的一个局部子域上，假设需要拟合的函数 $F(x)$ 的近似函数 $\hat{F}(x)$可表达为
$$\hat{F}(x)=\sum _{j=1}^m{b}_j(x)a_j(x)=b^T(x)a^T(x)\text{\hspace{1em}(1)}$$

这里 $m$ 是基函数的项数，$b_j(x)$ 是基函数，$a_j(x)$ 是其系数。假定基函数 $b_j(x)$ 是多项式，则具有如下形式：

一次多项式（线性基）
$$\{\begin{array}{ll}{b}^T=(1,x)& 1D\\ b^T=(1,x,y)& 2D\end{array}$$

二次多项式（二次基）
$$\{\begin{array}{ll}{b}^T=(1,x,x^2)& 1D\\ b^T=(1,x,y,x^2,xy,y^2)& 2D\end{array}$$

立方基
$$\{\begin{array}{ll}{b}^T=(1,x,x^2,x^3)& 1D\\ b^T=(1,x,y,x^2,xy,y^2,x^3,x^{2}y,x{y}^2,y^3)& 2D\end{array}$$

由（1）式，利用加权最小二乘方法构成二次形式
$$J=\sum _{i=1}^{n}w(x-x_i)[\sum _{j=1}^m{b}_j(x_i)a_j(x)-f_i{]}^2\text{\hspace{1em}(2)}$$

这里 $n$ 是 $x$ 附近的影响节点数。$w(x-x_i)$ 是节点 $x_i$ 具有紧支撑性质的光滑连续权函数，在 $x_i$ 紧支持域内部，$w_i=w(x-x_i)>0$，在其边界和外部 $w_i=0$。$f_i$ 是 $x_i$ 节点值。

式（2）对系数 $a(x)$ 求导得
$$\frac{\partial J}{\partial a_j}=2\sum _{i=1}^n{b}_k(x_i)w(x-x_i)[\sum _{j=1}^m{b}_j(x_i)a_j(x)-f_i]=0\text{\hspace{1em}(3)}$$

上式写成
$$A(x)a(x)=D(x)f\text{\hspace{1em}(4)}$$

则
$$a(x)=A^{-1}(x)D(x)f\text{\hspace{1em}(5)}$$

其中，$A=B^{T}W(x)B,D=B^{T}W(x)$

其中，
B = [ b 1 ( x 1 ) b 2 ( x 1 ) ⋯ b m ( x 1 ) b 1 ( x 2 ) b 2 ( x 2 ) ⋯ b m ( x 2 ) ⋮ ⋮ ⋮ b 1 ( x n ) b 2 ( x n ) ⋯ b m ( x n ) ] W ( x ) = [ w ( x − x 1 ) 0 ⋯ 0 0 w ( x − x 2 ) ⋯ 0 ⋮ ⋮ ⋮ 0 0 ⋯ w ( x − x n ) ] \pmb{B}=\left[\begin{matrix} b_1(x_1) &b_2(x_1) &\cdots &b_m(x_1)\\ b_1(x_2) &b_2(x_2) &\cdots &b_m(x_2)\\ \vdots &\vdots & &\vdots\\ b_1(x_n) &b_2(x_n) &\cdots &b_m(x_n)\\ \end{matrix}\right]\\[3ex] \pmb{W(x)}=\left[\begin{matrix} w(x-x_1) &0 &\cdots &0\\ 0 &w(x-x_2) &\cdots &0\\ \vdots &\vdots & &\vdots\\ 0 &0 &\cdots &w(x-x_n)\\ \end{matrix}\right] B= ​b1​(x1​)b1​(x2​)⋮b1​(xn​)​b2​(x1​)b2​(x2​)⋮b2​(xn​)​⋯⋯⋯​bm​(x1​)bm​(x2​)⋮bm​(xn​)​ ​W(x)= ​w(x−x1​)0⋮0​0w(x−x2​)⋮0​⋯⋯⋯​00⋮w(x−xn​)​ ​

将（5）式代入（1）式，$\hat{F}(x)$ 可表达为：
$$\hat{F}(x)=b^T{A}^{-1}(x)D(x)f$$

特别地当基函数为常数即 $b=1$ 时，
$$J=\sum _{i=1}^{n}w(x-x_i)[a_1-f_i{]}^2$$

$J$ 对 $a_1$ 求导，令其为 0：
$$\frac{\partial J}{\partial a_1}=2\sum _{i=1}^{n}w(x-x_i)[a_1-f_i]=0$$

求得
$$a_1=\frac{{\sum }_{i=1}^{n}w(x-x_i)f_i}{{\sum }_{i=1}^{n}w(x-x_i)}$$

所以
$$\hat{F}(x)=\frac{{\sum }_{i=1}^{n}w(x-x_i)f_i}{{\sum }_{i=1}^{n}w(x-x_i)}$$

二、紧支撑权函数

移动最小二乘法曲线曲面拟合或插值计算中，权函数在其中具有非常重要的作用。这里的权函数必须具有紧支撑性，使其有能力在处理大规模曲线与曲面拟合时局部修改更容易。紧支撑权函数的选择应遵循几个原则：

1. 每点的权函数值在紧支撑域内是大于零的正数，而在该点紧支撑域边界和外部为零；
2. 必须具有单位分解性；
3. 权函数必须光滑连续可导；
4. 在支撑域内愈远离该点，权值愈小，即保证权值与距离成反比关系。

（1）紧支撑域及生成算法

紧支撑权函数的引入导致移动最少二乘法具有局部拟合或插值性质，大大提高了计算效率和规模。MLS 进行局部拟合或插值时，参与局部拟合或插值的相邻节点对 “计算点” 的影响是由给定拟合或插值节点的局部紧支撑域决定。

MLS 近似计算之前先要生成每个节点的局部紧支撑域，一个节点的局部紧支撑域形状可以是 “圆” ，“椭圆” 或 “矩形” 等，下面以 “圆” 紧支撑域为例，说明如何由离散节点模型自动形成各节点的紧支撑域。该算法确定 N 个节点的离散模型的紧支撑域。

紧支撑域形成算法：

1. 赋 N 个节点的每一个 “圆” 紧支撑域的大小 $h_i=0$；
2. 以每个节点为原点，确定各象限与该点距离最近的点，其自动计算得到 4 个象限内的距离分别为 $h_{i1}、h_{i2}、h_{i3}、h_{i4}$ 确定 $h_i=\max \{h_{i1},h_{i2},h_{i3},h_{i4}\}$；保证紧支持域包含各个方向合适的节点，如图所示。循环 N 个节点；
3. 引入紧支撑域大小的影响系数 $\beta$，每个节点 $h_i$ 乘系数 $\beta$，根据实际情况适当扩大紧支撑域大小以提高拟合或插值精度，一般取 $\beta =1.2\sim 2.5$。

上面算法称为四象限法则，每个节点支撑域的大小由该法则确定。

移动最小二乘法中，权函数紧支撑域大小选取要合适，既要保证所有离散节点的支撑域形成对拟合或插值全域的覆盖，又要使域内需拟合或插值 “计算点” 有足够多的邻近节点覆盖以保证精度和使 $A$ 矩阵可逆从而使 MLS 算法可行。当选取线性基函数时，曲线拟合影响节点不得小于 2 个，曲面拟合影响节点不得少于不在同直线上的 3 个节点。

（2）‘‘计算点” 的影响节点确定

拟合（或插值）域内任意一点往往同时处于好几个节点的支撑域相交部分。如图所示，$x_1,x_2,x_3,x_4,x_5$ 的支撑域均覆盖住 “计算点 $x$”，即计算 “计算点” 时需考虑这五个节点的影响（通常称为 “计算点 $x$” 的影响节点），该 “计算点” 的函数值及其导数值的计算皆需以此作为依据进行拟合或插值。图中 $x_6$ 点的支撑域大小（如图中的 “虚线圆” ）不能盖住 “计算点 $x$ ”，因此不参与 “计算点 $x$ ” 的相关计算。

三、基函数的正交化

多项式基函数的项数选取越多，则矩阵 $A$ 阶数越高，其求逆就越费时。随着 “计算点” 的增多，每点的 $A$ 矩阵不同，皆需求逆，计算量很大。因此，为了避免方程中 $A$ 的求逆，减少计算量，可以利用 Schmidt 正交化过程由基函数 $b_j(x),j=1,\cdots ,m$ 构造正交形式的基函数 $q_j(x),j=1,\cdots ,m$，由此得到的 $A$ 矩阵将是对角矩阵。基函数的正交化不仅避免了矩阵 $A$ 的求逆，而且可以避免可能出现的病态矩阵。

Schmidt 正交化过程
首先因为基函数系数 $a(x)$ 的 $x$ 和 $b(x)$ 中的 $x$ 意义不同，所以在正交化过程和最小二乘中区分两个 $x$ 非常必要。以下将 $a(x)$ 的 $x$ 记为 $\bar{x}$，$b(x)$ 中的 $x$ 记为 $x$。

对给定的多项式基函数 $b_j(x),j=1,\cdots ,m$，存在正交形式的基函数 $q_j(x,\bar{x}),j=1,\cdots ,m$，并且
$$\begin{gathered} q_1(x,\bar{x})=b_1(x) \\ {q}_j(x,\bar{x})=b_j(x)-\sum _{J=1}^{j-1}{\alpha }_{jJ}(\bar{x})q_J(x,\bar{x}),j=2,\cdot ,m \end{gathered}$$

其中
$${\alpha }_{jJ}=\frac{{\sum }_{i=1}^n{w}_i(\bar{x})b_j(x_i)q_J(x_i,\bar{x})}{{\sum }_{j=1}^n{w}_i(\bar{x})q_J^2(x_i,\bar{x})}$$

一维情况下的正交基函数为：
$$\{\begin{array}{l}{q}_0(x,\bar{x})=1\\ q_1(x,\bar{x})=x-{\alpha }_1\\ q_{k+1}(x,\bar{x})=(x-{\alpha }_{k+1})q_k(x,\bar{x})-{\beta }_{k+1}{q}_{k-1}(x,\bar{x})\\ {\alpha }_{k+1}(\bar{x})=\frac{(x{q}_k,q_k)}{(q_k,q_k)}=\frac{{\sum }_{i=1}^m{w}_i(\bar{x})x_i{q}_k^2(x_i,\bar{x})}{{\sum }_{i=1}^m{w}_i(\bar{x})q_k^2(x_i,\bar{x})}\\ {\beta }_{k+1}(\bar{x})=\frac{(q_k,q_k)}{(q_{k-1},q_{k-1})}=\frac{{\sum }_{i=1}^m{w}_i(\bar{x})q_k^2(x_i,\bar{x})}{{\sum }_{i=1}^m{w}_i(\bar{x})q_{k-1}^2(x_i,\bar{x})}\end{array}$$

（ 令 ${\beta }_1=0$ ），其中
$$k=0,1,\cdots ,m-1$$

由（2.3）式可知：
$$\begin{gathered} \sum _{i=1}^n{w}_i(\bar{x})\sum _{j=1}^m{b}_k(x_i)b_j(x_i)a_j(\bar{x})=\sum _{i=1}^n{w}_i(\bar{x})b_k(x_i)f_i \\ \sum _{k,j=1}^m(\sum _{i=1}^n(w_i(\bar{x})b_k(x_i)b_j(x_i)))a_j(\bar{x})=\sum _{i=1}^n{w}_i(\bar{x})b_k(x_i)f_i\text{\hspace{1em}(6)} \end{gathered}$$

由加权正交基定义
$$\begin{gathered} (b_k,b_j)=\sum _{i=1}^n{w}_i(\bar{x})b_k(x_i)b_j(x_i) \\ (b_k,f)=\sum _{i=1}^n{w}_i(\bar{x})b_k(x_i)f_i \end{gathered}$$

因此式（6）表示为
$$\sum _{j=1}^m(b_k,b_j)a_j(x)=(b_k,f)k,j=1,\cdots ,m$$

$(b_k,b_j)$ 生成的矩阵是满阵，可以通过 Schmidt 正交化中的正交基函数 $q_j(x)(j=1,\cdots ,m)$ 将其对角化。由正交基的性质得到
$$\hat{F}(x)=\sum _{j=1}^m{q}_j(x,\bar{x})a_j(\bar{x})$$

由此推得：
$$\sum _{j=1}^m(q_k,q_j)a_j(x)=(q_k,f)$$

因为
$$(q_k,q_j)=\{\begin{array}{ll}0& k\ne j\\ \ne 0& k=j\end{array}$$

矩阵 $A$ 是对角矩阵，$a_j(x)$ 的求解无需求逆，即
$$a_j(\bar{x})=\frac{(q_j,f)}{(q_j,q_j)}=\frac{{\sum }_{i=1}^n{w}_i(\bar{x})q_j(x_i,\bar{x})f_i}{{\sum }_{i=1}^n{w}_i(\bar{x})q_j^2(x_i,\bar{x})}$$

令 $$d_i(\bar{x})=\sum _{i=1}^n{w}_i(\bar{x})q_j^2(x_i,\bar{x})$$

$x,\bar{x}$ 的区分只是最小二乘法过程需要，这一过程完成后，就不再有区分的必要，最终得到
$$\begin{gathered} \hat{F}(x)=\sum _{i=1}^n{\phi }_i{f}_i \\ {\phi }_i=w_i(x)\sum _{j=1}^m\frac{q_j(x_i,x)q_j(x_i,x)}{d_i(x)} \end{gathered}$$

当基函数次数增加时，只需要计算 $a_{m+1}$ 以及 Schmidt 正交化过程中的 ${\alpha }_{m+1}$ 和 ${\beta }_{m+1}$ 即可，不需要重新计算矩阵 $A$ 中所有元素，减少了计算量，降低了误差。