泰勒展开式与函数逼近

泰勒展开式

泰勒展开式（Taylor Expansion）是用多项式逼近复杂函数的一种数学工具，其核心思想是将一个光滑函数在某一点附近展开为无限项幂级数的和。具体形式如下：

泰勒展开式的定义

设函数 $f(x)$ 在点 $a$ 处无限可导，则 $f(x)$ 在 $a$ 点的泰勒级数为：
$$f(x)=\sum _{n=0}^{\infty }\frac{f^{(n)}(a)}{n!}(x-a{)}^n$$
其中：

• $f^{(n)}(a)$ 是 $f$ 在 $a$ 点的 $n$ 阶导数，
• $n!$ 是 $n$ 的阶乘，
• $(x-a{)}^n$ 是 $(x-a)$ 的 $n$ 次幂。

---

麦克劳林展开式（特殊情况）

当 $a=0$ 时，泰勒展开式简化为麦克劳林展开式：
$$f(x)=\sum _{n=0}^{\infty }\frac{f^{(n)}(0)}{n!}{x}^n$$

---

泰勒展开式的意义

1. 局部逼近：在 $x=a$ 附近，用多项式近似原函数，高阶项提供更精确的逼近。
2. 应用广泛：用于数值计算（如求解方程、积分）、物理建模（如线性化非线性系统）、机器学习（如优化算法中的二阶近似）等。

---

常见函数的泰勒展开示例

1. 指数函数 $e^x$（在 $a=0$ 处）：
   $$e^x=1+x+\frac{x^2}{2!}+\frac{x^3}{3!}+\cdots$$
2. 正弦函数 $\sin x$：
   $$\sin x=x-\frac{x^3}{3!}+\frac{x^5}{5!}-\cdots$$
3. 余弦函数 $\cos x$：
   $$\cos x=1-\frac{x^2}{2!}+\frac{x^4}{4!}-\cdots$$
4. 自然对数 $\ln (1+x)$（$|x|<1$）：
   $$\ln (1+x)=x-\frac{x^2}{2}+\frac{x^3}{3}-\cdots$$

---

泰勒展开的余项

实际计算中常截取前 $N$ 项（泰勒多项式），误差由余项表示：
$$R_N(x)=f(x)-\sum _{n=0}^N\frac{f^{(n)}(a)}{n!}(x-a{)}^n$$
常见的余项形式有拉格朗日余项：
$$R_N(x)=\frac{f^{(N+1)}(\xi )}{(N+1)!}(x-a{)}^{N+1},\xi \text{ 介于 }a\text{ 和 }x\text{ 之间。}$$

---

注意事项

• 泰勒展开的收敛性取决于函数和展开点，某些函数（如 $e^{-1/x^2}$ 在 $x=0$ 处）的泰勒级数可能不收敛到原函数。
• 对于多变量函数，可推广为多元泰勒展开。

通过泰勒展开，复杂的函数可被简化为多项式形式，便于分析和计算。

导数&线性逼近

导数的本质是线性逼近，这一观点是微积分的核心思想之一。为了理解这一点，我们需要从单变量函数推广到多变量函数，逐步分析导数如何通过线性映射（即矩阵）来近似复杂的变化。

---

1. 单变量函数的导数：切线的斜率

对于单变量函数 $f:\mathbb{R}\to \mathbb{R}$，导数 $f^{\prime }(a)$ 在点 $a$ 处的几何意义是函数图像的切线斜率。

• 线性逼近公式：
  $$f(a+h)\approx f(a)+f^{\prime }(a)\cdot h\text{（当 }h\to 0\text{）}.$$
  这里 $f(a)+f^{\prime }(a)\cdot h$ 是一个线性函数（一次多项式），它给出了 $f$ 在 $a$ 附近的最佳线性近似。

• 为什么是“最佳”？
  误差项 $ϵ(h)=f(a+h)-[f(a)+f^{\prime }(a)h]$ 满足 ${\lim }_{h\to 0}\frac{ϵ(h)}{h}=0$，即误差比 $h$ 更快趋近于零。

---

2. 多变量函数的推广：雅可比矩阵

对于多变量函数 $\mathbf{F}:{\mathbb{R}}^n\to {\mathbb{R}}^m$，其变化率需要用矩阵（雅可比矩阵）来描述，因为输入和输出都是多维的。

• 线性逼近的动机：
  在点 $\mathbf{a}\in {\mathbb{R}}^n$ 附近，我们希望找到一个线性映射 $L:{\mathbb{R}}^n\to {\mathbb{R}}^m$（即矩阵），使得：
  $$\mathbf{F}(\mathbf{a}+\mathbf{h})\approx \mathbf{F}(\mathbf{a})+L\cdot \mathbf{h}\text{（当 }\Vert \mathbf{h}\Vert \to 0\text{）}.$$
  这里的 $L$ 就是雅可比矩阵 $J_{\mathbf{F}}(\mathbf{a})$。

• 数学定义：
  若存在矩阵 $J_{\mathbf{F}}(\mathbf{a})$ 使得：
  $$\underset{\Vert \mathbf{h}\Vert \to 0}{\lim }\frac{\Vert \mathbf{F}(\mathbf{a}+\mathbf{h})-\mathbf{F}(\mathbf{a})-J_{\mathbf{F}}(\mathbf{a})\cdot \mathbf{h}\Vert }{\Vert \mathbf{h}\Vert }=0,$$
  则称 $\mathbf{F}$ 在 $\mathbf{a}$ 处可微，且 $J_{\mathbf{F}}(\mathbf{a})$ 是其导数（即雅可比矩阵）。

---

3. 为什么导数必须是线性？

导数的线性性源于以下两个关键性质：

1. 局部性：在无穷小的邻域内，任何光滑函数的行为都趋近于线性。非线性部分（如二次项、三次项）对变化的贡献在高阶无穷小中可忽略。
2. 叠加原理：线性映射能保持加法和数乘运算，即：
   $$L({\mathbf{h}}_1+{\mathbf{h}}_2)=L({\mathbf{h}}_1)+L({\mathbf{h}}_2),L(c\mathbf{h})=cL(\mathbf{h}).$$
   这使得逼近公式在任意方向 $\mathbf{h}$ 上均成立。

---

4. 几何直观

• 单变量函数：导数 $f^{\prime }(a)$ 是切线的斜率，切线是函数图像在 $a$ 点的最佳直线近似。
• 多变量函数：雅可比矩阵定义的线性映射是切空间（tangent space）的变换，将输入空间的微小向量 $\mathbf{h}$ 映射到输出空间的微小变化 $J\cdot \mathbf{h}$。

例子：
设 $\mathbf{F}(x,y)=(x^2,xy)$，在点 $(1,1)$ 处的雅可比矩阵为：
J = [ 2 x 0 y x ] ∣ ( 1 , 1 ) = [ 2 0 1 1 ] . J = \begin{bmatrix} 2x & 0 \\ y & x \end{bmatrix}\bigg|_{(1,1)} = \begin{bmatrix} 2 & 0 \\ 1 & 1 \end{bmatrix}. J=[2xy​0x​] ​(1,1)​=[21​01​].
对微小变化 $\mathbf{h}=(0.1,0.1)$，线性逼近给出：
$$\mathbf{F}(1+0.1,1+0.1)\approx \mathbf{F}(1,1)+J\cdot \left[\begin{array}{c}0.1\\ 0.1\end{array}\right]=(1,1)+(0.2,0.2)=(1.2,1.2).$$
实际值为 $(1.21,1.21)$，误差为高阶小量。

5. 与泰勒展开的联系

导数作为线性逼近，本质是一阶泰勒展开的矩阵形式：
$$\mathbf{F}(\mathbf{a}+\mathbf{h})=\mathbf{F}(\mathbf{a})+J_{\mathbf{F}}(\mathbf{a})\cdot \mathbf{h}+\text{高阶项}.$$
高阶项（如海森矩阵对应的二次项）在 $\Vert \mathbf{h}\Vert \to 0$ 时逐渐消失。

总结

• 导数是线性逼近，因为它用最简单的线性关系（矩阵乘法）描述了函数在无穷小邻域内的行为。
• 雅可比矩阵是多变量函数的“导数”，它将输入空间的微小变化线性映射到输出空间。
• 这一思想是微积分、微分几何和数值优化的基础，例如：
  • 牛顿法求解方程（利用雅可比矩阵迭代逼近解）。
  • 反向传播算法（通过链式法则计算梯度）。

如果需要更具体的例子或数学证明，可以进一步探讨！