数学这个学科是一个神奇的学科，永远看不到边界在哪里。

函数逼近

• 逼近是人类探讨复杂问题时的一种手段，微分学就是局部线性化，就是逼近，是微分学的核心思想，用简单的东西模拟复杂的东西。
  • 人均GDP：使用常数函数来逼近收入分布函数；
  • 平均速度：使用线性函数来逼近实际运动轨迹；
• 微分学的核心思想就是用熟悉且简单的函数对复杂函数进行局部逼近。
• 常用作逼近的简单函数：
  1. 线性函数：函数的一阶导数
  2. 多项式函数：泰勒级数
• 极限的表述方式
  • 自然语言：当x趋向于a时，f(x)的极限是L
  • 数学符号：$\lim_{x \to a} f(x)=L$
  • 标准语言：对于任意的$\epsilon>0$，存在一个$\delta>0$，使得对于任何的$x\in(a-\delta,a+\delta)$，都有$\lvert f(x)-L \rvert<\epsilon$

极限论

无穷小

• 无穷小：一般吧趋于零的极限成为无穷小
• 无穷小阶数：趋于零的速度越快的无穷小，阶数越高。

两边夹定理

• 如果$f(x)<g(x)<h(x)$，而且这三个函数都在$a$点处有极限，那么
  $\lim_{x \rightarrow a}f(x)\leq \lim_{x \rightarrow a}{g(x)}\leq \lim_{x \rightarrow a}{h(x)}$

• 重要极限

  • 三角函数：$\lim_{x \rightarrow 0}\frac{\sin{x}}{x}=1$
  • 自然对数底数：$\lim_{x \rightarrow \infty}(1+\frac{1}{n})^n=e$
  • 指数函数：$\lim_{x \rightarrow 0}\frac{e^x-1}{x}=1$

• 洛必达法则

求导数

• 一阶导数：$f'(x)=\lim_{\Delta\rightarrow 0}\frac{f(x+\Delta)-f(x)}{\Delta}$
• 几何意义：用直线逼近曲线
• 代数意义：用线性函数逼近复杂函数
• 常见函数导数
  • 多项式导数：$\frac{d}{dx}x^n=n\cdot x^{n-1}$
  • 三角函数：$\frac{d}{dx}\sin(x)=\cos(x)$
  • 指数函数：$\frac{d}{dx}e^x=e^x$ $\:$ $\frac{d}{dx}a^x=a^x\cdot \ln a$
  • 幂导数：$\frac{d}{dx}x^\alpha =\alpha \cdot x^{\alpha-1}$
  • 对数导数：$\frac{d}{dx}\ln x = \frac{1}{x}$
  • 复杂导数：$\frac{d}{dx}x^x = x^x \cdot (\ln x +1)$

两角和公式：$\sin(x+\delta)=\sin{x}\cos{\delta}+\sin{\delta}\sin{x}$
三角和差化积：$\cos{x}-1=-2\sin^2{\frac{x}{2}}$

泰勒级数

• 泰勒级数是对函数进行高阶逼近。如果一个函数$f(x)$是n阶可微函数，那么

$f(x_0+\Delta)=f(x_0)+f'(x_0)\cdot\Delta+\frac{f^{(2)}(x_0)}{2}\cdot\Delta^2+\dots+\frac{f^{(n)}(x_0)}{n!}\cdot\Delta^n+o(\Delta^n)$

$f(x)=f(0)+\frac{f'(0)}{1!}x+\frac{f^{2}(0)}{2!}x^2+\dots+\frac{f^n(0)}{n!}x^n+\dots$

$f(x)=f(x_0)+\frac{f'(x_0)}{1!}(x-x_0)+\frac{f^{2}(x_0)}{2!}(x-x_0)^2+\dots+\frac{f^n(x_0)}{n!}(x-x_0)^n+\dots$

• 函数$f(x)$的n阶Taylor级数就是与$f(x)$拥有相同前n阶导数的n阶多项式。
• 误差项可以根据中值定理简化为^[1]：

$R(x)=\frac{f^{n+1}(x_0)}{(n+1)!}(x-x_0)^{n+1}+\dots=\frac{f^{n+1}(\xi)}{(n+1)!}(x-x_0)^{n+1}$

• 其中：$\xi\in(x,x_0)$，将误差全部概括到这一项里

多元函数和梯度

从低维到高维

• 对于二院函数$f(x,y)$，偏导数的定义为

$\partial_x{f(x,y)}=\frac{\partial}{\partial x}f(x,y)= \lim_{\Delta_x\rightarrow 0}\frac{f(x+\Delta_x,y)-f(x,y)}{\Delta_x}$

$\partial_y{f(x,y)}=\frac{\partial}{\partial y}f(x,y)= \lim_{\Delta_y\rightarrow 0}\frac{f(x,y+\Delta_y)-f(x,y)}{\Delta_y}$

• 沿着方向$v=(a,b)$方向的导数为：

$\nabla_v{f(x,y)}= \lim_{\Delta\rightarrow 0}\frac{f(x+\Delta\cdot a,y+\Delta\cdot b)-f(x,y)}{\Delta}$

• 偏导数就是沿着坐标轴方向的方向导数

梯度

• 对于一个可微函数f(x,y)，梯度的定义为$\nabla f(x,y)=(\partial_x{f},\partial_y{f})^T$
• 代数意义：任意方向的偏导数可以由梯度表示，如果$v=(a,b)$，

$\nabla_v f(x,y)=v\cdot\nabla{f(x,y)}=a\partial_x{f(x,y)}+b\partial_y{f(x,y)}$

• 几何意义：梯度方向就是函数增长最快的方向

函数求导

求导法则

• 链式法则(复合函数求导)：$\frac{d}{dx}(f \circ g)=\frac{d}{dx}f(g)\cdot \frac{d}{dx}g$
• 加法法则：$\frac{d}{dx}(f + g)=\frac{d}{dx}f + \frac{d}{dx}g$
• 乘法法则：$\frac{d}{dx}(f \cdot g)=\frac{d}{dx}f\cdot g +f\cdot \frac{d}{dx}g$
• 除法法则：$\frac{d}{dx}(\frac{f}{g})=\frac{\frac{d}{dx}f\cdot g -f\cdot \frac{d}{dx}g}{g^2}$

反函数求导

• 如果f,g可微且互为反函数，而且$y=f(x)$，那么$g'(y)=\frac{1}{f'(x)}$

隐函数求导

• 隐函数就是x,y的关系比较复杂，在不同域内有不同的函数关系，但整体的函数关系简单，这个时候就可以用隐函数求导。
• 如果$F(x,y):R^2\to R$是一个二元函数，而且：
  • $F(x_0,y_0)=0$
  • F在$(x_0,y_0)$附近连续可微
  • $\frac{\partial F}{\partial y}\ne 0$在$(x_0,y_0)$附近城里
• 那么在$(x_0,y_0)$附近的一个领域内，存在唯一一个函数$f(x)$，使得$F(x,f(x))=0$，而且

$\frac{df}{dx}=-\frac{\partial_xF}{\partial_yF}$

矩阵求导

• 线性映射求导

  • $\vec{y}=A\vec{x}$，则$\frac{d \vec{y}}{d \vec{x}}=A$

• 二次型求导

  • f(\vec{x})=\vec{x}^T\cdot A\cdot \vec{x}，则$\nabla f=2A\vec{x}$

• 矩阵求导应用在证明最小二乘法

---

1. https://www.zhihu.com/question/25627482/answer/313088784 ↩︎