导数

导数

设函数 $f: \mathbf{R}^{n} \rightarrow \mathbf{R}^{m}$,$x \in \operatorname{int} \operatorname{dom} f$。如果存在矩阵 $Df(x) \in \mathbf{R}^{m \times n}$,满足

$$ \begin{align} \lim _{z \in \operatorname{dom} f, z \neq x, z \rightarrow x} \frac{\|f(z)-f(x)-D f(x)(z-x)\| _{2}}{\|z-x\| _{2}}=0 \end{align} $$

则称函数 $f$ 可微,并称 $Df(x)$ 为 $f$ 在 $x$ 处的导数(或 Jacobian 矩阵)。

我们将 $z$ 的仿射函数

$$ \begin{align} f(x) + Df(x)(z-x) \end{align} $$

称为 $f$ 在 $x$ 处(或附近)的一次逼近。当 $z$ 接近 $x$ 时,该仿射函数非常接近 $f$。

$Df(x)$ 可以通过计算偏导数的方式求得:

$$ \begin{align} D f(x) _{ij}=\frac{\partial f _{i}(x)}{\partial x _{j}}, \quad i=1, \cdots, m, \quad j=1, \cdots, n \end{align} $$

梯度

$$ \begin{align} \nabla f(x)=D f(x)^{T} \end{align} $$

梯度是一个列向量,它的分量是 $f$ 的偏导数。

$$ \begin{align} \nabla f(x) _{i}=\frac{\partial f(x)}{\partial x _{i}}, \quad i=1, \cdots, n \end{align} $$

链式规则

设复合函数 $h(x) = g(f(x))$,则

$$ \begin{align} \nabla h(x) &= g'(f(x))f(x) \\\\ &= \nabla g(f(x))^T f(x) \end{align} $$

仿射函数

设仿射函数 $g(x) = f(Ax+b)$,其中 $f: \mathbf{R}^{n} \rightarrow \mathbf{R}^{m}$,$A \in \mathbf{R}^{n \times p}$,$b \in \mathbf{R}^{n}$,则 $g: \mathbf{R}^{p} \rightarrow \mathbf{R}^{m}$。当 $f$ 是实函数时(即 $m=1$),仿射函数 $g$ 的梯度公式为:

$$ \begin{align} \nabla g(x) = A^T \nabla f(Ax+b) \end{align} $$

仿射

从 $\mathbf{R}^{n}$ 到 $\mathbf{R}^{m}$ 的映射 $x \rightarrow Ax+b$ 称为仿射变换。当 $m=1$ 时,称上述仿射变换为仿射函数。若仿射函数的 $b=0$,则称之为线性函数

方向导数

设 $f: \mathbf{R}^{n} \rightarrow \mathbf{R}^{m}$,$x, v \in \mathbf{R}^{n}$。定义函数 $\tilde{f} = f(x+tv)$。(粗略地说,$\tilde{f}$ 是将 $f$ 限制在直线 ${x+tv \mid t \in \mathbf{R}}$ 上的函数。)则

$$ \begin{align} D \tilde{f}(t)=\tilde{f}^{\prime}(t)=\nabla f(x+t v)^{T} v \end{align} $$

并称标量 $\tilde{f}^{\prime}(0)$ 为函数 $f$ 在 $x$ 处沿方向 $v$ 的方向导数

二阶导数

设函数 $f: \mathbf{R}^{n} \rightarrow \mathbf{R}$,$x \in \operatorname{int} \operatorname{dom} f$。那么 $f$ 在 $x$ 处的二阶导数(或 Hessian 矩阵)为

$$ \begin{align} \nabla^{2} f(x) _{ij}=\frac{\partial^{2} f(x)}{\partial x _{i} \partial x _{j}}, \quad i=1, \cdots, n, \quad j=1, \cdots, n \end{align} $$

函数 $f$ 在(或接近)$x$ 处以 $z$ 为变量的二次逼近

$$ \begin{align} \widehat{f}(z)=f(x)+\nabla f(x)^{T}(z-x)+\frac{1}{2}(z-x)^{T} \nabla^{2} f(x)(z-x) \end{align} $$

二阶导数的链式规则

标量复合函数

设 $f: \mathbf{R}^{n} \rightarrow \mathbf{R}$,$g: \mathbf{R} \rightarrow \mathbf{R}$,$h(x)=g(f(x))$。我们有

$$ \begin{align} \nabla^{2} h(x)=g^{\prime}(f(x)) \nabla^{2} f(x)+g^{\prime \prime}(f(x)) \nabla f(x) \nabla f(x)^{T} \end{align} $$

复合仿射函数

设 $f: \mathbf{R}^{n} \rightarrow \mathbf{R}$,$A \in \mathbf{R}^{n \times m}$,$b \in \mathbf{R}^{n}$,定义 $g: \mathbf{R}^{m} \rightarrow \mathbf{R}$ 为 $g(x) = f(Ax+b)$。我们有

$$ \begin{align} \nabla^{2} g(x)=A^T \nabla^{2} f(Ax+b) A \end{align} $$
Previous
Next