微积分概述

大家好，欢迎来到IT知识分享网。

一、导数的定义

导数是微积分中的一个基本概念，用于衡量一个函数在某一点处的变化率。对于一个给定的函数 $f(x)$，其在点 $x$的导数可以定义为该函数在$x$ 点的瞬时变化率，也就是曲线在该点的切线斜率。

如图对$x_0$求导可写成如下表达式：
$${\frac{dy}{dx}|}_{x=x_0}$$
或
$${y^{\prime }|}_{x=x_0}$$
或
$$f^{\prime }(x_0)=\begin{array}{c}lim\\ {\Delta }_x\to 0\end{array}\frac{f(x_0+{\Delta }_x)-f(x)}{{\Delta }_x}$$

二、导函数运算

当$x_0$发生变化时,函数 $y=f(x)在x_0$点的导数也会发生相应的变化,所以函数 $y=f(x)$的导数本身也是 $x$的函数,我们称为函数 $y=f(x)$ 的导函数, 记作:

          $\frac{dy}{dx}$ 或  $y^{\prime }$ 或  $f^{\prime }(x)$

函数的导数是函数的一个重要性质,它表示的是函数在$x_0$的瞬间变化率,从其几何意义上来说,它表示的是函数的曲线在$x_0$的切线的斜率。

根据导数的定义,我们很容易得到以下的结论:
(1)函数$y=C$(其中$C$是常数)的导函数是$y=0$。
(2)函数$y=Cx$(其中 $C$ 是常数)的导函数是 $y=C$。
(3)函数$y=C{x}^2$(其中$C$是常数)的导函数是$y=2Cx$.
(4)$(sinx{)}^{\prime }=cosx$
(5)$(cosx{)}^{\prime }=-sinx$
(6)$(e^x{)}^{\prime }=e^x$

导数四则运算法则

（1）$[u(x)\pm v(x{]}^{\prime }=u^{\prime }(x)\pm v(x)$

   (2) $[u(x)\upsilon (x){]}^{\prime }=u^{\prime }(x)v(x)+u(x)v^{\prime }(x)$

   (3)$[\frac{u(x)}{v(x)}{]}^{\prime }=\frac{u^{\prime }(x)v(x)-u(x)v^{\prime }(x)}{[v(x){]}^2},v(x)\ne 0$

   (4) 复合函数求导法则
      ${f[g(x)]}^{\prime }=f^{\prime }(u)g^{\prime }(x),其中u=g(x)$

复合函数的求导法则是理解反向传播机制的重要基础

复合函数求导举例：

我们需要求复合函数 $f(g(x))$的导数。首先，我们计算 $f(g(x))$:
$f(g(x))$ = $f(2x+3)=(2x+3{)}^2$

首先求$g(x)$的导数$g^{\prime }(x)$
$g^{\prime }(x)=\frac{d}{d_x}(2x+3)=2$

接着求$f(u)$在$u=g(x)$处的导数$f^{\prime }(g(x))$。由于$f(u)=u^2$，我们有：
$f^{\prime }(u)=\frac{d}{d_u}(u^2)=2u$

将$u$替换为$g(x)$,得到${f[g(x)]}^{\prime }$:
${f[g(x)]}^{\prime }=2(2x+3)$

现在，我们可以将$f^{\prime }(g(x))$和$g^{\prime }(x)$相乘得到 ${f[g(x)]}^{\prime }$:
${f[g(x)]}^{\prime }=f^{\prime }(g(x))\ast g^{\prime }(x)=2(2x+3)\ast 2$

三、极值附近导数的性质

设函数$f(x)$在 $x_0$ 的某邻域 $U(x_0)$内有定义,在$x_0$处取得极值,且 $f(x_0{)}^{\prime }$存在，则 $f(x_0{)}^{\prime }=0$。
此处也称之为费马定理。

函数$f(x)$在 $A,B,C$ 出取得极值,此时 $f^{\prime }(x_A)=f^{\prime }(x_B)=f^{\prime }(x_C)=0$。

性质归纳：

以上结论在学习梯度下降算法时有极重要的作用。

四、泰勒展式

$f(x)=f(x_0)+\frac{f^{\prime }(x_0)}{1!}(x-x_0)+\frac{f^{{}^{\prime \prime }}(x_0)}{2!}(x-x_0{)}^2+\dots +\frac{f^n(x_0)}{n!}(x-x_0{)}^n+R_n$

泰勒展式的一个重要应用是在物理学和工程学中，它可以用来近似计算复杂函数的值，尤其是在数值分析和计算科学中非常有用。此外，泰勒展式也是研究函数局部行为的重要工具，比如通过泰勒展式可以分析函数在某点的凹凸性、极值等性质。 

五、多元函数的偏导数（以二元函数为例）

   对于二元函数$z=f(x,y)$来说，它有2个自变量：$x,y$。我们可以求这个函数在$（x_0,y_0）$点的导数，该导数可以对变量 $x$来求，也可以对变量 $y$来求。

对变量$x$来求导数就是
$$\begin{array}{c}lim\\ {\Delta }_x\to 0\end{array}\frac{f(x_0+{\Delta }_x,y_0)-f(x_0,y_0)}{{\Delta }_x}$$
它称为函数$z=f(x,y)$在$（x_0,y_0）$点对于$x$的偏导数，记作
$${\frac{\partial z}{\partial x}|}_{x=x_0,y=y_0}$$
或
$$z_x{|}_{x=x_0,y=y_0}$$
或
$$f_x(x_0,y_0)$$

对于变量$y$来求导数就是
$$\begin{array}{c}lim\\ {\Delta }_x\to 0\end{array}\frac{f(x_0,y_0+{\Delta }_y)-f(x_0,y_0)}{{\Delta }_y}$$
它称为函数$z=f(x,y)$在$（x_0,y_0）$点对于$y$的偏导数，记作
$${\frac{\partial z}{\partial y}|}_{x=x_0,y=y_0}$$
或
$$z_y{|}_{x=x_0,y=y_0}$$
或
$$f_y(x_0,y_0)$$

偏导函数

   与导数类似，函数$z=f(x,y)$ 对于变量 $x$的偏导数也是$x,y$的函数，称为函数 $z=f(x,y)$对于变量 $x$的偏导函数，记作

            $\frac{\partial z}{\partial x}$   或$z_x$   或   $f_x(x,y)$

   同样 函数$z=f(x,y)$ 对于变量 $x$的偏导数也是$x,y$的函数，称为函数 $z=f(x,y)$对于变量 $y$ 的偏导函数，记作

            $\frac{\partial z}{\partial y}$   或$z_y$   或   $f_y(x,y)$

梯度

     多元函数的梯度是一个向量，包含了函数对所有变量的偏导数。对于函数 $f(x,y)$，梯度 $\nabla f$定义为：
$$\nabla f=(\frac{\partial f}{\partial x},\frac{\partial f}{\partial y})$$

偏导数的意义

      函数$z=f(x,y)$在$(xo,yo)$点对于变量 $x$的偏导数是变量$y$不变情况下变量$x$在(x_0,y_0)点的瞬间变化率;函数$z=f(x,y)$在$(x_0,y_0)$点对于变量 $y$的偏导数是变量 $x$不变情况下变量$y$在$(x_0,y_0)$点的瞬间变化率。

多元函数的偏导数同样是理解梯度下降算法的重要基础

二元函数的求导举例
假设我们有一个二元函数$f=(x,y)=x^{2}y$,我们要求它在$(x_0,y_0)$的偏导数和梯度。

1.关于$x$的偏导数：

     此时将$y$当作常数
      $\frac{\partial f}{\partial x}=\frac{\partial }{\partial x}(x^{2}y)=2xy$

2.关于$y$的偏导数：

     此时将$x$当作常数
      $\frac{\partial f}{\partial y}=\frac{\partial }{\partial y}(x^{2}y)=x^2$

3.梯度向量：

      $\nabla f=(\frac{\partial f}{\partial x},\frac{\partial f}{\partial y})=(2xy,x^2)$