机器学习必修之数学基础系列课程

1.方向导数与梯度

 方向导数是数值，表示某个方向上的导数

 梯度为矢量，梯度方向上唯一存在最大的方向导数，梯度定义：

2.二元函数的极值判断：

设：二元函数 f(x,y)的稳定点为：(x0,y0),即：∂f(x0,y0)/∂x = ∂f(x0,y0)/∂y = 0；记：：A=∂²f(x0,y0)/∂x²B=∂²f(x0,y0)/∂x∂yC=∂²f(x0,y0)/∂y²∆=AC-B²

如果：∆>0 A0,f(x0,y0) 为极小值；如果：∆0f(0,0)=0 为最小值。

求解函数极值方法：寻求函数整个定义域上的最大值和最小值是数学优化的目标。如果函数在闭合区间上是连续的，则通过极值定理存在整个定义域上的最大值和最小值。此外，整个定义域上最大值（或最小值）必须是域内部的局部最大值（或最小值），或必须位于域的边界上。

3.多元泰勒展开式：