机器学习必修之数学基础系列课程

这一节课的概念很多，整理一下：

非退化双线性型

非退化矩阵(non-degenerate matrix)又称“非异矩阵(non-singular matrix) ”、“满秩矩阵”，若n阶矩阵A的行列式|A|≠0，则称A为一个非退化矩阵，若|A|=0，则称A为“退化矩阵”，也称“奇异矩阵”、“降秩矩阵”。n阶方阵A是非退化的充要条件为A是可逆矩阵

双线性型指的是一个二元函数f(x,y)对x,y分别是线性的,即

f(x1+x2,y)=f(x1,y)+f(x2,y)
f(kx,y)=kf(x,y);
f(x,y1+y2)=f(x,y1)+f(x,y2)
f(x,ky)=kf(x,y)

合同、等价、相似

1、等价，相似和合同三者都是等价关系。

2、矩阵相似或合同必等价，反之不一定成立。

3、矩阵等价，只需满足两矩阵之间可以通过一系列可逆变换，也即若干可逆矩阵相乘得到。

4、矩阵相似，则存在可逆矩阵P使得，P^(-1)AP=B。

5、矩阵合同，则存在可逆矩阵P使得，P^TAP=B。

6、当上述矩阵P是正交矩阵时，即P^T=P^(-1)，则有A，B之间既满足相似，又满足合同关系。

7、矩阵等秩是相似、合同、等价的必要条件，相似、合同、等价是等秩的充分条件。

8、矩阵等价是相似、合同的必要条件，相似、合同是等价的充分条件。  

9、 矩阵相似、合同之间没有充要关系，存在相似但不合同的矩阵，也存在合同但不相似的矩阵。 

10、总结起来就是：相似=>等价，合同=>等价，等价=>等秩。

正惯性指标

线性代数里矩阵的正的特征值个数，也即是规范型里的系数"1"的个数

二次型的标准型和规范型

标准型就是只含平方项的二次型叫标准型，但标准型不唯一。当把标准型前面的正系数变成正1，负系数变成-1.就是规范型。具有唯一性。

正定

对称矩阵A为正定矩阵的充分必要条件是A的所有特征值都是正数

矩阵的微分技巧

利用矩阵的内积来计算矩阵的微分