机器学习必修之数学基础系列课程

关于样本方差的无偏估计为什么是

而不是

这篇博文有做详细的推导证明https://blog.csdn.net/qq_39521554/article/details/79633207

这节课讨论的主要内容是估计包括点估计矩阵估计最大似然估计。估计的含义就是根据样本区估计总体估计总体的参数如总体期望总体方差。二者的具体介绍

这节课的基本概念在标题里已经涵盖，对课程中的重点做了一下归纳，需要注意的几点：

这一节课的概念很多，整理一下：

非退化双线性型

非退化矩阵(non-degenerate matrix)又称“非异矩阵(non-singular matrix) ”、“满秩矩阵”，若n阶矩阵A的行列式|A|≠0，则称A为一个非退化矩阵，若|A|=0，则称A为“退化矩阵”，也称“奇异矩阵”、“降秩矩阵”。n阶方阵A是非退化的充要条件为A是可逆矩阵

双线性型指的是一个二元函数f(x,y)对x,y分别是线性的,即

f(x1+x2,y)=f(x1,y)+f(x2,y)
f(kx,y)=kf(x,y);
f(x,y1+y2)=f(x,y1)+f(x,y2)
f(x,ky)=kf(x,y)

合同、等价、相似

1、等价，相似和合同三者都是等价关系。

2、矩阵相似或合同必等价，反之不一定成立。

3、矩阵等价，只需满足两矩阵之间可以通过一系列可逆变换，也即若干可逆矩阵相乘得到。

4、矩阵相似，则存在可逆矩阵P使得，P^(-1)AP=B。

5、矩阵合同，则存在可逆矩阵P使得，P^TAP=B。

6、当上述矩阵P是正交矩阵时，即P^T=P^(-1)，则有A，B之间既满足相似，又满足合同关系。

7、矩阵等秩是相似、合同、等价的必要条件，相似、合同、等价是等秩的充分条件。

8、矩阵等价是相似、合同的必要条件，相似、合同是等价的充分条件。  

9、 矩阵相似、合同之间没有充要关系，存在相似但不合同的矩阵，也存在合同但不相似的矩阵。 

10、总结起来就是：相似=>等价，合同=>等价，等价=>等秩。

正惯性指标

线性代数里矩阵的正的特征值个数，也即是规范型里的系数"1"的个数

二次型的标准型和规范型

标准型就是只含平方项的二次型叫标准型，但标准型不唯一。当把标准型前面的正系数变成正1，负系数变成-1.就是规范型。具有唯一性。

正定

对称矩阵A为正定矩阵的充分必要条件是A的所有特征值都是正数

矩阵的微分技巧

利用矩阵的内积来计算矩阵的微分