机器学习必修之数学基础系列课程

排序：点赞最多
- 最新笔记
- 点赞最多

施密特正交化就是把线性无关的向量，通过正交化，得到正交基。

施密特正交化的几何意义：

https://www.zhihu.com/question/60689540

[展开全文]

清影觅 · 2019-06-22 · 向量、矩阵简介，向量范数、矩阵范数 0

笔记打卡，重要概念汇集补充！

[展开全文]

Begluck · 2019-06-29 · 向量、矩阵简介，向量范数、矩阵范数 0

[展开全文]

hzl · 2019-07-01 · 向量、矩阵简介，向量范数、矩阵范数 0

关于齐次性的思考，这里的解释应该会有帮助。转自：https://www.zhihu.com/question/25552461/answer/34618178

齐次性是英文 Homogeneous 的中文翻译. 我其实对这个翻译不太赞同,像我就更不不知道齐次是什么意思. 一查字典,就是所homogeneous的翻译. 好吧. 完美逻辑.

看看homoegeneous 的英文翻译:

Homogeneous is used to describe a group or things which has members or parts that are all the same.

我翻译为: 用来描述一组具有相同"member" or "part"的形容词. 不完全正确的讲,就是类似的东西. 具有相同属性的东西,因此数学中一旦某些方程, 矩阵, 函数, 只要它们之间有相似性, 那么都可能被翻译成齐次.

应为最近专注于机器人的学习, 遇到了齐次坐标系. 我们来看看齐次坐标系是怎么和齐次**上的.

先说齐次坐标系是什么, 再来解释它为什么被称之为齐次坐标系.

安装书上的说法, n维空间的齐次坐标系是一个n+1维空间的东西.

例如, 3维空间中的点(x,y,z)对应的齐次坐标系是(x,y,z,w);

应为4维空间对于我的智商来说实在是太晦涩了, 我们还是用降维武器来看看2维空间对应的齐次坐标吧.

对于2维空间,它的坐标为(x,y),对应的齐次坐标就是(x,y,w).

想象一下, 在w=1的地方, 就是我们对应的x,y平面,标准的2D平面.

实际上,2D点(x,y)用齐次坐标表示就是(x,y,1),而对于那些不在w=1平面上的点,者将他们投影到w=1的平面上,所以齐次坐标(x,y,w)映射的实际2D点为

(x/w,y/w).

因此,给定一个2D点(x,y),齐次空间中有无数多个点与之对应.所有的点的形式都为(kx,ky,k).这些点构成了一条穿过齐次原点的直线.

到这里, 出现了一群(无数个)对应的点, 它们都对应是2D点在这个n+1(n=2)维空间的坐标, 所以称之为齐次坐标.它们都有同一个性质, 那就是在w=1投影的时候,

都在(x,y)点. 好了, 这就是齐次坐标名字的来历了, 如果大家去看看wikipeida,那么齐次坐标还有一个名称叫做projective coordinates, 所以叫什么不重要, 最主要的是看它是什么.

再来吐槽一下大学教育吧,这些明明应该是我们在学习线性代数的时候应该讲明的东西, 只有现在才能慢慢回去一点一点的体会数学的道理.

[展开全文]

贝丝•欧文 · 2019-07-01 · 向量、矩阵简介，向量范数、矩阵范数 0

[展开全文]

hzl · 2019-07-02 · 矩阵的运算、行列式 0

[展开全文]

hzl · 2019-07-02 · 条件数，线性子空间，矩阵的正交化，矩阵求逆 0

[展开全文]

hzl · 2019-07-02 · 线性方程式求解 0

基础概念：

秩：在线性代数中，一个矩阵A的列秩是A的线性独立的纵列的极大数目。类似地，行秩是A的线性无关的横行的极大数目。通俗一点说，如果把矩阵看成一个个行向量或者列向量，秩就是这些行向量或者列向量的秩，也就是极大无关组中所含向量的个数。

奇异矩阵：秩不为满秩的矩阵。

对于条件数的补充：

κ(A)=‖A‖‖A−1‖
κ(A)=‖A‖‖A−1‖
如果方阵 A 是奇异的，那么 A 的 condition number 就是正无穷大了。实际上，每一个可逆方阵都存在一个 condition number。

对condition number来个一句话总结：condition number 是一个矩阵（或者它所描述的线性系统）的稳定性或者敏感度的度量，如果一个矩阵的 condition number 在1附近，那么它就是well-conditioned的，如果远大于1，那么它就是 ill-conditioned 的，如果一个系统是 ill-conditioned 的，它的输出结果就不要太相信了。

应用
ŵ =(XTX)−1XTb
w^=(XTX)−1XTb
如果当我们的样本 X 的数目比每个样本的维度还要小的时候，矩阵XTXXTX将会不是满秩的，也就是XTXXTX会变得不可逆，所以ŵ w^就没办法直接计算出来了。

如果加上L2规则项，就变成了下面这种情况，就可以直接求逆了：

ŵ =(XTX+λI)−1XTb

-------

转自https://blog.csdn.net/lanchunhui/article/details/51372831

[展开全文]

贝丝•欧文 · 2019-07-02 · 条件数，线性子空间，矩阵的正交化，矩阵求逆 0

课时3重点：线性变换，线性子空间，正交概念，矩阵的秩和逆，矩阵的条件数