¥
支付方式
请使用微信扫一扫 扫描二维码支付
请使用支付宝扫一扫 扫描二维码支付
本节课主要讲了奇异值分解(svd),以及其在PCA(主成分分析)中的应用。
1.奇异值分解:
奇异值分解是一个能适用于任意矩阵的一种分解的方法,对于任意矩阵A总是存在一个奇异值分解:
假设A是一个m*n的矩阵,那么得到的U是一个m*m的方阵,U里面的正交向量被称为左奇异向量。Σ是一个m*n的矩阵,Σ除了对角线其它元素都为0,对角线上的元素称为奇异值。是v的转置矩阵,是一个n*n的矩阵,它里面的正交向量被称为右奇异值向量。而且一般来讲,我们会将Σ上的值按从大到小的顺序排列。
2.PCA
在之前课程我们学习过特征值分解,其实PCA可以通过两种方式来实现,一种是基于特征值分解,一种是基于svd分解。两种的方法如下:
1)基于特征值分解:
对于矩阵A,有一组特征向量v,将这组向量进行正交化单位化,就能得到一组正交单位向量。特征值分解,就是将矩阵A分解为如下式:
其中,Q是矩阵A的特征向量组成的矩阵,则是一个对角阵,对角线上的元素就是特征值。
具体实现方法:
输入:数据集,需要降到k维。
1) 去平均值(即去中心化),即每一位特征减去各自的平均值。、
2) 计算协方差矩阵,注:这里除或不除样本数量n或n-1,其实对求出的特征向量没有影响。
3) 用特征值分解方法求协方差矩阵的特征值与特征向量。
4) 对特征值从大到小排序,选择其中最大的k个。然后将其对应的k个特征向量分别作为行向量组成特征向量矩阵P。
5) 将数据转换到k个特征向量构建的新空间中,即Y=PX。
2)基于奇异值分解:
奇异值分解是一个能适用于任意矩阵的一种分解的方法,对于任意矩阵A总是存在一个奇异值分解:
假设A是一个m*n的矩阵,那么得到的U是一个m*m的方阵,U里面的正交向量被称为左奇异向量。Σ是一个m*n的矩阵,Σ除了对角线其它元素都为0,对角线上的元素称为奇异值。是v的转置矩阵,是一个n*n的矩阵,它里面的正交向量被称为右奇异值向量。而且一般来讲,我们会将Σ上的值按从大到小的顺序排列。
具体实现方法:
输入:数据集,需要降到k维。
1) 去平均值,即每一位特征减去各自的平均值。
2) 计算协方差矩阵。
3) 通过SVD计算协方差矩阵的特征值与特征向量。
4) 对特征值从大到小排序,选择其中最大的k个。然后将其对应的k个特征向量分别作为列向量组成特征向量矩阵。
5) 将数据转换到k个特征向量构建的新空间中。
线性空间:
线性变换:
非线性变换:
1. 行向量 vs 列向量
表示区别:行向量用逗号 , 隔开;
列向量用省略号…
2. 向量的数乘的几何意义:拉伸
3. 向量的內积的几何意义:
內积=点积=数乘积
4. 向量范数的三个性质:正定、齐次、不等式
5. 0范数是伪范数;违反齐次原则
6. 线性相关 vs 线性无关
如果信号向量是线性相关的,则可以去掉向量的一个分量。
线性无关:a不能线性表示b
7. 线性无关刻画信息无冗余。正交化则是线性无关最好的方式。
1. 矩阵的幂
(AB)^k != A^k B^k
k=2; 显然,ABAB != AABB,因为AB!=BA
【矩阵乘法不符合交换律;特例:逆矩阵】
2.矩阵的行列式
sum -1^(N(j1j2...jn)) x a_1j a_2j...a_nj
N(xxx)表示逆序数
1. 符号表示
R:实数
C:复数
2. 內积
內积:•[R^ n ;(a,b)= a ^T b ] ,
3. 线性变换
线性变换一定有矩阵表示的变换矩阵。
Y=AX
4. 行列式是针对方阵的。
从一部分带标签的样本学习得到结果预测新样本标签
向量的内积相当于投影
向量范数常用有三种
1.1范数 向量各个分量绝对值加起来
2.2范数 欧式距离
3.无穷范数 绝对值最大的分量的绝对值
施密特正交化:将线性无关向量组转换为正交向量组
向量组的极大无关组可能不止一个,但他们的向量个数是相同的
矩阵的范数是针对方阵
矩阵的常用范数同样有3种:
1.1范数为矩阵列向量的1范数的最大值,也被成为矩阵的列范数
2.2范数为根号下A(转置)A的最大特征值,也成为谱范数
3.无穷范数为矩阵行向量的1范数的最大值,也被成为矩阵的行范数