您现在的位置是:网站首页> 内容页

机器学习算法之降维

  • 尊宝游戏手机版官网
  • 2019-06-27
  • 115人已阅读
简介  在机器学习的过程中,我们经常会遇见过拟合的问题。而输入数据或features的维度过高就是导致过拟合的问题之一。。维度越高,你的数据在每个特征维度上的分布就越稀疏,这对机器学习算法

  在机器学习的过程中,我们经常会遇见过拟合的问题。而输入数据或features的维度过高就是导致过拟合的问题之一。。维度越高,你的数据在每个特征维度上的分布就越稀疏,这对机器学习算法基本都是灾难性的。所有出现了很多降维的方法。今天我们要讨论的就是LDA降维。

LDA降维的思路是:如果两类数据线性可分,即:存在一个超平面,将两类数据分开。则:存在模旋转向量,将两类数据投影到一维上,并且依然是线性可分的。

提出问题

假设未定一组N个带标记的数据(Xi,Ci),其中,标记C分两类,即:Ci =0 或Ci=1,设计分类器,将数据分开。如果x的维度很高,甚至比N还多,这时候就需要降维了。

解题过程

1、根据线性变换,将X降成一维的

假定旋转向量为W,将数据X投影到一维y,得到 y =WTX ,其中输入数据X,旋转向量W。

如此就将原来我x维的向量转换为一维,利用分类算法将数据分类为C。从而,可以找到阈值W0,如果y>W0为一类,y<W0为一类。

 2、计算每个分类的类内均值和方差

令C1类有N1个元素,C2有N2个元素,计算投影前的类内均值和投影后的类内均值和松散度(方差):

 

3、寻找Fisher判别准则

4、对目标函数进行优化

也就是对目标函数求导后取极值。

倒数为:

 

 推导得到, 三者同方向。

 

主题模型------主成分分析PCA

PCA和LDA的区别

LDA:分类性能最好的方向

PCA:样本点投影具有最大方差的方向

实际问题往往需要研究多个特征,而这些特征就有一定的相关性。

将多个特征综合为少数几个代表性特征。组合后的特征既能够代表原始特征的绝大部分信息,又互不相关,降低相关性。这种提取原始特征的主成分的方法就叫主成分分析。

问题的提出:

对于包含n个特征的m个样本的数据,将每个样本标记成行向量,得到了矩阵A:

解题的思路:

寻找样本的主方向U:将m个样本的值投影到某直线L上,得到m个位于直线L上的点,计算m个投影点的方差。认为方差最大的直线方向为主方向。   

 假设样本去均值了

求方差,PCA的核心推导过程

取投影的直线L的延伸方向u,计算AXu的值

求向量A X u的方差

目标函数:J(u)= uTATAu

目标函数求驻点:

 

由于u数乘得到的方向和u相同,因此,增加u是单位向量的约束,即:||u||2=1 = uTu

 建立Lagrange的方程:

L(u)=  uTATAu -λ (uTu-1)

求导:

分析ATAu = λu

若A中的样本都是去均值化的,则ATA与A的协方差矩阵仅仅相差系数n-1

u是ATA的特征向量,λ的值的大小为原始观测数据的特征向量在向量u的方向上投影值的方差

 

 

PCA的重要应用

去噪、降维 、模式识别、分析数据胡相关性以及多源融合等

文章评论

Top