首页 > 试题广场 >

下列方法中,可以用于特征降维的方法包括()

[不定项选择题]
下列方法中,可以用于特征降维的方法包括()
  • 主成分分析PCA
  • 线性判别分析LDA
  • 深度学习SparseAutoEncoder
  • 矩阵奇异值分解SVD
  • 最小二乘法LeastSquares
稀疏自编码就是用少于输入层神经元数量的隐含层神经元去学习表征输入层的特征,相当于把输入层的特征压缩了,所以是特征降维。
发表于 2016-08-23 12:29:40 回复(1)

LDA用于降维,和PCA有很多相同,也有很多不同的地方,因此值得好好的比较一下两者的降维异同点。

首先我们看看相同点:

1)两者均可以对数据进行降维。

2)两者在降维时均使用了矩阵特征分解的思想。

3)两者都假设数据符合高斯分布。

我们接着看看不同点:

1)LDA是有监督的降维方法,而PCA是无监督的降维方法

2)LDA降维最多降到类别数k-1的维数,而PCA没有这个限制。

3)LDA除了可以用于降维,还可以用于分类。

4)LDA选择分类性能最好的投影方向,而PCA选择样本点投影具有最大方差的方向

发表于 2018-08-02 10:01:25 回复(2)
AutoEncoder的结构与神经网络的隐含层相同,由输入L1,输出 L2组成,中间则是权重连接。Autoencoder通过L2得到输入的重构L3,最小化L3与L1的差别 进行训练得到权重。在这样的权重参数下,得到的L2可以尽可能的保存L1的信息。
Autoencoder的输出L2的维度由输出的神经元个数决定。当输出维度大于L1时,则需要在训练目标函数中加入sparse 惩罚项,避免L2直接复制L1(权重全为1)。所以称为sparseAutoencoder( Andrew Ng提出的)。
结论:SparseAutoencoder大多数情况下都是升维的,所以称之为特征降维的方法不准确。
发表于 2017-04-02 17:17:47 回复(3)
关于C选项-稀疏自编码,当隐藏层的神经元数目比输入的少的时候,是对高维输入数据进行压缩表示,起到降维的作用。
发表于 2017-03-23 10:25:44 回复(0)

A选项-PCA,PCA主成分分析是数学上用来降维的一种方法,是将原来比俺俩重新组合成一组新的相互无关的几个综合比俺俩,同时根据实际需要从中提取几个较少的总和变量尽可能多地反映原来比俺俩的信息的总和方法。属于不考虑吧样本类别输出的无监督降维技术。

C选项-SVD,一些SVD的实现算法可以不求先求出协方差矩阵XTX,也能求出我们的右奇异矩阵V。也就是说,我们的PCA算法可以不用做特征分解,而是做SVD来完成。这个方法在样本量很大的时候很有效。实际上,scikit-learn的PCA算法的背后真正的实现就是用的SVD,而不是我们我们认为的暴力特征分解。
B选项-LDA,LDA是一种监督学习的降维技术,将数据在低维度上进行投影,期望同种类别数据的投影点尽可能接近,包不同类别数据点距离尽可能远
D选项-Deep Learning ,其中稀疏编码数据降维技术
发表于 2018-03-05 16:51:50 回复(0)
特征降维方法主要有:
PCA,LLE,Isomap

SVD和PCA类似,也可以看成一种降维方法

LDA:线性判别分析,可用于降维 http://www.cnblogs.com/zhangchaoyang/articles/2644095.html

SparseAutoEncoder 为什么说是可以降维呢?不明白,我感觉稀疏应该是升维吧,求大神指教。



发表于 2015-09-14 11:35:09 回复(4)
自编码神经网络尝试学习一个恒等函数,从而使得输出y接近于输入x。恒等函数虽然看上去不太有学习的意义,但是当我们为自编码神经网络加入某些限制,比如限定隐藏神经元的数量,我们就可以从输入数据中发现一些有趣的结构。举例来说,假设某个自编码神经网络的输入  是一张  图像(共100个像素)的像素灰度值,于是  ,其隐藏层  中有50个隐藏神经元。注意,输出也是100维的  。由于只有50个隐藏神经元,我们迫使自编码神经网络去学习输入数据的压缩表示,也就是说,它必须从50维的隐藏神经元激活度向量  中重构出100维的像素灰度值输入  。如果网络的输入数据是完全随机的,比如每一个输入  都是一个跟其它特征完全无关的独立同分布高斯随机变量,那么这一压缩表示将会非常难学习。但是如果输入数据中隐含着一些特定的结构,比如某些输入特征是彼此相关的,那么这一算法就可以发现输入数据中的这些相关性。事实上,这一简单的自编码神经网络通常可以学习出一个跟主元分析(PCA)结果非常相似的输入数据的低维表示。
发表于 2018-07-10 21:56:08 回复(0)
LDA是一种有监督的数据降维方法
发表于 2019-08-25 15:53:01 回复(0)
发表于 2018-10-25 13:07:32 回复(0)
PCA LDA 稀疏自编码 SVD
发表于 2018-08-05 10:51:14 回复(0)
CD不懂
发表于 2017-02-26 17:49:55 回复(0)
选项C是稀疏自编码器,能让特征变得稀疏,也就是特征变少,所以是降维
发表于 2017-01-18 09:30:30 回复(0)
稀疏编码应该就是用隐藏单元替代了原始输入单元,所以起到降维的作用吧
发表于 2015-09-14 17:17:41 回复(0)