|
| 編輯推薦： |
|
《子空间降维算法研究与应用》可供大数据?信号处理?模式识别?机器学习?计算机视觉?数据挖掘等领域的科研人员参考?
|
| 內容簡介： |
|
《子空间降维算法研究与应用》结合作者近几年的相关研究工作,全面系统地介绍子空间降维的概念?主要原理?经典方法和国内外有关研究的最新成果?第1~2 章介绍子空间降维的基本内容包括发展概述与基本方法;第3~6 章介绍作者关于子空间降维的最新研究成果;第7 章引入一些秩极小化方法?《子空间降维算法研究与应用》选取一些经典方法进行介绍,并结合作者的研究成果加以论述,较好地反映了该研究领域的全貌,并具有一定的关联性与层次性,便于初学者学习和使用?
|
| 目錄：
|
目录
前言
第1章绪论1
第2章基于局部和全局的子空间降维算法5
2.1基于全局的子空间算法5
2.1.1主成分分析及其核推广5
2.1.2线性判别分析及其核推广9
2.1.3多维尺度分析14
2.1.4等距映射算法16
2.2局部子空间学习算法17
2.2.1局部线性嵌入17
2.2.2拉普拉斯特征映射20
第3章多核二维判别子空间学习22
3.1核函数23
3.2二维线性判别分析及其核方法24
3.2.1二维线性判别分析25
3.2.2二维线性判别分析实质26
3.2.3基于核的二维线性判别分析28
3.3多核二维判别分析30
3.3.1多核的定义30
3.3.2多核左乘单边二维线性判别分析31
3.3.3多核右乘单边二维线性判别分析35
3.3.4实验39
第4章基于谱图的半监督边界费希尔分析43
4.1谱嵌入数学基础43
4.1.1全局谱嵌入43
4.1.2局部谱嵌入44
4.2基于谱图理论的降维算法45
4.2.1图的基本概念45
4.2.2图的Laplacian及其基本性质45
4.3基于谱图理论的局部保持映射47
4.3.1LPP算法47
4.3.2LPP与PCA的关系48
4.3.3LPP与LDA的关系48
4.4基于谱图理论降维方法的统一框架51
4.4.1直接图嵌入及其扩展方法51
4.4.2图嵌入框架的实例化53
4.5自适应半监督边界费希尔分析57
4.5.1边界费希尔分析57
4.5.2问题形式化与算法58
4.5.3实验与分析60
第5章基于图的非负矩阵分解63
5.1NMF与PCA?VQ的关系63
5.2非负矩阵分解含义64
5.3非负矩阵分解65
5.3.1标准NMF65
5.3.2LNMF72
5.3.3NNSC72
5.3.4SNMF73
5.3.5NMFSC73
5.3.6DNMF73
5.4半监督凸非负矩阵分解74
5.4.1凸非负矩阵分解算法75
5.4.2MMP算法76
5.4.3算法的目标函数77
5.4.4算法收敛性分析78
5.4.5实验82
第6章格拉斯曼流形上的半监督判别分析85
6.1格拉斯曼流形及其上判别分析86
6.1.1格拉斯曼流形86
6.1.2格拉斯曼流形上的判别分析87
6.2算法的目标函数与描述88
6.2.1目标函数88
6.2.2算法描述90
6.3实验91
6.3.1描述91
6.3.2实验环境设置91
6.3.3识别率92
6.3.4参数的敏感性93
6.3.5实验结果的总体讨论95
第7章稀疏与低秩97
7.1压缩感知98
7.2低秩矩阵恢复100
7.2.1矩阵填充100
7.2.2矩阵填充算法102
7.2.3鲁棒主成分分析107
7.2.4低秩表示109
7.2.5矩阵重建的其他算法110
参考文献114
|
| 內容試閱：
|
第1 章 绪 论
随着数据存取技术的快速发展，数据库中积累了大量数据，面临着如何从海量数据中提取有用知识的问题，数据挖掘[1，2]的出现，为人们提供了一条解决“数据丰富而知识贫乏”的有效途径?数据挖掘的定义有含义相同?描述不同的多个版本，比较多的一种定义是“在海量数据中识别出有效的?新颖的?潜在有用的?最终可理解的模式的非平凡过程”?从定义中可以看出，数据挖掘是数据库技术和机器学习的交叉，利用数据库技术对数据进行存储和管理，利用机器学习技术对数据进行分析?数据挖掘技术已经在多学科中得到广泛的应用，特别是在计算机视觉和生物信息等学科已经成为最流行的技术?
数据挖掘最初被认为是数据库中知识发现Knowledge Discovery in Databases，KDD的一个阶段[3]?后来，数据挖掘被看成KDD 的同义词?数据挖掘是一门多学科交叉的学科，用到了人工智能?机器学习?数据库?统计学等领域的技术和方法，吸引了许多计算机工作者[4-23]投入这方面的研究中?
数据挖掘中面临的一个重要的问题是如何处理海量?高维?非线性的数据?高维数据的大量涌现，对数据挖掘和机器学习提出了挑战，高维数据不但会提高存储和计算代价，而且会导致维数灾难[24]?也就是说，随着维数的增加，为了保持分类器的性能，样本的数量需呈指数增加?维数灾难现象的几何现象是空空间现象，即高维空间本质上是稀疏空间?当样本的数量远小于样本的维数时，将导致小样本问题?高维数据的另一个困难是难以被人理解，行之有效的方法就是空间降维?数据降维不但是解决高维数据分析的有效手段，也是高维数据可视化的重要途径?因此，对数据进行降维成为机器学习和数据挖掘的重要研究课题?
降维包括特征选择和特征提取两种途径?特征选择是指在所有特征中选择最具代表性一些特征，得到原有特征的一个真子集?特征提取是指通过对原始特征进行线性组合，得到更有意义的低维投影?在本书中所讨论的算法都基于特征提取方法，通过变换将数据从高维空间变换到低维特征空间?
根据不同的分类标准，子空间降维算法可有不同分类?
1根据所处理数据的分布，降维算法可分为线性和非线性?典型的线性算法有主成分分析Principal Component Analysis， PCA[25]?线性判别分析LinearDiscriminant Analysis，LDA[26]等?非线性算法有等距映射Isometric FeatureMapping， ISOMAP[27]和拉普拉斯特征映射 Laplacian Eigenmaps，LE [28]等?
2根据是否利用标签信息，降维算法可分为有监督算法和无监督算法两类?
PCA[25]?局部保持映射Local Preserving Projections，LPP[29]和局部线性嵌入Locally Linear Embedding，LLE[30]等是无监督降维学习算法?LDA[26]和最大间隔准则Maximum Margin Criterion，MMC[31]等是有监督降维学习算法?无监督降维学习算法的目标是使数据在降维后信息损失最小，而有监督降维学习算法的目标是最大化各类别之间的鉴别信息?
3根据算法是否计算每个数据点与所有其他数据点的关系，降维算法可分为局部和全局降维算法?近邻保持嵌入Neighborhood Preserving Embedding，NPE[32]和LPP[29]等均为局部降维算法?PCA[25]和LDA[26]等为全局降维算法?尽管将子空间学习算法按照上述方式进行了分类，但是，它们又是相互融合?互相交叉的，如LDA 是一种有监督全局线性算法?子空间方法subspace method的基本思想是把高维空间数据，通过线性或非线性变换到低维的子空间中，使数据在低维空间中更利于分类，降低计算复杂度?在线性降维算法中，最著名的算法有PCA[25]?LDA[26]?典型相关分析CanonicalCorrelation Analysis， CCA[33]?多维尺度分析Multidimensional Scaling， MDS[34]?非负矩阵分解Non-negative Matrix Factorization， NMF[35]等?PCA 是无监督学习算法，算法的原理是寻找一组最佳的正交基向量，使重构误差达到最小?LDA 是有监督学习算法，算法的原理是寻找一个投影方向使得沿着该方向同类样本之间的离散度最小，而异类样本之间的离散度最大?在分类问题上，LDA 比PCA 更具优势，但是LDA 要求样本为高斯分布?CCA 是一种无监督方法，算法的目标是求得一对基向量，使得两数据集之间的相关最大，它只关注成对样之间的相关性，并将相关作为不同空间中样本之间的相关性度量?MDS 的基本思想是寻找高维数据的低维表示，忠实地保持输入模式内积的低维描述，也就是降维后低维空间中任意两点之间的距离应该与原高维空间中的距离尽量接近?NMF 的基本思想是在非负性约束下，对非负矩阵进行非负分解，采用简单有效的乘性迭代算法，通过学习得到基向量中含有关于物体的局部特征信息?NMF 反映局部和整体之间的关系，整体是局部的非负线性组合，局部特征在构成整体时不会出现正负抵消的情况?
线性降维算法只能发现数据中的全局线性结构，无法揭示数据内在的非线性结构?为了解决这一问题，研究人员提出了许多非线性降维算法?具有代表性的有两类，分别是核方法和流形学习方法?核方法的基本思想是首先将数据从原始的非线性空间映射到一个更高维甚至是无限维的特征空间，然后再利用传统的线性方法在该特征空间中对数据进行处理?利用核技巧，大多数传统线性降维方法都可以推广到非线性的情况，典型的有核主成分分析Kernel Principle ComponentAnalysis， KPCA[36]?核Fisher 判别分析Kernel Fisher Discriminant Analysis， KFDA[37]和核典型相关分析Kernel Canonical Correlation Analysis， KCCA[38]等?核方法的一个缺点就是如何选择合适的核函数和核函数中的参数，核函数和参数的变化会隐式地改变从输入空间到特征空间的映射，进而影响分类效果，影响核方法的性能;另一个缺点是核方法往往依赖于某种隐式映射，不易直观地理解其降维机理[39]?
另一类非线性的降维方法是基于流形学习的方法，流形是描述许多自然现象的一种空间形式，是欧氏空间在大尺度分析情况下的推广，而欧氏空间是它的特例?流形在局部上与欧氏空间存在着同胚映射，因此，从局部上看，流形与欧氏空间几乎一样?2000 年Science 上发表的ISOMAP[27]?LLE[30]和感知的流形假说[30]，被认为是流形学习的研究热潮开始的标志，以后又相继发现许多流形学习算法，包括LE[28]?局部切空间排列Local Tangent Space Alignment， LTSA [40]?最大方差展开Maximum Variance Unfolding， MVU[41]?黑塞局部线性嵌入Hessian LocallyLinear Embedding， HLLE[42]和局部坐标排列Local Coordinates Alignment，LCA[43]等?流形学习的一个缺点导致“外样本”问题[44]，对于新的样本，算法无法直接得到它在低维空间中对应的坐标?针对这个问题，多个线性化版本被提出，如基于LLE的ONPPOrthogonal Neighborhood Preserving Projection[45]?NPE[32]，基于LE的LPP[29]和基于LTSA的线性局部切空间排列Linear Local Tangent SpaceAlignment， LLTSA等?流形学习的另一个缺点是由于算法是基于样本的局部结构的，都涉及邻域选择问题?
经典的流形学习算法是无监督的学习算法，不适用于分类问题?在流形学习算法中引入标签信息，许多学者提出了一些针对分类目的的监督流形学习算法?监督流形学习算法也包括非线性算法和线性算法?前者只定义在训练集上，可以做数据分析的工具;后者能够提供显式的线性映射，可用于模式识别中的特征提取?引入监别信息的非线性算法有Supervised-LLE[46]?LFELocal Fisher Analysis[47]?1-DAlocal Discriminant Analysis[48]?线性有监督流形学习算法的典型算法有LDELocal Discriminant Embedding[45]和MFAMarginal Fisher Analysis[49]?MFA与LDE 并无本质上的差异?在LDE 和MFA 中，目标函数定义的形式不同，但它们可以转化为同样形式的广义特征值问题?以后又相继出现半监督判别分析Semi-Supervised Discriminant Analysis， SDA[50]?正交局部保持投影OrthogonalLocality Preserving Projections， OLPP[45]?判别局部线性嵌入Discriminant LocallyLinear Embedding，DLLE[51]等?这些方法同时利用了样本的局部几何结构和数据的判别信息，因而具有很好的判别性能?
上面所提出的大多数算法或者是监督学习算法，或者是无监督学习算法，对于分类问题，通常有监督算法能够取得较好的效果?然而实际问题中通常只能取得少量的有标签的数据和大量未知标签的数据，如果对大量数据进行标记，可能要花费大量的人力和物力?一种可行的办法是同时利用少量的有标签数据和大量?半监督学习是基于流形假设和聚类假设的:
①流形假设，数据分布在高维欧氏空间中的低维流形上;②聚类假设，即距离相近的数据很可能具有同样的标签?基本思想是利用无标签的数据提供数据集的几何信息，同时利用有标签的数据指导分类?
模式是模式识别的基本操作对象，传统子空间学习方法总是将模式转换成对应的向量来处理[56]，但向量化表示并非总是有效的?前面所介绍的PCA?LDA?LPP 等经典的子空间学习算法都是向量表示方法，将高维向量空间数据降维到低维向量空间?对于人脸识别和其他图像识别问题，数据的内在表示模式是矩阵或张量，模式向量化会产生如下问题:一方面，向量化模式使得模式的结构遭到破坏[57，58];另一方面，模式在向量化后将成高维数据，导致高的计算复杂度和存储代价，产生维数灾难[59]和小样本问题?作为向量模式表示的扩展和补充，研究人员提出了各种基于矩阵或张量模式的学习算法，并在模式识别?数据挖掘?机器学习?计算机视觉等领域引起了广泛关注[60]?向量表示线性降维算法大多数已被推广到矩阵或张量模式，典型的有二维主成分分析Two-Dimensional PrincipalComponent Analysis， 2DPCA[61]和二维线性判别分析Two-Dimensional LinearDiscriminant Analysis，2DLDA[62]?以后又相继提出基于PCA 的多线性主成分分析Multilinear Principal Component Analysis，MPCA[63-65]?LDA 的高阶张量推广算法Discriminant Analysis with Tensor Representation，DATER[66，67]和广义张量判别分析General Tensor Discriminant Analysis，GTDA[68]?最近，Yan 等[49]提出了降维技术的统一框架，将降维算法归结为图构造及其嵌入方式?
子空间学习算法通常根据一定的性能指标来寻找线性或非线性空间变换，把原始数据压缩到一个低维空间?但是这些方法在矩阵进行分解的时候没有对分解的对象和分解结果进行非负
|
|
購物車/收銀台(0) | 在線留言板
| 付款方式
| 聯絡我們
| 運費計算
| 幫助中心 |
加入書簽
HOME
新書上架
