学位论文 > 优秀研究生学位论文题录展示

高维数据的维数约简算法研究

作　者: 苏雅茹
导　师: 王儒敬; 陈鹏
学　校: 中国科学技术大学
专　业: 模式识别与智能系统
关键词: 维数约简特征选择特征提取稀疏表示低秩表示农业本体
分类号: TP391.1
类　型: 博士论文
年　份: 2012年
下　载: 645次
引　用: 0次
阅　读: 论文下载

内容摘要

在这个“信息爆炸”的时代,人类常常要面临分析和处理各种数据信息的要求,如海量web数据、大规模数据库文本、大量遥感图像等,这就对统计学、模式识别、人工智能、数据挖掘、机器学习等相关学科领域的发展提出了挑战。这些数据不仅呈几何级数式增长,而且现实中通常是高维的。这些高维数据常常会引发所谓的“维数灾难”,一方面,它们通常是稀疏的、冗余的,容易掩盖数据的真实结构,甚至会导致错误的分析处理结果；另一方面,它们增加了分析处理数据的负担。作为解决“维数灾难”的有效途径,维数约简发展成为一个重要的研究课题,它将数据从高维特征空间约简到低维特征空间,约简后的特征空间更能体现数据的本质结构,并且提高了数据的分析处理效率。本文对维数约简的理论方法和实际应用进行了深入的研究,主要工作概括如下：1.提出一种动态寻优子空间方法。该方法是通过寻找平衡主成分分析(PCA)和最大边缘准则(MMC)目标函数的最佳系数来实现的,它的目的是使得PCA寻找代表原始数据结构的线性投影方向时,能够更多地考虑判别信息,同时也使得MMC在寻找实现约简特征维数和提取分类信息的线性投影方向时,能够更好地表达样本的原始数据结构。另外,不同的数据,甚至是同种数据不同条件下,会有不同的结构特点,因此应该根据数据的结构特点来选择算法,而该方法很好地满足了这个要求。使用基因微阵列数据的肿瘤分类实验证明了,这种新的特征提取方法是有效的、稳定的。2.提出一种基于稀疏表示的无监督特征选择算法一稀疏评分(SS)。稀疏表示虽然属于全局性的方法,却含有天然的判别性和局部性,这就使得SS不仅具有较强的判别能力,还有局部结构保持能力和一定的全局结构保持能力。另外,SS所选取的特征方差比较大,即信息含量比较大。人脸图像的聚类实验结果显示,SS对特征重要性的评价效果明显优于方差评分(VS)和拉普拉斯评分(LS)这两种特征选择算法。3.提出一种基于低秩表示的监督特征提取算法--低秩表示判别投影(LRDP)。基于低秩表示,LRDP拥有良好的数据全局结构表达能力和一定的判别结构表达能力,另外,LRDP依据SRC决策准则,使得它拥有良好的判别性能。人脸图像的分类实验结果显示,LRDP的性能要优于其它一些特征提取算法,包括主成分分析(PCA)、线性判别分析(LDA)和稀疏保持投影(SPP)。4.以本体理论为依据,提出一种基于农业本体的农业文本特征优化方法。首先进行特征映射,即用农业本体的概念取代向量空间模型的术语,概念频率权重由术语频率权重统计得到。其次进行特征加权,即根据农业本体的概念层次结构,将概念相似度权重追加到概念权重。该方法结合特征频率权重和特征相似度权重,不仅大幅减少了特征空间的维数,而且为特征空间引入了语义信息。通过农业文本文档的聚类实验,该方法的可行性和有效性得到了验证。

全文目录

摘要  5-7
ABSTRACT  7-9
目录  9-12
第1章绪论  12-32
  1.1 模式识别  12-17
    1.1.1 概念和系统  12-14
    1.1.2 应用实例  14-16
    1.1.3 维数问题  16-17
  1.2 维数约简  17-24
    1.2.1 特征选择  18-19
    1.2.2 特征提取  19-23
    1.2.3 特征选择与特征提取方法比较  23-24
  1.3 稀疏表示和低秩表示  24-28
  1.4 本体  28-29
  1.5 本文的内容安排及创新之处  29-32
第2章动态寻优子空间方法  32-48
  2.1 引言  32-33
  2.2 t检验和秩和检验  33-35
  2.3 全局统计子空间方法  35-41
    2.3.1 主成分分析(PCA)  36-39
    2.3.2 线性判别分析(LDA)  39-40
    2.3.3 最大边沿准则(MMC)  40-41
  2.4 动态寻优子空间方法  41-43
  2.5 实验  43-46
    2.5.1 数据集  43-44
    2.5.2 t检验  44
    2.5.3 动态寻优子空间方法  44-46
  2.6 小结  46-48
第3章基于稀疏表示的无监督特征选择算法  48-62
  3.1 引言  48-49
  3.2 两种无监督特征选择算法  49-50
    3.2.1 方差评分(VS)  49
    3.2.2 拉普拉斯评分(LS)  49-50
  3.3 基于稀疏表示的无监督特征选择  50-53
    3.3.1 稀疏表示  50-52
    3.3.2 目标函数  52-53
    3.3.3 稀疏评分  53
  3.4 实验  53-60
    3.4.1 评价标准  54
    3.4.2 Yale数据集  54-57
    3.4.3 ORL数据集  57-59
    3.4.4 讨论  59-60
  3.5 小结  60-62
第4章基于低秩表示的监督特征提取算法  62-78
  4.1 引言  62
  4.2 两种人脸特征提取方法  62-63
  4.3 基于低秩表示的监督特征提取  63-67
    4.3.1 低秩表示  63-65
    4.3.2 目标函数  65-66
    4.3.3 低秩表示判别投影  66-67
  4.4 实验  67-76
    4.4.1 Yale数据集  68-70
    4.4.2 ORL数据集  70-72
    4.4.3 UMIST数据集  72-75
    4.4.4 讨论  75-76
  4.5 小结  76-78
第5章基于农业本体的农业文本特征优化  78-88
  5.1 引言  78-79
  5.2 农业文本特征化  79-80
  5.3 农业本体的构建  80-81
  5.4 基于本体的文本特征优化  81-84
    5.4.1 特征映射  81-82
    5.4.2 特征加权  82-84
  5.5 实验  84-87
    5.5.1 评价标准  84-85
    5.5.2 特征优化  85-87
  5.6 小结  87-88
第6章总结  88-90
参考文献  90-96
致谢  96-98
在读期间发表的学术论文与取得的其他研究成果  98-99

高维数据的维数约简算法研究

内容摘要

全文目录

相似论文