学位论文 > 优秀研究生学位论文题录展示

基于谱正则化的线性降维方法研究

作　者: 王成
导　师: 孙廷凯
学　校: 南京理工大学
专　业: 计算机应用技术
关键词: 线性特征提取 PCA LDA 正则化散布矩阵
分类号: TP391.41
类　型: 硕士论文
年　份: 2012年
下　载: 25次
引　用: 0次
阅　读: 论文下载

内容摘要

基于线性变换的特征提取一直是模式识别领域研究的重点,有着许多被广泛应用且被证明有效的方法。其中的主成分分析(PCA)和线性判别分析(LDA)经常被用于特征降维。本文的研究重点也是基于这两种方法所展开。针对由于有限样本可能引起的小特征值对PCA结果的影响,本文将正则化技术应用到PCA中,提出了一种基于谱正则化的PCA,即ER-PCA,通过对其特征谱的正则化,降低了小特征值的影响。在人脸图像库和部分UCI数据集上进行的实验,证明了该方法的有效性。经典LDA方法经过特征提取后,产生的投影空间维数受限于样本的类别数,一般为类别数C减一。而且,LDA假设各类样本是满足高斯分布的,对于实际情况中的非高斯分布的数据,LDA分类效果不一定好。基于此,本文对原类内散布矩阵和类间散布矩阵进行了重新定义,其中引入了k近邻(k-NN)思想,希望依据样本的k近邻来反映样本的分布,提出了一种基于样本k近邻关系的LDA,即KNN-LDA。最后,通过在两个手写体数据集上的实验,可以看出,新方法不仅能够产生更高维度的投影空间(一般为样本维度n),而且要优于原LDA方法。

全文目录

摘要  3-4
Abstract  4-5
目录  5-7
1 绪论  7-12
  1.1 研究背景和意义  7
  1.2 模式识别和模式识别系统  7-8
  1.3 模式识别的研究方法  8-9
  1.4 特征提取  9-10
  1.5 本文的主要工作及内容安排  10-12
2 主成分分析(PCA)  12-18
  2.1 K-L变换  12-13
  2.2 主成分的求解步骤  13-14
  2.3 特征值的选取  14-15
  2.4 距离函数的选择  15-16
  2.5 SVD定理  16-17
  2.6 PCA的优缺点  17
  2.7 本章小结  17-18
3 基于特征谱正则化的PCA方法(ER-PCA)  18-31
  3.1 引言  18
  3.2 特征谱子空间的划分  18-21
  3.3 特征谱正则化  21-22
  3.4 特征提取和投影  22-23
  3.5 α和β值的求解优化  23-25
  3.6 实验结果及分析  25-30
    3.6.1 人脸图像库  25-28
    3.6.2 UCI数据集  28-30
  3.7 本章小结  30-31
4 基于k近邻的类LDA方法(KNN-LDA)  31-41
  4.1 Fisher线性判别分析方法  31-33
  4.2 LDA用于特征提取时的部分问题及解决方法  33
  4.3 KNN-LDA  33-36
    4.3.1 算法描述  33-34
    4.3.2 算法思想  34-36
  4.4 实验结果与分析  36-40
    4.4.1 CENPARMI手写体数据库  36-38
    4.4.2 UCI手写体数据库  38-40
  4.5 本章小结  40-41
5 总结与展望  41-42
致谢  42-43
参考文献  43-45

基于谱正则化的线性降维方法研究

内容摘要

全文目录

相似论文