学位论文 > 优秀研究生学位论文题录展示

数据降维及分类中的流形学习研究

作　者: 刘小明
导　师: 董金祥；尹建伟
学　校: 浙江大学
专　业: 计算机科学与技术
关键词: 流形学习线性降维非线性降维局部切空间直推式分类协方差保持局部敏感辨别分析矩阵表示 LDA／QR
分类号: TP311.13
类　型: 博士论文
年　份: 2007年
下　载: 2364次
引　用: 11次
阅　读: 论文下载

内容摘要

信息化技术的快速发展及其广泛应用，使具有高维数的非结构化数据信息大量出现。高维不仅使数据难以被人们直观理解，而且难以被现有机器学习和数据挖掘算法有效地处理。降维方法是处理这些数据的一个重要手段，虽然在数据的降维处理方面已经有了大量的研究工作，但是在线性与非线性流形降维领域仍然存在许多具有挑战性的问题。2000年在Science上三篇文章分别从神经科学与计算机科学的角度对降维问题进行了研究，进一步促进了降维问题的研究，并推动流形学习成为当前机器学习研究中的一个热点问题。论文围绕线性流形与非线性流形学习算法及其应用展开，从监督式的全局线性流形降维、非监督式非线性降维、监督式非线性降维与分类、线性逼近降维及分类、和基于矩阵表示的线性降维方面对流形学习算法进行了一些研究，主要工作包括以下几个方面：在监督式的全局线性流形降维方面，提出了一种同时利用不同类数据的均值与协方差分布信息的新降维方法，在最大化成对类别均值距离的同时保持成对类间的协方差距离。分析了算法与线性辨别分析，切片平均方差估计方法，异方差辨别分析方法和协方差保持投影算法间的关系。同时基于算法的成对模式，融入与Bayes分类错误率相关的权重信息，提出了加权PCPM方法WPCPM。在非监督式的非线性降维方面，针对局部切空间排列算法LTSA算法不能有效处理新数据的问题，提出来一种增量式的LTSA算法-ILTSA，对于新数据点，ILTSA首先更新受新样本影响的数据点的局部仿射空间，得到新的局部几何信息。通过最小化数据点的局部重构误差，得到已有数据点局部排列，然后在最小均方差意义下得到新样本的全局坐标。最后，用Rayleigh-Ritz加速方法更新所有数据点的全局坐标。此外，提出了基于LASSO回归选择标志点的标志点LTSA算法(LLTSA)，最后，提出了LLTSA的增量式算法(ILLTSA)。在监督式非线性降维方面，针对非监督式局部切空间排列LTSA算法没有利用样本的类别信息，不能直接用于分类的问题，提出了一种基于LTSA和直推式k近邻分类器上的直推式分类算法。使用改进的两阶段的LDA／QR算法构造局部低维坐标系，使用LDA／QR不仅可以利用样本数据的类别信息，而且可以解决传统LDA方法的奇异性问题。为了更好地利用无类别标签的数据分布信息，采用TCM-KNN算法对低维数据完成分类。在非线性流形降维的线性逼近方面，针对近邻关系保持嵌入NPE算法易于受到降低后的维数影响，性能依赖于正确的维数估计的问题，提出来一种正交化的近邻关系保持嵌入降维算法。算法假设每个数据点都能由其近邻点的线性组合表示，在降维过程中保持数据点的局部几何信息，通过迭代地计算正交基函数得到数据的低维嵌入坐标。通过使变换矩阵正交化，降低算法对维数的依赖性。同时，提出了在降维后的低维空间中使用标签传递(LNP)的分类算法，能更好地利用在降维中保留的局部几何信息。在基于矩阵表示的监督式线性降维方面，针对局部敏感辨别分析算法LTSA只能处理向量型的数据，当处理图像等矩阵数据时，需要首先将矩阵展开为向量，易导致与传统LDA相同的奇异性的问题，提出了一种称为二维局部敏感辨别分析方法(2DLSDA)方法，其直接处理2维的图像矩阵而不需要将矩阵转化为向量，能克服奇异性问题。同时，依据图像的两种展开方式，提出了两个单边2DLSDA算法。算法基于Schur分解来求得正交变换矩阵，比传统基于特征值分解的算法高效并稳定。

全文目录

摘要  3-5
Abstract  5-12
第1章绪论  12-36
  1.1 研究背景  12-14
  1.2 研究意义  14-16
  1.3 线性与非线性流形学习算法介绍  16-31
    1.3.1 全局线性流形算法介绍  16-18
    1.3.2 基于谱图分解的非线性流形算法介绍  18-27
    1.3.3 其它代表性流形学习算法  27-31
  1.4 论文的主要贡献  31-33
  1.5 论文的组织结构  33-36
第2章基于成对协方差保持的全局线性流形降维方法  36-56
  2.1 引言  36-37
  2.2 aPAC与CPM方法介绍  37-39
    2.2.1 近似成对准确率准则(aPAC)  37-38
    2.2.2 协方差保持投影算法(CPM)  38-39
  2.3 成对协方差保持投影算法PCPM和加权PCPM  39-44
    2.3.1 成对协方差保持投影算法PCPM  39-43
    2.3.2 加权成对协方差保持算法WPCPM  43-44
  2.4 PCPM与CPM,SAVE和HDA的关系  44-50
    2.4.1 SAVE算法介绍  44-45
    2.4.2 HDA算法介绍  45-47
    2.4.3 PCPM与CPM和SAVE算法的关系  47-49
    2.4.4 PCPM与HDA的关系  49-50
  2.5 实验结果  50-55
  2.6 本章小结  55-56
第3章基于切空间排列的增量式和标志点式流形学习  56-70
  3.1 引言  56-57
  3.2 局部切空间排列算法(LTSA)  57-58
  3.3 增量式局部切空间排列算法(ILTSA)  58-64
    3.3.1 增量式LTSA  59-61
    3.3.2 增量式LTSA算法描述  61-62
    3.3.3 带标志点的LTSA  62-64
  3.4 实验结果  64-69
    3.4.1 增量式LTSA(ILTSA)  64-68
    3.4.2 增量式标志点LTSA上的实验  68-69
  3.5 本章小结  69-70
第4章基于局部切空间排列的直推式流形分类算法  70-84
  4.1 引言  70-71
  4.2 局部切空间排列算法,LDA/QR分解算法和直推式KNN算法  71-74
    4.2.1 经典LDA及其扩展  71-73
    4.2.2 局部切空间排列算法(LTSA)  73-74
    4.2.3 直推式KNN算法(TCM-KNN)  74
  4.3 基于切空间排列和LDA/QR分解的直推式KNN流形分类算法  74-79
    4.3.1 基于LDA/QR的局部几何和分辨信息提取  74-77
    4.3.2 基于切空间排列的降维  77-78
    4.3.3 基于直推式KNN分类  78-79
    4.3.4 QLAT分类算法描述  79
  4.4 实验结果  79-82
    4.4.1 模拟数据  79-80
    4.4.2 MNIST数据集,ORL数据集和Yale B数据集  80-82
  4.5 小结及讨论  82-84
第5章正交化近邻关系保持的流形降维及分类算法  84-100
  5.1 引言  84-85
  5.2 NPE简介  85-86
  5.3 ONPE与ONPC算法  86-90
    5.3.1 ONPE算法  87-88
    5.3.2 LNP算法介绍  88-90
    5.3.3 ONPC分类算法  90
  5.4 ONPE算法理论分析  90-93
  5.5 实验结果  93-97
    5.5.1 人工合成数据  93
    5.5.2 人脸表示和识别  93-97
  5.6 小结与讨论  97-100
第6章基于矩阵表示的局部敏感辨别性分析算法  100-118
  6.1 引言  100-102
  6.2 LSDA和2DLDA算法简介  102-105
    6.2.1 LSDA算法  102-103
    6.2.2 2DPCA与2DLDA算法  103-105
  6.3 二维局部敏感辨别分析2DLSDA  105-112
    6.3.1 2DLSDA算法  105-108
    6.3.2 计算投影矩阵U和V  108-111
    6.3.3 2DLSDA算法的变化——单边2DLSDA  111-112
  6.4 实验结果  112-117
    6.4.1 ORL上的实验结果  113-115
    6.4.2 Yale上的实验结果  115-117
  6.5 小结  117-118
第7章总结与展望  118-120
  7.1 本文的研究成果  118-119
  7.2 今后工作展望  119-120
参考文献  120-130
攻读博士学位期间主要的研究成果  130-132
致谢  132

数据降维及分类中的流形学习研究

内容摘要

全文目录

相似论文