学位论文 > 优秀研究生学位论文题录展示

图嵌入框架下流形学习理论及应用研究

作　者: 黄鸿
导　师: 李见为
学　校: 重庆大学
专　业: 仪器科学与技术
关键词: 维数约简流形学习图嵌入框架标志点图像检索
分类号: TP391.41
类　型: 博士论文
年　份: 2008年
下　载: 489次
引　用: 4次
阅　读: 论文下载

内容摘要

随着传感和存储技术的发展,在模式识别、机器学习和数据挖掘领域产生了大量的高维数据。高维数据一方面导致了维数灾难的产生,另一方面不能被人的感知直接理解,人们必须借助机器学习方法从数据中学习并发现内在规律。流形学习方法以保持数据拓扑结构的方式将高维输入投影到低维空间,发现隐藏在数据中的内在几何结构与规律性,是近年来机器学习与认知科学中一个新的研究热点。流形学习涉及到微分几何学、统计学、神经科学和拓扑学等多个学科,是一个具有基础性、前瞻性的研究方向。自从Seung在2000年从神经心理学的角度提出了感知以流形方式存在,流形学习受到了研究人员的广泛关注,其研究成果和技术已经应用于模式识别、计算机视觉、图像处理等相关领域。但是,由于其数学理论基础较为深厚复杂,而且涉及到多个学科之间交叉融合,所以仍有许多亟需研究和解决的问题。在这种情形下,本文对流形学习理论及其在图像中应用等关键技术进行了深入研究,主要工作及研究成果总结如下:1.我们对当前的流形学习算法按照其研究领域进行了系统分类,并重点介绍了基于谱图理论的流形学习方法,主要包括:(1)基于全局结构保持的方法;(2)基于局部结构保持的方法;(3)基于局部模型的全局排列方法。在人工和真实数据集上进行了仿真实验,并系统分析了这些流形学习方法各自的优缺点以及它们的异同点,指出了流形学习方法所面临的共同问题:在加强样本点之间的关联性的时候,应该有效的对数据局部与全局流形结构进行同时保持,增加对稀疏数据和噪声的鲁棒性,从而能有效的发现隐藏于高维观测数据中有意义的低维结构。2.提出了一种新的基于局部与全局结构保持的流形学习算法---局部与全局保持嵌入算法(LGPE)。该算法通过数据点之间的流形距离度量来构建局部近邻图与全局远离图来表征数据间的局部近邻结构与全局结构信息,然后通过解决图嵌入框架下的优化问题来得到映射矩阵。LGPE方法在保持数据局部结构的同时最大化相互远离数据点之间的非局部散度,与局部线性嵌入等局部方法相比,该算法在考虑数据集的局部信息的同时,还考虑了数据集的全局信息;而与等距映射等全局方法相比,该算法可以避免局部近距离点在低维特征空间相距较远,而且以一种更加灵活的方式来处理数据的全局信息。实验结果表明,该算法可以实现对数据集的局部和全局结构的同时保持,有助于发现嵌入于高维数据中有意义的低维子流形。3.针对LGPE算法需计算数据点之间的测地距离矩阵,计算复杂度较高的缺点,通过对常用的标志点选择方法优缺点进行深入分析和归纳,提出了一种基于自适应标志点选择的局部与全局保持嵌入算法(AL-LGPE)。该算法充分考虑到样本点和近邻点相对位置,选择对嵌入流形影响较大的样本点,即具有代表性的点,同时让标志点之间的距离和尽可能大,使得选出的标志点不会出现集中的现象,近似直线分布的概率也大大降低。在保证算法稳定性的同时,最大程度表征输入数据空间的测地距离来实现对数据几何结构的保持。我们采用数据可视化效果和SF参数定量比较来检验算法的性能,实验结果证明了该算法的有效性和优越性。4.提出LGPE算法的线性化、核化和张量化3种推广算法。针对局部与全局保持嵌入算法不能直接取得新样本的低维嵌入坐标以及不能有效表征图像中的高阶信息等缺点,该文在图嵌入框架扩展形式下对LGPE算法进行线性化、核化和张量化推广,并对3种算法的本质特点进行了分析。在YaleB与CMU PIE两个人脸图像数据库上的实验结果表明,局部与全局保持嵌入算法的各种推广算法有各自的优势,因而LGPE及其推广算法的整体框架,为在更广的范围下解决各类问题提供了可能。同时对这些算法之间关系的分析有利于加深人们对流形学习算法本质的认识,并有助于人们在实践中选择合适的算法并理解算法的结果。5.在对图像检索中基于相关反馈的流形学习方法进行研究的基础上,结合局部与全局保持嵌入算法,提出一种新的半监督局部与全局保持嵌入算法(Semi-Supervised LGPE,简称SS-LGPE);接着我们结合人脸图像检索的特点,在半监督局部与全局保持嵌入算法的基础上提出一种融合相关反馈信息的语义流形学习(Feedback-based semantic manifold learning,简称FSML)的人脸图像检索算法。该算法以聚类为单位扩展用户在相关反馈提供的相关与不相关信息,在经过流形嵌入后,相关图像之间依然保持其近邻关系,同时尽可能最大化不相关图像之间的距离,能达到相关图像数据间散度尽可能小,不相关图像数据间散度尽可能大,从而优化构建降维子空间的特征向量,使之更符合语义特征,得到一个结合了用户语义理解的低维流形特征空间。在大型人脸图像数据库中的应用实验结果验证了FSML算法在人脸图像检索中的有效性。实验结果还表明,该算法以非常低的嵌入维数获得较理想的图像检索效果,更有利于向实际应用扩展。

全文目录

摘要  5-7
ABSTRACT  7-13
1 绪论  13-30
  1.1 维数约简  13-15
  1.2 流形学习  15-25
    1.2.1 数学基础  15-18
    1.2.2 流形学习发展历史  18-24
    1.2.3 流形学习应用  24-25
  1.3 本文的研究出发点  25-28
  1.4 论文的组织结构  28-30
2 流形学习方法分析  30-58
  2.1 引言  30
  2.2 流形学习方法分类  30-35
    2.2.1 神经网络  31-32
    2.2.2 主流形  32-33
    2.2.3 互信息  33
    2.2.4 变分法  33-34
    2.2.5 谱图理论方法  34-35
  2.3 基于全局的方法  35-38
    2.3.1 主成分分析(PCA)和核主成分分析(KPCA)  35
    2.3.2 多维尺度分析(MDS)与等距映射(ISOMAP)  35-37
    2.3.3 扩散映射(Diffusion Maps)  37
    2.3.4 半正定嵌入(SDE)  37-38
  2.4 基于局部的方法  38-41
    2.4.1 局部线性嵌入(LLE)  38-39
    2.4.2 拉普拉斯特征映射(Laplacian Eigenmaps)  39
    2.4.3 Hessian 特征映射  39-40
    2.4.4 局部切空间排列(LTSA)  40-41
  2.5 基于局部模型的全局排列方法  41-43
    2.5.1 局部线性坐标(LLC)  41-42
    2.5.2 流形坐标卡(Charting a manifold)  42-43
    2.5.3 坐标化因子分析(CFA)  43
  2.6 流形学习推广算法  43-47
    2.6.1 线性与非线性方法  43-45
    2.6.2 有监督学习方法  45-46
    2.6.3 样本外(Out-of-example)学习方法  46-47
  2.7 实验结果及分析  47-57
    2.7.1 人工数据集实验  47-49
    2.7.2 COIL 图像数据集实验  49-51
    2.7.3 AT&T 人脸图像数据库实验  51-54
    2.7.4 实验结果分析  54-57
  2.8 本章小结  57-58
3 局部与全局保持嵌入算法  58-81
  3.1 引言  58
  3.2 流形学习算法在统一框架下的差异分析  58-63
    3.2.1 图嵌入及其推广框架  59-62
    3.2.2 图嵌入框架下流形学习算法差异化分析  62-63
  3.3 局部与全局保持嵌入算法(LGPE)  63-69
    3.3.1 局部与全局结构信息表征  63-65
    3.3.2 局部与全局结构保持  65-66
    3.3.3 算法流程  66-67
    3.3.4 算法对近邻参数k 的敏感性  67-69
  3.4 与其他流形学习方法之间的联系  69-72
    3.4.1 拉普拉斯本征映射(LE)与非监督鉴别投影(UDP)  69-71
    3.4.2 局部鉴别嵌入(LDE)  71-72
  3.5 实验结果及分析  72-79
    3.5.1 人工数据集(Synthetic datasets) 实验  72-75
    3.5.2 COIL-20 数据集  75-77
    3.5.3 Mnist 手写数字图像库  77-78
    3.5.4 ISOMAP 人脸图像数据集  78-79
    3.5.5 实验结果分析  79
  3.6 本章小结  79-81
4 基于自适应标志点选择的局部与全局保持嵌入算法  81-95
  4.1 引言  81
  4.2 标志点选取对流形学习效果的影响  81-84
  4.3 基于自适应标志点的局部及全局保持嵌入算法  84-87
  4.4 实验结果及分析  87-94
    4.4.1 Punctured Sphere 数据集  87-89
    4.4.2 Helix 数据集  89-91
    4.4.3 Teapots 数据集  91-94
    4.4.4 实验结果分析  94
  4.5 本章小结  94-95
5 局部与全局保持嵌入算法在图嵌入框架下的推广  95-117
  5.1 引言  95
  5.2 问题的提出  95-96
  5.3 线性局部与全局保持嵌入算法(Linear LGPE)  96-99
    5.3.1 线性流形学习方法  96-97
    5.3.2 线性局部与全局保持嵌入算法(Linear LGPE)  97-98
    5.3.3 算法流程  98-99
  5.4 核局部与全局保持嵌入算法(Kernel LGPE)  99-102
    5.4.1 核方法  99-100
    5.4.2 流形学习与核方法  100-101
    5.4.3 核局部与全局保持嵌入算法(Kernel LGPE)  101-102
  5.5 张量局部与全局保持嵌入算法(Tensor LGPE)  102-106
    5.5.1 流形学习与张量分析  102-104
    5.5.2 张量局部与全局保持嵌入算法(Tensor LGPE)  104-105
    5.5.3 Tensor LGPE 算法流程  105-106
  5.6 实验结果及分析  106-115
    5.6.1 人脸图像预处理及参数设置  107-109
    5.6.2 实验结果  109-114
    5.6.3 实验结果分析  114-115
  5.7 本章小结  115-117
6 基于语义流形学习的人脸图像检索  117-136
  6.1 引言  117-120
    6.1.1 问题的提出  117-119
    6.1.2 图像检索技术的研究现状  119-120
  6.2 基于流形学习的图像检索算法分析  120-123
    6.2.1 反馈保局投影算法(FLPP)  120-121
    6.2.2 扩展联系嵌入算法(ARE)  121-122
    6.2.3 基于流形学习的图像检索算法对比分析  122-123
  6.3 半监督局部与全局保持嵌入方法(SS-LGPE)  123-126
  6.4 基于语义流形学习的人脸图像检索  126-128
    6.4.1 概述  126-127
    6.4.2 基于反馈的语义流形学习(FSML)算法  127-128
  6.5 实验结果及分析  128-135
    6.5.1 实验设计  128-129
    6.5.2 2D 可视化实验  129-132
    6.5.3 人脸图像检索实验  132-135
  6.6 本章小结  135-136
7 本文工作总结及展望  136-139
  7.1 全文工作总结  136-138
  7.2 后续工作展望  138-139
致谢  139-140
参考文献  140-150
附录  150-156
  A. 作者在攻读学位期间发表和即将发表的论文目录  150
  B. 已投稿文章目录  150-151
  C. 作者在攻读学位期间参与的科研项目目录  151
  D. 作者在攻读学位期间取得的科研成果目录  151-152
  E. 英汉术语对照表  152-156

图嵌入框架下流形学习理论及应用研究

内容摘要

全文目录

相似论文