学位论文 > 优秀研究生学位论文题录展示

基于稀疏高斯过程回归的半监督分类的序贯训练方法

作　者: 黄荣清
导　师: 孙仕亮
学　校: 华东师范大学
专　业: 计算机应用技术
关键词: 半监督分类高斯过程信息向量机(IVM) 稀疏高斯过程回归序贯训练
分类号: TP18
类　型: 硕士论文
年　份: 2012年
下　载: 167次
引　用: 0次
阅　读: 论文下载

内容摘要

本文分别对信息向量机(Informative Vector Machine:IVM)算法,高斯过程回归(Gaussian Process Regression:GPR)算法进行了理论和算法上的研究,最后结合IVM算法和稀疏高斯过程回归算法进行改进,提出了一个可以应用到大规模数据集上的半监督分类的序贯训练方法。在实际应用中,半监督学习常常需要处理大量的未标注数据。目前已有的很多半监督学习方法,例如本文中所关注的基于高斯过程的半监督学习方法,往往涉及到矩阵的求逆运算,从而导致算法的计算复杂度达到样本总数的三次方之高。如此高的计算代价,使得相应的方法无法直接应用到大规模数据集上。但是,如果半监督学习方法不能在大规模数据的情形下很好地应用的话,其在半监督分类上的实用性将很难令人信服。在机器学习应用领域,高斯过程回归方法是一种非常重要的贝叶斯方法,已经被广泛应用到半监督学习任务中。为了克服很多半监督学习方法因为计算复杂度高而难以扩展到大规模数据的缺点,本文提出了序贯训练方法。它是已有的稀疏高斯过程回归模型的改进,每次只处理整个大数据集的一部分数据。大致做法如下：首先用一部分数据训练出一个稀疏高斯过程分类器；然后用保留西来的代表数据点和新加的一部分数据继续训练稀疏高斯过程分类器；如此循环下去,直到所有的未标注样本都得到它们的标签为止,从而实现大规模数据的半监督分类算法。除了具有处理大规模数据的优点之外,序贯训练方法还可以适用于在线学习情形下训练数据不断增多的情况。序贯训练方法理论简单并且容易实现。而且模型的超参数都可以通过最大化边缘似然函数直接最优化得到,不需要使用到计算复杂的交叉验证技术。在8个真实的数据集上验证此序贯训练方法和另外两种稀疏半监督分类算法,实验结果表明,该序贯训练方法比非序贯训练方法取得更好的分类结果。此外,稀疏度量学习是最近两年来机器学习领域研究的热点问题。之前我们已经研究过稀疏核回归模型在短期交通流预测的应用。在本文的最后,将简单介绍稀疏核回归模型及其在交通流预测上的应用,并指出其与序贯训练方法之间的联系。

全文目录

摘要  6-8
ABSTRACT  8-10
目录  10-12
第一章绪论  12-17
  1.1 论文的研究背景  12-14
  1.2 论文的研究目标  14-15
  1.3 论文的组织结构  15-17
第二章半监督学习的理论研究  17-22
  2.1 半监督学习的基本原理  17-18
  2.2 目前的应用领域  18-21
    2.2.1 常用的半监督学习算法  18
    2.2.2 混合生成模型的最大期望算法  18-19
    2.2.3 自训练算法  19
    2.2.4 协同训练算法  19-20
    2.2.5 直推式支持向量机  20-21
    2.2.6 基于图的半监督学习  21
  2.3 本章小结  21-22
第三章稀疏半监督学习  22-33
  3.1 稀疏半监督学习  22-23
  3.2 最大间隔聚类思想  23-24
  3.3 高斯过程学习  24-28
    3.3.1 高斯过程  24-25
    3.3.2 高斯过程的实现  25-28
  3.4 Assumed Density Filtering近似技术  28-30
  3.5 Informative Vector Machine(信息向量机)  30-32
    3.5.1 信息向量机  30-31
    3.5.2 IVM的实现  31-32
  3.6 本章小结  32-33
第四章基于稀疏高斯过程的半监督分类的序贯训练方法  33-44
  4.1 基于高斯过程的稀疏半监督学习  33-35
  4.2 NCNM(Null Category Noise Model:0类噪声模型)算法  35-37
    4.2.1 有序分类模型  35-36
    4.2.2 0类噪声模型  36-37
  4.3 SSuGPs(基于稀疏高斯过程的半监督分类)算法  37-40
    4.3.1 基于最大间隔思想的迭代聚类算法  38-39
    4.3.2 SSuGPs算法的实现  39-40
  4.4 基于SSuGPs的半监督分类的序贯训练方法  40-43
    4.4.1 Se_SSuGPs算法  41-43
  4.5 本章小结  43-44
第五章算法实验  44-48
  5.1 实验数据集介绍  44
  5.2 实验结果  44-46
  5.3 实验结果讨论  46-47
  5.4 本章小结  47-48
第六章总结与展望  48-50
攻读硕士学位期间发表的学术论文  50-51
参考文献  51-54
致谢  54-56
附录  56-62
  1. 稀疏核回归模型在交通流预测的应用  56-62
  2. 与本文的关系  62

相似论文

基于高斯过程的在线建模问题研究,TP181
基于图的结构化图像特征提取与跟踪,TP391.41
基于EMD和高斯过程回归组合模型的短期电力负荷预测方法研究,TM715
半监督联合训练分类方法研究及其应用,TP311.13
分类模型的不匹配问题及其解决方法,TP181
基于半监督分类的入侵检测系统模型研究,TP393.08
聚类技术及其应用研究,TP311.13
因子分析多元统计方法在过程监控中的应用研究,TP277
离散正则化方法在草场检测上的研究与应用,TP274
快速的包分类算法的研究,TP393.01
半监督自训练分类模型的研究与实现,TP181
基于支持向量机的数据挖掘应用研究,TP311.13
基于高斯过程的时间序列分析,O211.61
强化学习维数灾问题解决方法研究,TP18
基于高斯过程回归的翼型快速设计研究,V224
短时交通流预测模型及预测方法的研究,TP399-C6
机器学习在软测量建模方面的若干应用,TP181
Rosenblatt过程的逼近及其相关分析,O211.6
几类高斯过程的Karhunen-Loève展开及再生核希尔伯特空间,O211.6
高斯过程协方差函数的正定性与Karhunen-Loeve展开,O211.6