学位论文 > 优秀研究生学位论文题录展示

基于马尔可夫链蒙特卡罗方法的RBM学习算法改进

作　者: 胡洋
导　师: 俞勇
学　校: 上海交通大学
专　业: 计算机应用技术
关键词: 机器学习神经网络深度学习马尔可夫链蒙特卡罗限制玻尔兹曼机
分类号: O211.62
类　型: 硕士论文
年　份: 2012年
下　载: 712次
引　用: 0次
阅　读: 论文下载

内容摘要

深度学习(Deep Learning)是近年来新兴的一门机器学习子领域。该领域的研究内容主要是探讨包含多层结点的人工神经网络的建模和学习问题。这种‘‘深度神经网络’’由于在信息处理方式上更加类似于人类大脑,因此被认为有希望更好地解决一些复杂的智能问题。目前最有效的深度学习算法是将一个深度神经网络视为多个限制玻尔兹曼机(Restricted Boltzmann Machine或RBM)的层叠进行逐层学习。由于RBM相对比较容易学习,因此这种算法克服了直接对多层网络进行训练的效率问题。可见,RBM的机器学习问题在深度学习领域占据着核心地位。在本课题中,我们将进一步探讨RBM的学习问题。本文的研究内容和创新性工作主要包括:(1)总结了近年来兴起的各种RBM学习算法,并发现马尔可夫链蒙特卡罗方法(MCMC)对提升RBM学习效果具有广阔的前景;(2)我们探讨了现有方法的主要缺点——仅仅将MCMC作为一个工具使用,并没有充分利用机器学习过程的特点反过来加强MCMC算法;(3)我们提出了一种MCMC和机器学习相互利用的思想,并设计了一种针对机器学习的MCMC算法;(4)我们的实验证明该算法在传统的效率、似然度评价指标上明显优于现有的方法;(5)我们提出了包括模式集内容和收敛性等多项独创的新指标。随着深度学习领域的兴起,基于MCMC的机器学习算法将变得越来越重要。随着MCMC和机器学习联系更加紧密,针对机器学习而专门设计的MCMC算法将成为未来的一个研究热点。而我们的工作首次提出和验证了这个思想,并证明了它的潜力,为这个新方向探索了一条可行的道路。

全文目录

摘要  3-4
ABSTRACT  4-10
第一章绪论  10-20
  1.1 研究背景  10-16
    1.1.1 第一代神经网络  10-11
    1.1.2 第二代神经网络  11-13
    1.1.3 深度神经网络  13-16
  1.2 RBM 及其学习算法  16-18
  1.3 论文的研究内容与贡献  18-19
  1.4 论文组织结构  19
  1.5 本章小结  19-20
第二章马尔可夫链蒙特卡罗方法  20-33
  2.1 马尔可夫链  21-22
  2.2 正则分布  22-23
  2.3 Metropolis-Hastings 采样  23-25
  2.4 Gibbs 采样  25-26
  2.5 MCMC 可能面临的问题  26-27
  2.6 基于回火的MCMC 算法  27-30
    2.6.1 Simulated Tempering 算法  27-29
    2.6.2 Tempered Transition 算法  29-30
    2.6.3 Parallel Tempering 算法  30
  2.7 模式跳转MCMC 算法  30-32
  2.8 本章小结  32-33
第三章 RBM 及其学习和评估算法  33-41
  3.1 RBM 模型定义  33-35
  3.2 RBM 的学习算法  35-38
    3.2.1 Contrastive Divergence  35-36
    3.2.2 Stochastic Maximum Likelihood  36
    3.2.3 Persistent Contrastive Divergence with Fast Weight  36-37
    3.2.4 Tempered Stochastic Maximum Likelihood  37-38
  3.3 RBM 的评估算法  38-40
    3.3.1 重构误差  38-39
    3.3.2 Annealed Importance Sampling  39-40
  3.4 本章小结  40-41
第四章基于自适应模式跳转MCMC 的RBM 学习算法  41-52
  4.1 AMH 算法的基本思想  41-42
  4.2 准备工作  42-43
    4.2.1 模式状态的定义  42
    4.2.2 模式状态的有限性  42-43
    4.2.3 模式集定义  43
  4.3 模式跳转提议  43-46
  4.4 维护模式集  46-50
    4.4.1 固定分布  46-48
    4.4.2 变化分布  48-50
  4.5 AMH 在学习RBM 上的具体应用  50-51
  4.6 本章小结  51-52
第五章实验与分析  52-63
  5.1 数据集  52-53
  5.2 实验设置和符号定义  53
  5.3 小规模实验结果  53-55
  5.4 跳转成功率实验  55-57
  5.5 常规似然度实验  57-58
  5.6 模式集内容实验  58-60
  5.7 收敛性分析  60-62
  5.8 本章小结  62-63
第六章总结与展望  63-65
附录A 参考文献  65-71
附录B 致谢  71-72
附录C 攻读学位期间发表的学术论文目录  72-75
附件  75

基于马尔可夫链蒙特卡罗方法的RBM学习算法改进

内容摘要

全文目录

相似论文