学位论文 > 优秀研究生学位论文题录展示

一种在深度结构中学习原型的分类方法

作　者: 殷力昂
导　师: 俞勇
学　校: 上海交通大学
专　业: 计算机应用技术
关键词: 人工神经网络 深度网络 原型自动编码机 深度原型网络
分类号: TP18
类　型: 硕士论文
年　份: 2012年
下　载: 181次
引　用: 0次
阅　读: 论文下载
 

内容摘要


人工智能的一个根本任务是对我们的世界进行建模,抽取必要的语义信息,并以此来展现这个世界。例如从基本的像素点到人类可以理解的抽象语义概念这样一个复杂任务,中间需要经历不同层次的抽象(非线性映射),每层的映射结果在更高的层次被利用,因此这些映射一同形成了一个深度网络结构。深度网络表达了自动的多层次特征抽取的学习结构,它的一个代表是深度(多层)人工神经元网络。深度人工神经元网络自底向上地逐层抽取特征,在最上层对实例分类,采用反向传播算法来更新整体网络权重,以此达到更好的分类效果。近年来研究者提出的无监督预训练步骤,使得网络整体取得了更好的学习效果。无监督的预训练算法,从根本上来说是对特征进行预抽取。但是,真实世界的数据通常结构复杂并且含有噪声,无监督的训练方法抽取的特征并不能很好地反映数据特性。我们希望深度网络学习的任务,大多数具有很强的目的性,典型的例子就是分类,因此针对特定任务,我们需要适当地引导计算机进行有意义的特征抽取。另一方面,人们需要机器学习的结果是可以理解的,而不仅仅只是一个类别标记。本文提出了在深度网络中采用原型学习的算法,并且把该算法用于分类问题。我们提出原型自动编码机作为深度网络结构的基本单元。在原型编码机中,含有背景噪声的数据作为输入,通过中间隐藏层在输出端拟合对应原型,这样可以指导编码机学习到噪声实例中有效的特征,并且利用特征用来重构原型。为了进一步利用深度网络的强大表达能力,本文提出通过自下向上地叠加原型自动编码机来学习不同层次的特征表达,这样就构成了原型深度网络。为了验证原型深度网络的效果,我们在含有背景噪声的MNIST数据集与矩形识别数据集上进行实验,比较了各种典型的深度网络对于噪声数据的处理能力。实验结果表明基于原型的深度网络具有较强的特征抽取能力,在实验中取得了较高的分类精度。

全文目录


摘要  3-5
ABSTRACT  5-7
目录  7-10
表格索引  10-11
插图索引  11-12
第一章 引言  12-18
  1.1 本章小结  16-18
第二章 背景知识  18-24
  2.1 深度学习与多层人工神经网络  18-20
  2.2 无监督预训练  20-21
  2.3 自动编码机  21
  2.4 深度网络用于分类和特征抽取  21-22
  2.5 本章小结  22-24
第三章 相关工作  24-30
  3.1 原型分类与学习  24
  3.2 深度信念网络与叠层自动编码机  24-26
  3.3 降噪自动编码机  26-27
  3.4 深度网络中的半监督映射  27
  3.5 本章小结  27-30
第四章 原型自动编码机  30-40
  4.1 自动编码机  30-31
  4.2 降噪自动编码机  31-32
  4.3 原型自动编码机  32-34
    4.3.1 问题描述  32-33
    4.3.2 基本结构  33-34
  4.4 在分类任务中使用原型自动编码机  34-38
    4.4.1 原型自动编码机  34-36
    4.4.2 重构原型自动编码机  36-37
    4.4.3 多任务原型自动编码机  37-38
  4.5 原型自动编码机分析  38-39
  4.6 本章小结  39-40
第五章 深度原型网络  40-46
  5.1 利用特征再学习  40-41
  5.2 深度原型网络  41-42
  5.3 在分类任务中使用深度原型网络  42
  5.4 本章小结  42-46
第六章 原型学习实验  46-58
  6.1 实验数据集  46-48
  6.2 实验设置  48-49
  6.3 背景噪声对分类效果的影响  49-50
    6.3.1 实验方法  49
    6.3.2 结果与分析  49-50
  6.4 原型自动编码机用于分类  50-51
    6.4.1 实验方法  50
    6.4.2 结果与分析  50-51
  6.5 深度原型网络用于分类  51-52
    6.5.1 实验方法  51
    6.5.2 结果与分析  51-52
  6.6 原型网络在矩形数据集合上的分类效果  52-54
    6.6.1 实验方法  52
    6.6.2 结果与分析  52-54
  6.7 原型网络的特征抽取  54-56
    6.7.1 实验方法  54
    6.7.2 结果与分析  54-56
  6.8 原型网络的原型重构效果  56-57
    6.8.1 实验方法  56
    6.8.2 结果与分析  56-57
  6.9 本章小结  57-58
全文总结  58-60
附录A 采用交叉熵作为输出的网络权值推导  60-62
附录B 采用Softmax 作为输出的网络权值推导  62-64
参考文献  64-70
致谢  70-72
攻读学位期间发表的学术论文目录  72-74

相似论文

  1. 压气机优化平台建立与跨音速压气机气动优化设计,TH45
  2. 基于遗传算法优化的BP网络对生物柴油制备工艺的优化,TE667
  3. 兖州矿区植物波谱变异与重金属胁迫特征研究,X173
  4. 企业安全效益评价及发展对策研究,F272;F224.5
  5. 酮类化合物的3D-QSPR研究,O641
  6. 神经元MOS管在神经网络中的应用研究,TP183
  7. 基于神经网络盲均衡优化算法的研究,TN911.7
  8. 产品功能疲劳对客户资产的影响研究,F224
  9. 烟煤掺烧印尼煤的动力配煤模型研究,TK227.1
  10. 面向电力营销服务的客户身份自动识别系统设计,TP391.41
  11. 浆体管道输送系统的过程监控与故障诊断,F426.1
  12. 考虑光伏发电的短期负荷预测,TM715
  13. 直升机主减速器故障诊断与故障预测技术研究,V267
  14. 基于DM642的红外运动目标检测与跟踪技术实现,TP391.41
  15. 人工神经网络在母线保护中的应用,TP183
  16. 浙商企业经营风险预警评价指标体系研究,F279.27
  17. 基于RPROP人工神经网络对验证码识别的研究与实现,TP393.08
  18. 基于视觉特性及人工神经网络的图像压缩,TP391.41
  19. 人工神经网络在物探方法预测含水层含水量中的应用,P641.7
  20. 基于地面沉降的风暴潮等级评估与灾情评价,P642.26

中图分类: > 工业技术 > 自动化技术、计算机技术 > 自动化基础理论 > 人工智能理论
© 2012 www.xueweilunwen.com