学位论文 > 优秀研究生学位论文题录展示

BP神经网络中一种逃离局部极小点的方法研究

作　者: 文冬林
导　师: 张明义；傅家祥
学　校: 贵州大学
专　业: 计算机应用技术
关键词: BP算法 Sigmoid函数 价值函数 饱和区域 不协调 逃离局部极小点 全局极小点
分类号: TP183
类　型: 硕士论文
年　份: 2008年
下　载: 122次
引　用: 4次
阅　读: 论文下载
 

内容摘要


BP(Back-Propagation)算法是现在用得最多的一种神经网络学习算法,由于它是基于最速下降方法,它有收敛速度慢、容易陷入局部极小点等缺点,这限制了它的应用范围。本文从标准BP算法容易陷入局部极小点这个问题着手,分析其容易陷入局部极小点的原因,即网络神经元的转换函数Sigmoid函数存在一个饱和区域,在此区域中网络节点的输入变化大但是其输出变化极小,甚至变化可以忽略不计,由此产生了网络的输出对输入的敏感性极小,网络的输出和输入不协调,网络陷入局部极小点。所以本文提出了一种改进价值函数,使价值函数不仅与输出层的输出有关还与隐藏层的输出有关,从而加大网络对输入的敏感性,使网络的输出和输入之间尽可能协调,使其能快速逃离局部极小点,收敛到全局最小点。然后根掘价值函数的性能曲面,对改进的BP算法的各参数(因子)在几种特殊情况下进行了讨论,并给出了迭代过程中最优参数的计算方法。在文章的最后对扩展的异或问题进行了仿真实验,用改进BP算法和标准带动量因子的BP算法与模拟退火算法进行了对比,对比结果表明:标准的BP算法只能确保收敛到极小点,但不能确定是局部极小点还是全局极小点,改进的BP算法能确保收敛到全局极小点;改进的BP算法比模拟退火算法的收敛速度快很多。因此,这种改进的方法能加快收敛速度并收敛到全局极小点,达到了期望的效果。

全文目录


摘要  5-6
Abstract  6-7
第1章 绪言  7-17
  1.1 人工神经网络的历史、特点及现状  7-13
    1.1.1 人工神经网络的历史  7-11
    1.1.2 人工神经网络的特点  11-12
    1.1.3 人工神经网络研究的现状  12-13
  1.2 BP神经网络研究的内容及其应用  13-14
  1.3 BP神经网络在国内外研究现状及本文的研究内容  14-17
第2章 人工神经网络模型介绍  17-32
  2.1 生物神经元模型  17-18
  2.2 人工神经元模型  18-20
  2.3 几种典型的神经网络结构  20-32
    2.3.1 感知器模型  20-22
    2.3.2 BP神经网络  22-24
    2.3.3 径向基函数网络  24-25
    2.3.4 自组织人工神经网络  25-27
    2.3.5 反馈神经网络  27-28
    2.3.6 模糊神经网络  28-32
第3章 BP神经网络原理  32-47
  3.1 BP神经网络的拓扑结构  32-33
  3.2 BP算法的基本原理  33-37
    3.2.1 神经网络的基本组成单元  33
    3.2.2 神经网络的学习规则  33-34
    3.2.3 BP神经网络的基本原理  34-37
  3.3 BP神经网络的性能曲面和最优点  37-41
    3.3.1 BP神经网络的性能曲面  37-39
    3.3.2 BP神经网络的最优解  39-41
  3.4 BP神经网络的结构的选择  41-43
    3.4.1 隐藏层数的选择  41
    3.4.2 隐藏层节点数的选择  41-43
  3.5BP 神经网络样本数据的预处理  43-44
    3.5.1 样本集的选取  43-44
    3.5.2 样本数据的归一化  44
  3.6 BP神经网络的训练  44-45
  3.7 BP神经网络的优缺点  45-47
第4章 改进BP神经网络  47-56
  4.1 饱和现象  47-48
  4.2 价值函数的改进  48-49
  4.3 改进的BP算法  49-56
    4.3.1 改进BP算法的学习法则  49
    4.3.2 改进BP算法的权值凋整的求解  49-51
    4.3.3 迭代过程中最优参数的选择  51-56
第5章 实验结果及其对比分析  56-60
  5.1 仿真实验  56
  5.2 实验结果对比分析  56-60
    5.2.1 改进BP算法和标准BP算法对比结果分析  56-58
    5.2.2 改进BP算法和模拟退火算法对比结果分析  58-60
第6章 总结与展望  60-62
  6.1 总结  60-61
  6.2 展望  61-62
致谢  62-63
参考文献  63-66
附录  66-67

相似论文

  1. 船用蒸汽动力装置调节/保护多目标控制问题研究,U664.11
  2. 海量多数据库集成系统的Mediator和Wrapper机制的设计与实现,TP311.13
  3. 智能家居系统中ZigBee节点的研究,TN929.5
  4. 一种新型模块化自重构机器人的研究,TP242.2
  5. 胶南市中等职业教育与经济协调发展研究,G719.2
  6. 中国海洋管理体制改革模式研究,D630
  7. 三坊七巷旅游景区与周边环境协调度评价研究,X820.3
  8. 洛阳市土地利用与生态环境建设协调研究,X171
  9. 城市土地集约利用与生态环境协调发展研究,X24
  10. 傣族生态文化及其法律保护研究,D922.6
  11. 和谐社会视域下节庆体育与农村社会协调发展的研究,G812.42
  12. 试论利益协调对城市社区人归属感的促进,D669.3
  13. 政府与NGO应对灾害性突发公共事件协调机制的构建,D632.9
  14. 中小学教师教学权和学生评教权的冲突与协调,G632.4
  15. 中海油工程项目集成化系统管理研究,F426.22
  16. 当代中国农村义务教育目标定位探析,G522.3
  17. 分布式事务处理协议的研究与应用,TP311.13
  18. 基于邻域关系的模糊决策系统约简与规则获取,TP18
  19. 国际贸易、本地市场效应与贸易条件：中国的经验,F224
  20. 西藏地区建筑色彩的研究,TU115
  21. 信访与司法权的冲突与协调,D926

中图分类: > 工业技术 > 自动化技术、计算机技术 > 自动化基础理论 > 人工智能理论 > 人工神经网络与计算
© 2012 www.xueweilunwen.com