学位论文 > 优秀研究生学位论文题录展示

EM算法及其改进在混合模型参数估计中的应用研究

作　者: 连军艳
导　师: 郭元术
学　校: 长安大学
专　业: 交通信息工程及控制
关键词: 混合模型极大似然估计 EM算法最优分支数遗传算法
分类号: U491
类　型: 硕士论文
年　份: 2006年
下　载: 845次
引　用: 13次
阅　读: 论文下载

内容摘要

有限混合模型是分析复杂现象的一个灵活而强有力的建模工具，它提供了用简单结构模拟复杂密度的一个有效方法，给出了模拟同质性和异质性的一个自然框架和半参数结构。 EM算法为有限混合模型的极大似然估计提供了一个标准框架。本文简单推导了有限混合高斯分布的EM算法，并针对其收敛速度慢的缺点设计了一种有效选取参数初始值的方法，数值实验表明，该方法有助于EM算法以较快的速度在参数真值附近收敛。 EM算法思想简单，易于实现。但是，EM算法往往获得的只是一个局部最优解，这是因为它本质上是一个迭代算法，只能保证达到局部最优，而遗传算法具有强大的全局搜索能力，因此，本文将采用遗传算法来改进EM算法，提出一种以遗传算法为主、结合EM迭代算法的混合算法(即GA_EM算法)。在前面的研究中，我们总是提前定义一个混合模型的分支数，但在大多实际应用中，最优分支数是未知的，所以为混合模型选择一个最优分支数是一个相当重要又困难的问题。本文将使用GA_EM算法来学习未知支数的多元高斯混合模型，算法中使用MDL准则作为选择最优分支数的信息准则。采用EM算法和遗传算法混合编程的目的是为了更好地利用两种算法各自的优点，基于随机搜索优化技术遗传算法的种群极大地拓展了EM算法的搜索空间，有效地降低了基本EM算法对初始值的依赖程度，改善了其收敛到局部最大值的缺陷。数值实验也表明，GA_EM算法不仅继承了EM算法的单调收敛性，对模型参数初始值也更加稳健：1)在同样的迭代终止条件下，GA_EM算法能够得到比EM算法更好的MDL值。2)GA_EM算法克服了EM算法选择最优分支数的正确率会随着分支数的增加而迅速降低的缺陷。

全文目录

第一章研究背景  7-12
  1.1 有限混合模型的研究现状  7-8
  1.2 EM算法简介  8-9
  1.3 本文的主要工作  9-12
第二章 EM算法  12-18
  2.1 EM算法概述  12-13
  2.2 EM算法的主要性质  13-14
  2.3 EM算法的改进版本  14-17
    2.3.1 ECM算法  15
    2.3.2 PX-EM算法  15-17
  2.4 小结  17-18
第三章 EM算法在混合模型参数估计方面的应用  18-33
  3.1 有限混合模型的定义  18-19
  3.2 有限混合模型密度估计的极大似然方法  19-21
  3.3 应用EM算法于高斯混合模型  21-25
  3.4 试验分析  25-32
    3.4.1 基本EM算法在高斯混合模型参数估计方面的应用  25-29
    3.4.2 基于K-均值法初始化的EM算法  29-32
  3.5 小结  32-33
第四章基于遗传算法的改进EM算法(GA-EM算法)  33-61
  4.1 估计混合模型最优分支数的方法  33-37
    4.1.1 主要方法及简要评述  34-35
    4.1.2 模型选择的信息准则  35-37
  4.2 遗传算法的基本知识  37-39
    4.2.1 遗传算法的描述  37-38
    4.2.2 遗传算法的特点  38
    4.2.3 遗传算法设计  38-39
    4.2.4 本章的主要研究内容  39
  4.3 基于遗传算法的改进EM算法(GA-EM算法)  39-46
    4.3.1 估计混合模型分支数的MDL-GA-EM算法  41
    4.3.2 将MDL-GA-EM算法用于未知支数的高斯混合模型的参数估计  41-46
  4.4 试验分析：EM算法和GA-EM算法的比较  46-60
    4.4.1 仿真数据1  47-55
    4.4.2 仿真数据2  55-57
    4.4.3 GA-EM算法中有关参数对算法性能的影响  57-60
  4.5 小结  60-61
第五章总结与展望  61-63
参考文献  63-67
攻读硕士期间发表的论文  67-68
致谢  68

EM算法及其改进在混合模型参数估计中的应用研究

内容摘要

全文目录

相似论文