学位论文 > 优秀研究生学位论文题录展示

最大熵方法及其在自然语言处理中的应用

作　者: 周雅倩
导　师: 吴立德
学　校: 复旦大学
专　业: 计算机软件
关键词: 最大熵方法最大熵模型自然语言处理特征选择特征匹配
分类号: TP391.1
类　型: 博士论文
年　份: 2005年
下　载: 1603次
引　用: 14次
阅　读: 论文下载

内容摘要

近年来,计算机技术得到了飞速的发展,机器的存储量越来越大,运算速度越来越快,而价格却越来越便宜,这样的客观条件推动了基于语料库的统计自然语言处理方法成为目前自然语言处理研究领域的一个热点。最大熵方法是一种基于统计的机器学习方法,近10年来,成功应用于自然语言处理的许多领域,并且都接近或达到最佳水平。所谓最大熵方法就是遵循最大熵原则建模,也就是选择这样的一个统计概率模型:在满足约束的模型中选择熵最大的那个。最大熵方法的优点在于它有简单的哲学原理以及数学推理作为基础,在最大熵模型这个统一的框架下,非常方便的使用多种特征,而且特征之间没有独立性假设,模型表达能力强。它的缺点是训练速度非常慢,耗资源。在这篇论文中,我们首先介绍最大熵方法的基本原理,数学推导和基本算法。然后分别从训练和执行两个方面提出快速方法:选择性增益计算方法和稀疏特征树方法。选择性增益计算是一种快速的特征选择方法,它能使特征选择的速度提高2到3个数量级。稀疏特征树是一种高效的特征集合表示方法,基于稀疏特征树的特征匹配算法的时间复杂度与特征个数的对数成正比。最后介绍我们实现的最大熵通用工具包,以及把最大熵方法用于自然语言处理的一些实践。

全文目录

第1章引言  8-13
  1.1 自然语言处理现状  8-10
    1.1.1 统计自然语言处理  9-10
  1.2 最大熵方法的历史与现状  10-12
    1.2.1 最大熵方法的历史  10
    1.2.2 主要研究方向和进展  10-12
    1.2.3 最大熵方法在自然语言处理中的应用  12
  1.3 论文组织  12-13
第2章最大熵方法  13-30
  2.1 最大熵方法概述  13-21
    2.1.1 一个例子  13-14
    2.1.2 条件最大熵模型  14-15
    2.1.3 模型框架  15-17
    2.1.4 特征  17-19
    2.1.5 最大熵原则的数学表示  19
    2.1.6 参数形式  19-21
    2.1.7 最大似然估计(MLE)  21
  2.2 模型选择  21-25
    2.2.1 GIS算法  22-24
    2.2.2 IIS算法  24
    2.2.3 SCGIS算法  24-25
  2.3 特征选择  25-29
    2.3.1 基于频数阈值的特征选择  27-28
    2.3.2 增量式特征选择  28-29
      2.3.2.1 IFS算法  28-29
      2.3.2.2 选择性增益计算(SGC)算法  29
  2.4 本章小结  29-30
第3章快速特征选择方法  30-47
  3.1 特征选择简介  30-31
  3.2 增量式特征选择  31-34
    3.2.1 IFS算法  32-34
  3.3 选择性增益计算的特征选择  34-40
    3.3.1 假设  35
    3.3.2 实验观察  35-37
    3.3.3 SGC算法描述  37-39
    3.3.4 初始增益的计算  39
    3.3.5 LA-SGC算法  39-40
  3.4 实验  40-43
  3.5 SGC算法和频数阈值方法的组合  43-46
  3.6 本章小结  46
  申明  46-47
第4章高效特征匹配方法  47-67
  4.1 条件最大熵执行系统  47-48
  4.2 特征的表示  48-50
  4.3 特征匹配  50-51
  4.4 特征树  51-55
    4.4.1 特征树的生成  53-54
    4.4.2 特征树的查找  54-55
  4.5 稀疏特征树  55-60
    4.5.1 稀疏特征树的生成  57-59
    4.5.2 稀疏特征树的查找  59-60
  4.6 实验分析  60-66
    4.6.1 特征匹配时间分析  61-62
    4.6.2 比较特征匹配时间  62-64
    4.6.3 特征树生成的时空复杂性分析  64-66
  4.7 比较与讨论  66-67
第5章应用  67-81
  5.1 通用最大熵工具  67-70
    5.1.1 训练样例的表示  68-69
    5.1.2 训练系统选项  69
    5.1.3 执行系统  69-70
  5.2 基于最大熵方法的自然语言处理工具  70-74
    5.2.1 英文断句  71-72
    5.2.2 英文词性标注  72
    5.2.3 基本短语识别  72-74
      5.2.3.1 中文基本短语识别  73-74
      5.2.3.2 英文基本短语识别  74
  5.3 指代消解  74-78
    5.3.1 属性计算  75-76
    5.3.2 训练与执行  76-77
    5.3.3 实验结果  77-78
  5.4 QA系统置信度评分算法  78-80
  5.5 本章小结  80-81
第6章总结与展望  81-83
  6.1 总结  81
  6.2 展望  81-83
参考文献：  83-88
攻读博士期间主要工作  88-89
致谢  89-91
论文独创性声明  91
论文使用授权声’明  91

最大熵方法及其在自然语言处理中的应用

内容摘要

全文目录

相似论文