学位论文 > 优秀研究生学位论文题录展示

基于维基百科的双语语料挖掘技术研究

作　者: 孟桂国
导　师: 姚建民
学　校: 苏州大学
专　业: 计算机技术
关键词: 维基百科双语网页网页挖掘双语句对统计机器翻译
分类号: TP311.13
类　型: 硕士论文
年　份: 2010年
下　载: 79次
引　用: 0次
阅　读: 论文下载

内容摘要

大规模双语平行或可比较语料库是构建高质量统计机器翻译系统的重要基础资源。目前大规模双语语料库的建设存在着很大的困难,在规模、时效性和领域平衡性等方面还不能满足处理真实文本的需要。本文充分利用维基百科中大量存在的双语平行或可比较资源,研究自动获取的方法并验证其有效性,从而获取满足双语平行或可比较语料。从某个特定的网页中,需要定义一种启发式信息来概括这类多语种平行或可比较文本存在的共同特征,以此作为一个有效的入口,来获取我们关心的资源。维基百科中双语平行或可比较资源是完全存在于两个平行或可比较的单语网页中。本文针对这种资源定义了有效的启发式信息,从而很好地解决了大规模数据的来源问题。网络作者在进行双语平行或可比较网页URL命名时往往具有一定的规律性。本文提出了一种自动发现一个具有URL命名规律性算法,从而从维基百科中找出尽可能多的可信的中英文候选网页配比对。双语平行或可比较的网页文本不同于一般的双语对照文本,其中不仅存在有用的双语对照信息,还存在一定的无关噪音信息等;此外,网页文本中的词汇量也大大超出任何一本双语词典的范围。这些都造成了对双语平行或可比较网页进行句子对齐的难度。本文基于维基百科的网页结构,充分利用双语平行或可比较网页HTML结构相似性这一优点,提出了一种基于标签序列最长公共子串的DOM树对齐改进算法的双语平行或可比较句对的抽取技术,从而取得到了很好的效果。最后,我们实现了上述三个方面的技术,搭建了一个可以在维基百科上自动获取双语平行或可比较语料库的实验平台。

全文目录

中文摘要  4-5
Abstract  5-8
第一章引言  8-22
  1.1 概述  8-15
  1.2 相关技术及资源  15-19
  1.3 主要研究目标和内容  19-21
  1.4 论文组织结构  21-22
第二章基于维基百科的双语语料库挖掘的总体架构  22-26
  2.1 基本流程  22-23
  2.2 任务分析与界定  23-25
  2.3 本章小结  25-26
第三章中英文双语网页URL 获取  26-36
  3.1 研究现状  26
  3.2 网页间平行或可比较语料获取途径  26-27
  3.3 网页解析与去噪声  27-28
  3.4 双语平行或可比较网页URL 命名模板  28-34
  3.5 获取具有 URL 命名相似性的双语候选网页算法  34-35
  3.6 本章小结  35-36
第四章中英文双语平行或可比较网页确认  36-43
  4.1 相关研究  36-37
  4.2 基于最大熵分类器的双语平行或可比较网页获取  37-42
  4.3 本章小结  42-43
第五章中英文双语平行或可比较句对挖掘  43-56
  5.1 相关研究  43-44
  5.2 双语平行或可比较句对挖掘模型  44-48
  5.3 基于网页结构相似性的平行或可比较句对获取  48-55
  5.4 本章小结  55-56
第六章双语语料库挖掘实验平台  56-63
  6.1 主要模块介绍  56-57
  6.2 模块间的数据传递  57-58
  6.3 实验性能评估  58
  6.4 实验与分析  58-61
  6.5 实验成果  61-62
  6.6 本章小结  62-63
第七章总结  63-66
  7.1 总结  63-64
  7.2 下一步工作  64-66
附录一 HTML特殊字符转换表  66-67
参考文献  67-71
攻读学位期间公开发表的论文  71-72
致谢  72-73

基于维基百科的双语语料挖掘技术研究

内容摘要

全文目录

相似论文