学位论文 > 优秀研究生学位论文题录展示

高适应性基于实例的机器翻译中关键技术研究

作　者: 任飞亮
导　师: 于戈；姚天顺
学　校: 东北大学
专　业: 计算机软件与理论
关键词: 自然语言处理 机器翻译 基于实例的机器翻译 语言模型 中文分词 指代消解 词义消歧
分类号: TP391.2
类　型: 博士论文
年　份: 2008年
下　载: 107次
引　用: 1次
阅　读: 论文下载
 

内容摘要


互联网是一个真正无国界的媒介。它为来自不同国家、不同地区的人们提供了一个前所未有的可以自由交流、自由表达的信息平台。然而,在这个无国界的世界里还存在着一个巨大的挑战——如果一个普通中国人想到美国或是德国的网站上看一条信息,外语水平必将成为他能否顺利浏览信息内容的必要前提。而这也正是包括我们在内的许多研究机构及开发厂商之所以要大力发展机器翻译系统的原因所在。在本论文中,作者指出一种具有高适应性的基于实例的机器翻译系统构建方法,该翻译系统建立于浅分析基础之上,具有易于构建、便于移植的特点,并能适用于多个语种间的基于实例的机器翻译系统构建,同时,作者围绕该翻译系统构建过程中所使用到的一些关键技术进行了相应研究。本文的主要工作及创新点列举如下。1、提出一种基于自动机状态转换生成的EBMT翻译模型。该模型先用EBMT翻译方法中的匹配模块从语料库中选择一些与输入文本具有一定相似程度的翻译实例,然后对输入文本及翻译实例进行分析,根据分析结果而对它们分配相应的自动机状态,接着根据这些状态构建自动机并进行状态转换,最后根据状态转换的结果进行译文生成。在生成的过程中,使用语言模型来解决译词选择问题。该方法充分利用了EBMT中基于源语言相似的特性和SMT中基于目标语言相似的特性,同时,对于一些特定表达式采用基于规则的翻译技术。总体上讲,这一翻译模型以基于实例的翻译(EBMT)技术为主,用到了一些基于规则的翻译(RBMT)技术和基于统计的翻译(SMT)技术。相关实验证明该方法可以取得较高质量的译文结果。以这种生成方法为主要理论指导,我们参加了第三届中国统计机器翻译研讨会的英汉受限和汉英受限两项机器翻译评测任务,取得了英汉受限评测第五名、汉英受限第七名的成绩。2、针对篇章级的双语资源中指代现象大量存在的问题,提出使用条件随机场(CRFs)和主动学习法(Active Learning)相结合进行指代消解任务的算法,并在该方法中,提出一种瀑布式的分层聚类算法,取得了很好的实验结果。以这些方法为主要理论指导,我们在NIST组织的2007ACE (Automatic Content Extraction)的中文EDR (Entity Detection and Recognize)评测任务中,取得了评测结果第二名的成绩。3、提出一种基于N-gram语言模型进行机器翻译过程中词义消歧的方法,它把可读性作为词义选择的唯一依据。基本观点是：一个正确选择的歧义词的词义序列一定是使句子读起来最通顺的词义序列,并通过N-gram语言模型来评价句子的流利程度。它是一种易于实现的消歧方法,完全不受领域的限制,可充分利用网络上的资源来训练消歧模型,实验结果也表明该方法有效。4、全面系统地进行了基于支持向量机(SVM)的中文分词研究,并在实验中,提出一种动态加权的特征值分配方法,实验结果表明该方法大幅提高了分词性能。5、针对支持向量机进行分词任务研究中存在分类模型训练速度慢、训练出的模型中支持向量多的问题,提出一种通过消除冗余样本来提高训练速度的算法,并对该算法进行了理论证明。实验结果显示,该方法在消除近40%左右的冗余样本后使系统的性能几乎没有下降。6、提出一种基于N-gram的TM(Translation Memory)系统构建方法,该方法具有通用性,不需要任何的语言分析工具。它可以同时满足句子级的精确翻译和子句级的参考译文推荐。基于该方法构建的TM系统既可以方便的做为一个独立的辅助翻译工具,又可以很好的做为我们翻译系统的第一个翻译引擎。实验表明,该方法速度快,可以满足对时间要求较高的应用场合。

全文目录


摘要  5-7
ABSTRACT  7-12
第一章 绪论  12-22
  1.1 机器翻译概述  12-16
    1.1.1 基于规则的机器翻译  12-13
    1.1.2 基于统计的机器翻译  13-15
    1.1.3 基于实例的机器翻译  15-16
  1.2 本文的研究内容  16-19
  1.3 本文的内容安排  19-22
第二章 基于N-GRAM的TM系统  22-28
  2.1 TM概述  23-24
  2.2 基于N-gramTM系统  24-26
    2.2.1 句子级的精确匹配  24-25
    2.2.2 子句子级的推荐  25
    2.2.3 句型的推荐  25-26
  2.3 实验及分析  26
  2.4 本章小结  26-28
第三章 基于支持向量机的中文分词策略  28-48
  3.1 现有常用分词技术  29-30
  3.2 基于支持向量机(SVM)的中文分词  30-35
    3.2.1 支持向量机简介  30
    3.2.2 分词问题定义  30-32
    3.2.3 实验及分析  32-35
  3.3 基于动态加权的支持向量机进行分词  35-41
    3.3.1 实验及分析  36-39
    3.3.2 在SVM框架下计算分词准确率和召回率的一个技巧  39-41
  3.4 在SVM中消除冗余样本  41-45
    3.4.1 基本方法介绍  41-44
    3.4.2 实验及分析  44-45
  3.5 本章小结  45-48
第四章 指代消解策略  48-66
  4.1 前言  49-50
  4.2 条件随机场简介  50-51
  4.3 在CRFs中使用主动学习法  51-52
  4.4 指代消解任务描述  52-58
    4.4.1 训练集构造  53
    4.4.2 特征集  53-55
    4.4.3 聚类算法  55-58
  4.5 实验及分析  58-63
  4.6 本章小结  63-66
第五章 EBMT的匹配策略  66-76
  5.1 一种基于单词的匹配模型  67-70
    5.1.1 句子相似度模型  67-68
    5.1.2 相似句子查找算法  68
    5.1.3 倒排索引表和句子长度表  68-69
    5.1.4 基于倒排索引的相似句子查找  69-70
  5.2 实验及分析  70-71
  5.3 一种改进的二次过滤匹配策略  71-75
  5.4 本章小结  75-76
第六章 基于N-GRAM的EBMT词义消歧  76-86
  6.1 前言  76-77
  6.2 现有常用消歧方法简介  77-80
    6.2.1 有监督消歧  78-79
    6.2.2 基于词典的消歧  79-80
    6.2.3 无监督消歧  80
  6.3 基于N-gram的词义消歧  80-83
    6.3.1 我们所面临的消歧问题描述  80-81
    6.3.2 基于N-gram的消歧方法  81-83
    6.3.3 实验及分析  83
  6.4 本章小结  83-86
第七章 基于自动机状态转换生成的EBMT翻译模型  86-110
  7.1 前言  86-87
  7.2 基于有限状态自动机转换的生成  87-97
    7.2.1 建立连接  88-90
    7.2.2 状态分配  90-93
    7.2.3 译文生成  93-97
  7.3 利用语言模型进行译词选择  97-98
  7.4 特定表达式的翻译  98
  7.5 基于规则的翻译引擎设计  98-99
  7.6 "汉日"双向翻译实验  99-103
    7.6.1 评价指标简介  99-100
    7.6.2 系统资源  100-101
    7.6.3 实验及分析  101-103
  7.7 "汉英"双向翻译实验  103-109
    7.7.1 评测训练语料介绍  104-105
    7.7.2 测试语料介绍  105
    7.7.3 测试结果  105-106
    7.7.4 结果分析  106-109
  7.8 本章小结  109-110
第八章 结论  110-114
  8.1 本文所做的工作  110-111
  8.2 今后的研究工作  111-112
  8.3 关于机器翻译的思考  112-114
    8.3.1 机器翻译与人类翻译  112
    8.3.2 机器翻译研究的发展趋势  112-114
参考文献  114-126
致谢  126-128
攻读博士期间发表的论文  128-129

相似论文

  1. 统计机器翻译中结构转换技术的研究,TP391.2
  2. 词义消歧语料库自动获取方法研究,TP391.1
  3. 面向统计机器翻译的解码算法的研究,TP391.2
  4. 基于条件随机场的中文分词技术的研究与实现,TP391.1
  5. 主观题自动评分技术研究,TP391.1
  6. 基于WebHarvest的中文财经新闻搜索引擎的设计与实现,TP311.52
  7. 中文XML压缩技术研究,TP311.11
  8. 学术主页信息抽取系统的研究,TP393.092
  9. 机器翻译中的高级对齐技术和开发集选择策略研究,TP391.2
  10. 基于自然语言打印机人机交互方法研究与实现,TP11
  11. 企业邮件监管系统的设计与实现,TP393.098
  12. 基于中文维基百科的语义相关度计算的研究与实现,TP391.1
  13. 基于话题的多文档文摘技术研究,TP391.1
  14. 基于丰富特征和多核学习的蛋白质关系抽取,Q51
  15. 基于信息依存语言模型的英汉被动结构对比研究,H314.3
  16. 基于WEB的社区智能医疗服务系统的研究,TP311.52
  17. AraOntoLT：基于阿拉伯语文本的本体学习框架,TP391.1
  18. 基于过滤技术的投诉信息智能分析与实现,TP391.1
  19. 自然语言理解中并列名词歧义消解及其在智能仪器设计领域的应用,TP391.1
  20. 基于词典和概率统计的中文分词算法研究,TP391.1
  21. 面向自然语言处理的汉语句子语义知识库构建研究,H13

中图分类: > 工业技术 > 自动化技术、计算机技术 > 计算技术、计算机技术 > 计算机的应用 > 信息处理（信息加工） > 翻译机
© 2012 www.xueweilunwen.com