学位论文 > 优秀研究生学位论文题录展示

日语词法分析及在跨语言信息检索中的应用研究

作　者: 王晶
导　师: 赵铁军
学　校: 哈尔滨工业大学
专　业: 计算机科学与技术
关键词: 跨语言信息检索 日文词法分析 查询翻译 名实体识别 后处理
分类号: TP391.1
类　型: 硕士论文
年　份: 2008年
下　载: 43次
引　用: 0次
阅　读: 论文下载
 

内容摘要


随着国际上交流与合作的不断加强,人们对跨语言信息处理的需求越来越多。日本与我国关系密切,因此对日文信息的获取和处理是非常有必要的。日文词法分析是日文信息处理的基础,在跨语言信息检索、机器翻译、信息抽取等实际应用领域都扮演着重要的角色。本文主要对日文词法分析、名实体识别以及它们在跨语言信息检索中的应用进行研究,具体的研究内容主要包括以下几个方面:1.对日文进行分词和词性标注研究。针对日文分词中的歧义切分问题,本文采用最大概率分词法,利用Ipadic词典对日文文本进行粗切分,并用动态规划算法寻找最佳分词路径。针对日文分词中的未登录词问题,提出基于字的识别方法。用HMM实现日文词性标注的训练和标注过程,并对稀疏数据进行平滑。标注过程中先对词串进行以单标记词为边界的划分,然后用Viterbi算法寻找最佳词性标记序列,降低了处理的复杂性。在EDR语料上的测试,分词F值为95.76%,词性标注F值为96.70%。2.对日文名实体识别及其后处理技术的研究。本文采用最大熵模型进行日文名实体识别研究,采用的主要特征有词形特征、词性特征、词典特征和上下文特征。针对统计方法对语料依赖性强的问题,本文提出改进的基于TBL的日文名实体识别后处理方法。该方法能针对名实体识别错误自动学习,获取转换规则,并对规则进行优化。实验证明该方法是一种有效的日文名实体识别后处理方法。3.对日英跨语言信息检索中查询翻译方法的研究。考虑到现有资源和系统效率问题,本文采用翻译查询的方法实现日英跨语言信息检索。针对基于词典的查询翻译方法存在的翻译歧义问题,本文采用双语词典与共现模型相结合的查询翻译方法。针对基于词典的翻译方法中词典覆盖度的问题,本文根据日文的特点,采用对词典中不存在的日文人名、地名以及片假名词的音译方法,显著提高了查询翻译的效果。最后,本文利用Lucene工具包构建英文检索模块,实现对英文文档索引和检索的功能。

全文目录


摘要  4-5
Abstract  5-9
第1章 绪论  9-15
  1.1 课题研究的背景和意义  9-10
  1.2 国内外研究现状与分析  10-14
    1.2.1 日语分词及词性标注研究综述  10-12
    1.2.2 日语名实体识别研究综述  12-14
  1.3 本文组织结构  14-15
第2章 日文自动分词与词性标注  15-28
  2.1 引言  15-16
  2.2 日文自动分词  16-20
    2.2.1 最大概率分词法  16-17
    2.2.2 最佳分词路径选择算法  17-18
    2.2.3 未登录词识别  18
    2.2.4 实验结果及分析  18-20
  2.3 日文词性标注  20-26
    2.3.1 HMM 模型  20-22
    2.3.2 词性标注过程  22-24
    2.3.3 模型训练过程  24-25
    2.3.4 数据平滑  25
    2.3.5 实验结果及分析  25-26
  2.4 本章小结  26-28
第3章 日文名实体识别及后处理技术  28-41
  3.1 引言  28-29
  3.2 最大熵模型概述  29-33
    3.2.1 最大熵原理简介  29
    3.2.2 最大熵模型简介  29-32
    3.2.3 特征引入算法  32-33
  3.3 采用的主要特征  33-34
  3.4 日文名实体识别后处理技术  34-39
    3.4.1 TBL 简介  34-35
    3.4.2 改进的TBL 后处理技术  35-39
  3.5 实验结果及分析  39-40
  3.6 本章小结  40-41
第4章 日英跨语言信息检索  41-53
  4.1 引言  41-43
  4.2 日英跨语言信息检索系统的总体构架  43-45
  4.3 基于词典及共现模型的查询翻译  45-47
    4.3.1 基于日英双语词典的查询翻译  45
    4.3.2 基于共现模型的查询翻译  45-47
  4.4 名实体音译方法  47-48
    4.4.1 音译表的构建  47-48
    4.4.2 音译算法描述  48
  4.5 基于Lucene 的信息检索  48-49
    4.5.1 Lucene 工具包简介  49
    4.5.2 单语检索的系统结构  49
  4.6 实验结果与分析  49-52
  4.7 本章小结  52-53
结论  53-54
参考文献  54-58
附录  58-59
攻读硕士学位期间发表的学术论文  59-61
致谢  61

相似论文

  1. 双季戊四醇及其衍生物的合成与工艺研究,TQ223.164
  2. 罗丹明B和罗丹明6G的印迹聚合物制备及性能,O631.3
  3. 超声处理RTM成型酚醛/乙醇在石英纤维表面的竞争吸附,TB332
  4. 基于CCD图像传感器的温度测量技术研究,TH811
  5. 毫米波雷达中频模拟信号源数据产生部分的研究,TN955
  6. 高频雷达复合调制波形设计与处理,TN958.93
  7. 基于FPGA的数字图像处理基本算法研究与实现,TP391.41
  8. 支持XML数据查询的F&B索引结构的研究,TP311.13
  9. 海量多数据库集成系统的查询处理研究,TP311.13
  10. 雾天或背光条件下图像清晰化算法研究及硬件实现,TP391.41
  11. 嵌入式可信计算机系统安全机制的设计与实现,TP309
  12. 词义消歧语料库自动获取方法研究,TP391.1
  13. 舌图像中瘀斑瘀点检测技术研究,TP391.41
  14. FPGA/DSP图像协处理技术及以太网数据传输,TP391.41
  15. 图像实时采集、存储与处理方法研究,TP391.41
  16. 基于嵌入式图像处理单元的运动目标跟踪系统研究,TP391.41
  17. 多线阵CCD视觉测量系统的数据采集与处理,TP274.2
  18. PCI-E数字化仪研制,TP274.2
  19. 机械臂视觉伺服系统的研究,TP242.6
  20. 数字图像处理在集装箱检测中的应用研究,TP274.4
  21. GPS抗干扰技术研究,P228.4

中图分类: > 工业技术 > 自动化技术、计算机技术 > 计算技术、计算机技术 > 计算机的应用 > 信息处理（信息加工） > 文字信息处理
© 2012 www.xueweilunwen.com