学位论文 > 优秀研究生学位论文题录展示

LUCENE中文分词在科研文档全文检索系统的应用研究

作　者: 于雪丽
导　师: 蒋静
学　校: 青岛大学
专　业: 计算机软件与理论
关键词: 全文检索 Lucene 中文分词 文本解析
分类号: TP311.52
类　型: 硕士论文
年　份: 2011年
下　载: 90次
引　用: 1次
阅　读: 论文下载
 

内容摘要


如何快速有效地从海量的信息资源中找到自己所需要的资源,已经成为人们越来越重视的问题。全文检索技术即是可以解决这个问题的主要技术。目前广泛使用的全文检索技术是Lucene工具包。Lucene是一个开源的全文检索引擎组件,在此基础上可以方便地对其进行二次开发来实现全文检索系统。但是Lucene仍有许多不足的地方需要进行改进,特别是在中文分词的处理上。由于中文分词质量的准确与否,将直接影响到用户对搜索结果的满意度,因此中文分词技术在全文检索系统中尤为重要,也是本文研究的关键内容。论文首先阐述了Lucene全文检索的相关技术,阐述了现有的中文分词方法,然后分析了Lucene的两个分析器ChineseAnalyzer和CJKAnalyzer的不足,并提出了基于词典的双向最大匹配分词算法；分析了Lucene对于文档格式支持的局限性,提出了一个通用的文本解析框架。论文的主要工作是分析设计并实现了一个基于Lucene的科研文档全文检索系统。分析了系统的总体架构和功能模块,对系统进行了总体设计和详细设计。针对科研文档格式的多样性,构建了文本解析模块,可以对多格式文档进行解析。系统的中文分析器采用改进的中文分词算法实现。对文本解析模块、中文分析器和系统的性能进行实验分析,通过实验证明,中文分析器的分词效果非常显著,系统的查全率和查准率都达到了用户的满意度。最后,论文对基于Lucene的科研文档全文检索系统进行了分析,总结了本文取得的成果,并对未来进一步的工作内容进行了展望。

全文目录


摘要  2-3
Abstract  3-6
第一章 绪论  6-9
  1.1 研究背景与意义  6
  1.2 本文主要工作  6-7
  1.3 论文的主要创新  7
  1.4 论文结构  7-9
第二章 相关技术研究  9-20
  2.1 全文检索技术  9-12
    2.1.1 全文检索系统  9
    2.1.2 全文检索基本原理  9-11
    2.1.3 全文检索衡量标准  11-12
  2.2 LUCENE全文检索工具包  12-18
    2.2.1 LUCENE系统架构  12-14
    2.2.2 LUCENE数据流  14-15
    2.2.3 LUCENE索引结构  15-16
    2.2.4 LUCENE优势  16-18
  2.3 本章小结  18-20
第三章 全文检索系统中关键技术研究  20-29
  3.1 中文分词研究与改进  20-26
    3.1.1 中文分词简介  20-21
    3.1.2 现有中文分词方法  21-22
    3.1.3 LUCENE中文分词方法  22-23
    3.1.4 改进的中文分词算法  23-26
  3.2 通用的文档解析框架  26-28
    3.2.1 LUCENE支持的文档格式  26
    3.2.2 通用的文档解析框架  26-28
  3.3 本章小结  28-29
第四章 全文检索系统的分析与设计  29-35
  4.1 系统的需求分析  29
  4.2 系统的总体设计  29-31
    4.2.1 总体设计思想  29-30
    4.2.2 系统功能模块图  30-31
  4.3 系统的详细设计  31-34
    4.3.1 系统总体流程图  32-33
    4.3.2 系统用例图  33-34
  4.4 本章小结  34-35
第五章 检索系统的实现与分析  35-51
  5.1 系统开发环境及主要技术  35-37
    5.1.1 系统开发环境  35
    5.1.2 Struts框架  35-37
  5.2 文档解析模块的实现  37-40
    5.2.1 PDF文档解析  37-38
    5.2.2 WORD文档解析  38-40
  5.3 索引模块的实现  40-45
    5.3.1 中文分析器  40-43
    5.3.2 索引的建立  43-44
    5.3.3 索引的优化  44-45
  5.4 检索模块的实现  45-46
  5.5 用户界面模块的实现  46-47
  5.6 实验分析  47-50
    5.6.1 文档解析器分析  47-48
    5.6.2 中文分词性能分析  48-49
    5.6.3 系统性能分析  49-50
  5.7 本章小结  50-51
第六章 总结与展望  51-53
  6.1 总结  51
  6.2 下一步的工作  51-53
参考文献  53-56
攻读学位期间的研究成果  56-57
致谢  57-58

相似论文

  1. 全文检索及相关技术研究,TP391.3
  2. 基于WebGIS和MMS的移动搜索服务系统开发,TP311.52
  3. 消防领域搜索引擎系统的设计与实现,TP391.3
  4. 基于条件随机场的中文分词技术的研究与实现,TP391.1
  5. 基于MVC设计模式的网络服务平台的研究与实现,TP311.52
  6. 主观题自动评分技术研究,TP391.1
  7. 基于观点挖掘的产品可用性建模与评价,F274
  8. Web数据挖掘技术在网络教育论坛中的应用研究,G434
  9. 高校数字化校园Web信息过滤的研究,TP393.09
  10. 基于WebHarvest的中文财经新闻搜索引擎的设计与实现,TP311.52
  11. 中文XML压缩技术研究,TP311.11
  12. 网络智能答疑系统的研究与实现,TP393.09
  13. 仿真资源云存储技术的研究与实现,TP333
  14. 数据库全文检索方法研究及其应用,TP311.13
  15. 企业邮件监管系统的设计与实现,TP393.098
  16. 基于Lucene.Net的全文检索研究与应用,TP391.3
  17. 基于WEB的社区智能医疗服务系统的研究,TP311.52
  18. 企业短信互动系统设计及实现关键技术研究,TN929.53
  19. 基于Web搜索引擎系统的设计与实现,TP391.3
  20. 基于过滤技术的投诉信息智能分析与实现,TP391.1

中图分类: > 工业技术 > 自动化技术、计算机技术 > 计算技术、计算机技术 > 计算机软件 > 程序设计、软件工程 > 软件工程 > 软件开发
© 2012 www.xueweilunwen.com