学位论文 > 优秀研究生学位论文题录展示

全文检索及相关技术研究

作　者: 林义明
导　师: 战学刚
学　校: 辽宁科技大学
专　业: 计算机应用技术
关键词: 全文检索中文分词倒排索引检索系统
分类号: TP391.3
类　型: 硕士论文
年　份: 2012年
下　载: 82次
引　用: 0次
阅　读: 论文下载

内容摘要

随着计算机产业的发展,以计算机存储设备为载体的电子信息愈来愈多,这些信息大致可分为结构化和非结构化数据。据统计,非结构化数据占有整个信息量的80%以上。而通过全文检索技术就能高效地管理这些非结构化数据。全文检索从最初的字符串匹配程序已经演进到能对超大文本、语音、图像、活动影像等非结构化数据进行综合管理的大型软件。现今,全文检索系统已成为新一代信息管理系统的代名词。论文从三个方面研究全文检索[1]的相关技术,它们是中文分词、索引、检索。对比了现有的一些典型的快速中文分词词典机制及方法,并研究了改进现有词典机制的一些方法。在双字哈希词典的基础上提出了把次字哈希表中的冲突汉字按频率信息排序的改进方法,加快了分词速度。研究了基于自动机[2]的中文分词方法,提出了用硬件实现中文分词的建议。设计比较实验,验证典型分词词典机制及其改进结构和本文提出的改进结构及分词方法的性能。结合英文单词识别、大小写转换、停用词过滤、词干提取等功能,实现了一个分词器工具。它既可以单独使用,也可以配合其它工具一起使用。研习了传统倒排索引及其一些改进方案,吸取Lucene的索引结构特点,设计了一种面向域的增量式倒排索引格式,提出了把相对域号修改为绝对域号的方法,使得在多个索引段进行查询时只需要进行一次域名到域号的转换,节约查询时间,并运用压缩技术减小索引文件的大小。基于所设计的索引文件格式,实现了一个索引器工具,并利用该工具设计实验,验证了索引的增量式性能及压缩效果。学习了检索过程、文档评分及相关反馈等整个检索流程的相关技术与算法。并实现了一个检索器工具,该工具支持词条查询、布尔查询以及自由文本查询,在自由文本查询中运用了空间向量模型中的相似度计算方法。利用索引器和检索器,本文进行各种测试实验,验证索引和检索的正确性。实现的分词器、索引器、检索器一起构成了一个基本检索系统框架,利用该框架,可以为实现各种各样的检索系统提供便利。

全文目录

中文摘要  4-5
Abstract  5-9
第1章绪论  9-15
  1.1 研究背景和意义  9-10
  1.2 发展与现状  10-13
    1.2.1 全文检索  10-11
    1.2.2 中文分词  11-12
    1.2.3 倒排索引  12-13
  1.3 本文的研究内容  13-14
    1.3.1 快速中文分词  13
    1.3.2 面向域的增量式倒排索引  13
    1.3.3 检索系统框架  13-14
  1.4 本文的组织结构  14-15
第2章信息检索基础  15-24
  2.1 检索系统领域分析  15
  2.2 检索系统评价  15-16
  2.3 全文检索的基本过程  16
  2.4 中文分词方法  16-17
  2.5 索引构建方法  17-19
    2.5.1 基于块的排序索引构建方法  17-18
    2.5.2 内存式单遍扫描索引构建方法  18-19
    2.5.3 动态索引构建方法  19
  2.6 检索  19-24
    2.6.1 检索过程与方式  19-20
    2.6.2 文档评分  20-22
    2.6.3 相关反馈  22-24
第3章快速分词  24-38
  3.1 引言  24
  3.2 典型的词典机制  24-28
    3.2.1 基于整词二分的分词词典机制  24
    3.2.2 基于TRIE 索引树的词典机制  24-25
    3.2.3 基于逐字二分的分词词典机制  25
    3.2.4 基于双字哈希的分词词典机制  25-26
    3.2.5 三数组TRIE 词典结构  26-28
  3.3 典型词典机制的一些改进  28-29
    3.3.1 首字哈希表的改进  28
    3.3.2 次字结构的改进  28-29
    3.3.3 第三个字及以后的汉字的存储结构  29
  3.4 本文采用的词典机制及实现  29-35
    3.4.1 添加频率的双字哈希词典  29-32
    3.4.2 基于自动机的词典结构  32-35
  3.5 实验  35-38
    3.5.1 实验说明  35-36
    3.5.2 结果与分析  36-38
第4章倒排索引  38-50
  4.1 引言  38
  4.2 倒排索引  38-39
    4.2.1 基本的倒排索引  38-39
    4.2.2 一些改进的倒排索引  39
  4.3 本文采用的倒排索引  39-47
    4.3.1 改进之处及原因  39-41
    4.3.2 索引文件格式与特点  41-47
  4.4 索引实验  47-50
    4.4.1 增量式索引实验与分析  47-49
    4.4.2 索引压缩实验与分析  49-50
第5章检索系统框架  50-63
  5.1 设计  50-51
    5.1.1 分词器设计  50
    5.1.2 索引器设计  50-51
    5.1.3 检索器设计  51
  5.2 实现  51-59
    5.2.1 分词器实现  51-53
    5.2.2 索引器实现  53-55
    5.2.3 检索器实现  55-59
  5.3 检索实验  59-63
    5.3.1 词条查询  59-60
    5.3.2 布尔查询  60-61
    5.3.3 自由文本查询  61-63
第6章总结与展望  63-65
  6.1 总结  63
  6.2 展望  63-65
参考文献  65-69
致谢  69

全文检索及相关技术研究

内容摘要

全文目录

相似论文