学位论文 > 优秀研究生学位论文题录展示

索引构建与搜索算法的研究与实现

作　者: 胡朝义
导　师: 唐雪飞
学　校: 电子科技大学
专　业: 软件工程
关键词: 信息检索索引构建搜索评分
分类号: TP391.3
类　型: 硕士论文
年　份: 2011年
下　载: 40次
引　用: 0次
阅　读: 论文下载

内容摘要

随着因特网的飞速发展,网络上面的信息资源海量增长,用户在获取信息的同时也面临一个重大的问题:如何在互联网上面的海量数据中快速准确查询到自己所感兴趣的相关信息呢?而信息检索系统正是解决用户在因特网上面进行快速信息查询的一个有效方式。信息检索是按照一定的策略对特定的信息的收集,如用网络爬虫对互联网上面的网页、doc格式文档、pdf格式文档等一系列资源进行爬取,对收集回来的信息进行处理和组织后为用户提供信息查询服务。信息检索克服了数据库查询当中存在的一些不足之处,为数据的检索提供了更为方便快捷的方式,因此现在越来越多的领域和部门开始涉及到信息检索领域。另外,信息检索系统不仅可以部署在网络环境中,而且在个人PC机上也能够得到比较广泛地应用。目前,对信息检索的各种研究以及理论上的探讨都在蓬勃地开展。信息检索是以用户为中心的一个快速检索服务系统,主要是为用户提供快速准确的信息查询服务。在这一过程当中,高准确度及低响应时间是用户最为关心的系统功能,也会是衡量系统优秀与否的最重要标识。而信息检索当中的索引构建与搜索又是信息检索系统当中的两个重要的组成部分,如何去设计高性能的索引构建、信息搜索算法就变得越发的重要。本论文详细地讨论了文本的全文检索的索引构建与搜索过程,并对一些性能较高的索引构建、信息搜索算法原理进行了研究并进行了一些改进实现。一般信息检索系统当中的字典文件都是采用的B树,但是字典文件当中的词汇Term是需要频繁变动的,若采用B树,其树节点的变化会引起一系列的判断(如判断是否需要裂解树,是否需要合并树等一系列的操作,这些都需要消耗一定的系统资源),本论文在构建字典文件的时候采用了二层文件结构,既能够满足一定的词汇量规模,又能达到高效定位相关信息的双重需求。

全文目录

摘要  4-5
ABSTRACT  5-9
第一章绪论  9-12
  1.1 课题研究背景  9-10
  1.2 全文检索的发展现状  10-11
  1.3 研究意义  11
  1.4 研究内容  11-12
第二章信息检索基本原理介绍  12-26
  2.1 信息检索定义  12-13
  2.2 全文信息检索步骤  13-14
  2.3 构建文本库  14-16
    2.3.1 网络爬虫工作原理  14-15
    2.3.2 网页搜索策略  15-16
  2.4 创建索引  16
  2.5 搜索索引  16-17
  2.6 对结果进行过滤  17
  2.7 全文信息检索一些相关问题  17-26
    2.7.1 索引里面需要存放的内容  17-19
    2.7.2 如何为收集的文本创建索引  19-22
    2.7.3 搜索索引表的方式  22-26
第三章文档索引以及索引合并  26-52
  3.1 文档逻辑视图  26-27
  3.2 信息检索流程  27-30
    3.2.1 建立文档Document  27-29
    3.2.2 将文档Document 添加到索引库  29
    3.2.3 对用户输入的查询关键词进行相关处理  29
    3.2.4 查询索引库得到倒排表并进行逻辑运算  29-30
    3.2.5 相关度打分  30
  3.3 具体设计实现  30-52
    3.3.1 软件架构  30-33
    3.3.2 具体实现部分  33-49
    3.3.3 文本压缩算法  49-52
第四章查询关键词的解析  52-62
  4.1 查询语法  52-54
  4.2 词法分析器相关知识介绍  54-55
  4.3 语法分析器相关知识介绍  55-56
  4.4 词法分析实现  56-58
  4.5 语法分析实现  58-62
第五章索引搜索  62-75
  5.1 倒排表的合并  62-70
    5.1.1 交集ConjunctionScorer（+A+B）  62-66
    5.1.2 并集DisjunctionSumScorer(A OR B)  66-69
    5.1.3 差集ReqExclScorer(+A -B)  69-70
  5.2 计分公式推导  70-73
  5.3 相关度计分过程  73-75
第六章性能分析与代码测试  75-78
  6.1 理论性能分析  75
  6.2 代码测试  75-78
第七章总结与展望  78-79
  7.1 总结  78
  7.2 展望  78-79
致谢  79-80
参考文献  80-82

索引构建与搜索算法的研究与实现

内容摘要

全文目录

相似论文