学位论文 > 优秀研究生学位论文题录展示

主题搜索引擎索引技术的研究与实现

作　者: 唐华姣
导　师: 何友全
学　校: 重庆交通大学
专　业: 计算机应用技术
关键词: 主题搜索引擎索引技术 Lucene 分布式并行索引主题相关度
分类号: TP391.3
类　型: 硕士论文
年　份: 2011年
下　载: 72次
引　用: 0次
阅　读: 论文下载

内容摘要

互联网作为信息的载体已经成为人们获取信息不可缺少的工具。互联网的发展给人类带来了巨大的便利,人们可以跨越时间和空间的距离来共享大量信息。但是,随着互联网的迅速发展,网络上的资源日新月异、内容丰富多彩,如何快速有效的找到用户有用的信息成为获取信息技术亟待解决的问题,这时为满足广大群众信息检索需求的通用搜索引擎便应运而生了。通用搜索引擎的产生,极大的提高了人们检索信息的效率,因此,通用搜索引擎得到了广泛的应用。据CNNIC(中国互联网网络信息中心)第二十六次互联网调查显示,搜索以76.3%的绝对优势成为用户从互联网上获得信息的主要方式。在全球绝大多数的调查中,搜索引擎都是互联网上使用程度仅次于电子邮箱的服务。但是随着信息多元化的增长,这些通用搜索引擎在检索某一学科或主题的信息时,无论是检索效率还是检索精度都无法满足人们的需要。这是因为:对于任何用户,只要用户输入的关键词相同,通用搜索引擎反馈的结果就相同,它没有考虑到用户兴趣和需求的差异。但对不同的用户,他们的兴趣和需求往往存在一定的差异。例如,牙医和陶瓷爱好者对于“陶瓷”一词的关注点就会不同。为了能够更加快速、准确、有效的检索某一学科或主题的信息,有必要开发针对特定领域的信息检索系统,即主题搜索引擎。与通用搜索引擎不同,主题搜索引擎只采集web中的部分信息,并对网页进行主题相关度判断,只保存与主题相关的网页,同时还运用专业领域知识、相关度计算、机器学习等智能化策略,以弥补通用搜索引擎搜索结果数量大,相关度较低等缺陷,因此主题搜索引擎在查询的准确率和效率上较通用搜索引擎都有显著的提高。索引技术是搜索引擎的核心技术之一,索引技术的好坏直接影响到搜索引擎的查准率以及对用户的响应速度,因此对搜索引擎索引技术的研究是十分必要的。本文在深入了解搜索引擎相关索引技术的基础上,对开源源代码——Lucene进行剖析与实践,分析了Lucene的系统组织结构、基本数据类型、索引逻辑结构以及索引数据库的文件结构,深刻理解其索引机制、索引权重的控制、索引优化的方法。在此基础上,以计算机主题为例,利用Lucene提供的API接口,对Lucene源代码进行了如下几个方面的改进:①改进索引词典文件结构。用户利用计算机主题搜索引擎进行查询时,其检索词大部分会是计算机专业词汇,如果像Lucene一样将整个索引词典文件导入内存,无疑会花费更多的检索响应时间,但如果将检索词按计算机专业词汇和非计算机专业词汇进行分类,分别放入两个索引词典文件中,并对它们进行分组排序,检索时只将存放计算机专业词汇的索引词典文件导入内存中,将会减少不必要的检索响应时间。②对待索引文档设置权值。由于Lucene面对的不是某一个学科或主题的信息,因此其文档得分机制缺乏针对性,从而没有对待索引文档设置权值。为了满足计算机主题检索的需要,有必要根据待索引文档的类型和检索的需求对待索引文档设置不同的权值,有效地提高计算机专业文档的权重,以提高检索计算机主题信息的精度。③改变索引方式。Lucene提供的默认的索引方式是通过单个索引器在磁盘上建立索引文件,这样会频繁的进行I/O操作,导致建立索引的效率下降。本文结合FSDirectory(文件系统路径)和RAMDirectory(内存中的一块区域)这两种目录的优点,设计了采用以内存为缓冲区建索引文件的分布式并行索引方法建立索引,以缩短索引的建立时间。最后根据上述改进方法实现了计算机主题搜索引擎的索引器部分,并通过设计一个适合计算机主题检索的全文检索系统与Lucene全文检索系统进行对比试验,以验证本文所实现的索引器的可行性与有效性。实验结果表明:与Lucene相比,本文所实现的索引器无论是检索响应时间还是检索结果的精度都更适合计算机主题信息的检索,创建索引的效率也明显高于Lucene创建索引的效率。

全文目录

摘要  4-6
ABSTRACT  6-11
第一章绪论  11-18
  1.1 搜索引擎的发展历史及现状  11-13
  1.2 搜索引擎的关键技术  13-15
  1.3 本文主要研究内容  15-16
  1.4 本文的章节安排  16-18
第二章搜索引擎中索引的体系结构  18-26
  2.1 全文检索的索引器结构  18-19
  2.2 全文索引的关键技术  19-21
    2.2.1 索引的压缩和编码  19
    2.2.2 索引的动态更新  19-20
    2.2.3 大规模数据的存储和处理  20-21
  2.3 全文检索中索引的组织形式  21-23
  2.4 倒排索引的数据结构  23-24
  2.5 通用索引的创建流程  24
  2.6 本章小结  24-26
第三章基于 Lucene 的索引词典文件的建立  26-38
  3.1 Lucene 介绍  26-33
    3.1.1 Lucene 的系统结构  26-28
    3.1.2 Lucene 的索引机制  28-29
    3.1.3 Lucene 索引文件的基本数据类型  29
    3.1.4 Lucene 索引文件的逻辑结构  29-31
    3.1.5 Lucene 索引文件的物理结构  31-33
  3.2 Lucene3.0 索引词典文件的建立  33-34
  3.3 主题搜索引擎索引词典文件的建立  34-37
  3.4 本章小结  37-38
第四章主题搜索引擎索引模块的设计与实现  38-52
  4.1 主题搜索引擎的总体结构  38-39
  4.2 主题搜索引擎索引库的设计与实现  39-50
    4.2.1 索引库的功能概述  39-40
    4.2.2 倒排索引文档的权重设定  40-45
    4.2.3 分布式并行索引技术建索引库  45-50
  4.3 本章小结  50-52
第五章运行结果和性能分析  52-61
  5.1 索引器的性能指标  52
  5.2 计算机专业索引库建立时间测试  52-53
  5.3 计算机专业索引库检索响应时间测试  53-56
  5.4 计算机专业索引库查找精度测试  56-60
  5.5 本章小结  60-61
第六章结论与展望  61-63
  6.1 结论  61-62
  6.2 展望  62-63
致谢  63-64
参考文献  64-67
在学期间发表的论著及取得的科研成果  67

主题搜索引擎索引技术的研究与实现

内容摘要

全文目录

相似论文