学位论文 > 优秀研究生学位论文题录展示

分布式教育网信息检索系统的研究和实现

作　者: 李浩
导　师: 董守斌
学　校: 华南理工大学
专　业: 计算机系统结构
关键词: 搜索引擎分布式系统信息检索 Web Services RMI
分类号: TP391.3
类　型: 硕士论文
年　份: 2010年
下　载: 46次
引　用: 1次
阅　读: 论文下载

内容摘要

随着下一代网络的快速发展,Web2.0等新一代信息技术的成熟,信息资源的分布和呈现越来越分布化,这为搜索引擎的体系结构设计提出了更多新的挑战。互联网的通用搜索引擎如Google、Yahoo或Baidu等主要解决了新闻、网页等通用信息的查询,其检索架构仍然是集中式的。分布式搜索引擎的优势在于可以联合众多的有特色的搜索引擎单元。合理的体系结构可促使系统能够支持成百上千个节点搜索引擎,支持目前连通性较差的IPv6网络以及社交网络等的数据采集,显著提高系统的覆盖率。本文旨在建立教育网网络环境下的分布式信息检索系统,联合部署在教育网上的多个单元搜索引擎,面向教育网的信息资源,提供统一的检索服务,并使该系统相对于集中式通用搜索引擎更加结构化、专业化和多样化。本文设计并实现由多个单元搜索引擎节点(Worker节点)、多个查询代理节点(Querier节点),和一个总节点(Broker节点)构成的分布式检索系统。Worker节点是单独的搜索引擎。Broker节点分成网络层、逻辑层和应用层,网络层负责与Querier节点、Worker节点之间的数据传输;逻辑层主要负责节点内部逻辑功能的设计和实现;应用层向Web Server提供Querier选择服务。Querier节点也分为网络层、逻辑层及应用层。网络层的主要功能是与Broker的交互通信,包括接收Broker的Worker更新状态和发送心跳状态信息;跟Broker类似,逻辑层主要负责节点内部逻辑功能的设计和实现;应用层提供了查询接口。抽象适配器(Abstract Adapter Layer),处于抽象层,负责接口的转换整合异构资源。三层架构的设计提高了系统的可扩展性、容错性和吞吐量。本文基于Web Services和RMI技术,整合异构平台的单元搜索引擎,使得松散耦合方式的单元搜索引擎可以以较小代价融入分布式检索系统中;并设计了响应用户查询时查询代理节点的选择算法,实现查询代理节点的负载均衡。本文还对系统的性能进行了以下几方面的测试:系统可扩展性、系统的吞吐量、请求数据量的影响、分布式架构开销、通信协议的效率测试。最后,本文基于实验数据还对分布式体系结构带来的额外时间开销的构成情况进行了讨论。

全文目录

摘要  5-6
Abstract  6-10
第一章绪论  10-15
  1.1 研究背景和意义  10-11
  1.2 搜索引擎的研究综述  11-13
    1.2.1 搜索引擎产生的背景和发展历史  11-12
    1.2.2 搜索引擎的分布式趋势  12-13
  1.3 木棉搜索引擎现状  13
  1.4 论文工作内容  13
  1.5 论文结构  13-15
第二章相关理论知识  15-34
  2.1 搜索引擎的理论基础  15-19
    2.1.1 搜索引擎的数学模型  15-17
    2.1.2 搜索引擎的系统结构  17-18
    2.1.3 搜索引擎的关键技术  18-19
  2.2 倒排索引和lucene 索引结构  19-23
    2.2.1 倒排索引  19-21
    2.2.2 lucene 索引结构  21-23
  2.3 分布式检索相关技术  23-33
    2.3.1 分布式检索  23-25
    2.3.2 集群系统  25-26
    2.3.3 Nutch 搜索引擎分析  26-28
    2.3.4 Web Services 技术  28-31
    2.3.5 RMI 技术  31-32
    2.3.6 其他分布式检索系统  32-33
  2.4 本章小结  33-34
第三章系统总体设计  34-41
  3.1 系统分层设计  34-36
    3.1.1 分层体系结构的提出  34
    3.1.2 基于Web Services 和RMI 的分层体系结构  34-36
  3.2 系统体系结构  36-38
  3.3 分布式检索流程  38-40
    3.3.1 检索流程  38-39
    3.3.2 检索效率分析  39-40
  3.4 本章小结  40-41
第四章系统详细设计与实现  41-57
  4.1 Broker 节点  41-46
    4.1.1 网络层  41-44
    4.1.2 逻辑层  44-46
    4.1.3 应用层  46
  4.2 Querier 节点  46-52
    4.1.1 网络层  47-48
    4.1.2 逻辑层  48-49
    4.1.3 应用层  49-52
  4.3 Abstract Adapter  52-54
  4.4 Worker 节点  54-55
  4.5 系统的运行  55-56
    4.5.1 系统硬件配置  55
    4.5.2 用户界面  55-56
  4.6 本章小结  56-57
第五章系统性能测试  57-66
  5.1 实验目的  57
  5.2 实验数据  57
    5.2.1 查询关键字  57
    5.2.2 索引数据  57
  5.3 实验设计及结果分析  57-64
    5.3.1 系统可扩展性测试  58-59
    5.3.2 系统吞吐量测试  59-61
    5.3.3 分布式架构的开销  61-63
    5.3.4 Querier 个数对系统性能的影响  63
    5.3.5 通信协议的效率测试  63-64
  5.4 本章小结  64-66
结论  66-68
参考文献  68-71
致谢  71

分布式教育网信息检索系统的研究和实现

内容摘要

全文目录

相似论文