学位论文 > 优秀研究生学位论文题录展示

基于Hadoop的分布式服务注册中心研究和实现

作　者: 杨柳
导　师: 陈昊鹏
学　校: 上海交通大学
专　业: 软件工程
关键词: Web服务注册中心 Hadoop MapReduce HBase 分布式系统
分类号: TP393.09
类　型: 硕士论文
年　份: 2012年
下　载: 273次
引　用: 1次
阅　读: 论文下载
 

内容摘要


随着服务体系架构和服务计算的概念在IT企业内的流行,如何准确地进行服务搜索和服务发现越来越受到重视。当前主要的研究方法是扩展Web服务的描述信息。例如,通过增加服务的语义信息或者服务的服务质量信息来使得服务信息本身更加完善。但是同时这也使得服务的文件内容急剧扩展。此外,成为服务提供者的门槛也在不断降低,这进一步加剧了Web服务数量的增长速度。传统关系型数据库虽然能够满足复杂条件的查询,但是在处理大规模服务数据集时就显得力不从心。因此,Web服务数量的增长给传统服务注册中心带来诸多的挑战,必须提高其数据存储和处理能力,以应对这种挑战。“云”通常由成千上万的服务器集群组成,具有可动态伸缩的特点,可以为人们提供强大的存储能力和计算能力。云计算的兴起和发展为我们解决大规模服务数据的存储和计算提供了新的思路和方法。在分析了Web服务注册中心和云计算平台的基础上,本文提出了一种建立在云上的分布式服务注册中心的应用模型,称为HDSR (Hadoop-based Distributed Service Registry),它采用了Hadoop云平台来实现。该模型既可以支持基于服务行为的服务发现工作,也可以支持基于服务质量的服务发现工作。本文重点研究了服务数据的分布式存储与并行查询在Hadoop平台上的实现。在HDSR中,Hadoop分布式文件系统和HBase分布式数据库用来存储服务数据,MapReduce并行计算框架用来处理服务数据。本文所实现的分布式注册中心包括:请求解析模块、基于服务行为的匹配模块和基于服务质量的匹配模块。一条服务请求首先进入请求解析模块,然后被分解为两个子请求,其中,服务的功能性请求进入基于服务行为的匹配模块,而服务的非功能性请求进入基于服务质量的匹配模块。这两个服务匹配模块是系统的核心模块。本文针对该分布式服务注册中心进行了性能评估,实验结果证明了分布式服务注册中心HDSR的可行性和效率。本文最后对研究中存在的问题及有待于进一步研究的课题进行了探讨。由于当前Web服务的种类和数量迅速增长,所以服务数据的分布式存储与并行处理在Hadoop平台上的成功实施具有重要意义。本文为分布式Web服务注册中心的设计提供了有价值的参考。

全文目录


摘要  5-7
ABSTRACT  7-11
1 绪论  11-14
  1.1 研究背景  11-12
  1.2 研究意义  12
  1.3 研究内容  12-13
  1.4 论文的组织结构  13-14
2 国内外研究现状  14-23
  2.1 Web 服务注册中心  14-15
  2.2 云计算技术  15-16
  2.3 Hadoop 云平台  16-18
    2.3.1 HDFS  16-17
    2.3.2 MapReduce  17
    2.3.3 HBase  17-18
  2.4 Hadoop 平台应用状况研究  18-19
  2.5 研究基础  19-22
    2.5.1 基于语义的服务发现算法  20-21
    2.5.2 基于服务质量的服务发现算法  21-22
  2.6 本章小结  22-23
3 系统模型分析  23-33
  3.1 大规模服务数据  23-24
  3.2 服务发现业务  24-27
    3.2.1 请求解析模块  25
    3.2.2 服务行为匹配模块  25-26
    3.2.3 服务质量匹配模块  26-27
  3.3 系统工作流程  27-28
  3.4 系统架构  28-30
  3.5 云平台选择  30-32
  3.6 本章小结  32-33
4 系统设计与实现  33-44
  4.1 系统模块设计  33-36
  4.2 数据模型分析  36-37
  4.3 服务数据存储  37-39
    4.3.1 逻辑数据模型  37-38
    4.3.2 物理数据模型  38-39
  4.4 服务数据处理  39-42
    4.4.1 服务行为匹配算法的实现  39-41
    4.4.2 服务质量匹配算法的实现  41-42
  4.5 本章小结  42-44
5 实验与分析  44-53
  5.1 系统部署  44-47
    5.1.1 硬件环境配置  44
    5.1.2 Hadoop 配置  44-46
    5.1.3 HBase 配置  46-47
  5.2 实验数据准备  47-48
  5.3 实验结果与分析  48-51
    5.3.1 服务查询时间  48-49
    5.3.2 性能分析  49-50
    5.3.3 与参考系统的性能对比  50-51
  5.4 本章小结  51-53
6 结论和展望  53-55
  6.1 工作总结  53
  6.2 研究展望  53-55
参考文献  55-60
致谢  60-61
攻读学位期间发表的学术论文  61

相似论文

  1. 分布式系统的故障注入方法研究,TP338.8
  2. 一种可视化的分布式数据集成模型的研究与实现,TP311.52
  3. 基于Map/Reduce框架的分布式日志分析系统的研究及应用,TP311.52
  4. 基于Hadoop的在线购物原型系统的设计与实现,TP311.52
  5. 基于Hadoop的移动学习系统设计与实现,G434
  6. 构建分布式系统的关键技术研究与实现,TP338.8
  7. 基于云计算的软件资源服务平台研究,TP311.52
  8. 高速网络环境下的入侵检测系统的研究,TP393.08
  9. 云计算平台上的增量学习研究,TP311.13
  10. 基于Hadoop的视频转码系统设计与实现,TN919.81
  11. 云环境下MapReduce容错技术的研究,TP302.8
  12. 基于Web Service在线考试管理系统的研究与实现,TP311.52
  13. 基于云存储的手机数据备份系统,TP309.3
  14. 面向海量数据的云存储系统实现与应用研究,TP333
  15. 基于云计算的海量视频转换平台的设计与实现,TP311.52
  16. 基于IaaS云计算的Web应用技术研究,TP393.09
  17. 基于Hadoop的并行关联规则算法研究,TP311.13
  18. 基于Hadoop的倒排索引技术的研究,TP391.3
  19. 基于云计算的海量数据存储技术的研究及应用,TP333
  20. 基于Hadoop的海量影像数据管理关键技术研究,TP751

中图分类: > 工业技术 > 自动化技术、计算机技术 > 计算技术、计算机技术 > 计算机的应用 > 计算机网络 > 一般性问题 > 计算机网络应用程序
© 2012 www.xueweilunwen.com