学位论文 > 优秀研究生学位论文题录展示

基于HDFS的云存储服务系统研究

作　者: 黄晓云
导　师: 胡松筠
学　校: 大连海事大学
专　业: 管理科学与工程
关键词: Hadoop HDFS 云存储 云存储服务系统
分类号: TP333
类　型: 硕士论文
年　份: 2010年
下　载: 2144次
引　用: 25次
阅　读: 论文下载
 

内容摘要


随着互联网技术的飞速发展,数据量呈现出爆炸性增长的趋势,企业面临着海量数据管理困难、数据存储成本高、可靠性低等难题。越来越多的企业开始将数据存储分离出来,向专业云存储服务供应商寻求帮助以进行数据的分布式管理。云存储服务具有高可靠性、高通用性、高扩展性及大容量存储等特点,因此进行云存储服务系统的研究不仅紧跟IT技术发展的趋势,而且具有较高的应用价值。本文的研究内容为基于HDFS的云存储服务系统研究,旨在通过构建基于HDFS的云存储服务系统,解决企业的海量数据存储难题,降低实施分布式文件系统的成本,促进Hadoop技术的推广。云存储是在当前广泛讨论的云计算概念上延伸和发展出来的,可以将网络中大量不同类型的存储设备进行整合,从而对外提供数据存储和业务访问的功能。Hadoop分布式文件系统(Hadoop Distributed File System, HDFS)是开源云计算软件平台Hadoop框架的底层实现部分,具有高传输率、高容错性等特点,可以以流的形式访问文件系统中的数据,从而解决访问速度和安全性问题,实现海量数据的存储管理。本文首先阐述了云存储的相关理论,介绍了云存储的定义、云存储系统结构和云存储服务系统的应用等内容；接着对HDFS数据管理机制及其实现技术进行了详细分析,为论文下一步的研究提供了技术保障；最后,通过结合实际需求,在对某云存储服务系统业务分析的基础上,对服务系统存储体系结构、功能结构、数据库及运行环境进行了设计,并对该系统加以实现,从而为企业海量数据存储提供了一个有效的解决方案。本文主要实现了一个面向企业应用的云存储服务系统,解决了大规模非结构化数据的在线存储、查询、备份等问题,为企业应用提供了高效能、高可靠性的服务。尽管云存储服务系统目前已经取得了一定的研究成果,但对于如何保障云中数据的安全和隐私这一问题,仍是今后研究的重点,也是亟待解决的难题。

全文目录


摘要  5-6
ABSTRACT  6-10
第1章 绪论  10-16
  1.1 研究背景  10-14
    1.1.1 云存储的兴起  10-13
    1.1.2 集群存储技术的发展  13-14
  1.2 研究意义  14
  1.3 研究内容和论文结构  14-16
第2章 云存储相关理论  16-21
  2.1 云存储概述  16-17
    2.1.1 云存储的概念  16
    2.1.2 云存储和云计算的关系  16-17
  2.2 云存储系统分析  17-19
    2.2.1 云存储系统的结构模型  17-18
    2.2.2 云存储实现的关键技术  18-19
  2.3 云存储服务系统应用  19-21
    2.3.1 个人级云存储应用  19-20
    2.3.2 企业级云存储应用  20-21
第3章 HDFS数据管理机制分析  21-34
  3.1 名称节点和数据节点  21-23
  3.2 元数据  23-25
  3.3 数据组织和数据交互  25-29
    3.3.1 数据组织  25-27
    3.3.2 数据交互  27-29
  3.4 数据的维护  29-34
    3.4.1 数据复制  30-31
    3.4.2 数据节点故障  31-32
    3.4.3 数据校验  32
    3.4.4 垃圾回收机制  32-34
第4章 HDFS数据管理实现的技术方法  34-51
  4.1 RPC的实现方法  34-40
    4.1.1 Client类  34-35
    4.1.2 Server类  35-37
    4.1.3 RPC类  37-38
    4.1.4 HDFS通信协议组  38-40
  4.2 名称节点实现方法  40-46
    4.2.1 FSImage类  40-41
    4.2.2 FSEditLog类  41-42
    4.2.3 FSNamesystem类  42-46
  4.3 数据节点实现方法  46-48
    4.3.1 数据节点的设计  46-47
    4.3.2 数据处理的设计  47-48
  4.4 客户端实现方法  48-51
    4.4.1 数据读取的设计  48-49
    4.4.2 数据写入的设计  49-51
第5章 基于HDFS的云存储服务系统设计与实现  51-67
  5.1 基于HDFS云存储服务系统需求分析  51-53
    5.1.1 问题分析  51-52
    5.1.2 系统设计目标  52
    5.1.3 功能需求分析  52-53
  5.2 基于HDFS云存储服务系统设计  53-60
    5.2.1 云存储体系结构  53-54
    5.2.2 系统功能结构  54-55
    5.2.3 数据库结构  55-57
    5.2.4 系统运行环境  57-60
  5.3 基于HDFS云存储服务系统实现  60-67
    5.3.1 登录功能模块  60-61
    5.3.2 管理员功能模块  61-63
    5.3.3 用户功能模块  63-65
    5.3.4 系统运行部署  65-67
第6章 总结和展望  67-69
参考文献  69-72
致谢  72-73

相似论文

  1. 基于Map/Reduce框架的分布式日志分析系统的研究及应用,TP311.52
  2. 基于Hadoop的在线购物原型系统的设计与实现,TP311.52
  3. 基于云计算的ITIL运维,TP311.52
  4. 基于云计算的软件资源服务平台研究,TP311.52
  5. 基于Google云计算平台的Web应用系统设计及实现,TP393.09
  6. 高速网络环境下的入侵检测系统的研究,TP393.08
  7. 基于Hadoop的云存储系统客户端的设计与实现,TP333
  8. 云存储中开放网络资源稳定存储机制的研究与实现,TP333
  9. 云存储中大规模加密小文档存储管理研究与实现,TP333
  10. 云环境下MapReduce容错技术的研究,TP302.8
  11. 基于云存储的手机数据备份系统,TP309.3
  12. 一种无主控制的云存储架构的研究,TP333
  13. 人皮肤成纤维细胞诱导多潜能干细胞的研究,R329
  14. 基于IaaS云计算的Web应用技术研究,TP393.09
  15. 基于云计算的Web结构挖掘算法研究,TP311.13
  16. 基于Hadoop的分布式网络爬虫技术,TP391.3
  17. 基于云计算的海量视频转换平台的设计与实现,TP311.52
  18. 云计算环境下高分辨率遥感影像存储与高效管理技术研究,P237
  19. 基于Map/Reduce的分布式智能搜索引擎框架研究,TP391.3
  20. 网络存储系统预取协调优化研究,TP333

中图分类: > 工业技术 > 自动化技术、计算机技术 > 计算技术、计算机技术 > 电子数字计算机（不连续作用电子计算机） > 存贮器
© 2012 www.xueweilunwen.com