学位论文 > 优秀研究生学位论文题录展示

面向海量数据的分布式文件系统设计和实现

作　者: 程名
导　师: 刘小峰
学　校: 华中科技大学
专　业: 软件工程
关键词: 分布式文件系统海量数据元数据
分类号: TP316.4
类　型: 硕士论文
年　份: 2010年
下　载: 296次
引　用: 0次
阅　读: 论文下载

内容摘要

随着信息时代的快速发展,整个世界的数据的容量也是爆炸式增长。一方面,海量数据使得我们拥有巨大的信息来源。另一方面,存储和分析海量数据是个很困难的问题。针对这个问题,Google公司提出它们的解决方案:这就是Google文件系统和Map/Reduce编程模型。Google文件系统用于存储海量数据,Map/Reduce编程模型用于分析海量数据。本文主要关注海量数据的存储和管理。通过对比和分析各种分布式文件系统,本文设计和实现了面向海量数据存储和管理的分布式文件系统。系统名为KiddenFS。本文第一部分主要对KiddenFS进行分析和设计,首先对KiddenFS的功能性需求和非功能性需求进行了分析,然后针对分布式文件系统逻辑结构、数据存储方式、负载均衡方式等等给出了详细的分析,并提出了在KiddenFS中的解决方案。最后在此基础之上设计了KiddenFS的架构,并描述了系统关键操作的数据流程。KiddenFS文件系统由元数据服务器、数据服务器和客户端三部分组成。元数据服务器负责管理文件系统的元数据,数据服务器负责管理数据,客户端提供文件系统访问接口。本文第二部分主要对KiddenFS文件系统的核心算法和数据结构的实现进行详细说明,这包括数据管理、元数据管理、数据服务器和元数据服务器之间通讯、数据服务器和客户端之间通讯、元数据服务器和客户端之间通讯和文件系统接口。本文最后一部分主要对系统进行了测试和简要描述了应用本系统的一个场景。

全文目录

摘要  4-5
Abstract  5-8
1 绪论  8-16
  1.1 研究背景  8-10
  1.2 分布式文件系统概述  10-11
  1.3 国内外研究状况  11-15
  1.4 本文主要内容  15
  1.5 本章小结  15-16
2 系统分析和设计  16-30
  2.1 系统需求分析  16-17
  2.2 系统架构分析与设计  17-28
  2.3 系统组件设计  28-29
  2.4 本章小结  29-30
3 系统核心数据结构和算法设计与实现  30-58
  3.1 对象的序列化和反序列化  30-32
  3.2 数据服务器的实现  32-41
  3.3 元数据服务器的实现  41-53
  3.4 客户端的实现  53-57
  3.5 本章小结  57-58
4 系统测试和应用  58-61
  4.1 系统测试环境  58
  4.2 测试结果和分析  58-59
  4.3 系统应用流程分析  59-60
  4.4 本章小结  60-61
5 总结与展望  61-62
  5.1 全文总结  61
  5.2 展望  61-62
致谢  62-63
参考文献  63-66

面向海量数据的分布式文件系统设计和实现

内容摘要

全文目录

相似论文