学位论文 > 优秀研究生学位论文题录展示

云环境下数据副本选择策略研究

作　者: 艾云霄
导　师: 谭跃生
学　校: 内蒙古科技大学
专　业: 计算机应用技术
关键词: 云存储分布式文件系统负载均衡蚂蚁算法副本选择
分类号: TP333
类　型: 硕士论文
年　份: 2013年
下　载: 10次
引　用: 0次
阅　读: 论文下载

内容摘要

随着云计算的兴起与发展，云存储技术也迅速发展起来。传统的文件系统已经不能满足云存储服务的需求，因此，分布式文件系统作为云存储的关键技术也日益重要起来。目前，互联网上应用最多的分布式文件系统有谷歌的GFS、Hadoop的HDFS以及MooseFS等。这些分布式文件系统中的存储节点大多采用性能不高的PC机，为避免这些PC机因无法预知的硬件设备损坏、电源中断、黑客攻击、病毒入侵、火灾、地震及恐怖袭击等情况发生时造成的数据损坏和丢失带来的数据不能正常访问现象，分布式文件系统一般采用数据备份的方法，即副本技术，就是将同一数据存储到不同的存储节点上。系统中引入副本技术后，当客户端访问分布式文件系统中存储的数据资源时就会存在选取哪个存储节点作为访问对象的问题。分布式文件系统GFS和HDFS采用计算距离的方法来选择数据副本，每次选择离用户最近的存储节点来读取数据，而MooseFS选取的是读写次数最少的存储服务器来读取数据。GFS、HDFS和MooseFS都是网络分布式文件系统，数据存储服务器和客户端之间是通过网络传递数据的，所以数据存储服务器带宽的大小会直接影响到客户端读取数据的速度。带宽大小与客户端读取数据的速度成正比。在MooseFS数据副本选择算法中，虽然各数据存储服务器I/O负载均衡，但每次选择的数据存储服务器的带宽不一定是最好的，导致客户端读取数据的速度较慢。本文提出了基于带宽的蚂蚁算法的数据副本选择算法。蚂蚁算法是一种启发式算法，它是通过利用与环境的动态交互获得的反馈信息来调整自我，获得最佳解的过程。蚂蚁算法已经被广泛应用于许多求解最优解的问题中，如TSP分配问题、网络路由、任务调度及着色问题等。在MooseFS分布式文件系统中，选择一个最佳副本也是最优化问题，并且蚂蚁算法具有正反馈性、协同性和并行性，算法的可扩展性适合于节点动态随机变化的分布式文件系统，这些特性使得蚂蚁算法适合解决分布式系统中的数据副本选择问题，所以在理论上基于蚂蚁算法的数据副本选择算法具有可行性。实验测试结果显示，基于蚂蚁算法的数据副本选择算法提高了客户端读取数据的速度，降低了客户端访问数据的时间。

全文目录

摘要  3-4
Abstract  4-9
引言  9-10
1 绪论  10-23
  1.1 研究背景  10-20
    1.1.1 云计算  10-14
    1.1.2 云存储  14-19
    1.1.3 副本技术  19-20
  1.2 研究问题的提出  20-21
  1.3 论文主要研究工作  21-22
    1.3.1 论文研究内容  21
    1.3.2 论文组织结构  21-22
  1.4 本章小结  22-23
2 云存储分布式文件系统研究  23-32
  2.1 Google File System(GFS)  23-26
    2.1.1 GFS 的体系结构  23-24
    2.1.2 GFS 的副本管理  24-26
  2.2 Hadoop Distributed File System(HDFS)  26-28
    2.2.1 HDFS 的体系结构  26-27
    2.2.2 HDFS 的副本管理  27-28
  2.3 Lustre File System  28-29
  2.4 FastDFS  29-30
  2.5 本章小结  30-32
3 分布式文件系统 MooseFS 的研究  32-45
  3.1 MooseFS 的架构  32-33
  3.2 MooseFS 的读写原理  33-34
    3.2.1 MooseFS 的读数据过程  33
    3.2.2 MooseFS 的写数据过程  33-34
  3.3 MooseFS 的安装部署  34-41
    3.3.1 元数据服务器安装和配置(master)  35-37
    3.3.2 数据存储服务器安装和配置(chunkserver)  37-39
    3.3.3 MFS 客户端安装和配置(client)  39-40
    3.3.4 元数据日志服务器安装和配置(metalogger)  40-41
  3.4 MooseFS 的使用  41-43
    3.4.1 挂载文件  41
    3.4.2 设定文件拷贝份数  41-42
    3.4.3 设定删除文件的隔离时间  42-43
    3.4.4 制作快照  43
  3.5 MooseFS 的维护  43-44
    3.5.1 启动 MooseFS  43
    3.5.2 停止 MooseFS  43-44
    3.5.3 MooseFS 元数据的备份  44
    3.5.4 MooseFS master 的恢复  44
  3.6 本章小结  44-45
4 MooseFS 中 chunkserver 选择算法的改进  45-51
  4.1 chunkserver 负载均衡算法  45-47
  4.2 改进的 chunkserver 负载均衡算法  47-48
  4.3 对改进负载均衡算法的测试  48-50
  4.4 本章小结  50-51
5 分布式文件系统中副本选择算法  51-62
  5.1 MooseFS 的数据存储资源副本选择算法  51-52
  5.2 蚂蚁算法概述  52-54
    5.2.1 蚂蚁算法的产生  52
    5.2.2 蚂蚁算法原理  52-53
    5.2.3 蚂蚁算法的应用  53-54
  5.3 基于蚂蚁算法的副本选择策略  54-57
    5.3.1 数据副本选择的因素  54
    5.3.2 算法思想  54-56
    5.3.3 蚂蚁算法流程  56-57
  5.4 实验测试  57-60
    5.4.1 环境搭建及配置  57-58
    5.4.2 实验结果分析及总结  58-60
  5.5 本章小结  60-62
结论  62-63
参考文献  63-66
在学研究成果  66-67
致谢  67

云环境下数据副本选择策略研究

内容摘要

全文目录

相似论文