学位论文 > 优秀研究生学位论文题录展示

云存储系统数据持久存储机制的研究

作　者: 胡宁
导　师: 羌卫中
学　校: 华中科技大学
专　业: 计算机技术
关键词: 数据持久存储机制纠删码冗余策略自适应缓冲区完整性检查
分类号: TP333
类　型: 硕士论文
年　份: 2011年
下　载: 95次
引　用: 0次
阅　读: 论文下载

内容摘要

云存储提供的虚拟化服务,极大地简化了应用流程,并降低了建设成本,给人们带来了巨大便利。但在其高速推进过程中频发的安全事故,让人们对云存储的可靠性产生了担忧。例如硬件故障、恶意攻击、人员操作失误、以及断电、火灾等自然灾害,导致单个或多个存储节点失效,从而使得整个存储数据丢失的可能性大大提高。因此,云存储系统应该具有完善的数据存储保障机制,以保证系统的高可靠性和数据的高可用性。云存储系统数据持久存储机制有效地保证了系统的可靠性和数据的可用性。数据持久存储的相关技术包括数据的分片,数据的分发和完整性检查,以及冗余数据的维护。存储数据的可用性是衡量系统性能的重要指标,数据的可用性又主要体现在系统节点间的组织方式,以及系统对于数据冗余容错的处理方法。数据持久存储机制实现了基于纠删码技术的数据分片与合并,以及对冗余数据基于目录的分发和高效的数据完整性检查,对于丢失数据分片能够通过现有文件对其进行编码恢复。设置自适应缓冲区,分段读入文件数据进行编码的方法,在提高编码效率的同时,有效对于原文件内容进行了分散,保证了私密性。通过对纠删码算法核心部分的优化,明显提高了对文件进行分片与合并时的平均编码速率。通过理论研究分析表明,基于纠删码的数据冗余方案在保证数据可用性上有明显的优势,与复制冗余方案相比,能够在获得相同的数据可用性时降低存储空间和网络带宽的开销。系统功能与性能测试结果表明,引入纠删码技术后,在保证相同数据可用性的情况下,相对于传统的基于复制的数据冗余方案,节约存储空间和带宽开销达50%以上。基于缓冲区的分段读入编码明显地提高了编码效率,进行优化后的算法在对文件进行分片与合并时的平均编码速率分别提高了22%和19%。

全文目录

摘要  4-5
Abstract  5-9
1 绪论  9-17
  1.1 问题提出  9-11
  1.2 国内外研究现状  11-14
  1.3 课题背景与研究内容  14-15
  1.4 文章框架结构  15-17
2 数据持久存储机制的设计  17-29
  2.1 云存储系统ppStore 概述  17-20
  2.2 设计思想  20-22
  2.3 模块结构及处理流程  22-27
  2.4 关键问题与难点分析  27-28
  2.5 小结  28-29
3 数据持久存储机制的核心算法  29-42
  3.1 纠删码算法  29-34
  3.2 数据完整性检查  34-36
  3.3 编码缓冲区自适应调整算法  36-40
  3.4 小结  40-42
4 数据持久存储机制的主要实现技术  42-53
  4.1 用户节点  42-45
  4.2 索引服务器  45-49
  4.3 缓存服务器  49-51
  4.4 小结  51-53
5 系统测试与分析  53-64
  5.1 测试环境  53-54
  5.2 功能测试  54-58
  5.3 性能测试与结果分析  58-63
  5.4 小结  63-64
6 总结与展望  64-66
致谢  66-68
参考文献  68-71

云存储系统数据持久存储机制的研究

内容摘要

全文目录

相似论文