学位论文 > 优秀研究生学位论文题录展示

海量数据备份的消冗机制研究与实现

作　者: 曾庆辉
导　师: 文爱军；王树鹏
学　校: 西安电子科技大学
专　业: 软件工程
关键词: 网络存储灾备重复数据删除分布式
分类号: TP309.3
类　型: 硕士论文
年　份: 2010年
下　载: 185次
引　用: 2次
阅　读: 论文下载

内容摘要

在备份、归档等集中存储系统中,存在大量的冗余数据信息,如何消除冗余信息、节省存储空间成为亟待解决的关键问题。近年来,一种称为重复数据删除(数据消冗)的新技术迅速引起人们广泛的关注,这种技术在存储空间、网络带宽等方面显著改善了传统的数据保护技术。本文在深入研究数据消冗技术的基础上,完成了分布式数据消冗灾备系统的设计和实现。首先从消冗方式、存储策略、访问策略三个方面对海量数据备份的消冗机制展开研究。其次,在研究数据消冗机制的基础上,提出一种以双服务器模式、惯性访问、Hash分级访问和局部存储为核心策略的分布式消冗方案。最后,完成了分布式数据消冗灾备系统的实现,并通过运行测试的效果分析对消冗技术的发展进行总结和展望。系统的运行结果表明,消冗技术的应用极大减少了存储数据的冗余,节省了其存储空间,提高了备份系统的运行效率。

全文目录

摘要  3-4
Abstract  4-7
第一章绪论  7-11
  1.1 项目背景  7-8
  1.2 课题来源  8
  1.3 国内外研究现状  8-9
  1.4 论文的工作及安排  9-11
第二章网络存储与重复数据删除技术  11-19
  2.1 网络存储技术  11-14
    2.1.1 网络存储概念  11
    2.1.2 网络存储分类  11-14
  2.2 重复数据删除技术  14-18
    2.2.1 重复数据删除技术的概念  14-15
    2.2.2 重复数据删除技术的分类  15-17
    2.2.3 重复数据删除技术的应用  17-18
    2.2.4 重复数据删除技术的发展方向  18
  2.3 小结  18-19
第三章数据消冗机制的分析与研究  19-35
  3.1 Hash 算法  19-20
  3.2 消冗方式  20-22
    3.2.1 全文件  20
    3.2.2 定长块  20-21
    3.2.3 变长块  21-22
  3.3 存储策略  22-26
    3.3.1 基于Hash 值分级  23-24
    3.3.2 基于动态哈希结构  24-26
  3.4 访问策略  26-30
    3.4.1 初步过滤  26-28
    3.4.2 预读  28-29
    3.4.3 缓冲写  29-30
  3.5 单机消冗方案的流程  30-33
    3.5.1 备份流程  30-32
    3.5.2 恢复流程  32-33
  3.6 小结  33-35
第四章分布式数据消冗灾备系统的设计与实现  35-49
  4.1 技术难点  35
  4.2 核心策略  35-38
    4.2.1 双服务器模式  36
    4.2.2 元数据的访问策略  36-37
    4.2.3 数据的存放策略  37-38
    4.2.4 动态增加数据服务器  38
  4.3 系统设计  38-41
    4.3.1 系统结构  38-40
    4.3.2 功能设计  40-41
  4.4 消冗模块的实现  41-47
    4.4.1 备份客户端  41-43
    4.4.2 索引服务器  43-45
    4.4.3 数据服务器  45-47
  4.5 存在问题与解决建议  47-48
  4.6 小结  48-49
第五章实验与系统测试  49-53
  5.1 不同消冗方式效率比较  49-51
    5.1.1 实验环境  49
    5.1.2 实验设计  49-50
    5.1.3 实验结果  50-51
  5.2 分布式消冗灾备系统测试  51-53
    5.2.1 测试环境  51-52
    5.2.2 测试设计  52
    5.2.3 测试结果  52-53
第六章结束语  53-55
致谢  55-57
参考文献  57-59

海量数据备份的消冗机制研究与实现

内容摘要

全文目录

相似论文