学位论文 > 优秀研究生学位论文题录展示

分布式文件系统元数据服务器高可用设计与实现

作　者: 战科宇
导　师: 李小勇
学　校: 上海交通大学
专　业: 计算机应用技术
关键词: 分布式文件系统元数据高可用复制状态监测失败接管
分类号: TP368.5
类　型: 硕士论文
年　份: 2012年
下　载: 195次
引　用: 2次
阅　读: 论文下载

内容摘要

伴随全球数据量的飞速增长和数据密集型应用的不断增加,分布式文件系统得到越来越广泛的应用。目前主流的分布式文件系统均采用将元数据与数据分离管理的机制,将命名空间和文件元数据保存在元数据节点,而数据保存在数据节点。很显然,元数据节点的高可用是决定分布式存储系统的可用性的关键因素。本文对分布式文件系统中的元数据高可用性技术进行了全面。深入研究,并在此基础上设计和实现了BlueOcean分布式文件系统元数据服务器高可用方案。本文的主要工作如下:(1)研究了分布式文件系统中元数据管理的关键问题,包括文件系统元数据职责。分布式元数据管理方式。命名空间分布策略等;(2)研究了可用性相关知识及常用高可用系统组织模式,将不同的高可用组织模式对系统性能及恢复时间的影响进行了比较;(3)研究了提高分布式文件系统元数据服务器可用性的关键技术,设计并实现了碧海分布式文件系统元数据服务器高可用方案,在设计过程中对元数据复制。服务器状态监测。失败确认及接管。节点恢复后的处理等关键问题进行了详细分析;(4)对实现后的高可用系统设计了实验方案进行了测试。结果表明,该高可用设计方案对元数据操作性能和系统整体性能影响都比较小,且在进行大文件访问时性能影响可以忽略;系统可在元数据服务器异常停机后的一分钟时间里完成系统服务的恢复。

全文目录

摘要  3-5
ABSTRACT  5-7
目录  7-9
图目录  9-10
表目录  10-11
第一章绪论  11-17
  1.1 背景知识  11-15
    1.1.1 存储技术发展  11-14
    1.1.2 可用性及其度量  14-15
  1.2 研究内容  15-16
  1.3 论文结构  16-17
第二章元数据管理及高可用性研究  17-37
  2.1 分布式文件系统  17-29
    2.1.1 发展概述  17-18
    2.1.2 网络文件系统  18-22
    2.1.3 SAN 文件系统  22-25
    2.1.4 基于对象的分布式文件系统  25-29
  2.2 分布式文件系统元数据管理  29-33
    2.2.1 文件系统元数据职责  29-30
    2.2.2 元数据管理方式  30-31
    2.2.3 命名空间分布策略  31-33
  2.3 高可用系统组织模式  33-35
    2.3.1 active/standby 模式  33-34
    2.3.2 active/active 模式  34
    2.3.3 模式比较  34-35
  2.4 元数据高可用  35-36
  2.5 本章小结  36-37
第三章元数据服务器高可用设计  37-51
  3.1 系统介绍  37-42
    3.1.1 整体系统架构  37-38
    3.1.2 元数据管理  38-40
    3.1.3 元数据存储  40-42
  3.2 高可用设计  42-49
    3.2.1 主从高可用系统架构  42
    3.2.2 元数据复制  42-43
    3.2.3 状态监测  43-46
    3.2.4 失败确认及接管  46-48
    3.2.5 原节点恢复  48-49
  3.3 恢复时间分析  49-50
  3.4 一致性检查  50
  3.5 本章小结  50-51
第四章高可用系统的实现  51-59
  4.1 高可用系统模块  51-55
    4.1.1 ActiveNode 模块  52
    4.1.2 StandbyNode 模块  52-55
  4.2 交互接口  55-57
    4.2.1 注册  55-56
    4.2.2 心跳交互  56
    4.2.3 同步操作日志  56
    4.2.4 关闭日志文件  56-57
  4.3 失败接管  57-58
  4.4 本章小结  58-59
第五章测试及实验  59-66
  5.1 测试环境  59-60
    5.1.1 硬件环境  59
    5.1.2 软件环境  59-60
    5.1.3 网络拓扑  60
  5.2 元数据操作性能测试  60-62
  5.3 系统整体性能测试  62-63
  5.4 系统恢复时间测试  63-65
  5.5 本章小结  65-66
第六章结束语  66-68
  6.1 总结  66-67
  6.2 未来工作  67-68
参考文献  68-70
致谢  70-71
攻读硕士学位期间发表的学术论文  71-73

分布式文件系统元数据服务器高可用设计与实现

内容摘要

全文目录

相似论文