学位论文 > 优秀研究生学位论文题录展示

分布式文件系统可扩展元数据服务关键问题研究

作　者: 杨德志
导　师: 许鲁
学　校: 中国科学院研究生院（计算技术研究所）
专　业: 计算机系统结构
关键词: 网络存储系统可扩展分布式文件系统元数据服务蓝鲸集群文件系统蓝鲸元数据服务器集群系统
分类号: TP316
类　型: 博士论文
年　份: 2008年
下　载: 711次
引　用: 1次
阅　读: 论文下载

内容摘要

文件系统元数据描述文件系统及其管理的文件,其访问效率是文件数据访问性能的关键因素。在海量网络存储环境中,随着系统应用的多样化、应用需求规模的不断扩大,如何充分利用系统资源,提供高扩展能力的文件系统元数据服务,成为大规模分布式文件系统研究的热点问题。多种典型应用的访问统计结果表明,文件系统元数据具有活跃性、局部性、动态性、需要更改文件系统的多元数据请求的比例很少等特点。基于此特性,本文的主要创新点是,提出动态灵活的分布式文件系统元数据服务机制和策略,支持文件系统元数据服务的动态扩展。它包括元数据存储和访问两个方面:1)集中共享的元数据虚拟存储模型。以虚拟存储技术支持的存储资源透明扩展、分层的存储资源管理和动态的元数据资源分配、元数据对所有请求服务器可见等为基础,元数据存储服务有效分离元数据的存储和访问,为动态灵活的元数据请求服务提供支持。2)动态灵活的元数据请求服务机制和策略。文件系统元数据表现出活跃性、局部性和动态性等特征。动态分布决策将文件系统名字空间结构与元数据类型相结合,由用户访问动态驱动活跃元数据的请求分布。初步的对比评估结果表明,相对于目录子树分区法,其请求处理能力将提高30%左右。动态灵活的元数据服务机制为服务扩展能力提供基础。为解决两阶段提交等传统协议的不足,本文提出通过动态迁移协议,集中处理跨服务器请求,有效保证请求的原子性。在最坏情况下,动态迁移协议也能够减少25%的处理时延,且其错误恢复的影响也小得多。针对传统和新兴应用的实验验证了元数据服务扩展能力的有效性。针对生物信息计算BLAST的评估表明,元数据服务器的增加将带来20%左右的元数据服务时间降低。通过对系统实现的优化,将可能获得近线性的元数据服务扩展能力。同时,实验结果还为未来的工作方向提供了参考:1)原型系统的实现优化;2)自适应的元数据请求分布决策模型;3)系统结构的优化,以更好支持超大规模的系统扩展需求。

全文目录

摘要  3-4
Abstract  4-9
图目录  9-11
表目录  11-13
第一章引言  13-21
  1.1 研究的目标和意义  13-14
  1.2 相关技术的发展  14-16
    1.2.1 存储设备  14
    1.2.2 存储系统  14-15
    1.2.3 分布式文件系统  15-16
  1.3 本研究的研究背景  16-17
  1.4 本研究的关键问题  17-18
  1.5 本研究的主要贡献  18-19
  1.6 本文的组织  19-21
第二章文件系统元数据存储服务  21-29
  2.1 元数据存储服务需求  21
  2.2 相关研究概况  21-23
  2.3 BWMMS 的元数据存储服务  23-26
    2.3.1 集中虚拟化的存储资源组织  23-24
    2.3.2 分布式层次化的存储资源管理  24-25
    2.3.3 完全共享的存储资源使用  25-26
  2.4 本章小结  26-29
第三章元数据请求分布管理  29-41
  3.1 文件系统元数据访问协议  29-30
  3.2 用户元数据访问特征  30-31
  3.3 相关研究概况  31-32
  3.4 BWMMS 元数据请求分布管理  32-38
    3.4.1 相关概念定义  32-33
    3.4.2 分布管理机制  33-35
    3.4.3 分布管理协议  35-36
    3.4.4 请求分布算法  36-38
  3.5 动态请求分布法的有效性评估  38-39
  3.6 本章小结  39-41
第四章元数据分布信息缓存管理  41-55
  4.1 元数据分布信息缓存的必要性  41-42
  4.2 元数据分布信息缓存管理的相关定义  42-43
  4.3 元数据分布信息缓存的组织  43-44
  4.4 元数据分布信息的状态转换  44-48
    4.4.1 宿主权限项的状态转换  45-47
    4.4.2 非宿主权限项的状态转换  47-48
  4.5 状态转换图的活跃性分析  48-50
    4.5.1 宿主权限项  48-49
    4.5.2 非宿主权限项  49-50
  4.6 不活跃元数据信息的替换策略  50-51
  4.7 缓存有效性的影响评估  51-53
    4.7.1 缓存命中率的影响  51-52
    4.7.2 不同应用的缓存命中率  52-53
  4.8 本章小结  53-55
第五章基于宿主改变的请求原子性保证协议  55-65
  5.1 问题描述  55-56
  5.2 两阶段提交协议  56
  5.3 BWMMS 的跨服务器请求原子性保证协议  56-62
    5.3.1 目标跨服务器请求  57
    5.3.2 元数据迁移的可行性  57-58
    5.3.3 元数据迁移对象  58
    5.3.4 迁移协议数据格式  58-59
    5.3.5 迁移协议时序图  59-60
    5.3.6 迁移协议的影响分析  60-61
    5.3.7 迁移协议的容错分析  61-62
  5.4 与两阶段提交协议对比分析  62
  5.5 元数据迁移协议的影响评估  62-63
  5.6 本章小结  63-65
第六章元数据请求并发与同步控制  65-77
  6.1 问题描述  65-66
  6.2 BWMMS 元数据请求并发控制  66-67
  6.3 常规文件元数据的迁移  67-70
    6.3.1 常规文件并发算法  67-69
    6.3.2 算法活跃性验证  69-70
  6.4 目录元数据的迁移  70-75
    6.4.1 目录并发算法  71-73
    6.4.2 算法活跃性验证  73-75
  6.5 本章小结  75-77
第七章元数据服务扩展能力评估  77-87
  7.1 系统原型实现  77-78
  7.2 元数据服务扩展能力评价指标  78-79
  7.3 对传统应用的扩展支持评估  79-84
    7.3.1 共享使用模式的扩展能力评估  79-81
    7.3.2 私有使用模式的扩展能力评估  81-82
    7.3.3 创建删除空文件的扩展能力评估  82-84
  7.4 对新兴应用的扩展支持评估  84-85
  7.5 本章小结  85-87
第八章结束语  87-91
  8.1 本文工作总结  87-88
  8.2 未来工作展望  88-91
    8.2.1 研究内容的深化  88-89
    8.2.2 系统适应范围的扩展  89
    8.2.3 研究领域的扩展  89-91
参考文献  91-101
致谢  101-102
作者简历  102

分布式文件系统可扩展元数据服务关键问题研究

内容摘要

全文目录

相似论文