学位论文 > 优秀研究生学位论文题录展示

基于对象的分级存储系统数据迁移技术研究

作　者: 吕帅
导　师: 刘光明
学　校: 国防科学技术大学
专　业: 计算机科学与技术
关键词: 数据迁移对象存储数据价值对象预取过程控制分级存储管理
分类号: TP333
类　型: 硕士论文
年　份: 2009年
下　载: 52次
引　用: 2次
阅　读: 论文下载

内容摘要

以数据为中心的计算模式对存储系统的性能和可靠性提出了新的更高的要求。目前,PB量级的存储系统需要由成千上万的多种存储设备构成,高并行性、高可靠性和高性价比是海量存储系统的三项关键要求。本文在对象存储的基础上,融合了在线存储和近线存储的思想,提出了由固态盘、高性能磁盘阵列和虚拟磁带库作为本地、近线和在线存储组成分级海量存储系统,通过数据的自学习迁移,可保证存储系统在高性价比的条件下,获得更高的并行访问速率和可靠性。本文采用基于分级存储管理的思想,提出了基于对象存储的分级存储模型,其中具体提出了OBV对象价值评定模型、自学习对象预取策略和对象迁移过程控制策略。首先通过实现了基于OBV模型的对象迁移策略验证了对对象价值的精确判定;通过实现基于OBV并结合对象预取的迁移策略证明了本文提出的基于对象自学习预取策略可有效提高存储系统的访问性能,验证了基于对象自学习预取策略较强的自学习能力;通过将迁移过程控制策略与以上两种迁移策略集成在一起,验证了通过结合迁移过程控制策略可以在尽量减小对系统影响的情况下进一步提高访问高性能设备的命中率,提高系统的访问性能。本文的研究内容主要包括以下几个方面:(1)研究了分级存储策略的现状,详细对比分析了固态盘、磁盘阵列、虚拟磁带库VTL等存储设备当前的性能、可靠性等因素。(2)研究了存储结构的演变过程,重点研究了当前的热门存储结构——基于对象存储的结构和特点。(3)以Lustre文件系统为基础提出了利用SSD、高性能磁盘阵列和虚拟磁带库作为本地、在线和近线存储的基于对象的多级存储系统结构,它通过将各种属性和活跃度不同的对象迁移到不同性能级别的存储设备来提高整个存储系统的访问性能。(4)提出了OBV对象价值评定模型,实现了对对象价值的精确评定,在此基础上实现低价值的对象由在线存储的高性能磁盘阵列级向低性能大容量虚拟磁带库级迁移和虚拟磁带库级中高价值高活跃度的对象向高性能设备级中的迁移。(5)提出了通过将历史访问信息分时间片并分配一定的权重比例的基于概率统计的自学习预取策略,改进并实现了根据访问模式、用户、历史信息的HUM自学习预取算法,将以上算法与文件内的预取算法综合之后得到我们最终的综合自学习预取策略,可以精确地将低性能设备级中即将被访问的对象提前预取到高性能级别设备中。(6)建立了数据迁移过程控制策略的原型,内容包括迁移时机的选择;迁移过程中利用信息反馈控制机制实现对数据传输速率的调整设定,以尽量减少迁移对系统正常的访问性能的影响;迁移过程中根据及时反馈系统访问对象的变化更新迁移对象的价值信息,实时调整数据价值迁移队列;根据反馈的访问对象尽快调整预取队列中的对象,以实现将最需要迁移的对象尽快迁移。

全文目录

摘要  9-11
ABSTRACT  11-13
第一章绪论  13-20
  1.1 课题背景  13-14
  1.2 存储结构的演变  14-18
    1.2.1 直接附属存储  14-15
    1.2.2 存储区域网络  15-16
    1.2.3 网络附接存储  16-17
    1.2.4 基于对象存储  17-18
  1.3 课题的主要工作  18-19
  1.4 论文的组织结构  19-20
第二章基于对象的分级存储系统结构  20-35
  2.1 对象存储  20-23
    2.1.1 对象  20-21
    2.1.2 对象存储设备  21-23
  2.2 基于对象存储的文件系统  23-28
    2.2.1 panFS 文件系统  23
    2.2.2 Lustre 文件系统  23-27
    2.2.3 zFS 文件系统  27-28
  2.3 分级存储  28-29
  2.4 存储设备性能分析  29-31
  2.5 基于对象的分级存储系统结构  31-34
  2.6 本章小结  34-35
第三章 OBV 对象价值评定模型的设计与实现  35-45
  3.1 数据价值评定策略分析  35-37
  3.2 对象价值评定要素的分析  37-38
  3.3 对象价值评定模型OBV  38-40
  3.4 基于OBV 的对象迁移策略的实现  40-44
    3.4.1 OBV 在对象存储中具体维护方法  40-42
    3.4.2 基于OBV 对象迁移策略执行过程  42-44
  3.5 本章小结  44-45
第四章自学习预取策略的设计和实现  45-56
  4.1 预取策略分析  45-47
    4.1.1 基于文件和数据块的数据预取  45-46
    4.1.2 基于对象存储的数据预取  46-47
  4.2 自学习数据预取策略的设计  47-51
    4.2.1 文件内的对象预取  47
    4.2.2 文件之间的对象预取  47-51
  4.3 自学习预取策略的实现  51-54
    4.3.1 文件内的对象预取  51
    4.3.2 HUM 自学习预取策略  51-52
    4.3.3 基于概率统计的自学习预取策略  52-53
    4.3.4 自学习预取实现的总体结构  53-54
  4.4 本章小结  54-56
第五章对象迁移过程控制策略  56-64
  5.1 信息反馈控制机制  56-57
  5.2 基于OBV 的综合过程控制策略  57-60
    5.2.1 迁移过程控制总体结构  57-58
    5.2.2 迁移过程控制流程  58-60
  5.3 基于自学习预取的迁移过程控制策略  60-63
    5.3.1 迁移过程控制结构  60-61
    5.3.2 迁移过程控制流程  61-63
  5.4 本章小结  63-64
第六章性能测试与结果分析  64-71
  6.1 测试方法与测试负载  64-67
    6.1.1 测试方法  64-65
    6.1.2 测试负载  65-67
  6.2 测试结果与分析  67-71
    6.2.1 测试结果  67-70
    6.2.2 结果分析  70-71
第七章结束语  71-73
  7.1 工作总结  71
  7.2 课题展望  71-73
致谢  73-74
参考文献  74-77
作者在学期间取得的学术成果  77

基于对象的分级存储系统数据迁移技术研究

内容摘要

全文目录

相似论文