学位论文 > 优秀研究生学位论文题录展示

对象存储文件系统中元数据管理集群关键技术研究与实现

作　者: 邵强
导　师: 窦勇
学　校: 国防科学技术大学
专　业: 计算机科学与技术
关键词: 网络存储基于对象存储元数据管理元数据管理集群负载均衡可用性
分类号: TP311.52
类　型: 硕士论文
年　份: 2005年
下　载: 334次
引　用: 5次
阅　读: 论文下载

内容摘要

在信息时代,数据存储具有举足轻重的地位,存储已经开始成为关系企业生存发展的重要因素,如何构建一个高性能、高可伸缩、高可用、易管理、安全的存储系统成为目前所面临的一个重要课题。基于对象的存储技术是存储领域的新兴技术,提出了一种新型的存储结构。对象是这种存储结构的核心,封装的元数据和文件数据分别由不同的系统管理。元数据包括文件的属性和访问权限,由元数据服务器管理;文件数据条块化存储于智能的对象存储设备;客户文件系统向用户提供存储系统的接口,可以与元数据管理系统交互和与对象存储设备直接进行数据交换。基于对象存储结构构建的大型分布式文件系统,可扩展性强、性能高,可提供较强的并发数据处理能力。本课题主要研究对象存储结构中的元数据管理。元数据服务的扩展性和高性能对于对象存储结构至关重要,采用集群管理元数据是大型存储系统中元数据管理的一种趋势。本文采用一种新颖的结构实现层次管理元数据的元数据管理集群,分别以目录路径索引服务器集群和元数据服务器集群管理目录元数据和文件元数据,并研究其中的关键技术。在研究集群负载均衡的基础上,设计和实现元数据管理集群静态负载分配与动态反馈重分配相结合的负载均衡方案。通过静态元数据分割算法,实现元数据服务负载分流或者元数据分布存储实现负载分流;服务器动态反馈服务器负载信息,实现不均衡负载重新分配。这样保证元数据管理集群的负载均衡,并解决“热点”数据访问问题。另外,研究元数据管理集群中可用性问题,DPIS集群中采用共享容错磁盘阵列和节点容错机制解决共享存储数据和节点故障问题,MDS集群采用备份服务器保证服务器节点出现故障时元数据服务工作的接替和数据备份的重建,实现元数据管理集群在单点失效和特定的多点失效情况下的容错和恢复,保证系统的可靠性和可用性。

全文目录

摘要  8-9
ABSTRACT  9-10
第一章绪论  10-19
  1．1 传统的存储技术  10-11
  1．2 网络存储技术  11-15
    1．2．1 网络附接存储  11-13
    1．2．2 存储区域网络  13-14
    1．2．3 新兴的网络存储技术  14
    1．2．4 几种存储技术的比较  14-15
  1．3 对象存储技术  15-16
  1．4 课题研究背景及主要工作  16-18
  1．5 论文组织结构  18-19
第二章对象存储文件系统  19-33
  2．1 对象存储系统体系结构  19-26
    2．1．1 对象  20-21
    2．1．2 对象存储设备  21-23
    2．1．3 可安装文件系统  23-25
    2．1．4 元数据服务器  25
    2．1．5 网络结构  25-26
  2．2 对象存储文件系统原型  26-32
    2．2．1 对象存储文件系统组成  26-27
    2．2．2 对象存储文件系统原型 OCFS  27-32
  2．3 小结  32-33
第三章实现元数据管理集群的文件系统  33-49
  3．1 元数据管理  33-40
    3．1．1 元数据管理目标  33-34
    3．1．2 元数据后端存储管理  34-35
    3．1．3 元数据管理集群  35-40
  3．2 原型改进的文件系统OCFS Ⅱ  40-48
    3．2．1 OCFS Ⅱ的体系结构  40-43
    3．2．2 OCFS Ⅱ的元数据管理模型  43-44
    3．2．3 元数据管理集群的运行机制  44-48
  3．3 OCFS Ⅱ的功能测试  48
  3．4 小结  48-49
第四章元数据管理集群的负载均衡研究  49-72
  4．1 负载均衡实现概述  49-57
    4．1．1 负载均衡分类  49-50
    4．1．2 负载均衡实现方法和层次  50-53
    4．1．3 静态与动态负载均衡  53-57
    4．1．4 元数据管理集群负载均衡目标  57
  4．2 元数据管理集群的负载均衡技术  57-69
    4．2．1 目录路径索引服务器集群负载均衡  58-66
    4．2．2 元数据服务器集群负载均衡  66-69
  4．3 负载均衡方案测试与分析  69-71
  4．4 小结  71-72
第五章元数据管理集群的可用性研究  72-80
  5．1 集群系统可用性概述  72-73
  5．2 元数据管理集群可用性  73-78
    5．2．1 目录路径索引服务器集群可用性  73-75
    5．2．2 元数据服务器集群可用性  75-78
  5．3 可用性方案分析  78-79
  5．4 小结  79-80
第六章结束语  80-81
致谢  81-82
参考文献  82-85
附录硕士期间论文发表情况  85

相似论文

随机路由在无线传感器网络中的研究与应用,TN929.5
分面元数据在网站检索系统中的应用研究,G354.2
高校教务管理网上选课系统优化研究,TP393.09
网络信息资源的可用性评价研究,G353.1
基于Linux集群系统的负载均衡算法研究及在Webgis中的应用,TP393.05
LTE-A异构网络中的自组网技术研究,TN929.5
基于一种新经济模型的异构网络选择算法,TN929.5
基于QoS的无线Mesh网络路由协议及相关技术的研究,TN929.5
构建分布式系统的关键技术研究与实现,TP338.8
两级RAID高可靠分布式iSCSI网络存储系统,TP333
基于S2SH框架的雅砻江虚拟研究中心系统研究与设计,TP311.52
基于负载均衡的混合型应用层组播模型研究,TP393.02
基于网络存储的流媒体服务器系统,TN919.8
异构网络联合接纳与切换控制技术研究,TN929.5
存储系统中多维元数据索引的高效更新方法研究,TP333
多机热备高可用集群的设计和研究,TP311.5
基于购物网站的交互设设框架研究,TP393.092
基于逻辑卷的分级存储系统设计与实现,TP333
虚拟环境中多网络接口卡I/O调度系统的研究,TP334.7
在线备份系统中存储服务器的研究与实现,TP333
RFID数据清洗处理策略与算法,TP391.44