学位论文 > 优秀研究生学位论文题录展示

基于对象存储的高可用技术的研究与实现

作　者: 钱迎进
导　师: 罗宇
学　校: 国防科学技术大学
专　业: 计算机科学与技术
关键词: 高可用性网络存储基于对象存储 RAID 不一致恢复负载均衡元数据服务器集群
分类号: TP311.13
类　型: 硕士论文
年　份: 2005年
下　载: 138次
引　用: 3次
阅　读: 论文下载

内容摘要

在信息技术高速发展的今天，数据存储具有举足轻重的地位，在互联网的推动下，经济的全球化趋势将企业的经营模式从8×5变成了24×7，为了保持一个企业的正常运行，数据——企业最重要的资产——必须在任何时候都可供使用。如何构建一个高性能、高可用的存储系统，这是摆在研究者面前极富挑战的一个重要课题。本文对基于对象存储文件系统Lustre的高可用性进行了研究，主要研究内容包括：Lustre文件级网络RAID的设计与实现及其不一致性的恢复、存储对象分配算法和负载均衡技术、元数据服务器集群及集群服务恢复技术等。首先对Lustre的总体结构及其性能进行了分析，针对Lustre目前采用的高可用方案过于昂贵的问题，提出并设计了Lustre文件级网络RAID(LAID)的冗余存储方案。它不仅能提高了系统的聚合I／O带宽，而且可以同时容忍节点和磁盘失效，大大提高了系统的可靠性和容错性。然后针对存在的LAID不一致性的问题，提出了基于LAID日志记录的分布式协同一致性恢复算法，该算法对I／O性能影响很小，而且可以进行在线恢复。最后对LAID的性能进行了测试，测试结果表明它不仅可以得到很好的聚合I／O带宽，而且提高了系统的可靠性和容错性。在研究负载均衡的基础上，针对各个存储节点的可用磁盘空间、可用网络带宽及负载的无时无刻都在动态变化，提出了存储对象分配和负载均衡算法，来更加均衡的使用各个存储节点存储空间和计算资源。通过存储对象分配策略：轮循法(round-robine)、剩余空间权重算法及写时创建(CROW)策略使所有的OST的存储空间资源都被均一的使用，从而避免发生单个OST存储空间被用尽，潜在IO负载不均的状况发生；同时提出了基于反馈信息的镜像LAID的负载均衡算法以及特殊情况下LAID5负载均衡算法，它以尽量减少服务器节点工作量均衡IO负载分布为目标，通过捎带机制来反馈信息，根据反馈信息在客户端计算出各个存储服务器的综合负载，选择负载最轻的对象存储服务器来进行文件IO，是一个基于反馈的全局动态负载均衡算法。针对如何构建高可用、可扩展和高性能的元数据服务器集群，首先对Lustre采用的用的元数据分配算法、元数据服务器集群的元数据对象的管理及目录拆分技术进行研究；然后针对元数据服务器的恢复，给出了基于事务处理的服务请求的重放协议；针对分布式元数据操作可能造成整个文件元数据不一致的问题，设计一个分布式算法将各个元数据服务器节点的磁盘的状态保存到一个映像快照，出现故障后，通过undo日志把各个节点回滚到快照状态，从而保证整个文件系

全文目录

相似论文

随机路由在无线传感器网络中的研究与应用,TN929.5
基于Linux集群系统的负载均衡算法研究及在Webgis中的应用,TP393.05
构建分布式系统的关键技术研究与实现,TP338.8
两级RAID高可靠分布式iSCSI网络存储系统,TP333
基于S2SH框架的雅砻江虚拟研究中心系统研究与设计,TP311.52
多机热备高可用集群的设计和研究,TP311.5
基于负载均衡的3G视频传输系统的设计与实现,TN919.8
云计算环境下一种基于虚拟机动态迁移的负载均衡算法,TP301.6
多下一跳路由机制下的QoS研究,TP393.02
高可用性软件测试的方法及应用,TP311.52
RAID系统纠删码技术研究,TP391.44
闪存存储系统中的RAID机制研究,TP333
IEEE802.11s无线Mesh网络负载均衡机制的研究,TN929.5
SAN存储网络安全解决方案的研究,TP393.08
汽车行业MES系统数据保护研究,TP309.2
数据库性能优化及其在报刊信息系统的应用,TP311.13
中国新疆电信公司智能网话单查询系统的设计与实现,TP311.52
基于虚拟技术的数据中心建设研究,TP308
RAID系统的虚拟磁盘模块设计和容错技术研究,TP333
基于双机热备的高可用性呼叫中心的设计与实现,TN99
面向移动终端的综合业务配置平台设计与实现,TN929.5