学位论文 > 优秀研究生学位论文题录展示
集群环境下海量数据存储管理技术的研究
作 者: 胡学庆
导 师: 文必龙
学 校: 东北石油大学
专 业: 计算机软件与理论
关键词: 海量存储 文件操作 管道 系统调用 任务调度 负载平衡
分类号: TP333
类 型: 硕士论文
年 份: 2010年
下 载: 221次
引 用: 0次
阅 读: 论文下载
内容摘要
在石油勘探、遥感等领域中,海量数据文件经常以TB数量级别出现。在存储的过程中,时常由于单一存储设备的容量不足而导致海量数据文件无法存储,只能通过添加新的存储设备解决问题。当前许多技术都提供了将多个盘阵处理为一个虚拟盘的功能,以适应对TB级数据的存储。但这仍然不能避免多个存储系统中的“边缘”数据存储的问题,即一个磁盘系统剩余容量只能存储地震数据的一部分。其次,多种存储设备(例如磁带机)存储方法不同,造成在存储海量数据时不能统一有效的进行存储,而是需要通过转录等形式,降低了存储设备的存储效率,极大的影响了企业的工作效率。集群环境下,海量数据的存储还依赖于节点间高效的任务调度,资源的使用越平衡,作业响应时间就越短。所以一个适合的节点间任务调度算法对于缩短作业平均响应时间,提高节点资源平均使用效率进而提高海量数据存储性能有着非常重要的作用。由于以上的原因,相关领域中亟需要一种在集群环境下能够对海量数据进行存储管理的模型机制。在这种模型机制中,各种介质存储设备将进行统一存储、海量数据将跨盘跨介质存储并且采用高效的任务调度算法以缩短作业平均响应时间,提高存储效率。提出相应的跨盘存储方法和调度算法测试方案,并实现一个原型。主要研究内容:多介质存储设备统一存储机制。通过分析磁带机等多介质存储设备的存储特性,采用管道技术、进程机制以及底层IO系统调用等,屏蔽了存储设备的异构性,提出二套存储设备统一存储访问接口,最终实现了多介质存储设备的统一存储,并对一套解决方案在数据安全性和缓冲区大小等方面进行了对比。海量数据跨盘存储机制。分析了海量数据跨盘存储研究现状,采用底层文件IO存储访问接口,提出了海量数据跨盘存储访问机制,包括一套底层的文件跨盘读写接口,以及相应的配置跨盘操作系统原型,实现了海量数据的跨盘存储,并对相应存储接口进行了测试。集群环境下负载平衡调度算法。分析了基本的动态负载平衡算法,采用其中轮转法与加权法相结合的方法,提出了一种负载平衡调度算法,通过对实验算法的性能对比,该算法具有响应时间短、负载平衡次数少、额外开销少等特点,最终实现了工作效率的提高。
|
全文目录
摘要 4-5 ABSTRACT 5-7 创新点摘要 7-8 目录 8-10 第一章 绪论 10-16 1.1 海量数据存储机制的意义 10 1.2 课题研究现状 10-13 1.2.1 海量数据跨盘存储研究现状 11-12 1.2.2 集群环境下负载平衡算法研究现状 12-13 1.3 本文的研究任务 13-15 1.3.1 研究目标 13-14 1.3.2 研究任务 14 1.3.3 论文结构 14-15 1.4 本章小结 15-16 第二章 多介质存储设备统一存储机制 16-26 2.1 概述 16-17 2.2 多介质存储设备统一存储体系结构 17-18 2.3 多介质存储设备统一存储驱动层—管道解决方案 18-20 2.3.1 管道和进程介绍 18-19 2.3.2 管道驱动解决方案 19-20 2.4 多介质存储设备统一存储驱动层—系统调用解决方案 20-22 2.4.1 系统调用介绍 20-22 2.4.2 系统调用驱动解决方案 22 2.5 驱动层解决方案的对比 22-23 2.5.1 缓冲区 23 2.5.2 数据安全 23 2.6 多介质存储设备统一存储方法层 23-25 2.7 本章小结 25-26 第三章 海量数据跨盘存储机制 26-33 3.1 概述 26 3.2 海量数据跨盘存储机制的体系架构 26-30 3.2.1 用户配置跨盘信息模块 28 3.2.2 跨盘文件信息模块 28-29 3.2.3 海量数据跨盘存储策略 29-30 3.3 海量数据跨盘存储机制的实现 30-31 3.4 本章小结 31-33 第四章 集群环境下节点间负载平衡 33-39 4.1 概述 33 4.2 一种存储集群的任务调度算法和负载平衡策略 33-38 4.2.1 集群环境概述 33-34 4.2.2 负载平衡策略 34-35 4.2.3 任务调度算法 35-36 4.2.4 任务再分配 36-37 4.2.5 性能分析 37-38 4.3 本章小结 38-39 第五章 原型系统设计与实现 39-48 5.1 海量数据跨盘存储机制系统原型 39-40 5.2 海量数据跨盘统一存储方法 40-43 5.2.1 lf_open(打开文件) 40-41 5.2.2 lf_close(关闭文件) 41-42 5.2.3 lf_read(由已打开的文件读取数据) 42 5.2.4 lf_write(将数据写入已打开的文件内) 42 5.2.5 lf_lseek(移动文件的读写位置) 42-43 5.2.6 lf_del(删除文件) 43 5.3 海量数据跨盘存储方法测试 43-46 5.3.1 测试概述 43-44 5.3.2 测试方案 44-46 5.3.3 测试结果 46 5.4 集群任务调度算法测试 46-47 5.5 本章小结 47-48 结论 48-49 参考文献 49-52 发表文章目录 52-53 致谢 53-55 详细摘要 55-62
|
相似论文
- 频繁图结构并行挖掘算法的研究与实现,TP311.13
- 基于混合自适应遗传算法的动态网格调度问题研究,TP393.09
- 温降、压降分析及其在海管CO2腐蚀评估中的应用,TE832
- 深水海底管道S型铺管法安装分析,TE973
- 三元复合驱油井管道超声波除垢技术研究,TE39
- 海底管道修复连接器的研究,TE973
- 海底管道自埋机理数值模拟研究,TE973
- 深水管道位姿测量装置结构设计及样机研制,TE973
- 遥感数据处理网格平台的设计与初步实现,TP79
- FeMnCrNiAlBSi/Cr3C2涂层组织与性能的研究,TG174.44
- Linux集群环境下作业调度算法的研究与实现,TP301.6
- 高压输电线路对埋地金属管道的腐蚀影响研究,TE988
- 多核系统中实时任务调度算法的研究,TP332
- 可降解管道支架的纺织参数对其径向压缩性能的影响,R318.08
- 一个分布式作战指挥仿真系统的设计与实现,TP311.52
- 基于高速摄像系统的小管道气液两相流参数测量方法研究,O359.1
- 分布式文件系统客户端的设计与实现,TP338.8
- 杭州市管道燃气安全评价研究,TU996.9
- 云计算中依赖任务动态并行调度机制的研究,TP3
- BlueOcean海量存储系统客户端的设计与实现,TP333
- 基于云计算的海量视频转换平台的设计与实现,TP311.52
中图分类: > 工业技术 > 自动化技术、计算机技术 > 计算技术、计算机技术 > 电子数字计算机(不连续作用电子计算机) > 存贮器
© 2012 www.xueweilunwen.com
|