学位论文 > 优秀研究生学位论文题录展示

Linux集群环境下作业调度算法的研究与实现

作　者: 梁成升
导　师: 朱大勇；曹志超
学　校: 电子科技大学
专　业: 软件工程
关键词: 集群系统 作业调度 负载平衡 预约回填 OpenPBS
分类号: TP301.6
类　型: 硕士论文
年　份: 2011年
下　载: 19次
引　用: 0次
阅　读: 论文下载
 

内容摘要


集群计算环境中的作业调度接收用户提交的作业请求,并采用适当的调度策略选择计算节点资源来运行用户作业。作业调度策略决定了整个集群系统的效率,尤其是提交计算量大的作业时,良好的作业调度可以大大加快执行速度,因此,作业调度策略是提高集群系统执行并行作业的效率及系统资源利用率的关键因素,对提高集群系统的并行处理能力具有重大的意义。本文深入分析了集群作业管理系统OpenPBS提供的作业调度策略和当前常用的集群作业调度策略,并对预约回填策略和负载平衡进行了研究,提出并实现了结合节点负载及预约回填的调度策略。本文主要工作包括:⑴研究了目前应用广泛的集群作业管理系统OpenPBS的作业调度过程,并分析了其提供的作业调度策略。对目前的一些通用的作业调度策略进行了分析和比较,探讨了预约和回填策略的特点和优势。⑵负载平衡直接影响到集群系统的资源利用率和系统的并行计算性能,本文提出并实现了一种结合节点负载及预约回填的调度策略,充分考虑了节点负载,减少了资源碎片的产生,提高了系统的吞吐率和利用率。⑶在OpenPBS的调度模块中添加结合节点负载及预约回填的调度策略,作业调度模块将充分利用OpenPBS的作业管理框架完成对作业的调度,并提供资源预留和调度的功能。⑷搭建了一个小型集群系统作为测试平台,对本文提出的调度策略与FirstFit调度策略、FCFS调度策略进行比较,并将添加了结合节点负载及预约回填调度策略的OpenPBS与原有的OpenPBS相比较,结果表明了所提出的结合节点负载及预约回填的调度策略在负载平衡、系统资源利用率和吞吐率方面具有明显的优越性。

全文目录


摘要  4-5
Abstract  5-9
第一章 前言  9-18
  1.1 集群计算环境  9-11
    1.1.1 集群体系结构与特点  9-11
    1.1.2 集群作业管理系统  11
  1.2 集群作业调度的关键技术  11-13
    1.2.1 作业调度的组成部分  11-13
    1.2.2 作业调度的组组织模式  13
  1.3 集群作业调度策略  13-16
    1.3.1 作业调度策略的分类  14
    1.3.2 作业调度策略的设计原则  14-15
    1.3.3 作业调度策略与负载平衡  15-16
  1.4 集群作业调度研究背景及现状  16
  1.5 本文研究内容  16-18
第二章 小型集群系统平台的构建  18-27
  2.1 集群系统的硬件选择  18-19
    2.1.1 节点计算机  18-19
    2.1.2 互联网络  19
  2.2 集群系统的软件选择  19-21
    2.2.1 操作系统  19
    2.2.2 单一系统映像的构建  19-20
    2.2.3 并行编程环境的构建  20-21
  2.3 小型计算集群系统的搭建  21-26
    2.3.1 硬件要求  21
    2.3.2 软件配置  21-26
  2.4 小结  26-27
第三章 OpenPBS 及通用作业调度策略分析与比较  27-39
  3.1 集群作业管理系统OpenPBS  27-31
    3.1.1 OpenPBS 作业调度过程  27-29
    3.1.2 OpenPBS 的作业调度策略分析  29-31
  3.2 通用作业调度策略  31-34
    3.2.1 FCFS 策略  31-32
    3.2.2 Fair_share 策略  32-33
    3.2.3 FirstFit 策略  33-34
  3.3 通用作业调度策略的分析  34-36
    3.3.1 资源碎片的产生  34-35
    3.3.2 负载平衡的实现  35-36
  3.4 预约及回填策略  36-38
    3.4.1 预约策略  36
    3.4.2 回填策略  36-38
  3.5 小结  38-39
第四章 结合节点负载及预约回填的调度策略  39-50
  4.1 策略思想  39-42
    4.1.1 基本思想  39-41
    4.1.2 节点负载指标的确定  41
    4.1.3 预约资源的时机的确定  41-42
  4.2 调度流程与策略描述  42-49
    4.2.1 调度总流程  42
    4.2.2 数据结构的定义  42-44
    4.2.3 作业选取与资源分配流程  44-47
    4.2.4 预约资源流程  47-49
  4.3 小结  49-50
第五章 作业调度策略在OpenPBS 上的实现  50-64
  5.1 Scheduler 的体系结构  50-52
  5.2 Scheduler 的作业调度流程  52-54
  5.3 Scheduler 的主要数据结构  54-57
  5.4 实验测试与分析  57-63
    5.4.1 作业调度的衡量指标  57-58
    5.4.2 测试环境  58
    5.4.3 实验结果及分析  58-63
  5.5 小结  63-64
第六章 总结与展望  64-66
  6.1 全文总结  64
  6.2 工作展望  64-66
致谢  66-67
参考文献  67-71
在学期间的研究成果  71-72

相似论文

  1. 频繁图结构并行挖掘算法的研究与实现,TP311.13
  2. 遥感数据处理网格平台的设计与初步实现,TP79
  3. 微粒群算法的改进与应用研究,TP18
  4. 基于网络存储的流媒体服务器系统,TN919.8
  5. 无线传感器网络路由算法研究,TP212.9
  6. 基于Hadoop的云存储系统客户端的设计与实现,TP333
  7. 多机热备高可用集群的设计和研究,TP311.5
  8. 空间数据库集群中间件技术研究与实现,TP311.13
  9. 基于GIDS的入侵检测集群技术研究,TP393.08
  10. 新闻类网站流量统计系统的设计,TP393.092
  11. 网格环境中作业系统的设计与实现,TP311.52
  12. 基于Linux的集群系统的应用研究,TP338
  13. 旅游目的地旅游产业集群发展战略研究,F592
  14. 通用集群分组业务核心网设计,TN929.5
  15. 集群环境中文件传输调度系统的设计与实现,TP311.52
  16. WCF在数字媒体资产管理系统通信中的应用,TN948.6
  17. cdma2000数字集群系统的功率控制和容量研究,TN929.52
  18. 并行计算中的I/O问题研究,TP338.6
  19. 迁移式并行遗传算法求解支持向量机反问题,TP18
  20. 基于MPI的海量数据拟合并行算法研究,TP301.6

中图分类: > 工业技术 > 自动化技术、计算机技术 > 计算技术、计算机技术 > 一般性问题 > 理论、方法 > 算法理论
© 2012 www.xueweilunwen.com