学位论文 > 优秀研究生学位论文题录展示

并行计算环境中基于检查点的卷回恢复技术研究

作　者: 孙烨
导　师: 罗惠琼；任震晖
学　校: 电子科技大学
专　业: 软件工程
关键词: 并行系统检查点卷回恢复协议进程管理协调消息非阻塞
分类号: TP338.6
类　型: 硕士论文
年　份: 2010年
下　载: 56次
引　用: 0次
阅　读: 论文下载

内容摘要

应用领域的拓展、应用规模的扩大,对并行计算环境的可靠性提出了更高要求。特别是在长时间运行大规模并行科学计算程序时,如果缺乏必要的容错手段,某个计算进程的一次故障或计算节点的失效可能致使整个程序的彻底失败。而现有的多数并行计算环境本身都未提供从故障点自动恢复运行的功能,出现异常时将不得不手动重头开始整个计算任务,从而浪费大量资源。基于检查点的卷回恢复技术是避免出错时完全重新运行应用程序的手段,能够有效提高系统的容错性能。但并行计算程序中,多个计算进程的状态之间因进行通信而具备耦合关系,这为检查点的设置带来极大挑战。如何保证从检查点恢复出程序正确运行时应具有的状态,同时尽量降低由于采用这一机制而引入的时间开销是当前研究的热点和难点。论文首先比较了现有的合作式卷回恢复协议,并针对检查点设置过程中的进程阻塞和同步消息数量这两个影响时间开销的核心问题,研究一种基于可行全局状态的非阻塞合作式卷回恢复协议。该协议利用并行程序运行过程中发生异常的频率较低而检查点设置频率较高的特点,综合采用附带消息等非阻塞手段,将卷回恢复协议中所需的大部分调协和同步操作从检查点设置阶段转移至卷回恢复阶段,从而大幅度减少了基于检查点的卷回恢复机制所带来的时间开销。其次,在典型的并行程序开发环境MPICH2中进程管理组件(Multi-Purpose Daemon, MPD)的基础上,实现了错误探测与卷回恢复功能。其中,基于MPD自身的事件处理机制,添加相关功能模块,以实现对计算节点和进程运行状态的监控,从而探测节点失效和进程异常的发生。进而,在程序出错时,基于所保存的检查点文件恢复出程序在正确运行时所具有的某个状态并继续运行。最后,将特定检查点协议与错误检测和自动恢复功能相结合,为MPICH2提供较为完善的容错能力。然后,在NAS的标准测试例程下,对不同检查点协议的时间性能进行比较。实验结果表明,基于可行全局状态的合作式检查点协议具有最小的时间开销,且进程数量对一次检查点设置过程的时间开销影响较小。

全文目录

摘要  4-5
ABSTRACT  5-10
第一章绪论  10-17
  1.1 研究背景  10-11
  1.2 研究意义  11-12
  1.3 研究现状  12-15
    1.3.1 典型的单进程检查点系统  13-14
    1.3.2 典型的并行检查点系统  14-15
  1.4 研究内容  15-17
第二章并行计算环境中基于检查点的卷回恢复协议  17-27
  2.1 基本概念  17-21
  2.2 并行计算环境中的检查点协议  21-23
    2.2.1 非合作式检查点协议  21
    2.2.2 通信诱导式检查点协议  21-22
    2.2.3 合作式检查点协议  22-23
  2.3 并行计算环境中的日志协议  23-25
    2.3.1 基本原理  23-24
    2.3.2 乐观日志  24
    2.3.3 悲观日志  24
    2.3.4 因果日志  24-25
  2.4 协议的时间开销分析  25-26
  2.5 小结  26-27
第三章基于可行全局状态的检查点协议  27-47
  3.1 基于协调消息的合作式检查点协议  27-33
    3.1.1 合作式检查点协议的优势  27-28
    3.1.2 DS 协议  28-29
    3.1.3 SS 协议  29-33
  3.2 改进的合作式检查点协议  33-36
    3.2.1 基于附带消息技术的非阻塞式检查点协议  33-34
    3.2.2 参与进程数量最少的合作式检查点协议  34-36
    3.2.3 协议分析  36
  3.3 基于可行全局状态的合作式检查点协议  36-46
    3.3.1 可行全局状态的概念  37
    3.3.2 协议的基本原理  37-39
    3.3.3 协议的数据结构  39-40
    3.3.4 协议的工作流程  40-44
    3.3.5 进一步讨论  44-46
  3.4 本章小结  46-47
第四章 MPICH2 中错误检测与自动恢复功能的实现  47-58
  4.1 MPI 与MPICH2  47-49
  4.2 MPD 的基本结构与功能  49-52
    4.2.1 基本结构  49-50
    4.2.2 基本功能  50-51
    4.2.3 实现原理  51-52
  4.3 改进的MPD 系统结构  52-53
    4.3.1 系统控制器  52-53
    4.3.2 节点控制器  53
  4.4 基于MPD 事件处理机制的错误探测与自动恢复  53-56
    4.4.1 基本原理  53-54
    4.4.2 初始化过程  54-55
    4.4.3 进程错误检测  55
    4.4.4 节点错误检测  55-56
    4.4.5 自动恢复过程  56
  4.5 错误检测机制引入的时间开销测试  56-57
  4.6 本章小结  57-58
第五章基于检查点机制的容错功能实现与实验  58-66
  5.1 检查点协议在MPICH2 MPD 中的实现  58-61
    5.1.1 系统基本结构  58-60
    5.1.2 进程状态变迁  60-61
  5.2 实验验证  61-65
    5.2.1 实验平台  61
    5.2.2 实验用例  61-62
    5.2.3 实验结果及分析  62-65
  5.3 本章小结  65-66
第六章总结与展望  66-68
  6.1 论文工作总结  66-67
  6.2 进一步研究方向  67-68
致谢  68-69
参考文献  69-73

并行计算环境中基于检查点的卷回恢复技术研究

内容摘要

全文目录

相似论文