学位论文 > 优秀研究生学位论文题录展示

动态虚拟集群部署与管理

作　者: 王海斌
导　师: 魏晓辉；何立波
学　校: 吉林大学
专　业: 网络与信息安全
关键词: 动态虚拟集群云计算镜像文件与分发与复用树状多缓冲文件分发资源协同分配
分类号: TP393.09
类　型: 硕士论文
年　份: 2011年
下　载: 128次
引　用: 1次
阅　读: 论文下载

内容摘要

本论文设计并实现了EVC(Elastic Virtual Cluster)动态虚拟集群系统。EVC的设计目的是为云计算环境提供虚拟化的计算资源,并以这些虚拟计算资源为基础向终端用户提供作业运行服务。EVC主要解决两个问题：物理资源的异构性和用户作业对资源需求的多样性。物理资源异构性是指用作虚拟化的物理结点各个硬件、操作系统类型及版本、软件环境、开发环境等都可能不同。EVC对资源异构性问题的解决建立在虚拟机管理器之上,虚拟机管理器安装在不同的硬件体系结构上操作系统上,对上层用户提供统一的操作接口,EVC通过对不同的虚拟机管理器进行适配,解决了异构性的问题。计算需求的多样性是指用户作业所请求的运行环境多种多样,大到操作系统,小到软件版本,EVC可以根据用户作业描述在虚拟机启动后动态配置作业运行环境,解决了计算需求多样性的问题。本论文开发了专门的插件将EVC集成到作者所在实验室开发的网格元调度器CSF4中,使用虚拟集群来解决了网格中作业运行面临的资源难以协同分配和运行环境不兼容两大问题。EVC的虚拟作业机制借鉴了VJM(Virtual Job Model)的设计并在其基础上进行了改进。VJM是由吉林大学网格计算与网络安全实验室为解决资源协同分配问题而开发的资源预约模型。VJM的主要思想是两阶段作业提交,第一阶段称为虚拟作业派发阶段,主要工作是为并行作业产生具有相同资源需求的虚拟作业并派发出去以预约资源,第二阶段称为并行作业运行阶段,主要工作是将并行作业派发到第一阶段预约好的资源上去执行。通过两阶段提交过程,VJM将资源预约工作从并行作业运行过程中分离了出来,提供了更好的灵活性,针对各阶段的不同情况可以分别进行最优策略的设计。VJM的另一项重要工作是为第一阶段的虚拟作业派发设计了资源选择算法,该算法以最小化虚拟作业启动时间为目标,并针对预约阶段可能出现的资源死锁和失效资源发现等问题设计了有效的策略。EVC对VJM的改进之处体现在两个方面。第一,EVC中的虚拟作业启动虚拟机,而VJM中的虚拟作业是启动一个personal gatekeeper。以虚拟机作为一个执行单位,相比于以一个gatekeeper进程作为执行单位有很多好处,例如与操作系统的低耦合使之易于迁移和管理并有良好的安全隔离,资源更容易监控等。第二,VJM第二阶段中需要向一组personal gatekeeper上派发并行程序子作业,尽管资源得到了保证,但是仍然必须使用DUROC协议来派发作业,这会带来不必要的额外开销。而EVC将虚拟机聚合成一个单一域的虚拟集群,提交并行作业只需要一次GRAM协议,提高了效率。本文研究工作中面临的主要问题有并行作业资源需求与运行环境的统一的表达,对多种虚拟化管理器的支持,虚拟作业调度策略,支持虚拟集群通信的虚拟网络设计,高效的镜像文件传输、更新、管理机制,虚拟集群的聚合和配置以及所有权与生命周期管理,虚拟集群上的用户作业运行机制等。这些工作详见正文的二、三章。在本文的设计和实现过程中发现,对虚拟集群部署性能影响最大的两个因素是虚拟作业的调度策略和虚拟机镜像文件的传输。网格资源具有天生的异构性和地域分散的特点,各个优劣等级不同,选择在哪些计算结点上启动虚拟机,对整个虚拟集群的运行性能有很大的影响。虚拟机镜像文件包括了所有的软件环境配置,通常在2到5个G之间,这样的大文件批量传输很容易造成网络拥塞,甚至使系统瘫痪。本文研究了虚拟机镜像文件传输的一般问题,提出缓存机制来避免镜像文件的二次传输,使用了copy-on-write文件系统技术使同一个计算结点上启动的虚拟机能共享同一份基础镜像文件,大大降低了数据传输量。此外,本文调研了各种数据传输协议和方式,比如按需复制的NFS,单播的FTP,增量式传输RSYNC,分布式的BitTorrent,以及基于UDP的文件传输等,结合实际情况,采用BitTorrent协议来完成镜像文件的分发和快速更新。并针对BitTorrent协议在广域网上使用有可能面临的限制,开发了树状多缓冲传输工具作为BitTorrent的有效补充。实验测试证明本文的镜像文件管理方案有效消减了镜像文件管理在整个虚拟集群部署阶段占用的时间。

全文目录

提要  4-5
摘要  5-7
Abstract  7-11
第1章绪论  11-15
  1.1 研究背景与相关工作  11-13
  1.2 研究意义  13-14
  1.3 本文工作和论文结构安排  14-15
第2章相关技术调研  15-32
  2.1 网格介绍  15-21
    2.1.1 网格协议层次结构  15-16
    2.1.2 网格中间件globus  16-19
    2.1.3 资源协同分配问题及VJM解决方案  19-21
  2.2 EVC与云计算  21-22
  2.3 虚拟化技术  22-32
    2.3.1 虚拟化技术概述  22-23
    2.3.2 虚拟化技术的分类  23-24
    2.3.3 虚拟化产品比较综述和EVC对它们的支持  24-32
      2.3.3.1 虚拟网络结构  25-27
      2.3.3.2 存储管理机制  27-30
      2.3.3.3 多虚拟机共享镜像文件  30-31
      2.3.3.4 虚拟机启动和访问权限管理  31-32
第3章 EVC设计与实现  32-45
  3.1 EVC体系结构  32-34
  3.2 工作流程  34-36
  3.3 整体设计  36-45
    3.3.1 用户作业提交  36-37
    3.3.2 虚拟作业生成  37-39
    3.3.3 资源选择策略  39-40
    3.3.4 虚拟集群存储与镜像文件管理  40-41
    3.3.5 虚拟集群聚合与自动配置  41-42
    3.3.6 用户作业运行  42-45
第4章镜像文件传输和管理方案  45-58
  4.1 镜像文件传输  45-52
    4.1.1 镜像文件传输问题分析  45-46
    4.1.2 传输方案设计的启发式信息  46
    4.1.3 传输协议的选择  46-49
    4.1.4 树状多缓冲文件分发方案  49-51
    4.1.5 镜像文件更新  51-52
  4.2 镜像文件重用  52-58
    4.2.1 缓存机制  52-53
    4.2.2 多虚拟机共享基础镜像  53-58
      4.2.2.1 Bind-Mounted实现Copy-on-Write  53-54
      4.2.2.2 UnionFS层叠文件系统  54-55
      4.2.2.3 EVC对文件系统的权限规划  55-58
第5章综合测试与结论  58-66
  5.1 测试环境介绍  58-59
  5.2 镜像文件传输测试  59-61
  5.3 虚拟集群部署性能测试与分析  61-63
  5.4 并行应用程序在EVC上的运行情况  63-64
  5.5 工作展望  64-66
参考文献  66-70
作者简介及在学期间所取得的科研成果  70-71
致谢  71

动态虚拟集群部署与管理

内容摘要

全文目录

相似论文