学位论文 > 优秀研究生学位论文题录展示

异构环境中的PE资源控制策略研究

作　者: 杨娟
导　师: 邱玉辉
学　校: 西南大学
专　业: 基础心理学
关键词: PE资源控制任务调度资源分配移动agent
分类号: B842.1
类　型: 博士论文
年　份: 2007年
下　载: 111次
引　用: 0次
阅　读: 论文下载

内容摘要

异构环境下的并发处理已经成为分布式系统研究领域的一个重要课题，而所处理任务的资源分配控制则是提高分布式系统并发能力的一个关键途径。在一个网络环境中，CPU、存储能力、带宽、缓存，甚至是文件、信息等都统称为网络环境中的资源。因此，针对所控制资源的不同，资源控制策略也各不相同，如果将CPU，存储等与节点性能密切相关的资源看作是PE的处理能力，那么分布式计算环境中的资源控制策略就分为面向PE处理能力的资源控制、面向带宽的资源控制以及面向服务的资源控制。本文以面向PE处理能力的资源控制为研究重点。深入探讨几种不同类型的资源控制策略。由于资源控制可分为任务划分、任务调度和资源分配三个主要的阶段，因此文中主要要解决的问题是如何通过这三个阶段的控制使得任务最终可以被有效完成。虽然优化资源控制中的任务调度策略可以增加资源控制的有效性，但传统的集中式计算技术使得计算任务调度策略随着网络规模的扩大和任务量的增加而成为瓶颈。因此单纯改进任务调度策略已经无法完全适应资源控制需求，从其他方面改进资源控制策略的性能是在所难免的。本文在研究过程中除了对传统集中式资源控制策略进行了改进，还提出了分散式的可处理DAG的资源控制策略。另外，我们基于分布式认知理论的原理，提出了一个可动态进行资源控制的模型，这个模型可以在任务性质发生变化时(例如Qos要求)动态调整资源控制的相关参数，以提高资源控制策略的灵活性和有效性。最后在几个改进策略之间用5个指标对其进行了综合分析。本文的研究工作和创新点主要包括以下几个方面：一、构建了异构网络及PE资源的数学模型及其实例--BWRAP由于已有的资源控制策略研究中缺乏一个一个完整的数学模型中对资源、任务之间的关系以及对PE资源差异和网络性能差异进行抽象。因此本文提出了一个通用的数学模型，对资源控制策略所适用的异构网络环境、异构PE资源、任务与环境之间的关系、任务与资源控制策略之间的关系进行了抽象。提出了一个实例——离散任务资源分配策略(BWRAP)模型构建。BWRAP(Balanced Workload Resource Allocation Policy)是一个应用于这个通用数学模型中的集中式资源分配策略，做为一个实例，BWRAP说明这个通用的数学模型在进行资源分配策略构建上，特别是集中式资源分配策略的构建上是有用并且有效的。二、构建了一个Master/Slave结构下可保证Qos限制的资源控制策略--MMPBWRAP是一个通用数学模型的实例，它通过任务流的任务均衡解决了离散任务流的资源分配问题，但它在构建网络环境的数学模型时忽略了网络通信的建模，由于离散任务流的任务分配主要应用在实时系统中，而不具有Qos限制的任务流处理几乎是不存在的。因此在离散任务资源控制策略中进行网络状态的建模，并保证其Qos限制是必须的。另外，其高复杂度的求解算法也无法适用于大型网络环境。本文提出了一个基于主/从结构的离散任务流资源控制策略MMP(min-max policy)，通过构建代价函数为最小化系统整体响应时间来实现任务均衡。而对代价函数添加Qos限制条件则实现了资源分配对实时系统时限的保证。三、构建了一个可进行任务复制有效性检查的DAG任务资源控制策略--EDCP以上两个策略都只能针对事件驱动任务流，对于具有相互关联的DAG任务流来说，是无法适用的。已有的DAG资源控制策略中，以基于复制的策略为主。但这些策略都忽略了复制本身的开销以及复制有效性等问题。本文提出了一种改进的基于复制的集中式资源控制策略EDCP。它具有如下优点：(1)在复制过程中引入了复制有效性检查，提高复制效率；(2)在复制过程中使用2次目标函数G，通过对G的设置可以实现双目标资源控制。四、构建了一个可处理DAG的分散式资源控制策略--CDRAP由于以上提到的集中式资源控制策略都无法适用于大型网络环境(如P2P网络)，因此分散式的资源控制策略成为资源控制策略的重要分支。分散式资源控制策略可以绕过集中式计算的瓶颈。但是已有的分散式资源控制策略都无法处理DAG任务流图。因为DAG图中任务间的牵制关系很难使任务本身根据局部消息来获得全局稳定。希望能够在满足DAG任务间牵制关系的前提下发挥分散式资源控制策略的优势，即资源和任务本身的高度自治化。基于以上考虑我们提出了一种基于聚类的分散式资源控制策略CDRAP。CDRAP使用消息机制来传递任务间约束关系，但是资源分配的处理则不采用传统的集中式计算，而是使用分散式计算原理(移动agent的自我判断机制)。使用处理器中间件(Broker)+订阅/发布(Subscribe/Issue)消息传递机制作为支撑结构。CDRAP可分布式处理任务间具有相互关联的任务流，并且使得普通机群高效处理大量任务成为可能。五、基于分布式认知理论的动态资源控制策略模型和4种资源控制策略的综合性能分析上述4种资源控制策略，分别适用于任务驱动和数据驱动的任务流，并且适用环境逐步向大型网络扩展。但是上述的这些策略中都是用户要求固定的资源控制。若用户对任务执行需求发生变化，那么上述的这些资源控制策略都会出现相应的瓶颈。例如可处理DAG任务图的分散式资源控制策略CDRAP，从实验数据可以看出当策略所应用的网络状况不好时，CDRAP的性能会大受影响。因此一个改进CDRAP的有效手段是使得CDRAP中移动agent的迁移策略随网络质量的变化而变化。本文受分布式认知概念启发，提出了一种基于分布式认知理论的动态资源控制模型，在该模型中，网络环境的特征会随着任务性质的变化而发生凸显变化，因此该模型对于提高资源控制策略的灵活性和有效性上具有很大帮助。最后针对上面提出的4种资源控制策略，对其进行了5个指标的综合分析。

全文目录

内容摘要  3-7
ABSTRACT  7-14
图目录  14-15
表目录  15-16
第1章前言  16-31
  1.1 理论意义  16-18
  1.2 资源控制三阶段  18-22
    1.2.1 任务划分  18
    1.2.2 任务调度与任务分配  18-22
  1.3 研究现状  22-26
    1.3.1 事件驱动任务的资源控制  22-23
    1.3.2 数据驱动任务的资源控制  23-25
    1.3.3 同构分布式环境中的资源控制  25
    1.3.4 异构分布式环境中的资源控制  25
    1.3.5 集中式的资源控制  25-26
    1.3.6 分散式的资源控制  26
    1.3.7 多目标资源控制  26
  1.4 问题提出及研究内容  26-27
  1.5 研究意义和创新点  27-29
  1.6 论文结构  29-31
第2章理论基础  31-37
  2.1 异构分布式环境中的相关理论  31-32
    2.1.1 网络图的表示  31
    2.1.2 异构分布式网络环境的关键特征  31-32
    2.1.3 分布式计算与并行计算的关系  32
  2.2 移动AGENT技术  32-34
    2.2.1 Agent与移动Agent  32-34
    2.2.2 移动Agent的基本体系结构  34
  2.3 分布式认知理论  34-37
第3章异构网络及PE资源的数学模型及实例-BWRAP  37-44
  3.1 构建异构网络和异构PE资源数学模型三步骤  37-38
  3.2 BWRAP的数学模型构建  38-40
    3.2.1 BWRAP问题提出  38-39
    3.2.2 相关参数定义  39
    3.2.3 限制条件  39-40
    3.2.4 BWRAP的求解算法  40
  3.3 BWRAP应用示例  40-41
  3.5 BWRAP性能测试试验  41-42
    3.5.1 试验机群的节点性能参数确定  41
    3.5.2 BWRAP计算性能试验  41-42
  3.6 本章小节  42-44
第4章 MASTER/SLAVE结构下可保证QOS限制的资源控制策略-MMP  44-51
  4.1 提出问题  44-45
  4.2 相关参数定义  45-46
  4.3 MMP策略代价函数的限制条件  46-47
  4.4 MMP求解  47-49
  4.5 实例  49-50
  4.6 本章小节  50-51
第5章可进行任务复制有效性检查的DAG任务资源控制策略-EDCP  51-61
  5.1 提出问题  51-53
  5.2 相关参数描述  53
  5.3 要满足的有效性复制约束条件  53-54
  5.4 有效性复制检查算法(EFFECTIVE DUPLICATION CHECKING ALGORITHM,EDCA)  54-56
  5.5 EDCP应用于样例算法  56-58
    5.5.1 THAN和TDS算法  56-57
    5.5.2 用EDCA替代TANH中的复制过程  57-58
  5.6 模拟试验  58-60
  5.7 本章小节  60-61
第6章基于聚类的可处理DAG任务图的分散式资源控制策略-CDRAP  61-76
  6.1 问题提出  61-62
  6.2 相关参数描述  62-63
  6.3 基于聚类的分布式资源分配策略CDRAP(CLUSTER BASED DISTRIBUTED RESOURCE ALLOCATION POLICY)  63-68
    6.3.1 Ini_Broker(p)  64-65
    6.3.2 Broker(p~i)服务  65-66
    6.3.3 算法Mult_task_F(T~*)  66-68
  6.4 实例  68-70
    6.4.1 实例1  68-69
    6.4.2 实例2  69-70
  6.5 CDRAP的复杂度  70-71
  6.6 模拟实验  71-74
    6.6.1 使用了Mult_task_F(T~*)的CDRAP与未使用Mult_task_F(T~*)CDRAP的比较  72-73
    6.6.2 CDRAP vs TDS  73-74
    6.6.3 消息传递对CDRAP的影响  74
  6.7 本章小节  74-76
第7章动态资源控制策略模型和各种策略比较  76-83
  7.1 分布式认知的启示  76-77
  7.2 构建处理节点的可取特性  77-79
  7.3 各种策略的比较  79-81
  7.4 本章小节  81-83
第8章总结及未来研究方向  83-88
  8.1 总结  83-86
  8.2 未来研究方向  86-88
参考文献  88-95
博士在读期间发表的论文  95-96
致谢  96-97

异构环境中的PE资源控制策略研究

内容摘要

全文目录

相似论文