学位论文 > 优秀研究生学位论文题录展示

基于虚拟计算环境的内存资源共享技术研究

作　者: 褚瑞
导　师: 卢锡城
学　校: 国防科学技术大学
专　业: 计算机科学与技术
关键词: 虚拟计算环境网络内存内存资源共享聚类力场-势能模型预取并行I/O
分类号: TP393.09
类　型: 博士论文
年　份: 2007年
下　载: 227次
引　用: 2次
阅　读: 论文下载

内容摘要

互联网资源的成长性、自治性和多样性,使得面向互联网的资源共享技术面临很大困难。虚拟计算环境是一种新型网络计算技术,它以互联网资源的自主化为基础,以按需聚合和自主协同为核心机制,在开放的网络基础设施之上,实现多种资源的共享与协同工作。内存资源的共享是虚拟计算环境中一个重要而特殊的问题。一方面,虽然传统的网络内存技术能够有效共享集群中的内存资源,提高内存密集型或I/O密集型应用的性能,却不能适应松耦合的网络计算环境的特点;另一方面,虽然对数据、存储等资源的共享已有很成熟的研究,但内存资源又具有完全不同的特殊性质。本文主要借助虚拟计算环境的思想,试图把传统的网络内存技术扩展到基于公共网络的松耦合计算环境中,并分别针对内存资源的自主化方法、按需聚合与自主协同机制展开深入研究。传统的网络内存技术通常面向紧耦合的集群环境,受可用内存容量限制较大,本文将内存资源共享的思想引入到松耦合的网络计算环境中,提出了基于虚拟计算环境的内存资源共享系统iVCE/M,适用于具有大量小粒度、随机性的磁盘访问的应用。本文首先提出了iVCE/M的单一服务原则、单一身份原则和指数探测原则,然后利用虚拟计算环境中资源自主化的思想,把iVCE/M中的所有节点分为五种,并定义其相互转换关系,及其交互的内存服务和代理服务机制。为适应资源的成长性、自治性和多样性,为各种节点分别设计了基本行为策略,并与虚拟计算环境的相应概念进行了对比。通过基于真实的气象应用程序运行状态的模拟,说明了iVCE/M在校园网等条件较好的网络环境下,能够有效提高内存密集型应用或I/O密集型应用的性能。由于内存资源的特殊性,使传统的集中式、非结构化分布式和结构化分布式资源信息管理方法都很难适用。为体现虚拟计算环境所强调的无集中管理、无全局视图、根据实际需求动态获取资源信息的思想,本文结合内存资源共享的特殊性,提出了基于网络延迟的资源聚类机制,把iVCE/M中的节点划分为若干个组,确保在大概率情况下,只有同一组内的节点才需要进行内存资源的共享。从而有效降低了资源信息管理的问题规模。通过建立内存资源聚类的基本模型,给出了满足分布式要求的贪婪算法,并分析其不足之处;然后借鉴物理学中的力场和势能理论,建立了内存资源聚类的力场-势能模型,以考虑网络与磁盘延迟的多样性、动态性等多种因素;在相应的算法方面,通过定义节点的冲突集和对网络延迟的概率估计,提出了力场-势能聚类算法,并通过基于真实网络拓扑的模拟,对两种模型和算法的假阳性和假阴性错误、组内内存资源容量等重要指标进行了评估。iVCE/M的性能主要取决于内存页帧存取过程中的网络通信开销,隐藏网络通信开销也是本文重点考虑的问题之一。预取技术在计算机系统中应用广泛,但由于资源的限制等,难以对数据访问模式进行有效预测,对空间局部性较弱的应用预取效果有限。考虑到虚拟计算环境中资源自主化的思想,本文提出了一种基于“推”模式的iVCE/M预取技术。内存节点不仅需要响应用户节点存取页帧的操作,还能自动分析用户节点在存取页帧过程中的模式,预测其后续操作,并主动把可能需要的页帧推向用户节点。借助数据挖掘领域中的序列模式挖掘技术,提出了相应的I/O模式预测算法,与一般的访问模式预测算法相比,其分析粒度更细,效果更好。本文还分析和证明了上述算法的时空开销及正确性,通过基于实际运行状态的模拟,对预取机制中的几个重要参数的影响进行了考察。iVCE/M的性能还可以从时间和空间两方面进行优化,在时间上,可以通过多个内存节点的并行传输,提高内存节点和用户节点之间的网络通信效率;在空间上,多个内存节点有时会保存大量完全相同的数据,可以将其进行合并,令iVCE/M保存更大的应用工作集。本文在时间方面,分析了传统的数据条块化技术、I/O并行化技术,通过对网络传输进行建模,提出了内存页帧传输中时间相关的概念,并阐述了通过页帧交换形成自适应的并行传输的方法;在空间方面,提出了合并冗余页帧以保存更大的应用工作集的方法,由于各个内存节点是完全分布的,本文采用基于Bloom Filter技术的冗余检测机制与合并机制,其时间和空间开销都比较低,且能够适应分布式计算的要求,具有很强的实用性。最后,采集了三种I/O密集型应用在不同配置下的实际运行状态,并据此进行了模拟评估。

全文目录

摘要  11-13
ABSTRACT  13-16
第一章绪论  16-32
  1.1 虚拟计算环境概述  16-22
    1.1.1 虚拟计算环境的背景  16-18
    1.1.2 虚拟计算环境的概念  18-19
    1.1.3 虚拟计算环境的机理  19-21
    1.1.4 虚拟计算环境的相关工作  21-22
  1.2 网络内存资源共享技术  22-26
    1.2.1 网络内存资源共享的契机  22-25
    1.2.2 网络内存资源共享的困难  25-26
  1.3 本文工作  26-29
  1.4 论文结构  29-32
第二章相关研究  32-56
  2.1 网络内存技术  32-50
    2.1.1 概述  32-34
    2.1.2 网络内存换页  34-43
    2.1.3 文件系统缓存  43-50
  2.2 分布式共享主存  50-54
    2.2.1 概述  50-53
    2.2.2 与网络内存的比较  53-54
  2.3 本章小结  54-56
第三章基于虚拟计算环境的内存资源共享系统结构  56-82
  3.1 研究动机  56-60
  3.2 基本思路  60-64
    3.2.1 基本假设  61-62
    3.2.2 设计原则  62-64
  3.3 关键机制  64-73
    3.3.1 节点和服务  64-67
    3.3.2 内存服务  67-71
    3.3.3 代理服务  71-72
    3.3.4 应用实例  72-73
  3.4 资源自主化  73-75
  3.5 模拟评估  75-79
  3.6 本章小结  79-82
第四章内存资源的按需聚合方法  82-104
  4.1 研究背景  82-85
    4.1.1 集中式资源信息管理  82-83
    4.1.2 分布式资源信息管理  83-84
    4.1.3 网络距离估计  84-85
  4.2 基本思路  85-88
  4.3 基本模型和算法  88-92
    4.3.1 基本模型  88-90
    4.3.2 贪婪算法  90-92
  4.4 力场-势能模型和算法  92-98
    4.4.1 力场-势能模型  92-95
    4.4.2 力场-势能聚类算法  95-98
  4.5 模拟评估  98-101
  4.6 本章小结  101-104
第五章内存资源的自主协同预取技术  104-122
  5.1 基本思路  104-107
  5.2 相关工作  107-111
    5.2.1 数据预取技术  107-109
    5.2.2 I/O模式预测  109-110
    5.2.3 序列模式挖掘  110-111
  5.3 关键机制  111-114
    5.3.1 预取队列  111-113
    5.3.2 访问序列  113-114
    5.3.3 模式采集  114
  5.4 预测算法  114-117
  5.5 模拟评估  117-121
  5.6 本章小结  121-122
第六章内存节点的自主协同优化技术  122-140
  6.1 相关工作  122-126
    6.1.1 数据条块化和I/O并行化  122-125
    6.1.2 Bloom Filter技术  125-126
  6.2 基于自主协同的页帧交换和并行传输  126-132
    6.2.1 时间相关  126-128
    6.2.2 页帧交换  128-130
    6.2.3 自主协同过程  130-132
  6.3 基于自主协同的冗余合并  132-135
    6.3.1 冗余合并问题  132-133
    6.3.2 冗余合并机制  133-135
  6.4 模拟评估  135-139
  6.5 本章小结  139-140
第七章总结与未来工作  140-144
致谢  144-146
作者在学期间取得的学术成果  146-148
攻读博士学位期间参与的主要科研项目  148-150
参考文献  150-161

相似论文

频繁图结构并行挖掘算法的研究与实现,TP311.13
隐式用户兴趣挖掘的研究与实现,TP311.13
图像分割中阴影去除算法的研究,TP391.41
基于图分割的文本提取方法研究,TP391.41
大规模计算环境下网络模拟任务划分研究,TP393.01
牡丹EST-SSR引物开发及其亲缘关系分析,S685.11
高血压前期证候特征研究,R259
高忠英学术思想与经验总结及运用补肺汤加减治疗呼吸系统常见病用药规律研究,R249.2
K-均值聚类算法的研究与改进,TP311.13
大学生综合素质测评研究,G645.5
基于并行算法的模糊综合评价模型的设计与应用,TP18
大豆品种对腐竹品质的影响及其品质评价体系的初步构建,TS214.2
21个荷花品种遗传多样性的ISSR分析,S682.32
基于聚类分析的P2P流量识别算法的研究,TP393.02
基于混合自适应遗传算法的动态网格调度问题研究,TP393.09
桃杂交后代（F₁）幼苗光合效能评价,S662.1
南通市农业面源污染负荷研究与综合评价,X592
土壤环境功能区划研究,X321
基因表达谱数据聚类分析方法比较与大豆疫霉基因的网络构建,S435.651
大豆杂种优势及其遗传基础研究,S565.1
象草自交后代无性系的饲用价值及生物质能特性初步评价,S543.9