学位论文 > 优秀研究生学位论文题录展示

数据网格环境下的数据传输及缓存技术研究及实现

作　者: 劳仲安
导　师: 肖侬
学　校: 国防科学技术大学
专　业: 计算机科学与技术
关键词: 数据网格 数据传输 内存网格 文件访问特性 文件分类缓存服务
分类号: TP393.02
类　型: 硕士论文
年　份: 2009年
下　载: 37次
引　用: 0次
阅　读: 论文下载
 

内容摘要


开放的互联网环境中存在容量巨大、形式多样、分散存储的数据资源,对这些数据资源实施有效的管理是一个挑战性问题。数据网格以广域环境下海量、异构的数据资源为处理对象,结合高性能计算设施和大规模存储设备,实现了数据存储、数据传输、数据访问、副本管理、高性能数据处理等功能,为用户提供了一个数据管理与处理的基础设施。由于数据网格先天的广域分布性,使得在广域网中进行高效、可靠的数据传输成为了进行数据共享的必然要求。针对这种情况,我们设计和实现了网格数据传输系统,提供了并行传输、条状传输、普通第三方传输、间接第三方传输、带路由的数据传输等功能,并支持现有的主流传输协议FTP、HTTP以及HTTPS等,从高效性、能行性、稳定性、可靠性及安全性等方面满足了数据网格中分布、异构、海量数据的传输需求,改善了数据共享性能。另外,随着计算机技术的发展,CPU和系统主存的性能得到了极大的提高。然而由于IO设备的发展相对滞后,磁盘性能逐渐成为了影响计算机整体性能的瓶颈。特别是在内存密集型和I/O密集型应用中,磁盘访问的巨大延迟将严重影响应用程序的性能。因此在数据网格环境下数据的访问有可能因为磁盘的巨大延迟而导致性能的急剧下降。针对这种情况,本课题组提出了内存网格用于解决此类问题。由于不同大小的文件在数据网格环境下具有不同的访问特征,为了进一步提高内存网格的可用性,我们结合大规模网络存储系统中数据布局策略提出基于内存网格的文件分类缓存服务,在保证内存网格公平性和高可用性的前提下,对内存网格系统中的文件进行分类缓存,扩展内存网格的可用性。通过基于真实应用的实验模拟,证明了文件分类缓存可有效提高现有内存网格的性能。网格数据传输模块为底层的数据资源开凿了一条连通四面八方、数据高速流动的沟渠,使得数据网格环境下不同节点的数据可以进行有效共享;而使用内存网格对于数据进行缓存则可以有效提高数据访问的性能,因此两者从不同方面提高了数据网格的数据访问性能。

全文目录


摘要  8-9
ABSTRACT  9-11
第一章 绪论  11-22
  1.1 网格概述  11-16
    1.1.1 网格计算  11-12
    1.1.2 网格的基本特征  12-13
    1.1.3 网格的体系结构  13-15
    1.1.4 网格的应用领域  15-16
  1.2 数据网格  16-19
    1.2.1 数据网格的特征  16-18
    1.2.2 数据网格的核心服务  18-19
  1.3 内存网格  19-20
    1.3.1 扩展的存储层次结构  19-20
    1.3.2 内存网格的应用领域  20
  1.4 课题研究的内容和意义  20-21
  1.5 论文组织结构  21-22
第二章 相关背景知识  22-41
  2.1 国外数据网格研究现状  22-26
    2.1.1 Enabling Grids for E-sciencE (EGEE)  22-24
    2.1.2 Globus Toolkit  24-26
  2.2 国内数据网格研究现状  26-29
    2.2.1 中国国家网格（China National Grid，简称CNGrid）  27-28
    2.2.2 中国教育科研网格（ChinaGrid）  28-29
  2.3 数据网格的分析与比较  29
  2.4 网络传输协议简介  29-31
    2.4.1 File Transfer Protocol（FTP）  30
    2.4.2 HyperText Transfer Protocol（HTTP）  30-31
  2.5 内存共享技术研究现状  31-36
    2.5.1 Global Memory Service  31-33
    2.5.2 Remote Memory Pager  33-35
    2.5.3 机群系统的协作高速缓存  35-36
  2.6 内存网格  36-40
    2.6.1 基于远程换页的最初模型  36-38
    2.6.2 基于协作缓存的改进模型  38-40
  2.7 本章小结  40-41
第三章 gFDT:用于数据网格的高速数据传输模块  41-54
  3.1 开发传输模块的挑战  41-44
    3.1.1 广域网上分布的数据资源  41-43
    3.1.2 不同存储系统中异构的数据资源  43-44
    3.1.3 不同存储系统中异构的数据资源  44
  3.2 主要研究问题  44-45
  3.3 gFDT模块的设计思想及其开发  45-50
    3.3.1 gFDT与存储节点的交互  45-46
    3.3.2 gFDT传输功能  46-47
    3.3.3 gFDT体系结构  47-50
    3.3.4 gFDT具体实现  50
  3.4 模块测试结果  50-53
  3.5 本章小结  53-54
第四章 FCCS：基于内存网格的文件分类缓存服务  54-64
  4.1 内存网格的不足  54
  4.2 数据布局算法  54-56
  4.3 文件访问特征  56-57
  4.4 FCCS对内存网格进行改进  57-60
    4.4.1 进一步细分的内存服务  57
    4.4.2 大文件缓存服务(large file caching service)  57-59
    4.4.3 小文件缓存服务(small file caching service)  59-60
  4.5 测试结果及其分析  60-62
  4.6 本章小结  62-64
第五章 总结与展望  64-67
  5.1 课题所做工作  64-65
  5.2 下一步研究  65-67
致谢  67-68
参考文献  68-73
作者在学期间取得的学术成果  73

相似论文

  1. 井下数据电磁感应传输方法的研究,TE928
  2. 电力负荷管理终端测试装置软件系统研制,TP311.52
  3. 高速数字图像采集系统数据采集传输技术的研究,TP274.2
  4. 基于FPGA-RocketIO_X的PMC高速数据传输板开发,TP274.2
  5. 基于GPRS的无线数据采集与传输系统设计,TP274.2
  6. 无线传感器网络能量均衡问题的研究,TN929.5
  7. 基于VME总线的TCN高速列车网关设计,TN915.852
  8. 块级连续数据保护的虚拟恢复技术研究,TP309
  9. 高速公路专用通信系统及其应用的研究,TN915.85
  10. 无线mesh网络容量优化控制方法的研究,TN929.5
  11. 移动云计算环境下数据传输框架的研究与实现,TP311.52
  12. 基于无线通信的信号控制系统设计,U284.48
  13. 视觉假体中能量与数据无线传输装置的研究,R318.1
  14. 公安局指挥中心接处警座席系统的设计与实现,TP311.52
  15. 新型超短波跳频通信设备数字化平台及数传软件设计,TN914.41
  16. 网络RTK相关技术的研究,P228.4
  17. 导航台站设备远程监控系统的研究与实现,V351.37
  18. 具有无线数据传输功能的红外测温仪设计,TH811
  19. 基于网格的异构空间数据分布式查询研究,TP274
  20. Internet的环境监控系统的设计与实现,TP277
  21. 网格环境中数据传输服务的研究与应用,TP393.02

中图分类: > 工业技术 > 自动化技术、计算机技术 > 计算技术、计算机技术 > 计算机的应用 > 计算机网络 > 一般性问题 > 计算机网络结构与设计
© 2012 www.xueweilunwen.com