学位论文 > 优秀研究生学位论文题录展示

并行网络文件系统（PNFS）的设计与实现

作　者: 张媛
导　师: 卢泽新；张晓哲
学　校: 国防科学技术大学
专　业: 计算机科学与技术
关键词: 并行I/O 并行网络文件系统高性能计算并行文件系统文件布局
分类号: TP316.4
类　型: 硕士论文
年　份: 2006年
下　载: 266次
引　用: 1次
阅　读: 论文下载

内容摘要

大规模并行计算中需要处理的数据量呈现爆炸性的增长,迫使I/O存储技术从DAS技术向SAN和NAS技术发展。SAN技术性能较高,但是性价比低,无法满足高性能计算(HPC)的迫切需求。IP网络,特别是以太网的快速发展,使得网络带宽从10Mbps迅速发展到1000Mbps,万兆以太网技术也已经出现,并得到了初步应用。IP网络的发展使得NAS技术成为具有较高性价比的存储技术,但是NAS设备使用的面向集中服务器结构的网络文件系统,使NAS设备的发展受到了限制。因此,迫切需要寻求一种解决方案能够将现有的NAS存储设备有效的组织起来,并在保留NAS设备原有优势的同时具有更高的性能,更高的扩展性,更高的安全性和更高的可管理性。本文深入研究了现有各种并行文件系统及其关键技术,对并行网络文件系统(PNFS)的体系结构进行了设计。实现了元数据服务器与存储服务器的分离,消除了由于集中服务器结构引发的I/O瓶颈问题。PNFS是对NFSv4协议的扩展,为客户端提供了并行访问文件数据的能力,实现了客户端I/O带宽与存储服务器规模之间的线性可扩展关系。PNFS主要由PNFS客户端、PNFS元数据服务器和存储服务器三个部分构成,本文将对这三部分的设计与实现进行了详细介绍。最后,本文在千兆以太网环境下对PNFS的原形系统进行了性能测试,结果表明PNFS能够提供较高的I/O读写带宽和较低的访问延迟,能较好的满足高性能计算中的I/O要求。

全文目录

摘要  9-10
ABSTRACT  10-11
第一章绪论  11-26
  1.1 并行I/O的必要性  11-17
    1.1.1 传统的I/O存储技术  11-13
    1.1.2 网络文件系统NFS发展现状  13-14
    1.1.3 应用需求  14-17
    1.1.4 小结  17
  1.2 I/O瓶颈的解决途径  17-19
    1.2.1 硬件方法  17
    1.2.2 软件方法  17-19
  1.3 相关研究  19-24
    1.3.1 典型的并行文件系统  19-22
    1.3.2 并行网络文件系统的发展  22-23
    1.3.3 基于PNFS的商用系统介绍  23-24
  1.4 本文研究的主要内容和论文结构  24-26
第二章 PNFS关键技术研究与系统结构设计  26-42
  2.1 并行文件系统设计中的关键技术  26-32
    2.1.1 文件系统的组成和结构  26-27
    2.1.2 元数据服务器  27-28
    2.1.3 文件的组织和分布  28-29
    2.1.4 I/O操作模式  29-31
    2.1.5 Cache和预取  31-32
  2.2 PNFS系统结构设计  32-41
    2.2.1 设计与实现平台  32
    2.2.2 PNFS的设计思想  32-33
    2.2.3 PNFS的实现目标  33-34
    2.2.4 PNFS的系统组成  34-36
    2.2.5 数据的组织管理与分布  36-38
    2.2.6 操作原语的扩展  38-41
  2.3 本章小结  41-42
第三章 PNFS服务器的设计与实现  42-50
  3.1 PNFS存储服务器的组织管理  42-43
  3.2 PNFS元数据服务器的设计与实现  43-49
    3.2.1 存储设备管理模块  44-46
    3.2.2 元数据管理模块  46-49
  3.3 本章小结  49-50
第四章 PNFS客户端的设计与实现  50-69
  4.1 PNFS客户端的地位与作用  50-51
  4.2 PNFS客户端的组成结构  51-58
    4.2.1 NFS协议扩展模块  51-53
    4.2.2 Layout注册管理模块  53-55
    4.2.3 Layout驱动程序模块  55-58
  4.3 PNFS客户端主体实现  58-65
    4.3.1 关键函数  58-64
    4.3.2 关键数据结构  64-65
  4.4 PNFS客户端mount过程实现  65-66
  4.5 PNFS客户端读写流程  66-67
  4.6 本章小结  67-69
第五章性能测试与分析  69-77
  5.1 测试平台  69
  5.2 性能测试  69-76
    5.2.1 磁盘性能测试  69-70
    5.2.2 NFSv3 读/写性能测试  70-71
    5.2.3 PNFS读/写性能测试  71-73
    5.2.4 性能比较与分析  73-75
    5.2.5 性能测试小结  75-76
  5.3 本章小结  76-77
第六章结束语  77-79
  6.1 工作总结  77
  6.2 下一步工作  77-79
致谢  79-80
参考文献  80-84
作者在学期间取得的学术成果  84

相似论文

频繁图结构并行挖掘算法的研究与实现,TP311.13
大规模计算环境下网络模拟任务划分研究,TP393.01
基于并行算法的模糊综合评价模型的设计与应用,TP18
基于视觉反馈与行为记忆的GPU并行蚁群算法,TP301.6
基于FPGA高清视频车辆检测系统的设计与实现,TP391.41
近似字符串匹配研究及其在URL检测中的应用,TP393.08
H.264并行视频转码算法研究,TN919.81
USB接口的固态盘原型系统的设计与实现,TP333
基于SMP的内存数据库查询处理优化研究,TP311.13
基于GPU的有限元方法研究,O241.82
面向并行环境的遥感影像分类算法设计与实现,TP751
基于宏单元异步乘法器的研究与设计,TP332.22
多DSP并行航迹规划系统接口驱动程序设计与实现,TP368.12
发动机类复杂曲面零件数字化设计关键技术研究,TK402
多通道NANDFlash控制器的设计,TP333
并行多虚拟机域间通信系统,TP302
基于多核的动态剖析加速方法研究,TP332
过载虚机条件下MPI通信性能改善方法研究,TP302
基于PDNS的BitTorrent流量局域化算法的仿真与实现,TP393.093
一种对等网络文件共享算法仿真与性能分析比较,TP393.09
基于GPU/CPU多级并行CFD优化策略的研究,V221