学位论文 > 优秀研究生学位论文题录展示

并行文件系统缓存技术研究

作　者: 林运章
导　师: 韩宗芬
学　校: 华中科技大学
专　业: 计算机软件与理论
关键词: 并行文件系统缓存元数据缓存计算节点缓存存储节点缓存
分类号: TP316
类　型: 硕士论文
年　份: 2004年
下　载: 315次
引　用: 2次
阅　读: 论文下载

内容摘要

作为集群的I/O子系统,并行文件系统实现对分布在集群内各节点上的文件、设备和网络资源的全局访问,为集群服务器系统设计一个高性能的并行文件系统是很有必要的。利用主存速度和网络带宽、磁盘带宽之间的差异,在主存中实现缓存是提高并行文件系统性能的主要手段之一。PVFS(Parallel Virtual File System)是一个开放源码的并行文件系统。针对PVFS文件访问速度慢、可靠性差等缺点,HPVFS(High performance Parallel Virtual File System)以PVFS为基础平台,实现了多项高可用、高可扩展、文件高速访问方案,其中包括缓存系统。HPVFS的缓存系统包括元数据缓存、计算节点数据缓存和存储节点缓存三种,旨在实现元数据和数据的高速访问。元数据缓存通过改进元数据访问网络协议等措施,对命中的元数据减少一次网络通信,使各有关操作速度得到提升;此外,将脏元数据直接写回元数据服务器,并迅速检查和纠正元数据异常,保证元数据缓存的一致性。采用共享内存方式实现计算节点缓存。每个计算节点都运行一个守护进程申请和管理共享内存缓存空间,应用进程把共享内存映射到自己的内存空间便可以直接访问缓存,减少了进程通信时的内存拷贝次数,实现了节点内进程间数据的真正共享。存储节点缓存关注多个存储节点同时向一个用户提供数据时可能出现的一个严重问题:单一存储节点缓存单独缺失会降低其它存储节点缓存效率。采用存储节点缓存协同置换算法CMQ(Coordinated Multi-Queue)把一些经常同时被访问的数据块归为一个访问组,并对访问组施行整体置换策略,使各存储节点缓存的命中率趋于均匀,从而提升并行文件系统存储节点缓存的整体命中率。测试结果表明,元数据缓存可以使元数据相关操作速度提升一倍以上;计算节点缓存可以使并行读和并行写性能提高30%以上。仿真结果表明,与LRU,LFU等传统置换算法相比,用于存储节点缓存的置换算法CMQ命中率提升可达125%以上。

全文目录

摘要  4-5
Abstract  5-9
1 绪论  9-19
  1.1 课题背景  9
  1.2 并行文件系统研究现状  9-12
  1.3 并行文件系统缓存  12-15
  1.4 并行虚拟文件系统概述  15-17
  1.5 系统主要工作  17
  1.6 本文工作与组织  17-19
2 系统框架及其缓存系统  19-24
  2.1 系统总体结构  19-20
  2.2 系统模块结构  20-21
  2.3 缓存系统构成  21-23
  2.4 小结  23-24
3 元数据缓存  24-35
  3.1 元数据缓存的必要性  24-26
  3.2 元数据缓存关键技术  26-28
  3.3 元数据缓存实现  28-34
  3.4 小结  34-35
4 计算节点缓存  35-44
  4.1 共享内存缓存  35-39
  4.2 置换算法  39-40
  4.3 锁粒度  40-41
  4.4 性能测试与分析  41-43
  4.5 小结  43-44
5 存储节点缓存  44-55
  5.1 二级缓存  44-45
  5.2 二级缓存协同置换  45-47
  5.3 协同置换算法  47
  5.4 算法描述  47-51
  5.5 算法仿真与结果分析  51-52
  5.6 关于访问组的统计  52-53
  5.7 小结  53-55
6 结束语  55-56
致谢  56-57
参考文献  57-61
附录1 攻读学位期间发表论文目录  61

并行文件系统缓存技术研究

内容摘要

全文目录

相似论文