学位论文 > 优秀研究生学位论文题录展示

BlueOcean海量存储系统客户端的设计与实现

作　者: 王皓
导　师: 李小勇
学　校: 上海交通大学
专　业: 计算机技术
关键词: 海量存储系统 客户端设计 用户态文件系统 缓存机制
分类号: TP333
类　型: 硕士论文
年　份: 2011年
下　载: 29次
引　用: 0次
阅　读: 论文下载
 

内容摘要


随着信息技术的飞速发展,传统的存储系统已经难以满足现代社会的信息存储需求,很多新型应用需要使用大规模、高性能、高可靠的海量存储系统。近年来,学术界和企业界将海量存储系统技术作为研究的一个热点问题,并随之涌现出一批新型的海量存储系统。在海量存储系统中,客户端的设计与实现方式对于系统的性能等有重要影响。BlueOcean是一款大容量、高性能、高可靠、易管理的海量存储系统。它采用面向对象的存储技术,系统由管理节点、数据节点和客户端组成。管理节点负责保存和管理元数据,将元数据保存在内存以提升性能;数据节点负责保存数据,使用多份副本技术保证数据的可靠性;客户端对外提供遵守Posix语义的访问接口,可以支持绝大多数应用程序的透明访问。本文以BlueOcean海量存储系统为基础,研究了海量存储系统客户端设计中的关键技术问题,设计并实现了一款高性能的,通用的客户端程序。论文的主要工作如下:(1)对现有的海量存储系统进行了研究,分析了它们的系统架构和关键技术问题。(2)比较了几种客户端架构方案,设计了系统的总体架构以及通信交互协议等。(3)设计并实现了客户端的系统接口,描述了元数据操作接口和数据操作接口的工作流程,提出使用I/O流水线机制、预取、延迟写等技术提升读写性能。(4)分析了分布式系统中缓存设计的关键问题,设计并实现了客户端缓存机制来提升系统性能。(5)对BlueOcean海量存储系统的性能进行了测试,并且测试了缓存机制对于系统性能的影响。论文设计的客户端程序能够支持绝大多数应用程序对BlueOcean海量存储系统的透明访问,具有较好的元数据操作性能和数据读写性能,本论文的研究成果对于其它的海量存储系统客户端设计也具有较好的借鉴价值。

全文目录


摘要  3-5
ABSTRACT  5-7
目录  7-10
图目录  10-11
表目录  11-12
第一章 绪论  12-16
  1.1 研究背景与意义  12-14
    1.1.1 海量存储系统现状  12-13
    1.1.2 海量存储系统功能需求  13-14
  1.2 研究内容及目标  14
  1.3 论文结构  14-16
第二章 海量存储系统  16-25
  2.1 基于网络的存储系统介绍  16-18
    2.1.1 网络文件系统  16
    2.1.2 共享存储(SAN)集群系统  16-17
    2.1.3 面向对象的分布式存储系统  17-18
  2.2 典型海量存储系统介绍  18-24
    2.2.1 PVFS  18-19
    2.2.2 Lustre  19-21
    2.2.3 GoogleFS  21-22
    2.2.4 Panasas  22-24
  2.3 本章小结  24-25
第三章BLUEOCEAN 海量存储系统介绍  25-30
  3.1 BlueOcean 系统架构  25-26
  3.2 管理节点  26-28
    3.2.1 元数据组织方式  26
    3.2.2 元数据持久化  26-27
    3.2.3 元数据高可用性  27-28
  3.3 数据节点  28-29
    3.3.1 数据保存方式  28
    3.3.2 数据高可用性  28
    3.3.3 数据副本一致性  28-29
  3.4 客户端  29
  3.5 本章小结  29-30
第四章BLUEOCEAN 客户端总体架构设计  30-40
  4.1 客户端常见架构方案分析  30-32
    4.1.1 常见架构方案的分析  30
    4.1.2 FUSE 架构方案设计  30-32
  4.2 客户端总体架构设计  32-36
    4.2.1 用户态FUSE 模块设计  33-35
    4.2.2 系统接口模块设计  35
    4.2.3 系统缓存模块设计  35-36
  4.3 客户端通信交互设计  36-39
    4.3.1 交互协议设计  36
    4.3.2 网络通信设计  36-39
  4.4 本章小结  39-40
第五章 BLUEOCEAN 客户端系统接口设计  40-51
  5.1 客户端系统接口总体设计  40-41
  5.2 元数据操作接口设计  41-43
    5.2.1 查询型元数据操作接口  41-42
    5.2.2 修改型元数据操作接口  42-43
  5.3 数据操作接口设计  43-48
    5.3.1 I/O 流水机制介绍  43-45
    5.3.2 读操作接口设计  45-46
    5.3.3 写操作接口设计  46-48
  5.4 客户端系统接口的程序实现  48-50
  5.5 本章小结  50-51
第六章 BLUEOCEAN 客户端缓存机制设计  51-60
  6.1 缓存机制的关键问题  51-53
    6.1.1 缓存一致性问题  51
    6.1.2 缓存的替换策略  51-52
    6.1.3 缓存的更新策略  52-53
  6.2 客户端元数据缓存机制  53-55
    6.2.1 元数据缓存作用  53
    6.2.2 元数据缓存一致性  53-55
    6.2.3 元数据缓存替换与更新策略  55
  6.3 客户端数据缓存机制  55-57
    6.3.1 数据缓存作用  55-56
    6.3.2 数据缓存一致性  56
    6.3.3 数据缓存替换与更新策略  56-57
  6.4 客户端缓存机制的程序实现  57-59
  6.5 本章小结  59-60
第七章 BLUEOCEAN 客户端性能测试  60-68
  7.1 测试环境  60-61
  7.2 顺序读写性能测试  61-63
    7.2.1 单客户端顺序读写测试  61-62
    7.2.2 多客户端顺序读写测试  62-63
  7.3 元数据操作性能测试  63-65
    7.3.1 单客户端元数据性能测试  63-64
    7.3.2 多客户端元数据性能测试  64-65
  7.4 缓存机制效果测试  65-67
    7.4.1 数据缓存效果测试  65-66
    7.4.2 元数据缓存效果测试  66-67
  7.5 本章小结  67-68
第八章 总结与展望  68-70
  8.1 本文总结  68
  8.2 研究展望  68-70
参考文献  70-73
致谢  73-75
攻读硕士学位期间已发表或录用的论文  75-77

相似论文

  1. 分布式文件系统客户端的设计与实现,TP338.8
  2. 高性能iSCSI系统的设计与实现,TP333
  3. 基于V850/MS1硬件系统模拟器的研究与实现,TP368.12
  4. 面向网络爬虫的海量URL数据管理技术研究,TP393.02
  5. 目录服务器缓存技术研究,TP333
  6. 分层超级结点MP2P资源定位与分发研究,TP393.02
  7. 无线P2P网络中资源搜索技术的研究,TN929.5
  8. P2P流媒体缓存管理机制研究,TN919.8
  9. 基于P2P-CDN的流媒体缓存机制研究与实现,TN919.8
  10. P2P流媒体系统缓存及调度策略研究,TP393.02
  11. 基于Chord的服务标识解析系统的仿真与性能分析,TP393.02
  12. 基于JAVA的企业短信平台及应用产品的设计与实现,TP311.52
  13. P2P视频点播客户端缓存机制研究与实现,TN948.64
  14. 海量存储系统中元数据管理机制的研究,TP333
  15. 基于RFID与WebGIS技术的仓储管理系统研究与实现,TP311.52
  16. 搜索引擎检索技术研究,TP391.3
  17. 移动Ad Hoc网络中ZRP路由协议缓存机制优化策略的研究,TN929.5
  18. PhosphorPDM系统中零部件子系统的设计,TP311.52
  19. 高校数字图书馆海量存储系统建设研究,TP333
  20. 语音增值业务平台中关键模块及缓存机制的设计与实现,TP311.52

中图分类: > 工业技术 > 自动化技术、计算机技术 > 计算技术、计算机技术 > 电子数字计算机（不连续作用电子计算机） > 存贮器
© 2012 www.xueweilunwen.com