学位论文 > 优秀研究生学位论文题录展示

基于GDSS的广域网文件系统研究

作　者: 马俊国
导　师: 金海
学　校: 华中科技大学
专　业: 计算机系统结构
关键词: 网络文件系统 分布式存储 文件快照技术 元数据 数据共享
分类号: TP316
类　型: 硕士论文
年　份: 2006年
下　载: 52次
引　用: 1次
阅　读: 论文下载
 

内容摘要


随着信息社会的发展,越来越多的信息以电子数据形式存储,尤其是伴随着Internet发展,电子数据呈爆炸式增长。在未来几年内,存储将成为令人瞩目的一个市场。在今后的几年内,存储服务市场将进入飞速发展期。基于Internet的应用例如电子商务、电子邮件和客户关系管理(CRM)等将成为存储服务的主要市场。此外,如何利用异构的存储资源高效协调的工作也是一个非常迫切待解决的问题。G2NFS是在全局分布式存储(GDSS)平台上的开发针对这些问题而提出的一个较好解决方案。G2NFS结合单一名字空间和多名字空间的特点,建立一个全局统一的文件命名空间,对所有的用户提供相同的文件命名、定位、和访问机制,实现文件定位的高效率、位置透明性和访问透明性。同时针对不同的用户的兴趣,为他们提供不同的数据视图。利用域和组的概念,采用分布式元数据服务器,实现控制命令传输和真实数据传输分离的第三方数据传输,从而大大减轻服务器端的负载,提高了系统的吞吐能力。采用域和组的概念,建立方便高效的用户数据共享机制。G2NFS采用一种自适应策略,即当文件比较大的时候采用普通的传输方式或者分片传输,当文件比较小的时候放入一个数据通道,多个小文件共享一个socket。采用socket复用技术使得大批量小文件的传输高效而快捷;采用大文件分片技术,使得大文件传输的效率得到极大的提高。文件快照技术是一种保留某一时刻文件系统映像的技术,它用最短的时间和最低的消耗实现文件系统的只读备份,其目的是在应用层有效地保护数据不被破坏。元数据给出了数据在存储装置的存储结构,通过记录整个文件系统的元数据在某一时刻的状态,建立文件系统在这一时刻的快照。G2NFS实现了一般文件系统功能,具有统一的用户视图,实现了第三方传输,测试结果表明,该文件系统对大批量小文件和超大型文件传输具有极为明显的优势。

全文目录


摘要  3-5
ABSTRACT  5-8
1 绪论  8-15
  1.1 概述  8
  1.2 网络文件系统的研究现状  8-12
    1.2.1 NFS（Network File System）  8-9
    1.2.2 FS 与CODA 文件系统  9-10
    1.2.3 GFS（Global File System）  10-11
    1.2.4 Lustre  11
    1.2.5 PVFS(Parallel Virtual File System)  11-12
  1.3 现有系统的问题分析  12-13
  1.4 研究内容与组织  13-15
    1.4.1 本文的内容  13-14
    1.4.2 本文的组织  14-15
2 G2NFS 文件系统  15-25
  2.1 G2NFS 体系结构  15-21
    2.1.1 存储服务提供者  17-20
    2.1.2 存储代理  20-21
  2.2 LINUX 文件系统  21-24
    2.2.1 Linux 操作系统概述  21
    2.2.2 Linux 文件系统中的基本概念  21-22
    2.2.3 Linux 虚拟文件系统  22-24
  2.3 小结  24-25
3 G2NFS 的关键技术研究  25-36
  3.1 统一的逻辑视图  25-28
    3.1.1 全局范围的数据共享  25-27
    3.1.2 全局统一的文件名字空间  27-28
  3.2 副本管理  28-31
    3.2.1 资源选择器  28
    3.2.2 Agent 管理器  28-29
    3.2.3 访问记录器  29
    3.2.4 副本管理器  29-31
  3.3 元数据管理  31-32
    3.3.1 元数据操作接口  31
    3.3.2 元数据容错系统  31
    3.3.3 元数据副本管理模块  31-32
  3.4 文件系统容错机制  32-35
  3.5 本章小结  35-36
4 G2NFS 的实现  36-47
  4.1 G2NFS 重要的数据结构  36-38
    4.1.1 G2NFS 的文件描述符的定义  36
    4.1.2 用户空间的定义  36-37
    4.1.3 存储空间的定义  37
    4.1.4 分片信息的定义  37-38
    4.1.5 文件信息定义  38
  4.2 文件访问接口  38-40
    4.2.1 文件接口模块  38-40
  4.3 数据传输  40-44
    4.3.1 数据传输  41
    4.3.2 分片传输  41-42
    4.3.3 部分数据的传输  42
    4.3.4 分布式合作传输  42
    4.3.5 Socket 复用  42-44
  4.4 客户端与SSP 之间的GDSP 通信协议  44
  4.5 客户端文件系统模块  44-46
  4.6 本章小节  46-47
5 性能测试与分析  47-56
  5.1 测试环境  47-48
  5.2 功能测试  48
  5.3 性能测试及分析  48-55
    5.3.1 元数据性能测试  48-50
    5.3.2 数据传输性能测试  50-53
    5.3.3 文件I/O 性能测试  53-55
  5.4 本章小结  55-56
6 结束语及未来工作  56-58
致谢  58-60
参考文献  60-65
附录1 攻读学位期间发表论文  65-66
附录2 攻读学位期间申请软件著作版权  66

相似论文

  1. 基于元数据的农田信息存储、管理和共享研究,S126
  2. 分面元数据在网站检索系统中的应用研究,G354.2
  3. 面向高校重点课程的教参资源库建设的应用研究,G642.3
  4. C/S模式MIS软件可复用构件的研究与开发,TP311.52
  5. 矿区多源遥感影像集成管理系统的设计与实现,P208
  6. DWMS中元数据以及缓冲区的设计和实现,TP311.13
  7. 基于PCIE接口混合存储系统的设计与实现,TP333
  8. 网络环境下的分布式存储系统的设计与实现,TP333
  9. 存储系统中多维元数据索引的高效更新方法研究,TP333
  10. 汉文古籍标准化元数据转换研究与应用,TP391.1
  11. 在线体育视频剪辑系统中元数据的应用研究,TP391.41
  12. 重复数据删除技术的研究与实现,TP333
  13. 虚拟桌面环境下数据去冗余系统的设计与实现,TP333
  14. 分布式内存数据库存储研究,TP311.13
  15. 互联网文件存储服务系统研究,TP393.09
  16. 仿真资源云存储技术的研究与实现,TP333
  17. 分布式存储网络中的数据完整性校验与修复,TP333
  18. 哈尔滨体育学院教学资源管理系统的设计与实现,TP311.52
  19. SAN集群文件系统性能优化研究与实现,TP316.7
  20. 无线传感器网络中的分布式数据存储安全性研究,TP212.9
  21. 基于云计算的分布式智能语义搜索方法研究,TP391.1

中图分类: > 工业技术 > 自动化技术、计算机技术 > 计算技术、计算机技术 > 计算机软件 > 操作系统
© 2012 www.xueweilunwen.com