学位论文 > 优秀研究生学位论文题录展示

基于纠删码的分布式存储系统的设计与实现

作　者: 孙程
导　师: 谢军
学　校: 电子科技大学
专　业: 通信与信息系统
关键词: 纠删码 分布式存储 高可用性 身份认证
分类号: TP333
类　型: 硕士论文
年　份: 2010年
下　载: 187次
引　用: 1次
阅　读: 论文下载
 

内容摘要


计算能力的提高、因特网的发展和普及使得越来越多的人类活动信息被转化成数字形式,导致了数字化信息以前所未有的速度增长。而在当今社会条件下,对于绝大多数的用户而言,数据不论对于个人用户、企业还是一个国家来说都是至关重要。而数据存储也面临着前所未有的挑战,各种人为的或者自然灾害对用户数据构成了极大地威胁。所以,数据的安全存储就变得尤为重要。在分布式计算之后出现的基于计算机网络分布式存储可以很好的解决存储系统中数据的高可用性这一课题:高可扩展性,高可靠性和高效率。本文在研究传统存储系统中以完全复制技术引入冗余的基础上,针对其不足,将纠删码作为存储系统的冗余机制。纠删码技术在没有过量的存储空间开销的基础上,通过合理的额外存储来提供系统的高可靠性和高可用性。主要工作有以下几点:1.研究了纠删码的原理以及编解码算法,深入分析了纠删码技术在存储系统中的优势,总结和归纳了存储系统以及数据分散策略的研究现状。2.分析、实现了基于Vandermonde矩阵与基于Cauchy矩阵的RS纠删码编解码算法,并对其编解码性能进行测试,结果显示Cauchy RS纠删码性能明显高于Vandermonde RS纠删码。3.设计并实现了一种基于纠删码的分布式存储系统模型,详细设计了系统的各个模块:文件编解码模块、文件存储模块、文件下载模块以及文件更新删除模块等。并对其性能进行了测试分析。4.提出了一种非安全公开网络中的远端用户的身份认证技术,通过安全性分析可知非法用户要登录远端服务器并盗用服务器上的资源是不可行的。通过以上工作,本文将纠删码技术和分布式存储技术相结合,设计并实现基于纠删码的分布式存储系统,基本能够达到存储的高可用性,高安全性和高效率这样的目标。

全文目录


摘要  4-5
ABSTRACT  5-11
第一章 绪论  11-20
  1.1 研究背景  11-12
  1.2 存储体系结构研究  12-16
    1.2.1 RAID (Redundant Array of Independent/Inexpensive Disk)  12-13
    1.2.2 DAS(Direct Attached Storage)  13-14
    1.2.3 NAS(Network Attached Storage)  14
    1.2.4 SAN(Storage Area Network)  14-15
    1.2.5 IP 存储(Storage over IP)  15-16
  1.3 分布式存储系统研究现状  16-17
  1.4 数据分散策略研究现状  17-18
  1.5 本文的组织  18-20
第二章 纠删码技术研究  20-30
  2.1 纠删码原理  20-21
  2.2 RS 纠删码  21-24
  2.3 阵列纠删码(Array Codes)  24-27
    2.3.1 EVENODD 码  24-25
    2.3.2 X 码  25-27
  2.4 纠删码与完全复制的比较  27-29
    2.4.1 冗余度  27
    2.4.2 数据可用性及容错能力  27-29
  2.5 本章小结  29-30
第三章 基于纠删码的系统模型设计  30-42
  3.1 系统模型概述  30-32
  3.2 文件操作协议  32-36
    3.2.1 文件存储过程  32-33
    3.2.2 文件下载过程  33-35
    3.2.3 文件更新与删除  35-36
  3.3 MD5 算法介绍  36-41
  3.4 Master 服务器的副本机制  41
  3.5 本章小结  41-42
第四章 身份认证技术研究  42-50
  4.1 SHA-1 算法介绍  42-44
  4.2 身份认证方法  44-49
    4.2.1 远端用户的认证过程  45-47
    4.2.2 远端服务器中口令的修改过程  47-49
  4.3 安全性分析  49
  4.4 本章小结  49-50
第五章 服务器模型  50-55
  5.1 循环服务器模型  50-51
  5.2 并发服务器模型  51-52
    5.2.1 多进程服务器  51-52
    5.2.2 多线程服务器  52
  5.3 本系统服务器模型  52-54
  5.4 本章小结  54-55
第六章 测试结果  55-63
  6.1 测试平台  55-56
  6.2 测试结果  56-62
    6.2.1 编解码示例  56-57
    6.2.2 几种纠删码性能比较  57-59
    6.2.3 系统性能测试  59-62
  6.3 本章小结  62-63
第七章 结束语  63-65
  7.1 本文小结  63-64
  7.2 下一步研究方向  64-65
致谢  65-66
参考文献  66-69
攻读硕士学位期间发表论文  69-70

相似论文

  1. 网络环境下的分布式存储系统的设计与实现,TP333
  2. 多机热备高可用集群的设计和研究,TP311.5
  3. 云存储系统数据持久存储机制的研究,TP333
  4. 虚拟桌面环境下数据去冗余系统的设计与实现,TP333
  5. 分布式内存数据库存储研究,TP311.13
  6. 互联网文件存储服务系统研究,TP393.09
  7. 我国网络实名制发展状况研究,F49
  8. 仿真资源云存储技术的研究与实现,TP333
  9. 分布式存储网络中的数据完整性校验与修复,TP333
  10. 基于Exchange的中小企业邮件系统的研究与实现,TP393.098
  11. 无线传感器网络中的分布式数据存储安全性研究,TP212.9
  12. 基于云计算的分布式智能语义搜索方法研究,TP391.1
  13. 基于分布式存储的移动GIS技术与应用研究,TN929.5
  14. 基于椭圆曲线动态口令身份认证方案的研究与实现,TP393.08
  15. 不可否认机制与时间戳服务系统研究,TP393.08
  16. 分布式网络设备的软件在线升级系统设计,TP311.52
  17. 高可用性软件测试的方法及应用,TP311.52
  18. RAID系统纠删码技术研究,TP391.44
  19. 高性能计算集群文件系统的优化技术研究,TP316
  20. 基于DHT的key-value分布式存储系统,TP333
  21. 海量空间数据的分布式存储管理及并行处理技术研究,TP333

中图分类: > 工业技术 > 自动化技术、计算机技术 > 计算技术、计算机技术 > 电子数字计算机（不连续作用电子计算机） > 存贮器
© 2012 www.xueweilunwen.com