学位论文 > 优秀研究生学位论文题录展示

在线重复数据删除技术的研究与实现

作 者: 胡盼盼
导 师: 谢长生
学 校: 华中科技大学
专 业: 计算机系统结构
关键词: 重复数据删除 分级存储 指纹检索优化
分类号: TP333
类 型: 硕士论文
年 份: 2011年
下 载: 106次
引 用: 0次
阅 读: 论文下载
 

内容摘要


随着信息化建设的不断深入,企业数据信息量呈几何级数增长。信息量的不断扩张带来以下两个问题:一是存在着大量的重复数据,导致存储空间的大量浪费,企业的存储成本提高;二是高访问量使得磁盘存储设备逐渐成为数据中心的访问性能瓶。针对上述问题,通过对重复数据删除技术的研究,以及对固态硬盘性能和特性的调研,提出了一种基于iSCSI平台的分级存储技术与重复数据删除技术相结合的存储系统。首先,深入研究了重复数据删除技术,采用了基于散列的重复数据删除方式,实现了以下基本功能:指纹计算、指纹检索、指纹索引表管理;为了弥补重复数据删除对系统带来的性能损失,提出了“内存—固态盘—磁盘”分级存储系统,用固态盘充当二级缓存,利用其读写性能好、容量大、非易失性等特点,提高系统整体性能;通过虚拟空间映射功能,将服务器物理磁盘虚拟为一个较大的虚拟盘,然后按分区映射给多个客户端,实现单服务器---多客户端功能。然后针对重复数据删除功能中指纹检索性能瓶颈,进行了专门的算法优化。首先提出了基于布隆过滤的检索过滤算法,过滤掉大量不必要的指纹检索请求;然后实现了指纹索引表“内存—固态盘”分级存储策略,充分利用固态盘较好的读性能,避免索引表存储到磁盘,产生磁盘访问性能瓶颈。最后,对分级重复数据删除系统进行了相关测试。首先对系统进行了性能对比测试,结果表明,重复数据删除功能由于计算量较大,会带来一定的性能损失,但与分级存储技术相结合之后,整体性能反而有一定的提升;然后对重复数据删除的压缩比进行了测试,结果表明,重复数据删除技术对于信息重复度较高的应用环境,如文档应用,具有较好的压缩效果;最后对指纹检索过滤算法进行了测试,其过滤率和误判率都达到了预期效果。

全文目录


摘要  4-5
Abstract  5-9
1 绪论  9-14
  1.1 课题背景  9-10
  1.2 重复数据删除技术的发展现状  10-11
  1.3 分级存储技术的发展现状  11-12
  1.4 研究目的与主要内容  12-13
  1.5 课题来源  13-14
2 系统介绍与关键技术  14-23
  2.1 iSCSI 平台介绍  14-16
  2.2 系统拓扑结构  16-17
  2.3 重复数据删除技术  17-19
  2.4 分级存储技术  19-22
  2.5 本章小结  22-23
3 系统的设计与实现  23-43
  3.1 系统总体设计  23-25
  3.2 虚拟空间映射模块设计与实现  25-28
  3.3 重复数据删除模块设计与实现  28-35
  3.4 分级存储模块设计  35-41
  3.5 运行时动态分析  41-42
  3.6 本章小结  42-43
4 重复数据删除检索性能优化  43-53
  4.1 重复数据删除检索性能瓶颈  43-44
  4.2 基于bloom filter 算法的检索过滤技术  44-49
  4.3 索引表”内存-SSD”分级存储  49-51
  4.4 本章小结  51-53
5 系统测试与分析  53-59
  5.1 测试平台介绍  53-54
  5.2 系统性能测试与比较  54-56
  5.3 重复数据删除压缩比测试  56-57
  5.4 检索过滤算法效果测试  57
  5.5 小结  57-59
6 总结与展望  59-61
  6.1 全文总结  59-60
  6.2 研究展望  60-61
致谢  61-62
参考文献  62-65

相似论文

  1. 广域网数据压缩算法的研究与实现,TP391.41
  2. 重复数据删除技术的研究与实现,TP333
  3. 基于逻辑卷的分级存储系统设计与实现,TP333
  4. 在线备份系统中存储服务器的研究与实现,TP333
  5. 虚拟桌面环境下数据去冗余系统的设计与实现,TP333
  6. 云备份中的双指纹校验与多线程传输技术研究,TP309.3
  7. 支持重复数据删除的网络备份系统中存储服务器的设计与实现,TP309.3
  8. 数据分级存储结构与算法研究,TP333
  9. 基于信息生命周期管理的数据迁移技术研究,TP333
  10. 汽车产业链协作ASP平台数据归档与重构的策略研究,TP311.52
  11. 基于重复数据删除技术的数据容灾系统的研究,TP309.3
  12. 一种轻量级快速网络备份系统的设计与实现,TP309.3
  13. 基于对象的分级存储系统数据迁移技术研究,TP333
  14. 马尔可夫逻辑网在Web中的应用,O211.62
  15. 一种基于重复数据删除的备份系统设计与实现,TP309.3
  16. 信息生命周期管理系统中信息分级管理技术的研究与实现,TP311.52
  17. 海量数据备份的消冗机制研究与实现,TP309.3
  18. 山东电视台新闻资讯中心网络方案设计与实现,TN948.1
  19. 内容感知存储系统中信息生命周期管理关键技术研究,TP333
  20. 网络备份中重复数据删除技术研究,TP309.3

中图分类: > 工业技术 > 自动化技术、计算机技术 > 计算技术、计算机技术 > 电子数字计算机(不连续作用电子计算机) > 存贮器
© 2012 www.xueweilunwen.com