学位论文 > 优秀研究生学位论文题录展示

重复数据删除技术在图片文件系统中的应用

作　者: 李映刚
导　师: 陈志文
学　校: 成都理工大学
专　业: 计算数学
关键词: 重复数据删除存储备份 JPEG
分类号: TP333
类　型: 硕士论文
年　份: 2013年
下　载: 11次
引　用: 0次
阅　读: 论文下载

内容摘要

论文基于作者在“磁盘上实现物理磁带库(PTL)功能的虚拟磁带库(VTL)”项目开发中的工作,结合了作者对存储领域的一些思考,对移动终端数字信息结构和重复数据删除技术的发展方向以及带重复数据删除技术的存储系统的功能设计、开发方面等进行了较为系统的探索,实现了一款易部署、廉价的基于linux服务器的带重复数据删除技术的图片存储系统。重复数据删除已经是数据存储备份领域的必备技术。随着信息数字化的不断推进,人们需要存储、传输的数据量会越来越多,数据信息结构多样化化也会越来越明显。3G甚至4G无线网络的普及进一步促进了移动终端信息结构的调整,人们需要从移动终端获取更丰富的数据信息的趋势也越来越明显,这种丰富的数据信息需求刺激着信息主体由文字转变为图片,甚至进一步转变为视频。论文首先介绍了重复数据删除涉及的关键技术点及其在实际应用中所面临的问题,然后提出了超大量图片存储所面对的不同于一般数据存储的特殊需求,围绕着重复数据删除技术应用于图片存储的问题进行了深入的探讨,其中以建立一个开放的、易实现的、广泛兼容的图片存储系统逻辑结构为重点研究内容,以占服务器市场90%以上的linux操作系统为图片存储系统的开发和部署平台。利用linux操作系统的虚拟文件系统(VFS)的广泛支持,以及VFS对网络文件系统的支持兼容,开发实现了一款基于VFS的图片存储系统。针对图片文件的特性,选用CDC算法进行图片文件的数据分块,并且结合linux下的磁盘文件系统ext3以及磁盘物理特性对CDC算法的预设参数进行合理的设置,以期得到适用于图片存储的文件分块算法。针对超大量图片文件的访问问题,提出了利用文件名nash值加快文件搜索的方法。论文以source insight为项目代码管理工具,以gcc为代码编译工具,结合了图片文件存储访问操作主要以文件而不是数据块为单位的特性,直接利用linux的VFS文件系统的文件操作的概念实现了一款极易部署的图片重删存储系统。该存储系统是以动态链接库的形式存在,提供了进行图片存储与访问所需的基本操作接口,并且可以容易的根据实际应用的需要扩展出其他的功能接口。

全文目录

摘要  4-5
Abstract  5-7
目录  7-9
第1章绪论  9-13
  1.1 研究背景  9
  1.2 国内外研究现状以及研究意义  9-11
  1.3 研究内容以及创新点  11-13
第2章带重复数据删除的图片文件存储系统理论  13-30
  2.1 重复数据删除技术  13-20
    2.1.1 重复数据删除的概念  13
    2.1.2 重复数据删除技术的特点  13
    2.1.3 重复数据删除的关键技术及其应用中存在的难点  13-19
    2.1.4 重复数据删除技术的应用  19-20
  2.2 网络存储的概念  20-23
    2.2.1 几种常见的网络存储架构  20-22
    2.2.2 存储相关的主要协议  22-23
  2.3 独立冗余磁盘阵列  23-24
  2.4 linux文件系统介绍  24-26
    2.4.1 虚拟文件系统  24-25
    2.4.2 ext3文件系统  25-26
  2.5 硬件I/O与linux系统下的I/O调度算法  26-27
    2.5.1 磁盘与I/O的概念  26-27
    2.5.2 Linux的磁盘I/O调度算法  27
  2.6 JPEG标准以及JFIF文件格式  27-30
    2.6.1 几种常见的压缩编码方法  27-28
    2.6.2 JPEG的压缩原理  28
    2.6.3 JPEG的文件格式  28-30
第3章带重复性数据删除技术的图片文件存储方法研究  30-43
  3.1 图片文件数据分块算法  30-33
    3.1.1 选用CDC算法对图片文件进行分块  30
    3.1.2 采用CDC算法对数据进行分块涉及的情况  30-31
    3.1.3 选择合适的CDC算法参数  31-33
  3.2 图片重删系统数据的归档存储与快速访问  33-39
    3.2.1 内核通过VFS访问ext3文件系统文件的方式  33-35
    3.2.2 传统的小数据文件归档方式  35-36
    3.2.3 如何解决数据的归档存储和快速访问的问题  36-39
  3.3 如何进行快速的重复性检验  39-40
  3.4 图片文件重删存储系统支持主要存储协议的方式  40-43
    3.4.1 支持NAS结构下的网络文件访问协议  40-41
    3.4.2 支持SAN结构下的数据存储协议  41-43
第4章带重复数据删除技术的图片存储系统开发  43-53
  4.1 系统总体框架  43
  4.2 系统分析与设计  43-44
    4.2.1 系统实施的软硬件环境  43-44
    4.2.2 系统设计的原则  44
  4.3 系统主要功能介绍  44-53
    4.3.1 系统主要功能说明  44-45
    4.3.2 相关功能操作及结果  45-53
结论与展望  53-54
致谢  54-55
参考文献  55-57
攻读学位期间取得学术成果  57

重复数据删除技术在图片文件系统中的应用

内容摘要

全文目录

相似论文