学位论文 > 优秀研究生学位论文题录展示

基于DHT的key-value分布式存储系统

作　者: 温安宇
导　师: 汪洋
学　校: 哈尔滨工业大学
专　业: 通信与信息系统
关键词: P2P 分布式存储 DHT 一条路由表
分类号: TP333
类　型: 硕士论文
年　份: 2010年
下　载: 95次
引　用: 0次
阅　读: 论文下载

内容摘要

随着P2P(peer to peer)模式的兴起、网络带宽的大幅增加和Internet端系统计算能力的迅速增强,原来一直被忽视的终端成为了宝贵的资源。如何充分利用这些终端资源,在高动态的网络环境中构建大规模、高可扩展性、高可靠性、高性能的存储系统,成为近年来的研究热点之一。本文中,首先介绍了P2P的基础知识并讨论和总结了分布式存储的相关技术,并在对P2P存储相关技术的研究现状进行了系统、全面分析和总结的基础上,实现了一种基于DHT(Distributed Hash Table)的key-value分布式存储系统AnyStorage,该系统不但吸取了结构化网络的优点,同时也利用了混合非集中式的优点来避免结构化网络的缺点。AnyStorage是一种基于DHT的key-value分布式存储系统,它旨在基于普通的PC架构上,为用户提供高可靠性,高扩展性的存储性能。AnyStorage主要由2部分构成,一部分是普通的AnyStorage节点,另一部分则是超级管理维护节点SMP(Super Maintenance Peer)。所有的AnyStorage节点在逻辑上构成一个DHT环,类似于Chord,而逻辑上又可分为一个全局环和多个本地环,节点以地域划分,节点间没有特殊需求,但SMP之间需要保证全连接互通。AnyStorage节点主要负责存储用户数据,并响应用户读取数据请求,而SMP则主要负责维护一跳路由表的更新。为了维护存储数据的一致性,系统会定时对全网数据进行检测,找出不匹配的数据,然后进行匹配搬迁,以保证所有数据都存储在正确的节点上。AnyStorage对内对外提供三个接口:存储、读取、删除操作接口。通过在局域网上的测试,验证了该系统的性能总体上达到了设计目标要求。

全文目录

摘要  4-5
Abstract  5-10
第1章绪论  10-17
  1.1 研究背景及研究意义  10-13
    1.1.1 Internet 的历史及其在中国的发展情况  10-11
    1.1.2 网络存储技术面临的挑战  11-12
    1.1.3 本文研究目的及意义  12-13
  1.2 国内外研究现状  13-14
  1.3 课题来源与论文内容  14-17
第2章 P2P 基础理论与分布式存储  17-23
  2.1 P2P 技术介绍  17-21
    2.1.1 P2P 模式  17-18
    2.1.2 P2P 网络  18-19
    2.1.3 P2P 潜在的信息安全问题  19-20
    2.1.4 P2P 网络中的拓扑研究  20-21
  2.2 分布式存储介绍  21-22
    2.2.1 网络存储技术  21
    2.2.2 集群存储技术  21-22
    2.2.3 P2P 存储技术  22
  2.3 本章小结  22-23
第3章 P2P 存储相关技术分析  23-32
  3.1 分布式散列表（DHT）  23-24
  3.2 Chord 算法  24-26
    3.2.1 Chord 原理  24
    3.2.2 Chord 的路由  24-25
    3.2.3 节点的加入和退出  25-26
  3.3 结构化P2P 网络基本特点  26-27
  3.4 数据的持久存储技术介绍  27-31
    3.4.1 数据冗余机制  28
    3.4.2 冗余数据分发机制  28-29
    3.4.3 错误检查机制  29-30
    3.4.4 数据恢复机制  30
    3.4.5 数据一致性维护  30-31
  3.5 本章小结  31-32
第4章系统结构与总体设计  32-45
  4.1 总体思路  32-34
  4.2 基于关键字的路由  34-35
  4.3 流量本地化  35-37
    4.3.1 基于ID 分配的条带分割  35-36
    4.3.2 两层DHT  36-37
  4.4 副本策略  37-40
    4.4.1 副本放置策略  37-39
    4.4.2 副本一致性策略  39-40
  4.5 系统主要业务流程  40-44
    4.5.1 PUT 文件业务  40-41
    4.5.2 GET 文件业务  41-42
    4.5.3 DEL 文件业务  42-43
    4.5.4 数据恢复业务  43-44
    4.5.5 节点新加  44
  4.6 本章小结  44-45
第5章系统测试验证  45-54
  5.1 系统测试环境  45-48
    5.1.1 系统失效模型  45-46
    5.1.2 系统测试网络  46-47
    5.1.3 主要测试指标  47-48
  5.2 测试结果  48-53
    5.2.1 操作成功率  48
    5.2.2 操作时延  48-51
    5.2.3 带宽消耗  51-52
    5.2.4 数据恢复时间  52-53
  5.3 本章小结  53-54
结论  54-55
参考文献  55-59
攻读硕士学位期间发表的学术论文  59-61
致谢  61

基于DHT的key-value分布式存储系统

内容摘要

全文目录

相似论文