学位论文 > 优秀研究生学位论文题录展示

基于P2P的分布式存储系统的研究与实现

作　者: 朱琨
导　师: 卢显良
学　校: 电子科技大学
专　业: 计算机系统结构
关键词: 分布式负载均衡超级结点 P2P
分类号: TP333
类　型: 硕士论文
年　份: 2010年
下　载: 222次
引　用: 0次
阅　读: 论文下载

内容摘要

随着互联网服务爆发式增长,用户对海量数据的需求加大,如何在动态网络环境中设计具有高可用性和高可靠性的分布式存储系统,已经成为热点问题。P2P技术的成熟推动了网络存储技术的发展。如今,国际互联网公司又提出“云存储”的概念,整合系统资源,用户付出较少费用,就可以得到稳定可靠的存储服务。现有的分布式系统,没有充分考虑利用服务器和端系统相结合的机制,提供高效的存储服务。本文首先对分布式存储和P2P技术进行分析,结合当前国内外研究现状和发展态势,再根据项目的实际需求,设计出高效的分布式海量存储系统PPDSS(P2P Distributed Storage System),即基于P2P的分布式存储系统,由端系统以及服务器系统构成覆盖网络,并且向终端存储演进。本文的主要工作有以下几点:第一,PPDSS系统设计,引入了分布式架构,去掉中心节点,将元数据索引和数据存储的负载分发到每一台服务器上。实现存储系统的基本功能,包括发布、下载、更新和删除文件。设计多种定时器,处理系统各种超时事件。第二,负载均衡模块的设计与实现,在副本变化的过程中,充分利用服务器的空闲资源,使得系统的服务性能得到最大的发挥,避免系统瓶颈和抖动的出现。第三,实现高效的P2P内容分发策略,在单线程模型下进行高效的网络交互和磁盘访问。针对P2P网络的特性,提出超级节点选择算法,定期选择上传速率高的节点作为邻居节点,优先向其分发数据,同时淘汰放大能力低的节点,有效利用服务器网络带宽,提高内容分发效率。第四,设计并实现Lazy机制,保证PPDSS的数据一致性。利用客户端对PPDSS进行测试,结果表明文件基本操作能够正常进行,客户随时都能下载到正确的数据。选择低负载服务器进行副本扩散能够达到负载均衡,并且降低了对客户下载速率的影响。与多进程服务器的性能对比,基于非阻塞网络读写和磁盘异步I/O的单线程服务器CPU使用率降低了60%。通过将超级节点选择策略和普通选择策略的内容分发效率进行对比,证明引入超级节点以后,客户平均下载完成时间缩短,性能提升17%以上。

全文目录

摘要  4-5
ABSTRACT  5-10
第一章引言  10-14
  1.1 研究动机  10-11
  1.2 国内外研究现状  11-12
  1.3 本文工作  12-13
  1.4 论文组织  13
  1.5 本章小结  13-14
第二章基础理论与相关技术  14-23
  2.1 传统存储模型  14-15
  2.2 分布式存储模型  15-18
    2.2.1 GFS  15-17
    2.2.2 Dynamo  17
    2.2.3 Pnuts  17-18
  2.3 P2P 技术  18-20
    2.3.1 非结构化系统  18-19
    2.3.2 结构化系统  19-20
  2.4 负载均衡技术  20-22
    2.4.1 负载均衡技术简介  20-21
    2.4.2 负载均衡技术分类  21
    2.4.3 现有技术的分析  21-22
  2.5 本章小结  22-23
第三章系统设计  23-41
  3.1 系统需求分析  23-24
  3.2 系统总体设计  24-26
  3.3 系统模块设计  26-36
    3.3.1 Iroot 控制模块  27-32
    3.3.2 DHT 模块  32-33
    3.3.3 存储模块  33-34
    3.3.4 网络通信模块  34-36
  3.4 系统基本功能  36-40
    3.4.1 文件发布  37-38
    3.4.2 文件下载  38-39
    3.4.3 文件更新  39
    3.4.4 文件删除  39-40
  3.5 本章小结  40-41
第四章负载均衡模块的设计与实现  41-57
  4.1 负载均衡的设计目标  41-42
  4.2 基于多副本的分块存储模块  42-45
    4.2.1 多副本文件块的设计  42-43
    4.2.2 功能实现  43-45
  4.3 副本的扩散和迁移模块  45-51
    4.3.1 设计思想  45
    4.3.2 服务器的选择策略  45-48
    4.3.3 副本扩散和迁移策略  48-51
  4.4 新节点上线的负载均衡模块  51-56
    4.4.1 设计思想  51-52
    4.4.2 数据类型的划分策略  52-54
    4.4.3 新节点的负载均衡策略  54-56
  4.5 本章小结  56-57
第五章 P2P 内容分发模块的设计与实现  57-78
  5.1 P2P 内容分发的设计目标  57-58
  5.2 单线程I/O 框架  58-61
  5.3 底层P2P 实现  61-66
    5.3.1 内存池  61-62
    5.3.2 P2P 内容发布  62-65
    5.3.3 客户端P2P 会话  65-66
  5.4 超级节点选择算法  66-73
    5.4.1 设计思想  66-68
    5.4.2 超级节点选择算法  68-70
    5.4.3 Tracker 淘汰流程  70-73
  5.5 P2P 数据一致性  73-77
    5.5.1 一致性问题  73-74
    5.5.2 Lazy 机制  74-77
  5.6 本章小结  77-78
第六章系统测试  78-89
  6.1 测试环境  78-79
  6.2 功能测试  79-84
    6.2.1 基本功能  79-81
    6.2.2 副本扩散  81-82
    6.2.3 新节点上线的数据迁移  82-84
  6.3 性能对比测试  84-88
    6.3.1 单台服务器性能对比  84-86
    6.3.2 超级节点与普通选择策略对比  86-88
  6.4 本章小结  88-89
第七章结论与展望  89-90
致谢  90-91
参考文献  91-94
攻硕期间取得的研究成果  94-95

相似论文

Ad-Hoc网络多信道MAC层协议的信道分配问题的研究,TN929.5
分布式系统的故障注入方法研究,TP338.8
并行分布式网络模拟器PDNS容错技术的研究,TP302.8
基于NS2的PeerCast模拟平台设计与实现,TP311.52
面向Gnutella和eMule网络拓扑测量和安全性分析,TP393.08
面向海量邮件的检索系统研究与实现,TP393.098
含分布式电源的微电网控制策略研究,TM61
基于聚类分析的P2P流量识别算法的研究,TP393.02
基于移动Agent的分布式网络通信机制的研究,TP393.02
随机路由在无线传感器网络中的研究与应用,TN929.5
高校教务管理网上选课系统优化研究,TP393.09
音像广播远程教育系统中直播服务器的设计与实现,TP311.52
基于Oracle的移动彩铃分布式数据库设计与实现,TP311.13
分布式视频编码边信息生成研究,TN919.81
基于Linux集群系统的负载均衡算法研究及在Webgis中的应用,TP393.05
基于分布式三层应用的设备管理信息系统的开发和研究,TP311.52
基于WCF框架的管制信息系统的设计与实现,TP311.52
基于LDPCA的分布式视频编码中的非均衡编码,TN919.81
基于QoS的无线Mesh网络路由协议及相关技术的研究,TN929.5
分布式视频编码中边信息技术研究,TN919.81
压缩感知在无线通信网络异常事件检测中的应用研究,TN929.5