学位论文 > 优秀研究生学位论文题录展示

基于高速数据的分配存储策略研究

作　者: 郑奇英
导　师: 叶猛
学　校: 武汉邮电科学研究院
专　业: 信号与信息处理
关键词: 数据库集群 负载均衡 中间件 RAID技术 数据存储
分类号: TP311.13
类　型: 硕士论文
年　份: 2011年
下　载: 30次
引　用: 0次
阅　读: 论文下载
 

内容摘要


在信息化的今天,随着计算机技术和数据库技术的发展,信息技术越来越广泛的被应用到各行各业中,人们普遍利用计算机技术来处理各项业务,加上应用需求的大量增加等因素会造成网络流量的爆发式增长。目前,大型DBMS在海量数据的联机处理等商业应用已经成为制约数据库系统运行效率甚至整个信息系统性能的提高的瓶颈,传统的采用提高单一数据库服务器的硬件配置和优化数据库系统参数的做法也只能在一定程度上有限的提高系统性能。在考虑保护现有投资,实现成本以及满足性能需求的基础上,基于多机并行处理的数据库集群作为一种高性价比并行/分布式计算资源成为人们研究的热点,它所具有的高性能,高可用性以及高可扩展性等优点,被广泛的应用于海量数据的处理和存储,高性能计算,电子商务,web服务等领域。围绕提高数据库集群系统的并行性能讨论,主要从数据库集群系统结构,中间件的结构与设计,负载均衡和业务应用对数据存储需求等角度研究了数据分配存储的一些关键技术。为了将集群技术应用于数据库系统以实现高并行处理性能和大规模的数据库集群系统,在非共享存储数据库集群基础上研究了一种运用中间件技术和RAID技术的具有高并行处理能力综合解决方案。这种方案对用户提供单一系统映像,使数据库集群中各单数据库系统节点既保持了良好的自治性又能相互协作以达到高并行处理性能,并且能对不同业务需求的OLAP和OLTP数据的存储处理,提高了数据库集群系统的整体性能,解决了大型DBMS的性能瓶颈获得提高资源利用率和高性能并行处理能力的有效手段是运用负载均衡技术,采用反馈机制,负载均衡器周期性收集影响集群中同构或异构节点失衡因素,CPU利用率,内存和网络带宽等资源在不同负载下的综合利用率来衡量节点的加权负载状态,并且在根据节点性能和运行状态设置相应阈值。影响数据库集群系统性能的另一个重要因素是数据分布平衡,现存的一些数据划分方法没有考虑异构节点计算能力的差异,将关系和数据均匀的分布到各个处理节点,严重影响了数据库集群系统性能的发挥,针对系统负载中发生的数据倾斜,根据负载访问特点采用数据迁移算法将热点数据迁移到较轻负载节点,不仅避免了数据倾斜的影响,提高了系统的吞吐率,保持了集群系统的动态负载平衡。最后,通过实验分析和验证集群存储系统的并行处理性能和指标,评估是否达到预期效果。

全文目录


摘要  3-5
Abstract  5-9
第一章 绪论  9-13
  1.1 研究背景和意义  9-10
  1.2 发展现状及相关研究  10-13
    1.2.1 集群技术发展现状  10-11
    1.2.2 数据库集群技术发展现状  11-13
第二章 数据库集群技术概述  13-20
  2.1 集群技术概述  13-15
  2.2 数据库集群技术分类  15-17
  2.3 数据库集群系统和其他数据库系统的比较  17-18
    2.3.1 数据库集群系统和并行数据库系统  17-18
    2.3.2 数据库集群系统和分布式数据库系统  18
    2.3.3 数据库集群系统和多数据库系统  18
  2.4 本章小结  18-20
第三章 相关知识研究  20-35
  3.1 中间件  20-24
    3.1.1 中间件概念  20-21
    3.1.2 中间件功能和特点  21-22
    3.1.3 中间件分类  22-24
  3.2 RAID 技术  24-29
    3.2.1 RAID 技术概述  24
    3.2.2 RAID 分类  24-25
    3.2.3 RAID 技术规范  25-29
  3.3 负载均衡概述  29-31
  3.4 负载均衡策略分析  31-32
  3.5 负载均衡技术分类  32-34
  3.6 本章小结  34-35
第四章 数据分配存储方案设计  35-52
  4.1 基于数据库集群的数据分配存储系统总体结构  35-38
  4.2 数据库集群中间件负载均衡器设计  38-41
  4.3 数据集群中间件数据库代理模块设计  41-51
    4.3.1 数据库代理（DBAGENT）通信模块设计  42-43
    4.3.2 数据库代理模块与数据库底层接口设计  43-51
  4.4 本章小结  51-52
第五章 负载均衡算法的研究和实验结果分析  52-61
  5.1 基于数据库集群的负载均衡算法研究  52-56
    5.1.1 /PROC 文件系统介绍  52-53
    5.1.2 数据库服务器关键负载信息收集  53-54
    5.1.3 负载均衡算法描述  54-55
    5.1.4 数据库集群系统节点选择  55-56
  5.2 算法实验和结果分析  56-60
    5.2.1 系统可扩展性和可用性测试  57-59
    5.2.2 负载状况关键指标测试  59-60
  5.3 本章小结  60-61
第六章 总结与展望  61-63
  6.1 总结  61-62
  6.2 展望  62-63
参考文献  63-65
致谢  65-66
附录1 攻读硕士学位期间发表的论文  66

相似论文

  1. 医疗信息集成平台中HL7消息解析和存储的设计与实现,TP311.52
  2. 医疗信息集成平台中DICOM中间件及访问控制模型的设计与实现,TP311.13
  3. AFC系统通信中间件的研究与设计,TP311.5
  4. 数字电视中间件中图形界面引擎的研究与应用,TP391.41
  5. 随机路由在无线传感器网络中的研究与应用,TN929.5
  6. 高校教务管理网上选课系统优化研究,TP393.09
  7. 淮阴工学院校园一卡通系统设计及安全策略,TP393.18
  8. 基于RFID监狱智能管理系统研究与实现,TP315
  9. 本体在智能小区中的应用研究,TP391.1
  10. 基于Linux集群系统的负载均衡算法研究及在Webgis中的应用,TP393.05
  11. 连续机组物料跟踪子系统的设计与实现,TP311.52
  12. 江北区企业信用信息系统设计与实现,TP311.52
  13. LTE-A异构网络中的自组网技术研究,TN929.5
  14. 基于一种新经济模型的异构网络选择算法,TN929.5
  15. 基于QoS的无线Mesh网络路由协议及相关技术的研究,TN929.5
  16. 构建分布式系统的关键技术研究与实现,TP338.8
  17. 分布式视频存储系统设计与实现,TP333
  18. RFID中间件读写器设备管理研究,TP391.44
  19. 基于S2SH框架的雅砻江虚拟研究中心系统研究与设计,TP311.52
  20. 基于负载均衡的混合型应用层组播模型研究,TP393.02
  21. J-TEXT托卡马克数据系统的升级与完善,TL631.24

中图分类: > 工业技术 > 自动化技术、计算机技术 > 计算技术、计算机技术 > 计算机软件 > 程序设计、软件工程 > 程序设计 > 数据库理论与系统
© 2012 www.xueweilunwen.com