学位论文 > 优秀研究生学位论文题录展示

基于云技术的分布式实时数据库高性能数据存储检索机制的研究

作　者: 钱益舟
导　师: 黄文君
学　校: 浙江大学
专　业: 控制工程
关键词: 分布式实时数据库云计算海量存储高性能检索冗余备份数据一致性
分类号: TP311.13
类　型: 硕士论文
年　份: 2012年
下　载: 543次
引　用: 1次
阅　读: 论文下载

内容摘要

随着大型流程工业迅速发展,企业生产信息化要求不断提高。实时数据库系统作为工业信息化基础数据平台,对点数规模、数据分布、可靠性、扩展性的要求不断提高。系统现有架构存在规模相对固定、性能难以扩展、灵活性不足的缺点,难以满足海量存储、分布式冗余备份、规模动态调整等需求。当前云计算技术以其海量数据存储、规模动态扩展、系统可用性可靠性高等特点得到了广泛的运用。因此本文对系统架构做出大胆变革,将云计算核心技术引入到实时系统中来,在分布式架构下设计实现实时数据存储检索机制。本文通过研究现有实时数据存储检索技术与云计算核心技术之一的高性能分布式存储技术,结合实时数据特点与动态扩展要求,基于分布式通讯服务平台,提出一种具有分布式应用特点的实时数据存储检索机制,实现海量数据实时写入、分布式存储、多重冗余备份、数据检索准确高效并支持系统规模动态扩展。本文以云计算技术为背景,基于分布式通讯服务平台,结合应用需求将分布式实时数据库数据存储检索机制的研究要点划分为数据存储、数据组织与数据检索三部分。通过利用分布式哈希表(DHT)技术,将分布式数据存储机制简化为本地数据存储,在机制框架内最大程度地利用集中式数据存储技术；数据组织机制以数据点、记录单元设计为基础,实现数据“版本化”管理和数据页序列管理,并设计数据迁移、副本同步、一致性修复等机制；数据检索机制结合系统数据组织与数据分布特性进行检索任务的分割与分发,针对“版本化”数据进行查询算法与流程设计,并通过缓存设计进一步提高检索性能。本文最后搭建测试平台、设计测试用例,对数据存储性能、数据检索性能进行功能、性能测试。结果表明系统能够实现海量数据实时写入、数据分布式冗余存储、数据检索准确高效并支持系统规模动态扩展,达到设计需求。

全文目录

致谢  5-6
摘要  6-7
ABSTRACT  7-12
第一章绪论  12-18
  1.1 课题引言  12
  1.2 课题研究背景  12-13
  1.3 课题研究现状  13-15
    1.3.1 实时数据库技术  13-14
    1.3.2 分布式实时数据库技术  14
    1.3.3 实时数据库产品调研  14-15
  1.4 课题研究内容  15-16
  1.5 本文内容  16-18
第二章高性能数据存储检索机制研究  18-26
  2.1 云计算核心技术介绍  18-19
  2.2 分布式实时数据库的总体架构  19-21
  2.3 分布式通讯服务平台  21-22
    2.3.1 通讯服务平台原理  21
    2.3.2 通讯服务平台应用  21-22
  2.4 分布式实时数据的存储检索机制  22-26
    2.4.1 数据存储检索机制的特点  23-24
    2.4.2 数据存储检索机制研究内容  24-26
第三章高性能数据存储技术研究  26-40
  3.1 实时数据库数据存储  26-28
    3.1.1 实时数据库的存储特点  26-28
    3.1.2 实时数据库数据存储流程  28
  3.2 去中心化的分布式数据存储技术  28-31
    3.2.1 系统的数据分布  28-30
    3.2.2 数据一致性  30-31
    3.2.3 数据存储机制  31
    3.2.4 系统特点  31
  3.3 分布式实时数据存储机制的设计与实现  31-39
    3.3.1 分布式实时数据存储机制的设计要求  31-32
    3.3.2 分布式实时数据存储机制的设计  32-35
    3.3.3 分布式实时数据存储机制的实现  35-39
  3.4 本章小结  39-40
第四章分布式实时数据管理方案设计  40-54
  4.1 实时数据库数据组织管理  40-41
  4.2 分布式实时数据组织管理方案的设计  41-46
    4.2.1 分布式实时数据的特殊性  41
    4.2.2 数据点标识管理  41-42
    4.2.3 数据记录单元设置  42
    4.2.4 版本化数据的组织管理方案设计  42-46
  4.3 分布式实时数据组织管理方案的实现  46-53
    4.3.1 存档记录页设计  46-49
    4.3.2 存档文件设计  49-50
    4.3.3 数据存储流程设计  50-53
  4.4 本章小结  53-54
第五章高性能数据检索技术研究  54-74
  5.1 实时数据库数据检索的特点  54-55
  5.2 分布式实时数据的检索特点  55
  5.3 分布式实时数据查询子系统的设计  55-59
    5.3.1 分布式实时数据库查询需求  55-56
    5.3.2 查询子系统框架设计  56-57
    5.3.3 查询子系统查询流程  57-58
    5.3.4 查询执行组件接口设计  58-59
  5.4 分布式实时数据检索机制的设计与实现  59-73
    5.4.1 分布式实时数据检索  59-61
    5.4.2 实时数据检索机制的设计与实现  61-69
    5.4.3 实时数据缓存  69-73
  5.5 本章小结  73-74
第六章高性能数据存储检索机制的测试与验证  74-90
  6.1 测试平台  74-75
  6.2 测试项目  75-87
    6.2.1 数据存储测试  75-78
    6.2.2 数据查询测试  78-81
    6.2.3 系统规模变动测试  81-86
    6.2.4 数据同步测试  86-87
  6.3 归纳总结  87-90
第七章总结与展望  90-92
  7.1 工作总结  90-91
  7.2 工作展望  91-92
参考文献  92-94
作者简历  94
攻读学位期间参与科研项目  94

基于云技术的分布式实时数据库高性能数据存储检索机制的研究

内容摘要

全文目录

相似论文