学位论文 > 优秀研究生学位论文题录展示

数字油田中非结构化数据管理系统的设计与实现

作　者: 程西
导　师: 吴江
学　校: 西北大学
专　业: 计算机软件与理论
关键词: 非结构化数据 分布式 文件分片 负载均衡 副本
分类号: TP311.52
类　型: 硕士论文
年　份: 2011年
下　载: 76次
引　用: 0次
阅　读: 论文下载
 

内容摘要


当今,对于石油行业这些视信息为命脉的企业来说,如何对非结构化数据进行合理的存储和管理,成为值得关注的问题之一,而分布式文件系统是实现非结构化数据管理的主要技术。本文通过对国内外分布式文件系统进行学习和总结,结合所开发的石油测井项目的具体应用,设计了一个适合石油行业应用的非结构化数据管理系统。设计始终围绕数字油田具体的应用需求,对系统中涉及到的一些关键技术进行了研究。完成的主要工作包括：1)系统分析和设计。以解决石油测井行业非结构化数据管理为目标,结合分布式系统的特点,提出了一个三层松耦合式的系统架构,并对架构的各层以及相互间的协作关系进行了详细的分析和设计。2)系统高性能研究。负载均衡是系统实现高性能的一个有效途径,本文在对当前主流的负载均衡算法进行研究的基础上,结合本系统架构的设计特点,引入了两级负载均衡的思想。对系统中的数据服务层和数据存储层分别采用了不同的负载均衡算法,从而使系统性能得到提升。3)系统高可用性研究。在系统设计时,出于对系统高可用性和高可靠性的考虑,在数据存储层采用了分片存储的思想,并对每个分片设置了副本。本文从副本数量和放置算法两方面对数据冗余机制进行了研究。4)系统可靠性的研究。由于系统中副本的存在,使得数据一致性显得尤为重要。本文研究分析了主流的副本一致性方法,并在系统中采用了文件创建中列表结合租约的方式来保证副本一致性。5)系统实现。文章的最后,介绍了系统的部分实现,展示了系统核心业务的流程。本文的研究建立在非结构化数据管理系统实现的第一版基础之上,首先对系统的架构做了优化,其次从高性能、高可用性、高可靠性等方面改进了系统,使其更加满足石油测井行业的实际应用。

全文目录


摘要  3-4
Abstract  4-9
第一章 绪论  9-16
  1.1 研究背景  9-10
  1.2 国内外研究现状  10-13
    1.2.1 非结构化数据管理解决方案  10-11
    1.2.2 国内外分布式系统研究现状  11-13
  1.3 存在问题  13-14
  1.4 研究目的和内容  14
  1.5 论文结构安排  14-16
第二章 非结构化数据管理系统构架设计  16-24
  2.1 分布式架构概述  16-17
    2.1.1 分布式架构思想  16
    2.1.2 分布式架构特点  16-17
  2.2 系统需求分析  17-19
    2.2.1 用户需求分析  17-18
    2.2.2 系统结构  18-19
  2.3 系统设计  19-23
    2.3.1 系统架构  19-21
    2.3.2 各层次间的交互  21-22
    2.3.3 系统工作模型  22-23
  2.4 本章小结  23-24
第三章 非结构化数据管理系统分析与设计  24-43
  3.1 业务流程分析  24-27
    3.1.1 文件存储业务流程分析  24
    3.1.2 文件读取业务流程分析  24-27
  3.2 数据服务层设计  27-32
    3.2.1 用例模型设计  27
    3.2.2 领域模型设计  27
    3.2.3 主要功能详细设计  27-32
  3.3 数据存储层设计  32-37
    3.3.1 用例模型设计  32-33
    3.3.2 领域模型设计  33-34
    3.3.3 主要功能详细设计  34-37
  3.4 数据访问层设计  37-42
    3.4.1 用例模型设计  37-38
    3.4.2 领域模型设计  38
    3.4.3 主要功能详细设计  38-42
  3.5 本章小结  42-43
第四章 系统关键技术研究  43-61
  4.1 集群中负载均衡的研究  43-49
    4.1.1 负载均衡原理  43-44
    4.1.2 常见算法介绍  44-45
    4.1.3 算法设计  45-46
    4.1.4 算法描述  46-48
    4.1.5 负载均衡的执行  48-49
  4.2 数据冗余机制研究  49-56
    4.2.1 副本的数量  50-53
    4.2.2 副本的放置  53-56
  4.3 数据一致性研究  56-60
    4.3.1 一致性协议  57
    4.3.2 两阶段提交协议  57
    4.3.3 多版本控制协议  57-58
    4.3.4 本系统一致性保证  58-60
  4.4 本章小结  60-61
第五章 非结构化数据管理系统的实现  61-69
  5.1 系统应用实例  61-67
    5.1.1 客户端界面的实现  61
    5.1.2 上传文件的实现  61-63
    5.1.3 下载文件的实现  63-65
    5.1.4 删除文件的实现  65-66
    5.1.5 文件夹操作的实现  66-67
  5.2 开发环境及实验  67-68
  5.3 本章小结  68-69
总结与展望  69-71
  本文工作总结  69
  未来工作展望  69-71
参考文献  71-74
攻读硕士学位期间取得的学术成果  74-75
  参与的科研项目  74-75
致谢  75

相似论文

  1. Ad-Hoc网络多信道MAC层协议的信道分配问题的研究,TN929.5
  2. 分布式系统的故障注入方法研究,TP338.8
  3. 并行分布式网络模拟器PDNS容错技术的研究,TP302.8
  4. 面向海量邮件的检索系统研究与实现,TP393.098
  5. 含分布式电源的微电网控制策略研究,TM61
  6. 基于移动Agent的分布式网络通信机制的研究,TP393.02
  7. 随机路由在无线传感器网络中的研究与应用,TN929.5
  8. 基于分布式环境压力测试问题的研究,TP311.52
  9. 一种可视化的分布式数据集成模型的研究与实现,TP311.52
  10. 分布式事务处理协议的研究与应用,TP311.13
  11. 基于Map/Reduce框架的分布式日志分析系统的研究及应用,TP311.52
  12. 基于Oracle的移动彩铃分布式数据库设计与实现,TP311.13
  13. 分布式视频编码边信息生成研究,TN919.81
  14. 基于分布式三层应用的设备管理信息系统的开发和研究,TP311.52
  15. 基于WCF框架的管制信息系统的设计与实现,TP311.52
  16. 基于LDPCA的分布式视频编码中的非均衡编码,TN919.81
  17. 分布式喷泉码的应用研究,TN911.2
  18. 基于一种新经济模型的异构网络选择算法,TN929.5
  19. 分布式视频编码中边信息技术研究,TN919.81
  20. 压缩感知在无线通信网络异常事件检测中的应用研究,TN929.5
  21. 压缩感知在无线传感网中的应用研究,TN929.5

中图分类: > 工业技术 > 自动化技术、计算机技术 > 计算技术、计算机技术 > 计算机软件 > 程序设计、软件工程 > 软件工程 > 软件开发
© 2012 www.xueweilunwen.com