学位论文 > 优秀研究生学位论文题录展示

多格式海量数据统一存取的效率优化

作　者: 饶平
导　师: 赵凤芝
学　校: 东北石油大学
专　业: 石油工程计算技术
关键词: 索引数据库查询优化 XML 逻辑层数据库索引
分类号: TP311.13
类　型: 硕士论文
年　份: 2011年
下　载: 67次
引　用: 0次
阅　读: 论文下载

内容摘要

为了使应用程序可以自动的、灵活的存取非结构化海量数据,通常要建立描述非结构化海量数据的逻辑层,通过对逻辑层的扫描实现对非结构化海量数据的访问。但是,这样的设计又必然影响数据存取的效率:针对逻辑结构进行数据访问时,先获取逻辑描述,再根据逻辑描述访问物理数据,这样分二步访问模式与原来的直接访问物理数据模式相比,具有较大的灵活性,但增加了操作步骤,降低了数据访问速度。针对以上的问题,通过对索引数据库、数据库索引技术、XML查询技术的研究和应用,实现应用层到逻辑层和逻辑层到物理数据层的过程中的数据存取优化,并且提出了基于关键字分布密度分析的索引数据库查询算法的海量数据查询优化方式。本文的主要研究内容如下:1.通过对逻辑层设计结构的研究,实现逻辑层树形形式化与自动机,并在应用中检验逻辑层可行性。2. XML的查询技术的研究。本文的逻辑层是通过XML实现的,数据访问首先要访问XML,通过对此环节的查询优化提高数据存取的效率。3.基于海量数据结构的索引数据库设计。通过将海量数据部分数据结构信息和索引信息存储数据库中,实现数据快速访问。4.基于关键字分布密度分析的索引数据库查询算法。通过对海量地震勘探数据结构的分析,设计一个符合其结构特点的数据存取算法,以实现数据存取的优化。最后综合本文的研究内容,实现其各个优化技术,以此来验证本文提出的相关优化技术和算法的可行性和有效性。

全文目录

摘要  4-5
ABSTRACT  5-9
第一章绪论  9-14
  1.1 课题的提出  9
  1.2 国内外研究概况  9-12
  1.3 选题的目的和意义  12
  1.4 本文研究的内容和组织方式  12-13
  1.5 本章小结  13-14
第二章多格式海量数据统一存取的效率优化设计和研究  14-24
  2.1 多格式海量数据统一存取  14-15
  2.2 逻辑层描述规范定义  15-18
    2.2.1 逻辑层的模式说明  15-16
    2.2.2 逻辑层的形式语言与自动机形式实现  16-17
    2.2.3 逻辑层的应用  17-18
  2.3 多格式海量数据统一存取的效率优化的整体设计  18-23
    2.3.1 逻辑层设计的优化  19
    2.3.2 数据查询的优化  19
    2.3.3 实现接口的设计  19-23
  2.4 本章小结  23-24
第三章基于逻辑层的查询优化  24-33
  3.1 XML 查询优化的研究  24-25
  3.2 XML 代数  25-26
  3.3 XML 物理优化  26-29
    3.3.1 代价估计方法研究  26-28
    3.3.2 统计信息  28-29
  3.4 逻辑优化  29-32
  3.5 本章小结  32-33
第四章数据查询索引的优化算法的研究  33-44
  4.1 基于海量数据结构的索引数据库技术的研究  33-36
    4.1.1 索引数据库  33-34
    4.1.2 索引数据库优化技术  34-35
    4.1.3 海量数据结构的索引数据库  35-36
  4.2 数据库索引技术的研究  36-41
    4.2.1 数据库索引  36-37
    4.2.2 数据库索引优化设计  37-39
    4.2.3 B+树索引  39-41
  4.3 基于关键字分布密度分析的索引数据库查询优化算法  41-42
    4.3.1 海量数据文件中的关键字  41
    4.3.2 基于关键字分布密度分析的索引数据库查询算法的设计  41-42
  4.4 本章小结  42-44
第五章优化技术和算法的实现  44-50
  5.1 XML 查询优化实现  44-45
    5.1.1 XML 代数查询  44-45
    5.1.2 XML 统计优化方式  45
  5.2 索引数据库和查询算法的实现  45-48
    5.2.1 索引数据库的设计和实现  45-46
    5.2.2 基于关键字分布密度分析的索引数据库查询算法的实现  46-48
  5.3 测试数据  48-49
    5.3.1 XML 查询优化数据对比  48
    5.3.2 索引数据库和查询算法数据对比  48-49
  5.4 本章小结  49-50
结论  50-51
参考文献  51-54
发表文章目录  54-55
致谢  55-56
详细摘要  56-63

相似论文

基因调控网络模型描述语言研究,Q78
支持XML数据查询的F&B索引结构的研究,TP311.13
海量多数据库集成系统的查询处理研究,TP311.13
LXI自动测试系统集成技术研究,TP274
基于网络的服装款式设计系统的研究与实现,TS941.2
基于MDA的界面自动生成方法的研究,TP311.5
C++代码缺陷检测系统的研究与设计,TP311.53
基于Web的科学计算遗留应用共享技术研究,TP393.09
基于XML的异构数据交换系统的设计与实现,TP311.52
电子公文传输管理系统在电大系统中的设计与实现,TP311.52
概率XML数据上关键字检索算法的研究与实现,TP391.3
行政审批电子监察系统数据交换的设计与实现,TP311.52
概率XML文档中Holistic Twig查询处理算法的研究与实现,TP311.13
保留语义约束的XML与关系数据库双向转换技术研究,TP311.13
SOA架构在高校信息化系统中整合技术的应用,TP311.52
基于银行综合前置平台的金融服务支付系统的设计与实现,TP311.52
基于观察者模式的银行主动服务系统的设计与实现,TP311.52
江北区企业信用信息系统设计与实现,TP311.52
物联网业务模型描述语言的研究与实现,TN929.5
多核环境下内存数据库查询优化的研究,TP311.13
达梦嵌入式数据库的执行计划缓存研究,TP311.13