学位论文 > 优秀研究生学位论文题录展示

基于XML模式的异构数据集成中间件研究

作　者: 张永祥
导　师: 王波
学　校: 重庆大学
专　业: 计算机应用技术
关键词: 异构数据集成 XML模式中间件虚拟数据库 SQL
分类号: TP311.52
类　型: 硕士论文
年　份: 2011年
下　载: 92次
引　用: 0次
阅　读: 论文下载

内容摘要

近些年来,随着计算机技术、网络技术、信息技术的高速发展以及电子产品成本的急速下降,企业的信息化得以空前的施展,信息化使得企业在发展过程中积累了不少数据。市场环境变化的复杂性以及企业发展竞争的激烈性,使得企业需要访问多种数据源的数据,以提高自身的竞争实力。由于多种原因,这些数据源之间存在异构特点,如何有效地解决这种差异性,为企业访问异构数据源提供便利,则是企业高度信息化亟待解决的问题。典型的解决方案是借助于数据库服务器,将各数据源中的数据提取出来,经过数据转换存储到中心数据库,操作中心数据库的数据,但这样会导致大量的数据重复存储,同时也影响业务的敏捷性。还有一种方案是运用数据库服务器和虚拟视图方式来到达数据集成的目的,这种方案的不足之处在于对XML数据或者非结构化数据的处理效果不佳。如何提供一个高效的、可扩展的、可靠的异构数据集成中间件,使其能够提供统一的接口为其它应用系统的开发服务,则是当前数据集成研究的热点。本文分析了当前异构数据集成领域中的主要问题,针对数据源存储结构的特点,提出数据源分类的思想,把数据源分成数据库、XML、非结构化三种类型,依据各自的特征,对每一类数据源采用统一的方式处理。对于数据库数据源,利用数据库服务器来处理;对于XML数据源,则应用XQuery引擎处理;对于非结构化数据源,转化成XML数据源来处理。利用XML模式描述数据的优点,通过提取各数据源的元数据,对元数据进行转换处理,在此基础上根据一定的规则构建虚拟数据库,使得待集成的数据源以一致的全局视图形态呈现给用户。借鉴JDBC能够访问不同数据库的设计特点,针对开发人员设计异构数据集成中间件HDAM(Heterogeneous Data Source Access Middleware),描述了中间件各功能模块的作用和运行流程,说明了HDAM的数据源注册接口和数据操作接口,研究了全局查询分解以及局部查询语句的转换算法。最后经过开发和测试验证了中间件设计方案的可行性和正确性,并通过案例演示了HDAM的应用流程。本课题基于对数据源分类的思想研究异构数据集成,提出在中间件设计中利用XQuery处理器处理XML数据,提高了中间件处理XML数据和非结构化数据的查询效率,从而使得集成中间件扩展性更好,访问速率更快。

全文目录

中文摘要  3-4
英文摘要  4-9
1 绪论  9-13
  1.1 课题的背景及研究意义  9-10
    1.1.1 问题的提出  9-10
    1.1.2 研究的意义  10
  1.2 国内外研究现状  10-12
    1.2.1 异构数据集成的研究现状  10-11
    1.2.2 中间件技术的研究现状  11-12
  1.3 论文研究的主要内容及组织  12-13
2 相关技术概述  13-21
  2.1 中间件概述  13-15
    2.1.1 中间件由来  13-14
    2.1.2 中间件的定义  14
    2.1.3 中间件的特点及分类  14-15
  2.2 XML 相关知识  15-17
    2.2.1 XML 简介  15-16
    2.2.2 有效性验证—XML Schema  16
    2.2.3 XML 编程接口  16-17
  2.3 XQuery 技术概述  17-19
    2.3.1 XQuery 的能力  17-18
    2.3.2 XQuery 的用途  18
    2.3.3 处理方案  18-19
  2.4 JDBC 和数据库元数据  19-20
    2.4.1 JDBC 简介  19
    2.4.2 元数据与数据集成  19-20
  2.5 本章小结  20-21
3 异构数据集成中间件 HDAM 设计  21-41
  3.1 现有数据集成方案分析  21
  3.2 中间件体系结构  21-26
    3.2.1 中间件HDAM 架构  22-24
    3.2.2 HDAM 运行流程  24-26
  3.3 数据源注册接口设计  26-28
    3.3.1 数据源分类  26
    3.3.2 注册接口设计  26-28
  3.4 虚拟数据库的构建  28-36
    3.4.1 数据源本地模式获取  28-33
    3.4.2 局部视图的构建  33-35
    3.4.3 构建虚拟数据库  35-36
  3.5 查询处理模块  36-39
    3.5.1 用户查询语言选择  37-38
    3.5.2 查询接口设计  38-39
    3.5.3 查询语句处理  39
  3.6 数据动态处理操作  39-40
  3.7 本章小结  40-41
4 HDAM 关键技术与重点算法设计  41-56
  4.1 数据操作算法  41-46
    4.1.1 查询语句分解  41-44
    4.1.2 数据库SQL 差异性处理  44-46
  4.2 XML 数据的查询  46-53
    4.2.1 方案选择  47-48
    4.2.2 SQL 转换为XQuery  48-50
    4.2.3 参数处理  50-51
    4.2.4 查询语句优化  51-52
    4.2.5 非结构化数据处理  52-53
  4.3 查询结果处理模块  53-55
    4.3.1 结果转换  54-55
    4.3.2 结果合并  55
  4.4 本章小结  55-56
5 中间件的实现与测试  56-63
  5.1 中间件的实现  56-57
    5.1.1 虚拟数据库  56-57
    5.1.2 数据操作部分  57
  5.2 中间件HDAM 测试  57-62
    5.2.1 单元测试  58
    5.2.2 集成测试  58-62
  5.3 本章小结  62-63
6 总结与展望  63-65
  6.1 总结  63
  6.2 后续研究展望  63-65
致谢  65-66
参考文献  66-69
附录  69

基于XML模式的异构数据集成中间件研究

内容摘要

全文目录

相似论文