学位论文 > 优秀研究生学位论文题录展示

可配置化数据迁移框架的研究与实现

作　者: 韩剑峰
导　师: 曹健；邹小庆
学　校: 上海交通大学
专　业: 计算机技术
关键词: 异构系统 数据迁移 可配置化 Web服务 业务规则引擎 重用性
分类号: TP311.13
类　型: 硕士论文
年　份: 2011年
下　载: 37次
引　用: 0次
阅　读: 论文下载
 

内容摘要


随着企业信息化过程的推进,在大型组织或企业推广和部署其内部的信息管理流程的过程中,一般都会同时涉及多个信息系统,并且在这些信息系统之间往往存在数据整合的需求。因此在异构系统间进行有效的数据整合是一个十分重要和实际的课题。目前国内对企业异构系统间的数据迁移研究方向主要集中在基于XML的统一关系模型和基于hibernate的实体对象映射等方法。但这些方法往往都不能解决在系统数据存储结构复杂的情况下快速抽取数据和降低数据迁移中间件开发成本的问题,因此必须对它们进行相应的分析和改进。本文详细分析了数据迁移和ETL技术,总结了数据迁移每一阶段需要完成的任务和存在的瓶颈。然后结合可配置化的思想,提出基于信息系统Web服务接口实现数据抽取和数据加载的设计思想,实现了数据接口与底层数据库的分离,从而降低了数据接口开发的成本。本文还通过引入数据缓冲区和业务规则引擎实现了数据清洗和数据转换操作的可配置化,从而提高了数据迁移中间件的重用性。最后本文通过开源ETL工具Kettle实现了可配置化的数据迁移框架,并在模拟业务环境中测试验证了这一框架的可行性。

全文目录


摘要  3-4
ABSTRACT  4-9
第一章 绪论  9-15
  1.1 信息系统数据迁移的现状和面临的问题  10-12
  1.2 研究现状  12-13
  1.3 本文研究的目标及内容  13
  1.4 本文的篇章结构  13-15
第二章 相关技术  15-30
  2.1 数据迁移  15-16
  2.2 ETL 技术  16-20
    2.2.1 数据抽取  17
    2.2.2 数据转换  17-19
    2.2.3 数据加载  19
    2.2.4 ETL 的性能瓶颈及相关措施  19-20
    2.2.5 虚拟ETL  20
  2.3 Web 服务技术  20-21
  2.4 Web 服务的关键技术  21-26
    2.4.1 可扩展标记语言  21-23
    2.4.2 简单对象访问协议  23-24
    2.4.3 Web 服务描述语言  24-26
    2.4.4 统一描述、发现和集成  26
  2.5 Web 服务的过程  26-27
  2.6 使用 Web 服务的方式  27-29
    2.6.1 远程过程调用  27-28
    2.6.2 面向服务架构  28
    2.6.3 表征状态转移  28-29
  2.7 小结  29-30
第三章 可配置化数据迁移框架系统架构设计  30-36
  3.1 系统需求  30-31
  3.2 可配置化数据迁移框架系统架构  31-35
    3.2.1 源系统Web 服务及目标系统Web 服务  32-33
    3.2.2 数据映射代理  33
    3.2.3 业务规则引擎  33-34
    3.2.4 数据缓冲区  34
    3.2.5 映射和规则库  34-35
  3.3 小结  35-36
第四章 数据抽取和加载接口  36-48
  4.1 数据抽取的难题和现状  36-38
  4.2 数据加载的难题和现状  38-39
  4.3 基于 Web 服务的数据接口  39-40
  4.4 WSDL 文件的解析  40-45
  4.5 数据映射关系的配置与数据访问执行  45-47
  4.6 小结  47-48
第五章 数据转换处理  48-60
  5.1 数据清洗的难题  48-49
  5.2 数据转换的难题  49-50
  5.3 数据缓冲区  50-52
  5.4 业务规则引擎  52-54
  5.5 基于规则的数据清洗和数据转换  54-55
  5.6 业务规则引擎的实现  55-58
  5.7 小结  58-60
第六章 可配置化数据迁移框架的实现  60-67
  6.1 CDMP 项目的系统架构  61-62
  6.2 CDMP 的具体实现  62-64
    6.2.1 源系统Web 服务  62
    6.2.2 目标系统Web 服务  62
    6.2.3 数据映射代理  62-63
    6.2.4 业务规则引擎  63-64
    6.2.5 数据缓冲区  64
    6.2.6 映射和规则库  64
  6.3 CMDP 执行流程  64-65
  6.4 实验测试  65-66
  6.5 小结  66-67
第七章 总结和展望  67-69
  7.1 本文工作的回顾  67
  7.2 成果及意义  67-68
  7.3 存在的进一步工作  68-69
参考文献  69-71
致谢  71-72
攻读学位期间发表与录用的学术论文  72-74

相似论文

  1. 基于用户兴趣特征的图像检索研究与实现,TP391.41
  2. 面向业务过程的服务动态组合方法研究,TP393.09
  3. 基于面向服务架构的公众信息系统在新农村信息化建设中的应用研究,TP393.09
  4. 基于嵌入式Web服务器的监控系统研究,TP393.05
  5. 一种基于领域本体的语义Web服务匹配和组合方法,TP393.09
  6. 基于BMC的Web服务失配检测方法研究,TP311.52
  7. 基于SOA与工作流的OA系统的研究与实现,TP311.52
  8. 基于语义的Web服务发现研究,TP393.09
  9. 行政审批电子监察系统数据交换的设计与实现,TP311.52
  10. 嵌入式网络视频应用技术的研究与实现,TP368.1
  11. 一个试卷生成系统的设计与实现,TP311.52
  12. 公安信息系统中数据集成的,TP311.52
  13. 税务数据仓库系统的设计与应用,TP311.13
  14. 基于Web服务的Legacy System集成方法研究,TP393.09
  15. 基于Web服务的多平台实时票务系统的研究与实现,TP393.09
  16. 基于FPGA的SOPC视频复用器设计与实现,TN949.197
  17. 普适关爱系统的设计与实现,TN929.5
  18. 基于wifi的嵌入式视频监控系统设计,TP277
  19. 水土保持自动监测信息系统研究与实现,TP311.52
  20. 基于PLSA语义聚类的web服务发现方法,TP393.09
  21. 基于QoS感知的Web服务组合,TP393.09

中图分类: > 工业技术 > 自动化技术、计算机技术 > 计算技术、计算机技术 > 计算机软件 > 程序设计、软件工程 > 程序设计 > 数据库理论与系统
© 2012 www.xueweilunwen.com