学位论文 > 优秀研究生学位论文题录展示

基于ETL的数据集成过程模型

作　者: 苌程
导　师: 李善平
学　校: 浙江大学
专　业: 计算机科学
关键词: ETL 数据集成 数据提供者 元数据映射 业务规则转换 按需交互
分类号: TP311.52
类　型: 硕士论文
年　份: 2010年
下　载: 153次
引　用: 6次
阅　读: 论文下载
 

内容摘要


随着全球化的发展,各行各业都将业务拓展到全球,全球信息化成为未来的发展趋势。为了满足当地的各项政策法律以及新市场的要求等,需要有新的信息系统提供支持。这就形成了各个信息系统之间的交互鸿沟,即所谓的“信息孤岛”。针对“信息孤岛”,有很多种方式让信息系统之间能够交互,与之相比,数据集成则是更棘手的问题。由于各信息系统是异构的分布式数据源系统,因此数据集成需要将分布在各地异构数据源的各种类型数据如类似于文本文件的非结构化数据,XML等半结构化数据,以及数据库的结构化数据等转换成统一的数据视图,供下游系统统一使用。目前这种数据集成需求随着业务全球化的发展而不断加强。然而,当今数据集成仍面临若干关键问题需要解决:1)如何从异构的分布式信息系统中读取数据,并且高效地将异构数据转换为统一的数据视图;2)如何进行数据清洗完成数据在业务层上的转换;3)如何拓展数据集成的驱动模式提高实时性。针对这种分布式异构数据源的集成需求,本文提出了一个基于ETL(Extract-Transform-Load)即数据抽取、转换和加载的集成过程模型。本过程模型采用数据提供者读取数据,通过元数据映射方式完成异构数据向统一数据视图的转换;针对转换之后的数据,通过简单规则引擎执行对客户系统定制的业务规则来完成数据在业务层面上的转换。同时将传统的数据集成的驱动模式——任务调度,拓展为同时支持任务调度和按需实时性事件的双驱动模式。本文在解决上述问题的过程中同时考虑了数据集成的性能,本过程模型通过增量式的数据集成和在数据库端运行的基于存储过程的规则引擎减少了数据传输的网络开销,提高了数据集成的性能。

全文目录


摘要  3-4
Abstract  4-9
第1章 绪论  9-13
  1.1 课题背景  9-12
    1.1.1 课题研究现状  10-11
    1.1.2 本论文的研究贡献  11-12
  1.2 本章小结  12-13
第2章 数据集成技术  13-26
  2.1 数据集成中系统交互技术  13-16
    2.1.1 文件方式交互  13
    2.1.2 中间件方式交互  13-15
    2.1.3 数据库方式交互  15-16
  2.2 系统的交互协议  16-18
    2.2.1 SWIFT  17
    2.2.2 XML  17-18
  2.3 数据集成中的传统驱动模式  18-20
    2.3.1 任务调度技术  18-19
    2.3.2 Quartz  19-20
  2.4 点到点集成交互优缺点  20-21
  2.5 ETL技术综述  21-23
  2.6 交互协议的统一  23-24
  2.7 本章小结  24-26
第3章 异构数据源数据的抽取和转换  26-41
  3.1 传统异构数据集成抽取和转换过程  26-27
  3.2 基于ETL过程模型的总体设计  27-29
  3.3 中的异构数据抽取  29-37
    3.3.1 数据提供者的具体设计  29-34
    3.3.2 数据提供者的具体实现  34-37
    3.3.3 数据提供者的效果分析  37
  3.4 过程模型中的异构数据转换  37-40
    3.4.1 元数据映射  38
    3.4.2 元数据映射设计与实现  38-40
    3.4.3 元数据映射的效果分析  40
  3.5 本章总结  40-41
第4章 可扩展的数据清洗转换方式  41-49
  4.1 传统的数据清洗方式  41-42
  4.2 基于简单规则引擎的数据清洗  42-47
    4.2.1 基于简单规则引擎的设计  42-45
    4.2.2 基于简单规则引擎的实现  45-47
  4.3 简单规则引擎的效果分析  47
  4.4 本章小结  47-49
第5章 过程模型中的驱动模型  49-55
  5.1 传统的驱动模型  49
  5.2 过程模型中驱动模型的原理  49-50
  5.3 驱动模型的设计与实现  50-53
    5.3.1 事件的产生  50-52
    5.3.2 事件的处理  52-53
  5.4 驱动模型的效果分析  53
  5.5 本章小结  53-55
第6章 总结与展望  55-56
参考文献  56-58
攻读硕士学位期间主要的研究成果  58-59
致谢  59

相似论文

  1. SOA高校迎新系统中的SDO模型的研究与实现,G647
  2. 一种可视化的分布式数据集成模型的研究与实现,TP311.52
  3. 家校互动教育平台中数据仓库的研究与应用,TP311.13
  4. 面向服务的数据集成模型的研究与实现,TP311.52
  5. 基于数据仓库的药品监管辅助决策支持系统的设计与实现,TP311.13
  6. PG炼钢厂MES系统数据挖掘的设计与开发,TP311.13
  7. 公安信息系统中数据集成的,TP311.52
  8. 武警黄金部队多源空间数据集成管理技术研究,P208
  9. 银行操作风险计量系统设计与实现,TP311.52
  10. 基于SOA的离散数据集成技术研究,TP311.52
  11. 基于数据集成的人事系统设计与实现,TP311.52
  12. 基于XML模式的异构数据集成中间件研究,TP311.52
  13. 多源空间数据集成方法研究,P208
  14. 商务智能ETL过程优化及质量控制在航空预警中的应用研究,F562
  15. 钢铁服务企业生产管理方法研究与信息系统设计,F426.31
  16. 基于WEB元数据抽取的ETL资源整合模型研究与实现,G250.73
  17. Deep Web数据清洗方法研究及应用,TP393.09
  18. 数据资源汇聚的可视化建模技术研究与应用,TP311.52
  19. 一种企业数据空间可视化汇聚流程建模方法与查询优化策略,TP311.13
  20. 支持跨域数据汇聚的关系数据访问服务研究,TP311.13
  21. 基于分布式数据集成技术的校园综合管理系统设计,TP311.52

中图分类: > 工业技术 > 自动化技术、计算机技术 > 计算技术、计算机技术 > 计算机软件 > 程序设计、软件工程 > 软件工程 > 软件开发
© 2012 www.xueweilunwen.com