学位论文 > 优秀研究生学位论文题录展示

一种基于元数据管理的ETL框架

作　者: 刘成星
导　师: 周波
学　校: 浙江大学
专　业: 计算机应用技术
关键词: 数据仓库元数据 ETL 框架自动化
分类号: TP311.13
类　型: 硕士论文
年　份: 2010年
下　载: 50次
引　用: 0次
阅　读: 论文下载

内容摘要

过去二十年是计算机行业发展的黄金时期。互联网的发展以及计算机软硬件的成熟,导致了企业的业务数据呈现爆炸性地增长。如何有效地管理与集成这些大量的异构异质的数据,以及如何利用数据为企业管理人员产生决策,成为技术专家亟需解决的问题。数据仓库便是一种近年来兴起的用以解决上述问题的数据库应用。事实上,数据仓库是一种体系结构而不是一种技术。这其中最重要的组成部分之一就是元数据。因为元数据贯穿于数据仓库项目中,是数据仓库的基石。另一方面,构建数据仓库时采用的最重要的技术之一是ETL,一种改变数据状态的机制。由于数据仓库项目不同于别的软件项目,业务需求时常变化。这直接导致了元数据的变化以及ETL过程的变动。因此,采用高效的元数据管理模型,并将其与ETL开发有机地结合起来,在实际的数据仓库项目过程中将起到事半功倍的效果。这也便成为了本文所要论述的课题。本文首先探讨了课题所涉及的理论与方法,其中涉及了数据仓库的几个主要步骤和所使用的工具。深入研究了元数据的几种类型,它们的区别和具体的业务意义。然后对ETL技术进行简单回顾,分析了创建ETL程序的两种基本方法和各自的利弊。本文接着结合通用数据仓库元模型(CWM),采用了一种邦联式的元数据管理体系。并将其用于ETL过程开发中,设计了一种生成ETL过程的自动化框架。最后将该框架用于实际的项目开发中,能够缩减项目周期,提高工作效率,从而验证了此框架的可行性。

全文目录

摘要  4-5
Abstract  5-8
第1章绪论  8-13
  1.1 背景及目的  8-9
  1.2 国内外研究现状  9-11
  1.3 论文主要工作  11
  1.4 论文的组织结构  11-13
第2章相关理论与技术  13-26
  2.1 数据仓库概念  13-19
    2.1.1 数据仓库的特点  13-16
    2.1.2 数据仓库体系结构  16-19
  2.2 元数据  19-24
    2.2.1 元数据的定义  19-21
    2.2.2 元数据在数据仓库体系结构中的重要性  21-22
    2.2.3 元数据管理系统架构  22-24
  2.3 本章小结  24-26
第3章 ETL技术  26-35
  3.1 ETL概念  26-30
    3.1.1 数据抽取  26-27
    3.1.2 数据转换  27-29
    3.1.3 数据加载  29-30
    3.1.4 ETL作业控制服务  30
  3.2 创建ETL  30-34
    3.2.1 两种基本方法  30-31
    3.2.2 第三方ETL软件  31-34
  3.3 本章小结  34-35
第4章基于元数据管理的ETL框架  35-56
  4.1 ETL框架作用  35
  4.2 CWM的组成结构  35-38
  4.3 ETL框架  38-55
    4.3.1 元数据管理  39-40
    4.3.2 CWM适配器  40-45
    4.3.3 元数据存储  45-49
    4.3.4 元数据与ETL过程  49-52
    4.3.5 元数据与ETL任务调度  52-55
  4.4 本章小结  55-56
第5章 ETL框架的应用  56-66
  5.1 应用背景  56
  5.2 框架应用描述  56-58
  5.3 DAG算法描述  58-61
  5.4 实验结果与分析  61-65
  5.5 本章小结  65-66
第6章总结与展望  66-68
  6.1 论文工作总结  66
  6.2 进一步的工作  66-68
参考文献  68-71
致谢  71

一种基于元数据管理的ETL框架

内容摘要

全文目录

相似论文