学位论文 > 优秀研究生学位论文题录展示

数据规格化网关的设计与实现

作　者: 陈际峰
导　师: 王震宇
学　校: 解放军信息工程大学
专　业: 软件工程
关键词: 规格化 中间件 元数据 内容管理
分类号: TP311.52
类　型: 硕士论文
年　份: 2008年
下　载: 22次
引　用: 0次
阅　读: 论文下载
 

内容摘要


随着业务的快速发展,本单位需处理的业务数据出现了多源、分布、海量、异构、多格式等新特征,对信息系统的处理能力提出了更高的要求。构建一套能够分布式部署并有效处理海量异构信息的综合信息处理平台成为当务之急。构建该新型信息综合处理系统首先要实现前端异构业务数据采集系统的数据融合汇集接入和集中存储管理,数据规格化网关是接口于各前端业务数据采集系统,并根据所定义好的元数据规范将数据源中原始信息加工后写入数据容器的中间件系统,这是系统必不可少且极为重要的组成部分。本课题正是在这样的需求下开展研制的。本文对本单位业务数据处理面临的问题及需求进行了梳理归纳,研究确立了以面向对象、J2EE、网络存储、元数据为主的技术路线,设计并实现了数据规格化网关各模块程序。在数据结构部分,在参考主流元数据格式的定义描述基础上,研究设计了独特的关系数据库与XMLType相结合的分级库表结构;在存储设备部分,根据块设备和散文件的存储需求,考察选定了NAS与IP-SAN相结合的存储体系;在数据处理部分,集成封装了红缨枫、TRS CKM和Javamail等内容管理组件,实现了内容提取、语种识别、邮件解析、摘要和主题词抽取等文本处理功能;在数据融合部分,设计并实现了多源数据扫描、元数据规格化、总线式数据交换等功能模块。本课题研究成果已经转化为实际生产力,程序运行稳定可靠,效益良好,具有较好的推广应用前景。本课题的实现还可以为其他具有异构数据融合或应用系统整合需求的科研项目提供参考。

全文目录


摘要  7-8
ABSTRACT  8-9
第一章 引言  9-13
  1.1 研究背景  9-10
    1.1.1 项目背景  9
    1.1.2 课题在项目中的地位  9
    1.1.3 课题面临的问题  9-10
  1.2 中间件技术发展现状  10-11
    1.2.1 中间件概念  10-11
    1.2.2 中间件分类  11
    1.2.3 中间件发展趋势  11
  1.3 本课题研究的目的和意义  11-12
    1.3.1 数据统一标引，提高数据利用效能  11
    1.3.2 消除信息孤岛，构建多级数据中心  11-12
    1.3.3 构建数据总线，拓展数据流转通道  12
  1.4 本文的主要工作和组织结构  12-13
    1.4.1 本文的主要工作  12
    1.4.2 本文的组织结构  12-13
第二章 数据规格化网关主要技术路线  13-23
  2.1 面向对象技术  13
  2.2 J2EE(JAVA 2 PLATFORM ENTERPRISE EDITION)  13-15
    2.2.1 J2EE 的四层模型  14-15
    2.2.2 J2EE 的优势  15
  2.3 网络存储技术  15-18
  2.4 元数据技术  18-23
    2.4.1 元数据概念  18
    2.4.2 主要元数据格式  18-20
    2.4.3 元数据定义与描述  20
    2.4.4 元数据存储与组织  20-23
第三章 数据规格化网关总体设计  23-35
  3.1 系统的总体结构  23-27
    3.1.1 系统分级结构  23-25
    3.1.2 系统分层结构  25-27
  3.2 网关的总体功能描述  27-28
    3.2.1 网关设计原则  27-28
    3.2.2 网关的研发目标  28
  3.3 设计要求  28-29
    3.3.1 网关要具备覆盖性  28
    3.3.2 网关要具备实用性  28
    3.3.3 网关要具备先进性  28
    3.3.4 网关要具备开放性  28-29
    3.3.5 网关要具备灵活性  29
  3.4 数据容器设计  29-32
    3.4.1 存储设备  29-31
    3.4.2 元数据库  31-32
    3.4.3 全文索引数据库  32
  3.5 系统的功能设计  32-33
  3.6 网关运行环境  33-35
    3.6.1 网络环境  33
    3.6.2 硬件环境  33
    3.6.3 软件环境  33-35
第四章 数据规格化网关的设计与实现  35-54
  4.1 基于内容的预处理模块的设计与实现  35-39
    4.1.1 语种识别模块  35-36
    4.1.2 内容提取模块  36-38
    4.1.3 自动摘要模块  38
    4.1.4 邮件解析模块  38-39
  4.2 网关主要模块的设计与实现  39-49
    4.2.1 管理配置模块  41-42
    4.2.2 数据源扫描模块  42
    4.2.3 数据规格化模块  42-44
    4.2.4 报文入库模块  44-45
    4.2.5 数据交换模块  45-47
    4.2.6 统计日志模块  47
    4.2.7 其他接口模块  47-49
  4.3 元数据设计  49-54
    4.3.1 原始报文基本信息表  50-51
    4.3.2 邮件类报文主件信息表  51
    4.3.3 邮件类报文附件信息表  51-52
    4.3.4 文档类报文属性信息表  52
    4.3.5 网页类报文属性信息表  52
    4.3.6 压缩类报文属性信息表  52-53
    4.3.7 传真类报文属性信息表  53
    4.3.8 密数据类报文属性信息表  53
    4.3.9 其他类报文属性信息表  53-54
结束语  54-55
参考文献  55-57
作者在学期间取得的学术成果  57-58
致谢  58

相似论文

  1. 医疗信息集成平台中DICOM中间件及访问控制模型的设计与实现,TP311.13
  2. AFC系统通信中间件的研究与设计,TP311.5
  3. 基于元数据的农田信息存储、管理和共享研究,S126
  4. 数字电视中间件中图形界面引擎的研究与应用,TP391.41
  5. 分面元数据在网站检索系统中的应用研究,G354.2
  6. 面向高校重点课程的教参资源库建设的应用研究,G642.3
  7. C/S模式MIS软件可复用构件的研究与开发,TP311.52
  8. 矿区多源遥感影像集成管理系统的设计与实现,P208
  9. 淮阴工学院校园一卡通系统设计及安全策略,TP393.18
  10. 基于RFID监狱智能管理系统研究与实现,TP315
  11. 本体在智能小区中的应用研究,TP391.1
  12. 高校新闻网平台的内容管理系统的设计与实现,TP311.52
  13. 连续机组物料跟踪子系统的设计与实现,TP311.52
  14. 江北区企业信用信息系统设计与实现,TP311.52
  15. 分布式视频存储系统设计与实现,TP333
  16. 银行用户数据管理系统的设计与实现,TP311.52
  17. RFID中间件读写器设备管理研究,TP391.44
  18. DWMS中元数据以及缓冲区的设计和实现,TP311.13
  19. 基于SNS的网络协作学习平台设计与实现,TP311.52
  20. 基于PCIE接口混合存储系统的设计与实现,TP333
  21. 网络环境下的分布式存储系统的设计与实现,TP333

中图分类: > 工业技术 > 自动化技术、计算机技术 > 计算技术、计算机技术 > 计算机软件 > 程序设计、软件工程 > 软件工程 > 软件开发
© 2012 www.xueweilunwen.com