学位论文 > 优秀研究生学位论文题录展示

面向证券交易数据的轻量级消息中间件的研究与实现

作　者: 蔡祺
导　师: 杨小虎
学　校: 浙江大学
专　业: 计算机应用技术
关键词: 消息中间件消息格式消息路由数据压缩消息持久化
分类号: TP311.52
类　型: 硕士论文
年　份: 2010年
下　载: 75次
引　用: 1次
阅　读: 论文下载

内容摘要

本文是作者在参与国内某交易中心新一代交易系统开发过程中,根据项目实际而完成。该交易系统采用消息中间件技术作为分布式系统节点间消息可靠传递的关键技术。但目前市场上较成熟的消息中间件产品规模庞大、价格昂贵、使用复杂,功能上缺乏针对证券交易数据的针对性和灵活性。本文针对这些问题,通过研究现有的技术思想与方案,结合分析证券交易业务数据交换协议的消息格式,对消息中间件进行模块化、层次化设计,提出面向证券交易数据的轻量级消息中间件。文章详细介绍了该消息中间件的整体架构和模块划分,系统阐述了接口模块、通信模块和消息处理模块的具体设计;并着重分析了消息队列、通讯机制、消息压缩算法、消息持久化方式和容错处理等实现要点。本文为提高消息中间件的性能,从消息传输效率及可靠性、I/O性能、负载均衡、系统复杂度和可扩展性等方面进行研究和创新:引入Java NIO技术和MINA框架作为消息中间件通信模块的实现基础;设计两点间同步通讯、三点间借助消息队列“存储-转发”机制异步通讯的方案;利用证券交易数据的特点,提出基于消息模板/域转换的二进制化方法和独立信源模型;采用“邮箱式”消息队列,利用消息队列实现负载均衡;引入单日/多日消息队列的概念,设计和实现有读/写缓存的基于文件存储的消息持久化方法。基于上述研究和创新设计,本文实现了面向证券交易数据的轻量级消息中间件。该消息中间件层次清晰,屏蔽复杂网络协议,模块功能明确、可移植性强,便于上层应用软件开发者使用其实现的功能和封装的接口;实现不同系统间证券交易数据的高效可靠传输,有较强专业性和灵活性,对其他类似系统有借鉴价值。性能测试和分析也表明:本文所实现的轻量级消息中间件,整体表现稳定,消息传输安全高效,有较好的性能和实用性。

全文目录

摘要  4-5
Abstract  5-10
第1章绪论  10-18
  1.1 课题背景及意义  10-11
  1.2 国内外研究现状  11-15
    1.2.1 中间件概述  11-12
    1.2.2 消息中间件  12-13
    1.2.3 存在的问题  13-15
  1.3 论文的主要内容及创新  15-16
  1.4 论文的组织结构  16-17
  1.5 本章小结  17-18
第2章技术背景  18-29
  2.1 消息中间件的技术研究  18-21
    2.1.1 通信模式  18-19
    2.1.2 底层传输  19
    2.1.3 消息存储  19-20
    2.1.4 线程模型  20
    2.1.5 触发机制  20-21
    2.1.6 其他关键技术  21
  2.2 MINA框架  21-24
    2.2.1 概要介绍  21-22
    2.2.2 结构框架  22
    2.2.3 功能特点  22-24
  2.3 证券交易数据的研究  24-28
    2.3.1 消息系统  24
    2.3.2 证券交易业务数据交换协议  24-25
    2.3.3 STEP消息格式  25-28
  2.4 本章小结  28-29
第3章系统架构与模块设计  29-49
  3.1 整体架构和总体设计  29-31
    3.1.1 MessageHub系统简介  29
    3.1.2 MessageHub的体系结构  29-30
    3.1.3 MessageHub的模块架构  30-31
  3.2 接口模块  31-35
    3.2.1 抽象消息设计  32
    3.2.2 抽象会话设计  32
    3.2.3 事件驱动机制  32-33
    3.2.4 函数接口  33-35
  3.3 通信模块  35-43
    3.3.1 基于MINA的同步机制  35-37
    3.3.2 过滤器的加载卸载机制  37-38
    3.3.3 编解码子模块  38-40
    3.3.4 消息压缩子模块  40
    3.3.5 消息加密子模块  40-41
    3.3.6 会话监控子模块  41-42
    3.3.7 日志管理子模块  42-43
  3.4 消息处理模块  43-48
    3.4.1 模块功能简介  43-44
    3.4.2 应用程序端管理器  44
    3.4.3 消息队列管理器  44-45
    3.4.4 目的地管理器  45-47
    3.4.5 消息持久化子模块  47
    3.4.6 消息分发器  47-48
  3.5 本章小结  48-49
第4章消息压缩算法的研究与实现  49-58
  4.1 消息压缩的意义  49
  4.2 现有数据压缩算法  49-51
    4.2.1 常见无损压缩算法比较  49-50
    4.2.2 自适应二进制算术编码  50-51
  4.3 证券交易数据特点  51-52
  4.4 混合算术编码  52-55
    4.4.1 基于模板和域转换的STEP消息二进制化策略  52-54
    4.4.2 基于独立信源模型的概率估计策略  54-55
  4.5 实验结果与分析  55-57
    4.5.1 不同策略的压缩效果  55-56
    4.5.2 不同带宽的编码策略选取  56-57
  4.6 本章小结  57-58
第5章基于文件存储的消息持久化方法  58-71
  5.1 消息持久化存储概述  58
  5.2 消息持久化存储方法  58
    5.2.1 数据库存储  58
    5.2.2 基于文件的存储  58
  5.3 基于文件存储方法的设计与实现  58-64
    5.3.1 存储模型  59-60
    5.3.2 访问接口层  60-62
    5.3.3 文件存储层  62-64
    5.3.4 消息缓存机制  64
  5.4 消息持久化流程  64-68
    5.4.1 创建与关闭消息队列工厂  64-65
    5.4.2 创建与关闭消息队列  65-66
    5.4.3 存储持久化消息  66
    5.4.4 删除持久化消息  66-67
    5.4.5 读取持久化消息  67
    5.4.6 消息队列连接状态维护  67
    5.4.7 消息队列同步  67-68
  5.5 模块性能验证  68-70
    5.5.1 时间性能  68-69
    5.5.2 空间性能  69-70
  5.6 本章小结  70-71
第6章系统实现和性能分析  71-79
  6.1 系统实现  71
  6.2 系统性能测试  71-77
    6.2.1 测试环境  71-72
    6.2.2 测试案例及结果  72-77
    6.2.3 性能分析  77
  6.3 健壮的容错处理  77-78
  6.4 本章小结  78-79
第7章总结与展望  79-81
  7.1 论文主要工作  79-80
  7.2 未来工作展望  80-81
参考文献  81-84
作者简介  84-85
致谢  85

面向证券交易数据的轻量级消息中间件的研究与实现

内容摘要

全文目录

相似论文