学位论文 > 优秀研究生学位论文题录展示

基于定时任务和增量更新技术的数据实时更新方法的研究

作 者: 王勇
导 师: 马严
学 校: 北京邮电大学
专 业: 软件工程
关键词: 互联网数据交换 内存数据更新 定时任务 数据增量更新 实时更新
分类号: TP311.13
类 型: 硕士论文
年 份: 2010年
下 载: 37次
引 用: 0次
阅 读: 论文下载
 

内容摘要


随着互联网的快速发展,互联网上信息成爆炸式的增长。应用于互联网数据交换的内存数据交换就应运而生了。本次设计的内存数据更新的方法运用了先进的Spring架构,加上分布式设计的概念,以及保证数据完整性的策略,完成了整体设计。本论文通过对TimesTen和eXtremeDB两种商业软件和现有技术的研究,在充分分析这两款商业软件各自优点的基础上,以及在使用其中一款软件:TimesTen的过程中,发现它的不足之处,想出解决实际问题的方法。另外,在了解国内外针对数据实时更新方案的基础上,本论文针对实际应用提出了两种设计方法:Web设计方法和嵌入式设计方法,运用了两种更新策略:增量更新的方式和定时全量更新的方式,以及三种保证数据完整性的方法:定时写入硬盘;允许用户备份;定时整体更新,完成了将数据库中的数据完整地保存在内存中的工作。这两种设计方法借用Linux贪婪式占用内存的理念,极大的发挥了保存在内存中数据的作用,在内存中维护了一个完整的数据结构,能够独立的对外部提供数据支持。最后运用了Proxool连接池+ibatics连接数据库,使得和数据库连接部分更加灵巧和易于扩展。使用Spring框架为基础,整合了所有模块,使运行起来更加高效和完备。最后综合国内外的信息,分析了内存数据更新技术在未来几年中可能的发展方向,以及这种数据实时更新的方法随着互联网技术的发展,可能运用到的新领域,比如运用到网站间的数据交互,3G手机Wap网络方面等等,以及和新的技术相结合等等方面,提出了自己的见解和看法。

全文目录


摘要  4-6
ABSTRACT  6-9
第一章 总体介绍  9-16
  1.1 课题背景  9-13
    1.1.1 内存数据更新  9-12
    1.1.2 通用网址系统说明  12-13
  1.2 论文内容及成果  13-15
    1.2.1 论文目标  13-14
    1.2.2 工作内容  14-15
    1.2.3 工作成果  15
  1.3 论文各章节的安排  15-16
第二章 现有技术分析  16-28
  2.1 内存数据交换的发展历史  16-19
    2.1.1 雏形期  16
    2.1.2 技术理论成熟期  16-17
    2.1.3 产品发展期和市场成长期  17
    2.1.4 几种主存技术应用的比较  17-18
    2.1.5 目前几种常见的通用内存数据库  18-19
  2.2 TimesTen技术的分析  19-25
    2.2.1 TimesTen介绍  19
    2.2.2 TimesTen技术简介  19-24
    2.2.3 TimesTen的不足  24-25
  2.3 eXtremeDB技术的分析  25-27
    2.3.1 eXtremeDB技术简介  25-26
    2.3.2 eXtremeDB架构  26-27
  2.4 本章总结  27-28
第三章 内存数据更新技术架构  28-47
  3.1 设计方案  28-31
    3.1.1 Web更新形式  28-30
    3.1.2 嵌入式体现形式  30-31
  3.2 分布式设计方案,  31-34
    3.2.1 Web形式一异步方式  31-33
    3.2.2 ewb形式一同步方式  33
    3.2.3 嵌入式设计一同步方式  33-34
  3.3 保证数据完整性方案  34-35
    3.3.1 整体更新策略  34
    3.3.2 定时写入磁盘上策略  34-35
    3.3.3 允许用户使用backup/restore函数进行备份策略  35
  3.4 Web方式分层设计  35-47
    3.4.1 Web层  35-37
    3.4.2 Service层  37-42
    3.4.3 Dao层  42-44
    3.4.4 Domain层  44-46
    3.4.5 Util层  46-47
第四章 详细设计和关键技术研究  47-68
  4.1 Web方式分模块设计  47-49
    4.1.1 模块设计汇总表  48-49
  4.2 Web方式内存数据更新与Oracle数据库的连接方式  49-55
    4.2.1 针对JAVA.SQL包的支持以及针对JAVAX.SQL包的支持  50-54
    4.2.2 使用Proxool连接池保持数据库连接状态  54-55
  4.3 Web方式内存数据更新针对JDBC的支持以及在JDBC的延伸  55-56
    4.3.1 得到数据源的连接数量  55-56
    4.3.2 判断数据源连接时候可用  56
    4.3.3 关闭数据源连接  56
  4.4 可扩展性  56-57
    4.4.1 扩充支持的数据库  56-57
    4.4.2 连接池的优化和扩展  57
    4.4.3 数据传输的扩展性  57
  4.5 Web方式内存数据更新之间的同步复制  57-58
    4.5.1 同步复制的优势  57-58
    4.5.2 Web方式异步复制数据  58
  4.6 异步复制的能力  58-59
    4.6.1 异步复制的步骤  59
  4.7 异步工作的工作原理  59-61
    4.7.1 异步工作的工作步骤  59-61
  4.8 异步复制的限制  61
    4.8.1 异步复制的Master服务器负载压力比较大  61
    4.8.2 Subscriber服务器和Master服务器之间的传输速度的限制  61
  4.9 异步数据更新的可扩展性  61-64
    4.9.1 Master服务器和Subscriber服务器之间的数据交换部分  61-62
    4.9.2 一台Master服务器和一台Subscriber服务器之间的数据交换  62
    4.9.3 一台Master和多台Subscriber服务器之间异步数据交换  62-64
    4.9.4 多台Master服务器和一台Subscriber服务器进行数据交换  64
  4.10 单向或者双向复制  64-66
  4.11 服务器状态  66-68
第五章 测试与性能分析  68-73
  5.1 测试结果  68-71
  5.2 性能分析  71-72
  5.3 小结  72-73
第六章 结束语  73-75
  6.1 论文工作总结和创新点  73
  6.2 展望及后续工作  73-75
参考文献  75-76
附录1  76-79
致谢  79

相似论文

  1. FPGA远程动态重构系统的设计与实现,TN791
  2. 城区土地级别与基准地价实时更新的研究,F224
  3. 基于Lucene的电力企业信息全文搜索系统的设计和实现,TP391.3
  4. 基于数据流的异常检测技术及应用的研究,TP393.08
  5. 城镇土地级别及基准地价实时更新的研究,P208
  6. 基于ODS的数据仓库技术在高校信息管理中的应用,TP311.13
  7. 变电设备状态检修数据仓库系统研究与开发,TM769
  8. 增量关联规则算法及其在食品安全监管中的应用,TP311.13
  9. 海量多数据库集成系统的查询处理研究,TP311.13
  10. 海量数据压缩、操作和处理方法的研究,TP311.13
  11. 频繁图结构并行挖掘算法的研究与实现,TP311.13
  12. 隐式用户兴趣挖掘的研究与实现,TP311.13
  13. 基于BAP的数据压缩、操作与查询处理系统的实现,TP311.13
  14. 医疗信息集成平台中DICOM中间件及访问控制模型的设计与实现,TP311.13
  15. K-均值聚类算法的研究与改进,TP311.13
  16. 基于流形学习的数据降维技术研究,TP311.13
  17. K-means聚类优化算法的研究,TP311.13
  18. 公安110指挥决策业务系统,TP311.13
  19. 基于分治法的聚类方法研究,TP311.13
  20. 不完备信息系统的完备化及其上的知识获取,TP311.13
  21. 演化聚类算法及其应用研究,TP311.13

中图分类: > 工业技术 > 自动化技术、计算机技术 > 计算技术、计算机技术 > 计算机软件 > 程序设计、软件工程 > 程序设计 > 数据库理论与系统
© 2012 www.xueweilunwen.com