学位论文 > 优秀研究生学位论文题录展示
基于定时任务和增量更新技术的数据实时更新方法的研究
作 者: 王勇
导 师: 马严
学 校: 北京邮电大学
专 业: 软件工程
关键词: 互联网数据交换 内存数据更新 定时任务 数据增量更新 实时更新
分类号: TP311.13
类 型: 硕士论文
年 份: 2010年
下 载: 37次
引 用: 0次
阅 读: 论文下载
内容摘要
随着互联网的快速发展,互联网上信息成爆炸式的增长。应用于互联网数据交换的内存数据交换就应运而生了。本次设计的内存数据更新的方法运用了先进的Spring架构,加上分布式设计的概念,以及保证数据完整性的策略,完成了整体设计。本论文通过对TimesTen和eXtremeDB两种商业软件和现有技术的研究,在充分分析这两款商业软件各自优点的基础上,以及在使用其中一款软件:TimesTen的过程中,发现它的不足之处,想出解决实际问题的方法。另外,在了解国内外针对数据实时更新方案的基础上,本论文针对实际应用提出了两种设计方法:Web设计方法和嵌入式设计方法,运用了两种更新策略:增量更新的方式和定时全量更新的方式,以及三种保证数据完整性的方法:定时写入硬盘;允许用户备份;定时整体更新,完成了将数据库中的数据完整地保存在内存中的工作。这两种设计方法借用Linux贪婪式占用内存的理念,极大的发挥了保存在内存中数据的作用,在内存中维护了一个完整的数据结构,能够独立的对外部提供数据支持。最后运用了Proxool连接池+ibatics连接数据库,使得和数据库连接部分更加灵巧和易于扩展。使用Spring框架为基础,整合了所有模块,使运行起来更加高效和完备。最后综合国内外的信息,分析了内存数据更新技术在未来几年中可能的发展方向,以及这种数据实时更新的方法随着互联网技术的发展,可能运用到的新领域,比如运用到网站间的数据交互,3G手机Wap网络方面等等,以及和新的技术相结合等等方面,提出了自己的见解和看法。
|
全文目录
摘要 4-6 ABSTRACT 6-9 第一章 总体介绍 9-16 1.1 课题背景 9-13 1.1.1 内存数据更新 9-12 1.1.2 通用网址系统说明 12-13 1.2 论文内容及成果 13-15 1.2.1 论文目标 13-14 1.2.2 工作内容 14-15 1.2.3 工作成果 15 1.3 论文各章节的安排 15-16 第二章 现有技术分析 16-28 2.1 内存数据交换的发展历史 16-19 2.1.1 雏形期 16 2.1.2 技术理论成熟期 16-17 2.1.3 产品发展期和市场成长期 17 2.1.4 几种主存技术应用的比较 17-18 2.1.5 目前几种常见的通用内存数据库 18-19 2.2 TimesTen技术的分析 19-25 2.2.1 TimesTen介绍 19 2.2.2 TimesTen技术简介 19-24 2.2.3 TimesTen的不足 24-25 2.3 eXtremeDB技术的分析 25-27 2.3.1 eXtremeDB技术简介 25-26 2.3.2 eXtremeDB架构 26-27 2.4 本章总结 27-28 第三章 内存数据更新技术架构 28-47 3.1 设计方案 28-31 3.1.1 Web更新形式 28-30 3.1.2 嵌入式体现形式 30-31 3.2 分布式设计方案, 31-34 3.2.1 Web形式一异步方式 31-33 3.2.2 ewb形式一同步方式 33 3.2.3 嵌入式设计一同步方式 33-34 3.3 保证数据完整性方案 34-35 3.3.1 整体更新策略 34 3.3.2 定时写入磁盘上策略 34-35 3.3.3 允许用户使用backup/restore函数进行备份策略 35 3.4 Web方式分层设计 35-47 3.4.1 Web层 35-37 3.4.2 Service层 37-42 3.4.3 Dao层 42-44 3.4.4 Domain层 44-46 3.4.5 Util层 46-47 第四章 详细设计和关键技术研究 47-68 4.1 Web方式分模块设计 47-49 4.1.1 模块设计汇总表 48-49 4.2 Web方式内存数据更新与Oracle数据库的连接方式 49-55 4.2.1 针对JAVA.SQL包的支持以及针对JAVAX.SQL包的支持 50-54 4.2.2 使用Proxool连接池保持数据库连接状态 54-55 4.3 Web方式内存数据更新针对JDBC的支持以及在JDBC的延伸 55-56 4.3.1 得到数据源的连接数量 55-56 4.3.2 判断数据源连接时候可用 56 4.3.3 关闭数据源连接 56 4.4 可扩展性 56-57 4.4.1 扩充支持的数据库 56-57 4.4.2 连接池的优化和扩展 57 4.4.3 数据传输的扩展性 57 4.5 Web方式内存数据更新之间的同步复制 57-58 4.5.1 同步复制的优势 57-58 4.5.2 Web方式异步复制数据 58 4.6 异步复制的能力 58-59 4.6.1 异步复制的步骤 59 4.7 异步工作的工作原理 59-61 4.7.1 异步工作的工作步骤 59-61 4.8 异步复制的限制 61 4.8.1 异步复制的Master服务器负载压力比较大 61 4.8.2 Subscriber服务器和Master服务器之间的传输速度的限制 61 4.9 异步数据更新的可扩展性 61-64 4.9.1 Master服务器和Subscriber服务器之间的数据交换部分 61-62 4.9.2 一台Master服务器和一台Subscriber服务器之间的数据交换 62 4.9.3 一台Master和多台Subscriber服务器之间异步数据交换 62-64 4.9.4 多台Master服务器和一台Subscriber服务器进行数据交换 64 4.10 单向或者双向复制 64-66 4.11 服务器状态 66-68 第五章 测试与性能分析 68-73 5.1 测试结果 68-71 5.2 性能分析 71-72 5.3 小结 72-73 第六章 结束语 73-75 6.1 论文工作总结和创新点 73 6.2 展望及后续工作 73-75 参考文献 75-76 附录1 76-79 致谢 79
|
相似论文
- FPGA远程动态重构系统的设计与实现,TN791
- 城区土地级别与基准地价实时更新的研究,F224
- 基于Lucene的电力企业信息全文搜索系统的设计和实现,TP391.3
- 基于数据流的异常检测技术及应用的研究,TP393.08
- 城镇土地级别及基准地价实时更新的研究,P208
- 基于ODS的数据仓库技术在高校信息管理中的应用,TP311.13
- 变电设备状态检修数据仓库系统研究与开发,TM769
- 增量关联规则算法及其在食品安全监管中的应用,TP311.13
- 海量多数据库集成系统的查询处理研究,TP311.13
- 海量数据压缩、操作和处理方法的研究,TP311.13
- 频繁图结构并行挖掘算法的研究与实现,TP311.13
- 隐式用户兴趣挖掘的研究与实现,TP311.13
- 基于BAP的数据压缩、操作与查询处理系统的实现,TP311.13
- 医疗信息集成平台中DICOM中间件及访问控制模型的设计与实现,TP311.13
- K-均值聚类算法的研究与改进,TP311.13
- 基于流形学习的数据降维技术研究,TP311.13
- K-means聚类优化算法的研究,TP311.13
- 公安110指挥决策业务系统,TP311.13
- 基于分治法的聚类方法研究,TP311.13
- 不完备信息系统的完备化及其上的知识获取,TP311.13
- 演化聚类算法及其应用研究,TP311.13
中图分类: > 工业技术 > 自动化技术、计算机技术 > 计算技术、计算机技术 > 计算机软件 > 程序设计、软件工程 > 程序设计 > 数据库理论与系统
© 2012 www.xueweilunwen.com
|