学位论文 > 优秀研究生学位论文题录展示

并行技术在气象卫星海量数据可视化系统中的应用

作　者: 江军华
导　师: 章炯民
学　校: 华东师范大学
专　业: 计算机应用技术
关键词: Lustre MPI 高性能计算集群海量数据
分类号: TP391.41
类　型: 硕士论文
年　份: 2010年
下　载: 165次
引　用: 0次
阅　读: 论文下载

内容摘要

气象卫星海量数据可视化系统的目标是,以直观的图像方式呈现数据。由于气象卫星数据是海量的,基于常规技术的系统在并发用户较多的情况下,它的响应速度比较慢。为了解决常规系统存在的性能问题,本文提出了卫星数据可视化系统PDVSMS。PDVSMS采用并行文件系统存储海量数据,利用高性能计算集群运行MPI可视化程序以实现数据的并行处理。和常规系统相比较,随着并发用户数的增多,PDVSMS的响应速度得到了较大的提高,取得了较好的用户体验。本文在分析“并行文件系统”、“高性能计算集群技术”和“MPI并行算法”的基础上,针对卫星系统的应用特点,选择使用Lustre并行文件系统存储卫星数据,实现了可视化程序的MPI并行化(以NDVI气象卫星数据为例),成功地将并行文件系统和高性能计算集群整合在一起,最终构建出基于并行技术的气象卫星海量数据并行可视化系统PDVSMS。由于stripe_size的不同配置会影响到Lustre文件系统的IO效率,本文通过实验确定了最佳的stripe_size。高性能计算集群的软件部署采用联想公司提供的集群解决方案(基于OpenPBS)。MPI并行算法采用C++编程语言以及MPICH2并行语言库实现。最后,本文利用有限的测试资源,对常规系统和PDVSMS作了性能测试,所得到的实验数据验证了PDVSMS的有效性和合理性。

全文目录

相似论文

DMR集群系统高层协议的设计和研究,TN929.52
海量数据压缩、操作和处理方法的研究,TP311.13
基于BAP的数据压缩、操作与查询处理系统的实现,TP311.13
科学发展观视阈下的湖北省白酒产业集群发展研究,F426.82
高校教务管理网上选课系统优化研究,TP393.09
基于Linux集群系统的负载均衡算法研究及在Webgis中的应用,TP393.05
Linux集群环境下作业调度算法的研究与实现,TP301.6
江门不锈钢产业优化与发展模式研究,F224
莆田市木材加工产业发展研究,F426.88
吉林省服装产业现状及发展战略研究,F426.86
TD-SCDMA集群系统中负荷控制策略的研究与仿真,TN929.533
TD-SCDMA集群系统中动态信道分配算法的研究,TN929.533
基于DMR的4CPFSK基带信号处理技术研究和芯片设计实现,TN929.5
高速网络环境下的入侵检测系统的研究,TP393.08
基于GPU的有限元方法研究,O241.82
基于网络存储的流媒体服务器系统,TN919.8
TD-SCDMA集群系统多用户检测技术的研究,TN929.533
基于TD-SCDMA的集群通信系统链路负荷控制算法研究,TN929.533
多机热备高可用集群的设计和研究,TP311.5
多媒体集群调度平台SIP服务器的研究与实现,TP368.5
基于逻辑卷的分级存储系统设计与实现,TP333