学位论文 > 优秀研究生学位论文题录展示

基于云计算的海量数据存储技术的研究及应用

作 者: 陈璐
导 师: 陈和平
学 校: 武汉科技大学
专 业: 计算机应用
关键词: 云计算 Hadoop 分布式 海量数据 词频统计
分类号: TP333
类 型: 硕士论文
年 份: 2011年
下 载: 1036次
引 用: 1次
阅 读: 论文下载
 

内容摘要


云计算(Cloud Computing)是在2007年第3季度才诞生的新名词,但仅仅过了半年多,其就成为当今计算机界一个研究热点,业内外人士对其发展情况和实用价值都表现出非常的关注。对于云计算的研究在各大公司及院校相继展开。云计算是一种新兴的共享基础架构的方法,最终将成为一种普及性服务。云计算从实质上来说是网格计算和分布式计算的延伸。基于这一点,本文分析并比较现有的分布式存储和计算技术等,结合Hadoop的集群技术的研究,提出了基于Hadoop的海量数据存储模型,并从数据结构设计、模型设计、功能模块和编程技术的使用等几个方面来介绍该模型的开发方法,最后将该模型应用于海量数据处理(词频统计)中。该技术还可以应用在诸多海量数据处理领域中,例如:web日志处理、搜索引擎、大规模文件存储等。本课题利用前沿的分布式框架技术,将模型很好地部署到实例当中,与非分布式状态运行的系统进行比较,用实验来检验其性能。本课题的特点是将研究的模型与词频统计应用相结合,利用前沿的分布式框架技术来很好地满足项目的需求,并将模型部署到实例当中,用实验结果来检验模型的实用价值,比如高效率、低成本、可拓展性和易维护性等。在原来的需处理系统相融合的基础上,我们还对初级的模型进行了性能的优化,如简化规则的改进等。实验结果表明,利用Hadoop云计算平台可以有效地提高海量数据处理速度,为大规模高效数据处理提供了良好的解决方法。

全文目录


相似论文

  1. Ad-Hoc网络多信道MAC层协议的信道分配问题的研究,TN929.5
  2. 分布式系统的故障注入方法研究,TP338.8
  3. 并行分布式网络模拟器PDNS容错技术的研究,TP302.8
  4. 海量数据压缩、操作和处理方法的研究,TP311.13
  5. 基于BAP的数据压缩、操作与查询处理系统的实现,TP311.13
  6. 面向海量邮件的检索系统研究与实现,TP393.098
  7. 含分布式电源的微电网控制策略研究,TM61
  8. 云计算平台下的动态信任模型的研究,TP309
  9. 基于移动Agent的分布式网络通信机制的研究,TP393.02
  10. 基于分布式环境压力测试问题的研究,TP311.52
  11. 一种可视化的分布式数据集成模型的研究与实现,TP311.52
  12. 分布式事务处理协议的研究与应用,TP311.13
  13. 基于云计算的数字图书馆服务模式研究,G250.76
  14. 基于Map/Reduce框架的分布式日志分析系统的研究及应用,TP311.52
  15. 基于Oracle的移动彩铃分布式数据库设计与实现,TP311.13
  16. 基于Hadoop的在线购物原型系统的设计与实现,TP311.52
  17. 分布式视频编码边信息生成研究,TN919.81
  18. 基于信誉度的云环境下资源管理的研究,TP315
  19. 基于分布式三层应用的设备管理信息系统的开发和研究,TP311.52
  20. 基于WCF框架的管制信息系统的设计与实现,TP311.52
  21. 基于Google平台促销模块与商品模块的设计与实现,TP311.52

中图分类: > 工业技术 > 自动化技术、计算机技术 > 计算技术、计算机技术 > 电子数字计算机(不连续作用电子计算机) > 存贮器
© 2012 www.xueweilunwen.com