学位论文 > 优秀研究生学位论文题录展示

基于MapReduce模型的分布式计算平台的原理与设计

作　者: 张文峰
导　师: 刘小峰
学　校: 华中科技大学
专　业: 软件工程
关键词: 数据处理映射规约分布式计算任务调度容错机制
分类号: TP311.52
类　型: 硕士论文
年　份: 2010年
下　载: 321次
引　用: 1次
阅　读: 论文下载

内容摘要

互联网应用的高速发展与应用为企业带来了非常巨大的发展机遇,各种个性化的应用与服务散发着无限魅力。然而随之而来的是海量数据。如何正确而高效的从海量数量中分析有用信息并做出决策是目前所有新型互联网企业必须面对的一件极具挑战性的工作。传统上,人们往往选择使用分布式计算系统来处理这种复杂而庞大的任务。传统的分布式计算平台往往依赖高端大型服务器,并且需要专业分布式与并行计算的程序员进行长期设计与维护。这往往使得新型互联网企业面临巨大的经济压力。因此,设计一个采用大量廉价机器组成的可扩展的分布式计算平台变得尤其重要。MapReduce是一种并行编程模型,它用于处理大型的数据集的程序设计中。基于这种功能的程序能够在大规模的廉价机器上并发地执行任务。基于MapReduce编程模型的分布式计算系统解决以下细节:分割输入数据,在集群上的调度,机器的错误处理,管理机器之间必要的通信。这样就可以让没有并行编程经验的程序员利用大量分布式系统的资源了。基于MapReduce编程的优点,本文在分析当前各种分布式计算系统的基础上,设计了一个运行于普通廉价机器上的可扩展的分布式计算平台。首先我们对比当前几种流行的分布式计算技术,总结各自的优缺点,提出了更适合于分析海量数据的分布式计算平台框架。然后从平台总体架构上进行设计,合理地设计了各个功能子模块。我们花了大量笔墨于系统I/O模块和MapReduce模块,因为系统I/O的好坏将直接影响到系统的整体性能。而MapReduce模块是整个系统的核心,精心设计的MapReduce子模块是对系统良好运行的保证。最后,我们对影响到系统性能的关键策略进行探讨,包括作业和任务调度,容错机制等。

全文目录

摘要  4-5
Abstract  5-9
1 绪论  9-15
  1.1 研究背景  9
  1.2 国内外研究状况  9-13
  1.3 本文的主要内容和工作  13
  1.4 论文组织  13-15
2 MapReduce 模型概述  15-24
  2.1 编程模型  15
  2.2 气象应用  15-18
  2.3 分布性和可靠性  18-19
  2.4 与其他分布式系统的比较  19-22
  2.5 实际应用  22-24
3 分布式计算系统分析与设计  24-48
  3.1 总体结构  24-25
  3.2 计算流程  25-29
  3.3 系统IO 模块  29-39
  3.4 map/reduce 核心模块  39-46
  3.5 系统其他模块简述  46-48
4 MapReduce 关键策略研究  48-54
  4.1 作业调度  48-50
  4.2 任务调度  50-51
  4.3 容错处理  51-54
5 MapReduce 系统应用  54-56
  5.1 部署环境  54
  5.2 气温统计  54-56
6 总结与展望  56-58
  6.1 全文总结  56
  6.2 展望  56-58
致谢  58-59
参考文献  59-61

基于MapReduce模型的分布式计算平台的原理与设计

内容摘要

全文目录

相似论文