学位论文 > 优秀研究生学位论文题录展示

基于云平台的并行关联规则挖掘算法研究

作　者: 毛卫俊
导　师: 郭卫斌
学　校: 华东理工大学
专　业: 计算机软件与理论
关键词: 数据挖掘 关联规则 MapReduce 幂集 矩阵
分类号: TP311.13
类　型: 硕士论文
年　份: 2014年
下　载: 119次
引　用: 0次
阅　读: 论文下载
 

内容摘要


随着计算机技术、通讯技术以及网络技术的迅速发展及普及,大量的数据库被广泛运用于社会生活的各个领域,积累的数据量很容易就达到TB级,甚至PB级。这些数据往往是有噪声的、大量的、异构的和复杂的,很难直接使用。所以,如何能以更加快速、低成本、高效的方式从海量数据中挖掘出有价值的、可理解的知识,从而帮助决策者更好地决策已成为数据挖掘技术领域的新课题。云计算的出现为海量数据挖掘带来了新的解决方案。Hadoop是由Apache基金会开源实现的一种云计算技术,它的关键技术是Hadoop分布式文件系统HDFS和MapReduce并行编程框架。在深入研究传统数据挖掘算法的基础上,如何结合MapReduce并行编程框架对传统数据挖掘算法进行改进,使之能够处理海量数据挖掘问题,是数据挖掘领域的一个热点。首先,本文详细研究了云计算、Hadoop的分布式文件系统HDFS以及MapReduce并行编程框架,阐述了基于Hadoop的数据挖掘系统的设计架构。然后,在深入研究传统关联规则挖掘算法Apriori的基础上,给出了将Apriori算法并行化处理的策略,提出了一种改进的并行算法AprioriMR。接着,在先前研究的基础上,引入幂集和矩阵的概念,提出了基于Hadoop和幂集的关联规则挖掘改进算法AprioriPMR以及基于Hadoop和矩阵的关联规则挖掘改进算法AprioriMMR。最后,搭建了结合Hadoop和HBase的实验环境,用Java完成改进算法的编写,并采用不同的实验数据集和实验条件测试了改进算法的正确性,通过实验结果的对比分析,得出改进算法具有更高的性能。

全文目录


摘要  5-6
Abstract  6-7
目录  7-9
第1章 绪论  9-13
  1.1 课题背景及意义  9-10
  1.2 国内外研究现状  10-11
  1.3 本文主要工作  11
  1.4 本文组织结构  11-13
第2章 Apriori算法的MapReduce并行化研究  13-31
  2.1 Hadoop关键技术研究  13-19
    2.1.1 Hadoop技术背景  13-14
    2.1.2 分布式文件系统HDFS  14-17
    2.1.3 MapReduce编程模型  17-19
    2.1.4 Hadoop数据库HBase  19
  2.2 基于Hadoop的数据挖掘系统分析和设计  19-22
    2.2.1 数据挖掘概述  19-20
    2.2.2 基于Hadoop的数据挖掘系统  20-22
  2.3 关联规则挖掘  22-25
    2.3.1 关联规则基础理论  22-23
    2.3.2 Apriori关联规则算法  23-25
  2.4 基于Hadoop的Apriori算法并行化改进  25-30
    2.4.1 Apriori并行策略  26-27
    2.4.2 Apriori并行算法设计  27-30
  2.5 本章小结  30-31
第3章 基于Hadoop和幂集的关联规则挖掘改进研究  31-39
  3.1 并行策略  31-32
    3.1.1 幂集(Power Set)  31
    3.1.2 改进思想  31-32
  3.2 算法设计  32-38
    3.2.1 数据流程  32-33
    3.2.2 设计实现  33-35
    3.2.3 算法实例分析  35-38
  3.3 算法性能分析  38
  3.4 本章小结  38-39
第4章 基于Hadoop和矩阵的关联规则挖掘改进研究  39-47
  4.1 并行策略  39-40
  4.2 算法设计  40-46
    4.2.1 数据流程  40-41
    4.2.2 设计实现  41-43
    4.2.3 算法实例分析  43-46
  4.3 算法分析  46
  4.4 本章小结  46-47
第5章 数值实验  47-57
  5.1 实验环境  47-52
    5.1.1 硬件描述  47
    5.1.2 软件描述  47-48
    5.1.3 Hadoop平台及HBase的搭建  48-52
  5.2 实验过程及结果分析  52-56
    5.2.1 数据集  52-53
    5.2.2 实验过程  53
    5.2.3 实验结果分析  53-56
  5.3 本章小结  56-57
第6章 总结与展望  57-59
  6.1 全文总结  57-58
  6.2 未来展望  58-59
参考文献  59-62
致谢  62-63
附录  63

相似论文

  1. 无尾飞翼式飞行器主动控制的参数化方法,V249.1
  2. LDPC码译码算法的研究,TN911.22
  3. 离散切换系统稳定性分析及控制器设计,TP13
  4. 网络化系统的鲁棒模型预测控制,TP273
  5. 车载FlexRay主干网的构建与性能分析,TP273
  6. 随机时滞系统的稳定性分析与鲁棒控制器设计,TP13
  7. 基于数据挖掘技术的保健品营销研究,F426.72
  8. 高忠英学术思想与经验总结及运用补肺汤加减治疗呼吸系统常见病用药规律研究,R249.2
  9. 张炳厚学术思想与临床经验总结及应用地龟汤类方治疗慢性肾脏病的经验研究,R249.2
  10. 七维稳定耗散系统的代数条件及动力学性质,O175
  11. 蒸汽管路系统结构振动研究,TK284.1
  12. 广义系统的结构分析及控制方法研究,N945.1
  13. 含左手材料平板波导的电磁特性,O441.6
  14. Bicluster数据分析软件设计与实现,TP311.52
  15. 蚁群算法及其在气象卫星云图分割中的应用,TP391.41
  16. 基于变异粒子群的聚类算法研究,TP18
  17. 融合粒子群和蛙跳算法的模糊C-均值聚类算法研究,TP18
  18. 基于遗传算法和粗糙集的聚类算法研究,TP18
  19. 系统控制理论及其在水下机器人系统中的应用研究,TP13
  20. 三丁基锡对海洋腹足类种群的生态风险评价,X174
  21. 基于数据挖掘的税务稽查选案研究,F812.42

中图分类: > 工业技术 > 自动化技术、计算机技术 > 计算技术、计算机技术 > 计算机软件 > 程序设计、软件工程 > 程序设计 > 数据库理论与系统
© 2012 www.xueweilunwen.com