学位论文 > 优秀研究生学位论文题录展示

基于hadoop的网络安全日志审计系统关键技术研究

作　者: 张萌
导　师: 李智慧
学　校: 哈尔滨工程大学
专　业: 计算机应用技术
关键词: Hadoop MapReduce HBase数据调度离群点检测
分类号: TP393.08
类　型: 硕士论文
年　份: 2013年
下　载: 84次
引　用: 0次
阅　读: 论文下载

内容摘要

网络流量日志记录着网络中发生的点点滴滴，通过分析网络流量日志可以对网络环境中的安全事件进行定位，发现网络内部用户的异常行为。现在大多数的流量异常都是实时的并且基于静态或者动态的阈值对全网进行监控，只能划定一定的时间窗口，不能对单个用户的周期性的异常做出识别和判断。因此需要离线的日志审计系统来对日志进行网络安全事件的审计。随着网络应用的增多，产生的网络日志也迅速膨胀，分布式的处理的方法被广泛的利用起来。Hadoop是一个开源分布式系统，可以用来处理海量网络日志。如何利用Hadoop进行合理的数据存储以及如何将传统的审计方法与MapReduce结合来完成审计任务成为两个亟待解决的问题。本文在对Hadoop相关技术、HBase相关技术以及传统的离群点检测相关技术的研究基础之上，在以下几个方面展开工作：首先，本文提出了一种基于IO负载的Hadoop预处理数据调度算法。为了合理的组织数据，将数据存储到Hadoop HBase中，并可以利用MapReduce进行数据的预处理工作。Hadoop HBase的原始数据调度算法是基于数据块数目的平衡，这种算法下只能保证每个Server上有基本相同的数据块个数，没有考虑数据块的利用情况。将数据块的IO负载考虑到数据调度中，可以平衡整个集群的资源利用率，缓解了某些Server的过度利用情况。最后通过实验验证了该算法的正确性和有效性。其次，本文提出了离群点检测和MapReduce相结合的审计算法。将离群点检测技术应用到网络安全日志审计场景下，利用MapReduce模型，实现对网络安全日志的统计分析。针对每个用户不同日期的相同时间段分别进行审计，弥补了实时网络流量异常审计只是针对全网流量进行审计，无法对每个用户基于自身习惯的偏离进行审计的不足。最后用实验验证了算法的可用性和正确性。最后，本文设计实现了基于Hadoop的网络安全日志审计系统，以海量网络流量日志为审计对象，利用MapReduce完成了日志预处理、审计工作。对系统的整体框架和核心模块实现做了说明。

全文目录

摘要  5-6
Abstract  6-8
目录  8-10
第1章绪论  10-13
  1.1 课题背景及意义  10-11
  1.2 课题研究内容  11
  1.3 论文组织结构  11-13
第2章相关技术研究  13-23
  2.1 引言  13
  2.2 Hadoop 概述  13-16
    2.2.1 Hadoop 的技术背景  13-14
    2.2.2 Hadoop MapReduce 技术介绍  14-15
    2.2.3 Hadoop 应用研究现状  15-16
  2.3 HBase 技术研究  16-20
    2.3.1 HBase 介绍  16-18
    2.3.2 HBase 数据调度  18-19
    2.3.3 HBase 应用研究现状  19-20
  2.4 离群点检测技术研究  20-22
    2.4.1 离群点定义  20
    2.4.2 离群点检测方法研究  20-21
    2.4.3 离群点技术研究现状  21-22
  2.5 本章小结  22-23
第3章基于 IO 负载的 Hadoop 预处理数据调度算法  23-37
  3.1 引言  23
  3.2 基于 IO 负载的 Hadoop 预处理数据调度算法  23-32
    3.2.1 Hadoop 网络日志存储方案  23-25
    3.2.2 MapReduce 网络日志预处理  25-27
    3.2.3 基于 IO 负载的 Hadoop 数据调度算法  27-32
  3.3 实验过程与结果分析  32-36
    3.3.1 实验过程  32-34
    3.3.2 结果分析  34-36
  3.4 本章小结  36-37
第4章离群点检测和 MapReduce 相结合的审计算法  37-51
  4.1 引言  37
  4.2 离群点检测和 MapReduce 相结合的审计算法  37-46
    4.2.1 问题分析  37-38
    4.2.2 审计对象定义  38-40
    4.2.3 网络安全日志离群点检测算法  40-43
    4.2.4 离群点检测和 MapReduce 相结合的审计算法  43-46
  4.3 实验过程与结果分析  46-50
    4.3.1 实验过程  46-49
    4.3.2 结果分析  49-50
  4.4 本章小结  50-51
第5章基于 Hadoop 的网络安全日志审计系统设计与实现  51-57
  5.1 引言  51
  5.2 系统设计  51-53
    5.2.1 系统的总体设计  51-52
    5.2.2 系统的模块设计  52-53
  5.3 核心模块实现  53-54
  5.4 系统测试  54-56
  5.5 本章小结  56-57
结论  57-59
参考文献  59-62
攻读硕士学位期间发表的论文和取得的科研成果  62-63
致谢  63

相似论文

基于Map/Reduce框架的分布式日志分析系统的研究及应用,TP311.52
基于Hadoop的在线购物原型系统的设计与实现,TP311.52
基于Hadoop的移动学习系统设计与实现,G434
基于HADOOP架构的社保项目网络日志分析系统的研究,TP311.52
基于MapReduce模型的eMTM三维人体模型生成引擎,TP391.41
基于云计算的软件资源服务平台研究,TP311.52
海量数据的快速查询算法研究,TP311.13
高速网络环境下的入侵检测系统的研究,TP393.08
云计算平台上的增量学习研究,TP311.13
云队列：一个基于Hadoop的大规模消息基础平台,TP311.52
基于Hadoop的文本分类研究,TP391.1
基于Hadoop的分布式服务注册中心研究和实现,TP393.09
基于多核CPU的任务级数据处理研究及其在集群平台下的性能测试,TP274
基于Hadoop的视频转码系统设计与实现,TN919.81
数据中心Hadoop部署与追踪系统研究,TP308
云环境下MapReduce容错技术的研究,TP302.8
基于云存储的手机数据备份系统,TP309.3
一个可扩展的MapReduce原型设计与实现,TP311.52
基于MapReduce的分布式文本数据过滤技术研究与系统实现,TP391.1
基于Hadoop/Hive的海量web日志处理系统的设计与实现,TP393.09
基于段落指纹的大规模近似网页检测算法研究,TP393.092