学位论文 > 优秀研究生学位论文题录展示

基于数据挖掘的日志审计系统研究与实现

作　者: 王宗晨
导　师: 马少平；刘鸣飞
学　校: 清华大学
专　业: 计算机技术
关键词: 日志审计网络管理数据挖掘关联规则 FP二叉排序树
分类号: TP311.52
类　型: 硕士论文
年　份: 2009年
下　载: 387次
引　用: 1次
阅　读: 论文下载

内容摘要

日志审计作为实现网络信息管理的重要机制之一,对建立完善的信息管理保障体系具有重要的作用,传统的网络管理日志审计系统存在着检测准确率低、检测速度慢、自适应性差和日志格式无法统一等问题。为了解决这些问题,近几年,出现了基于数据挖掘的网络管理日志审计系统,数据挖掘是一种新兴的、并且在很短时间内得到了广泛应用的先进的智能化数据分析方法。数据挖掘旨在从大量的数据中提取隐藏的预测性信息,发掘数据间潜在的模式,找出某些常被忽略的信息,以易于理解和观察的方式呈现给用户。本文的主要工作有以下几点:1.学习并研究网络管理、网络安全审计和数据挖掘技术,找出数据挖掘和日志审计在技术上的结合点,建立基于数据挖掘的网络管理日志审计系统;2.重点研究了关联规则算法,学习相应的关联规则算法Apriori和FP-Growth算法,针对这两种算法存在的问题进行研究,并分别从FP树的构造、查找、遍历等几个方面提出了FP二叉树、FP排序树及其改进方法,并最终通过理论分析和实验证明,新算法在时空效率上明显优于现有算法;3.对常见的网络设备的日志格式进行研究和分析,定义了标准事件格式,采集到的所有的日志事件信息都要经过预处理,转换为标准事件,另外,对日志事件进行了分级和丰富,以方便对数据进行数据挖掘和生成报表等操作;4.利用Petri网的理论,给出了网络故障处理的形式化流程定义,为提高故障处理效率,规范化处理步骤提供了一种新的解决方案;5.给出了基于数据挖掘的网络管理日志审计系统的实现方案和系统模型图,将大量的数据挖掘的技术和理论应用于该系统,提高了审计速度及准确性,实现了完整的网络管理日志审计系统。数据挖掘技术和基于数据挖掘的日志审计系统是都是目前研究的热点,本文改进了关联规则算法,并将其应用到基于数据挖掘的日志审计系统中,实践表明改进的算法在时空效率方面优于FP-Growth算法并且具有良好的伸缩性。

全文目录

摘要  3-5
Abstract  5-11
第1章引言  11-18
  1.1 课题背景  11-12
  1.2 课题目的和意义  12-13
  1.3 课题的研究现状和进展  13-17
    1.3.1 传统日志审计的不足  13-14
    1.3.2 国内外研究情况  14-16
    1.3.3 基于数据挖掘的网络管理日志审计系统  16
    1.3.4 经典关联规则算法简述  16-17
  1.4 论文各部分的主要内容  17-18
第2章相关知识介绍  18-39
  2.1 网络管理概述  18-22
    2.1.1 网络管理体系结构  18-19
    2.1.2 网络管理的功能  19-20
    2.1.3 网络故障管理  20-22
  2.2 网络安全审计概述  22-27
    2.2.1 网络安全审计的概念  23
    2.2.2 网络安全审计要考虑的问题  23-24
    2.2.3 网络安全审计的功能  24-25
    2.2.4 网络安全审计系统模型  25-26
    2.2.5 网络安全审计标准简介  26-27
  2.3 数据挖掘技术  27-30
    2.3.1 数据挖掘的任务及功能  27-29
    2.3.2 数据挖掘的过程  29-30
    2.3.3 数据预处理  30
  2.4 网络故障告警相关性分析  30-39
    2.4.1 故障与告警的概念  31
    2.4.2 告警相关性分析的概念  31-32
    2.4.3 告警相关性的类型  32-33
    2.4.4 告警相关性分析的算法概述  33-39
第三章网络故障告警关联技术研究与实现  39-71
  3.1 基于关联规则的网络故障告警算法研究  39-42
    3.1.1 关联规则概述  39-40
    3.1.2 Apriori 算法基本原理  40-41
    3.1.3 FP-Growth 算法基本原理  41-42
  3.2 FP-GROWTH 二叉树表示法  42-50
    3.2.1 FP 二叉树的定义  43-44
    3.2.2 FP 二叉树的数据结构  44-45
    3.2.3 FP 二叉树建立算法  45-47
    3.2.4 FP 二叉树挖掘及生成关联规则算法  47
    3.2.5 FP 二叉树的性能分析  47-50
  3.3 FP 排序树  50-57
    3.3.1 FP 排序树的定义  50
    3.3.2 FP 排序树的建立过程  50-54
    3.3.3 FP 排序树算法  54
    3.3.4 FP 排序树的性能分析  54-57
  3.4 提高查找算法效率的改进方法  57-66
    3.4.1 问题的提出  57-58
    3.4.2 FP 树查找改进方法  58-59
    3.4.3 FP 树查找改进方法的性能分析  59-61
    3.4.4 FP 排序树查找改进方法  61-63
    3.4.5 FP 排序树查找改进方法的性能分析  63-66
  3.5 实验分析及结论  66-71
    3.5.1 存储空间实验及结论  67-68
    3.5.2 运行时间效率实验及结论  68-69
    3.5.3 查找算法效率实验及结论  69-71
第四章基于数据挖掘的网络管理日志审计系统的实现  71-89
  4.1 基本目标及建设原则  71
  4.2 系统设计方案  71-77
    4.2.1 系统管理对象及监控功能要求  72-74
    4.2.2 系统结构图  74-75
    4.2.3 系统各模块功能  75-76
    4.2.4 系统数据备份及删除  76-77
  4.3 系统主要模块介绍  77-81
    4.3.1 数据预处理模块  77-80
    4.3.2 关联模块  80-81
  4.4 基于PETRI 网的网络故障处理  81-88
    4.4.1 Petri 网的定义  82-83
    4.4.2 Petri 网模型  83-86
    4.4.3 基于Petri 网的网络故障处理流程表示  86-88
  4.5 系统软硬件环境及实现  88-89
第5章总结与展望  89-91
  5.1 本文工作总结  89-90
  5.2 未来研究展望  90-91
参考文献  91-96
致谢  96-97
个人简历、在学期间发表的学术论文与研究成果  97

基于数据挖掘的日志审计系统研究与实现

内容摘要

全文目录

相似论文