学位论文 > 优秀研究生学位论文题录展示

离群点预处理及检测算法研究

作　者: 王雪英
导　师: 朱焱
学　校: 西南交通大学
专　业: 计算机应用技术
关键词: 离群点检测离群点类型奇异值分解近邻离群点挖掘系统
分类号: TP311.13
类　型: 硕士论文
年　份: 2009年
下　载: 99次
引　用: 3次
阅　读: 论文下载

内容摘要

离群点检测主要应用于数据清洗与数挖掘两个方面,其作用就是发现数据的“小众模式”,即数据集中显著不同于其它数据的对象。在现实中,一个人的噪音可能是另一个人的信号。在很多应用中,例外事件常常比普通事件更有趣、也更有研究价值,因此离群点数据的检测和分析是一项重要且有意义的研究工作。但现有的离群点检测算法仅能识别可疑数据,不能确定是否是“有意义”的离群点,离群点检测算法在高维数据挖掘过程中性能有所下降。因此本文针对这些问题进行了探讨和研究。首先,本文从离群点检测的现实意义、算法、应用领域等各个方面对离群点检测问题进行了综述,分析了现实数据存在的问题,总结了针对不同数据问题所采用的处理方法。针对当前离群点检测算法只能识别可疑数据,不能识别出是否是“有意义”的离群点这一缺陷,提出采用二次挖掘方法与模型法区分“噪声”与“有意义”离群点。其次,论文对离群点挖掘技术进行了介绍,总结了当前离群点挖掘技术：研究了基于近邻的离群点挖掘算法,对基于近邻的DB(p,D)-离群点挖掘算法,k-近邻算法(KNN)及LOF(Local Outlier Factor)算法的优缺点进行了比较：针对高维数据之间的距离尺度和区域密度不再具有直观的意义及算法挖掘的正确率下降等问题,本文采用基于奇异值分解的方法约减数据维度,实现高维数据到低维空间的映射,然后再用k-近邻法及LOF算法进行离群点的挖掘。然后,将基于奇异值预处理的离群点挖掘法与直接运用离群点挖掘算法进行离群点挖掘的检测率、误报率及时间代价进行比较,挖掘结果的正确率明显提高,误报率及时间代价相对较小。文中对二次挖掘法与模型法进行了仿真实验。最后实现了一个离群点挖掘系统,其中集成了DB(p,D)-离群点检测算法、基于密度的局部离群点因子检测算法、k-近邻的离群点检测算法、基于奇异值分解的数据预处理及离群点检测算法,并对离群点挖掘的结果运用平行坐标图进行合理性分析。

全文目录

摘要  6-7
Abstract  7-11
第1章绪论  11-19
  1.1 研究背景与研究意义  11-14
    1.1.1 研究背景  11-13
    1.1.2 研究意义  13-14
  1.2 研究现状  14-18
    1.2.1 国外研究现状  14-17
    1.2.2 国内研究现状  17-18
  1.3 本文研究内容  18
  1.4 论文的组织结构  18-19
第2章数据质量与离群点  19-28
  2.1 数据预处理  19-21
    2.1.1. 现实数据存在的问题  19-20
    2.1.2. 数据处理策略  20-21
  2.2 区分噪声与"有趣模式"离群点  21-25
    2.2.1 离群点的分类  22
    2.2.2 模型法  22-24
    2.2.3 二次挖掘法  24-25
  2.3 离群点类型  25-27
    2.3.1 单点离群点  25
    2.3.2 语境离群点  25-27
    2.3.3 集体离群点  27
  2.4 本章小结  27-28
第3章离群点挖掘技术介绍  28-34
  3.1 归纳学习与离群点检测技术  28-29
    3.3.1 有监督的离群点检测  28
    3.3.2 半监督的离群点检测  28-29
    3.3.3 无监督的离群点检测  29
  3.2 离群点挖掘方法  29-33
  3.3 本章小结  33-34
第4章基于近邻的离群点检测算法的研究  34-53
  4.1 基于距离的离群点检测算法  35-38
  4.2 k-近邻的离群点检测算法  38-41
  4.3 基于密度的局部离群点检测算法  41-46
  4.4 基于奇异值分解的维度约减  46-51
  4.5 本章小结  51-53
第5章离群点检测系统的实现及结果分析  53-74
  5.1 离群点挖掘系统的实现  53-56
    5.1.1 系统结构  53-54
    5.1.2 系统过程  54-56
  5.2 实验数据集  56-58
    5.2.1 Wisconsin乳腺癌数据集  56-58
    5.2.2 ionosphere数据集  58
  5.3 实验过程及结果分析  58-69
    5.3.1 离群点检测算法的评价标准  58-59
    5.3.2 Wisconsin乳腺癌数据集  59-62
    5.3.3 ionosphere数据集  62-66
    5.3.4 实验结论  66
    5.3.5 挖掘结果的合理性分析  66-69
  5.4 二次挖掘法识别噪声  69-71
  5.5 模型法识别噪声  71-72
  5.6 本章小结  72-74
结论与展望  74-76
致谢  76-77
参考文献  77-81
攻读硕士学位期间发表的论文  81-82

离群点预处理及检测算法研究

内容摘要

全文目录

相似论文