学位论文 > 优秀研究生学位论文题录展示

智能数据分析中异常数据的集成化管理方法研究

作　者: 姚卫新
导　师: 黄丽华
学　校: 复旦大学
专　业: 管理科学与工程
关键词: 异常数据 集成化管理 自组织映射 智能数据分析
分类号: TP311.1
类　型: 博士论文
年　份: 2004年
下　载: 465次
引　用: 10次
阅　读: 论文下载
 

内容摘要


作为信息时代关键性资源之一的数据,其质量问题尤其是异常数据的出现对智能数据分析的结果产生越来越重要的影响。异常数据是数据集中与众不同的数据,它们不符合惯常的数据模式,其产生机制与大多数数据不同。异常数据包括两种类型,第一种是真实异常数据,包含着从应用角度看非常有意义的知识;第二种是噪音异常数据,是采集或记录过程中的错误引起的,会误导分析的结果。目前对于异常数据的态度主要有两种,一是拒绝,从数据集中删除全部异常数据,优点是可以减少异常数据的误导作用,但会丢失有意义的信息;二是保留,保留所有异常数据,不会丢失任何信息,但分析结果会受到异常数据的误导。鉴于目前对异常数据的研究主要集中在检测方法的探讨上,对其缺乏完整的管理思路,本文提出了智能数据分析中异常数据的集成化管理方法,对异常数据的检测阶段、区分阶段以及从真实异常数据中发现知识阶段分别提出了对应的处理方法,为了使异常数据的集成化管理方法更加高效,也提出了控制噪音异常数据产生的方法。本文的研究目的是构建异常数据的集成化管理方法,主要包括下列有机结合的三个方面:在比较现有异常数据检测方法的基础上,提出了运用自组织映射检测异常数据的方法;在自组织映射检测结果的基础上,提出了两个互补的结合领域知识区分不同类型异常数据的方法;运用交互式方法从真实异常数据中发现知识的方法。为了便于理解本文提出的异常数据的集成化管理方法,结合检测视神经疾病的计算机视频视野测试方法进行了分析。

全文目录


第一章 导论  7-14
  1.1 问题的提出  7-9
  1.2 研究目的及意义  9-10
  1.3 研究方法  10
  1.4 研究框架与主要内容  10-12
  1.5 关键概念  12-14
第二章 智能数据分析与异常数据  14-39
  2.1 智能数据分析现状  14-18
  2.2 分析异常数据的重要性  18-23
  2.3 现有异常数据的检测方法  23-33
    2.3.1 基于统计的方法  24-25
    2.3.2 基于距离的方法  25-27
    2.3.3 基于偏差的方法  27-29
    2.3.4 基于密度的方法  29-33
  2.4 现有异常数据检测方法小结  33-36
  2.5 对异常数据进行集成化管理的必要性  36-38
  2.6 本章小结  38-39
第三章 集成化环境下基于自组织映射的异常数据检测方法  39-70
  3.1 自组织映射  39-50
    3.1.1 神经元的侧向交互原理  40-41
    3.1.2 二维阵列自组织映射模型  41-44
    3.1.3 自组织映射模型的学习算法  44-47
    3.1.4 自组织映射模型学习的具体步骤  47-50
  3.2 基于自组织映射的异常数据检测方法  50-55
  3.3 基于自组织映射的异常数据检测方法与现有异常数据检测方法的比较  55-58
  3.4 基于自组织映射的异常数据检测方法在计算机视频视野测试中的应用  58-69
    3.4.1 常规视野测试过程  59-60
    3.4.2 计算机视频视野测试  60-63
    3.4.3 计算机视频视野测试中异常数据的检测  63-66
    3.4.4 实验结果  66-69
  3.5 本章小结  69-70
第四章 集成化环境下不同类型异常数据的区分  70-83
  4.1 基于真实异常数据模型的区分方法  70-71
  4.2 基于噪音异常数据模型的区分方法  71-74
  4.3 计算机视频视野测试数据中真实异常数据的建模  74-77
  4.4 计算机视频视野测试数据中噪音异常数据的建模  77-82
    4.4.1 计算机视频视野测试中噪音异常数据的定义  78-79
    4.4.2 噪音模型的构建  79-80
    4.4.3 评估噪音异常数据模型  80-82
  4.5 本章小结  82-83
第五章 集成化环境下真实异常数据中的知识发现  83-90
  5.1 交互式知识发现方法  83-86
  5.2 交互式知识发现方法在计算机视频视野测试中的应用  86-89
  5.3 本章小结  89-90
第六章 控制噪音异常数据的产生  90-98
  6.1 数据的动态采集方法  90-92
    6.1.1 稳定性指标和可靠性指标  90-91
    6.1.2 重复采集的控制方法  91-92
  6.2 控制噪音异常数据产生方法在计算机视频视野测试中的应用  92-97
    6.2.1 视野测试的智能用户界面  93-95
    6.2.2 测试次数的控制方法  95-96
    6.2.3 实验结果  96-97
  6.3 本章小结  97-98
第七章 总结与展望  98-100
参考文献  100-116
附录1 航天飞机自动降落数据  116-117
附录2 心电图检测数据  117-122
附录3 自组织映射程序以及其它三种异常数据检测算法  122-134
附录4 计算机视频视野测试记录  134-140
致谢  140-142

相似论文

  1. 中海油工程项目集成化系统管理研究,F426.22
  2. “嫦娥一号”微波探测仪数据预处理与分析,V446.9
  3. 面向股票价格指数多步预测的混合模型研究,F224
  4. 膜蛋白跨膜螺旋结构预测研究,Q51
  5. 基于核自组织映射的时间序列预测研究,O211.61
  6. 磁法勘探在河北海兴平原区普查找矿中的应用研究,P631.2
  7. 原子钟数据预处理与钟性能分析方法研究,P207
  8. 发动机测试系统软件的研究与开发,TP311.52
  9. 多维数据异常点识别方法的研究,TB114
  10. IT环境下嵌入审计模块法在CA中的应用研究,F239.1
  11. 高速公路建设项目集成化管理评价体系研究,F542
  12. LSA与SOM相结合的文本聚类算法应用研究,TP391.1
  13. 视频中运动目标检测与跟踪技术研究,TP391.41
  14. 磁异常几种分离方法效果对比研究,P631.2
  15. 无线传感器网络多元时空数据的异常检测研究,TN929.5
  16. 基于SOM神经网络的图像修复,TP391.41
  17. 应用于数据质量核查的几项数据挖掘技术研究,TP311.13
  18. 基于自组织映射的文本聚类研究,TP391.1
  19. 基于SOFM自组织特征映射网络的图像语义分割与标识,TP391.41
  20. 农业搜索引擎中的异常数据检测,TP391.3
  21. 低压电弧故障研究及诊断,TM501.2

中图分类: > 工业技术 > 自动化技术、计算机技术 > 计算技术、计算机技术 > 计算机软件 > 程序设计、软件工程 > 程序设计
© 2012 www.xueweilunwen.com