学位论文 > 优秀研究生学位论文题录展示

代价敏感的支持向量机监督学习研究

作　者: 李钢
导　师: 王蔚
学　校: 南京师范大学
专　业: 教育技术学
关键词: 支持向量机监督学习代价敏感学习取样参数选择遗传算法
分类号: TP18
类　型: 硕士论文
年　份: 2007年
下　载: 265次
引　用: 1次
阅　读: 论文下载

内容摘要

监督学习中的误分类代价问题是近年来机器学习技术走向现实的过程中产生的。为了更好地解决真实世界中的此类问题，代价敏感学习成为国际机器学习界的一个研究热点。支持向量机(Support Vector Machines，SVM)源于统计学习理论，是目前为止一种强有力的机器学习算法，但和传统的决策树、神经网络算法一样，SVM不具有代价敏感性，不能直接用于代价敏感学习。因此，设计代价敏感的SVM，并尽可能的提高其性能显得尤为重要。本文以支持SVM为主线，针对监督学习中错误分类引起的代价问题，对实现代价敏感的SVM以及提高其性能方面做了如下工作：1．在研究统计学习理论的基础上，指出了SVM在监督学习中优于其他学习算法的原因，并实现了一种标准SVM的训练算法—SMO算法。2．在实现SMO算法的基础上，通过样本类空间重构的方式，设计并实现了基于随机过取样、SMOTE、欠取样的三种代价敏感SVM。并且借鉴代价敏感神经网络集成方法，对三种代价敏感SVM分别进行了软集成和硬集成。在采用软集成时，针对SVM的特点采用了不同于神经网络的软集成方法。试验结果表明：总体性能上，基于欠取样的代价敏感SVM是一种非常好的方法；但是在数据集严重不平衡时，该方法是失效的，而软集成在此类数据集时性能最好。另外还得出了一些更详细的结论，为采用此类方式处理代价敏感问题提供了参考依据。3．针对Lin等人提出的代价敏感SVM(CSSVM)，进行了理论研究和实验测试，试验结果表明，虽然该方法可以有效降低总体错误分类的代价，但是模型中的参数选择的好坏影响了CSSVM算法的学习性能。针对自动选取最优参数问题，本文将遗传算法与代价敏感SVM结合起来，设计并实现了基于遗传算法的参数选择，提高了代价敏感SVM的性能。

全文目录

摘要  5-6
Abstract  6-7
第一章绪论  7-12
  1.1 引言  7-8
  1.2 代价敏感学习  8-10
    1.2.1 代价类型  8-9
    1.2.2 形式表述  9-10
  1.3 研究现状  10-11
  1.4 本文的主要工作  11-12
第二章统计学习理论与代价敏感的支持向量机  12-27
  2.1 统计学习理论  12-16
    2.1.1 机器学习的基本表示  12-13
    2.1.2 经验风险最小化原则  13-14
    2.1.3 VC维  14-15
    2.1.4 结构风险最小化原则  15-16
  2.3 支持向量机  16-21
    2.3.1 线性支持向量机  16-19
    2.3.2 非线性支持向量机  19-21
  2.4 SVM的实现—SMO算法  21-26
    2.4.1 两点解析解  22-23
    2.4.2 活动点的选择与停止条件  23-24
    2.4.3 SMO算法实现流程图  24-26
  2.5 代价敏感的支持向量机  26-27
第三章基于样本类空间重构的代价敏感 SVM算法  27-37
  3.1 引言  27
  3.2 代价设置  27-28
  3.3 五种方法  28-32
    3.3.1 基于过取样的代价敏感 SVM  28-29
    3.3.2 基于 SMOTE的代价敏感 SVM  29
    3.3.3 基于欠取样的代价敏感 SVM  29-31
    3.3.4 硬集成和软集成方法  31-32
  3.4 实验测试  32-37
    3.4.1 数据集与试验设置  32-34
    3.4.2 试验结果与分析  34-37
第四章嵌入误分类代价的 SVM算法及其参数选择  37-47
  4.1 引言  37-38
  4.2 嵌入误分类代价的 SVM算法(CSSVM)  38-41
    4.2.1 CSSVM算法设计  38-39
    4.2.2 试验结果与分析  39-41
  4.3 遗传算法用于 CSSVM的参数选择  41-47
    4.3.1 遗传算法的基本原理与特点  41-42
    4.3.2 CSSVM的参数选择过程  42-44
    4.3.3 实验结果与分析  44-47
第五章结束语  47-49
参考文献  49-52
附录  52-53
致谢  53

代价敏感的支持向量机监督学习研究

内容摘要

全文目录

相似论文