学位论文 > 优秀研究生学位论文题录展示

支持向量机超参数调节方法的研究及其在人脸识别中的应用

作　者: 刘丽娟
导　师: 李伟红
学　校: 重庆大学
专　业: 仪器科学与技术
关键词: 人脸识别支持向量机超参数调节均匀设计多目标均匀设计优化算法
分类号: TP18
类　型: 硕士论文
年　份: 2010年
下　载: 102次
引　用: 0次
阅　读: 论文下载

内容摘要

支持向量机(Support Vector Machine, SVM)是模式识别领域广泛使用的强有力的分类工具。SVM的特点主要是通过引入核函数将原始空间中的训练数据转换到相应的Hilbert特征空间,使输入空间线性不可分的问题变成普通的线性可分的问题,其中核函数(包括核参数)起着非常重要的作用。核函数(包括核参数)的不同意味着获得的Hilbert特征空间不同,SVM超参数(包括核参数和惩罚参数)的选择直接影响着SVM的泛化性能,因此而得到的最优分类面及分类结果也不同。但是SVM超参数选择由于缺乏有效的理论分析,致使该问题成为模式识别、机器学习领域长期存在的难题。SVM作为分类工具已成功应用于人脸识别,但目前人脸识别研究普遍受到不同姿态、光照等环境变化因素的制约。研究表明,具有最佳超参数的SVM模型可以在一定程度上抑制人脸因环境变化带来的影响。而SVM最佳超参数选择在实际问题中的应用所遭遇的主要困难是SVM超参数选择的效率问题。尤其在解决诸如人脸识别这类具有稀疏、超高维特征的分类问题时就显得更加突出。为此,本文对SVM超参数调节方法进行了研究,提出了适用于人脸识别的SVM超参数优化算法,得到了较好的实验结果。本文的主要工作是基于均匀设计(Uniform Design, UD)的基本原理,提出用于解决人脸识别问题的SVM超参数调节方法。该方法的核心是用UD代替传统的网格(Grid)和梯度下降(Gradient Descent)方法,挑选充分均衡分散在整个试验范围内且能得到满意实验结果的特征点,通过最小化k折交叉验证误差界或留一法(Leave One Out, LOO)误差界获取SVM最佳超参数。本文在研究中发现,虽然基于UD的SVM超参数调节能有效地降低计算复杂度,但由于该方法采用单目标作为评价标准,在解决人脸识别这一实际问题时,SVM的泛化性能还有待改善。因此,本文进一步提出了多目标均匀设计(Multi-Objective Uniform Design, MOUD)优化算法。MOUD方法以灵敏度和精确度作为多目标优化算法的目标函数,并以此代替传统的单目标作为SVM超参数调节的评价标准,该方法结合UD方法搜索整个试验范围内均匀散布的试验点,这样不仅能有效地降低计算复杂度,还能在一定程度上保证SVM的泛化能力。本文在UCI模拟数据集和人脸图像库上进行了验证实验。结果表明:本文提出的MOUD方法与传统的SVM超参数调节方法相比,能大大降低超参数调节的时间且能在一定程度上提高人脸分类识别率。这使SVM超参数调节方法在解决高维人脸真实数据问题时具有一定的实用价值。

全文目录

中文摘要  3-5
英文摘要  5-9
1 绪论  9-18
  1.1 课题的背景及意义  9-10
  1.2 SVM 超参数调节的发展与现状  10-14
    1.2.1 SVM 基本思想及特点  10-11
    1.2.2 SVM 的研究现状  11-13
    1.2.3 SVM 超参数调节的发展与现状  13-14
  1.3 SVM 在人脸识别中的应用  14-16
    1.3.1 人脸识别的常用算法与研究难点  15-16
  1.4 论文研究目的和主要内容  16-17
  1.5 论文的组织安排  17-18
2 SVM 超参数调节方法  18-29
  2.1 SVM 基本理论  18-25
    2.1.1 统计学习理论  18-19
    2.1.2 SVM 基本原理  19-22
    2.1.3 SVM 核函数  22-24
    2.1.4 SVM 多分类问题  24-25
  2.2 SVM 超参数  25-27
    2.2.1 SVM 超参数  25
    2.2.2 SVM 超参数调节方法  25-27
  2.3 超参数调节性能评价标准  27-28
  2.4 LIBSVM 简介  28
  2.5 本章小结  28-29
3 基于均匀设计的SVM 超参数调节方法  29-43
  3.1 均匀设计  29-32
    3.1.1 均匀设计基本理论  29-31
    3.1.2 均匀设计与SVM 核函数  31
    3.1.3 嵌套式均匀设计  31-32
  3.2 基于均匀设计的SVM 超参数调节  32-33
  3.3 基于均匀设计的SVM 超参数调节在人脸识别中的应用  33-34
  3.4 实验结果及分析  34-42
    3.4.1 模拟数据集实验  34-37
    3.4.2 人脸图像库实验  37-42
  3.5 本章小结  42-43
4 基于多目标均匀设计(MOUD)的SVM 超参数调节方法  43-59
  4.1 粒子群优化算法  43-45
    4.1.1 粒子群优化算法基本原理  43-45
    4.1.2 粒子群优化算法的改进  45
  4.2 多目标优化算法  45-49
    4.2.1 多目标优化问题描述  46-47
    4.2.2 精英非支配排序粒子群(ENSPSO)优化方法  47-49
  4.3 基于MOUD 优化算法的SVM 超参数调节  49-52
    4.3.1 MOUD 优化算法  49-52
  4.4 实验结果及分析  52-58
    4.4.1 模拟数据集实验  53-55
    4.4.2 人脸图像库实验  55-58
  4.5 本章小结  58-59
5 总结与展望  59-61
  5.1 全文总结  59-60
  5.2 研究展望  60-61
致谢  61-62
参考文献  62-67
附录  67
  A. 攻读硕士期间已发表的论文  67
  B. 目前正在审稿中的论文  67

支持向量机超参数调节方法的研究及其在人脸识别中的应用

内容摘要

全文目录

相似论文