学位论文 > 优秀研究生学位论文题录展示

求解大规模支持向量机问题的并行算法研究

作　者: 李晓蕊
导　师: 贺国平
学　校: 山东科技大学
专　业: 计算数学
关键词: 支持向量机大规模训练集并行算法罚函数法广义鞍点定理混合整数非线性优化问题
分类号: TP18
类　型: 硕士论文
年　份: 2011年
下　载: 10次
引　用: 0次
阅　读: 论文下载

内容摘要

支持向量机(SVM)是在统计学习理论基础上发展起来的新一代学习方法,有着完备的理论基础和卓越的学习性能,被广泛应用于模式识别、图像处理、机器学习等领域。然而,随着信息时代的到来,训练集的规模不断增大,支持向量机表现出训练速度缓慢、内存占用过多、执行效率低的问题。针对这一情况,本文展开了对并行支持向量机算法的相关研究工作,引入并行技术减少SVM训练过程对计算机过大的内存和存储需求,并加快SVM的训练速度及满足实时性要求。通过对支持向量机背景知识和模型的深入研究,本文提出了一种基于罚函数的并行求解方法。该算法通过一种灵活的惩罚形式,把支持向量机问题转化成一系列光滑的无约束优化子问题求解,然后引入并行变量分配算法求解各个子问题,并证明了该算法的收敛性。同时,我们的理论成果可以推广到一般的混合整数非线性约束优化问题上,证明了它与混合整数、非整数无约束优化问题的等价性,故该算法同样适用于混合整数问题、整数规划、约束优化问题的并行求解。为了加快支持向量机的训练速度,本文研究了一种改进的广义鞍点定理,并在这个理论基础上提出了一种新的支持向量机并行求解方法。这个算法较之一般的罚函数方法有着明显的优势,如罚参数不必趋向于无穷、在整个样本集上进行训练避免带来过多的误差,并通过并行求解大大节省了求解时间和对计算机存储空间的需求。此外,我们的理论和算法还可以应用到一般的凸规划情形,具有很好的推广能力。

全文目录

摘要  5-6
ABSTRACT  6-9
1 绪论  9-17
  1.1 研究背景与意义  9-10
  1.2 国内外研究现状  10-14
  1.3 论文的研究内容与意义  14-15
  1.4 论文的主要安排  15-17
2 支持向量机的理论基础与并行求解  17-30
  2.1 引言  17
  2.2 SVM的理论基础  17-19
  2.3 SVM的基本模型  19-27
  2.4 并行SVM算法概述  27-30
3 基于罚函数的PSVM算法  30-42
  3.1 引言  30-31
  3.2 MINLP的几种等价模型  31-36
  3.3 基于罚函数的PSVM算法  36-42
4 基于广义鞍点定理的PSVM算法  42-52
  4.1 引言  42-43
  4.2 广义鞍点理论  43-48
  4.3 基于ESPC的PSVM算法  48-52
5 总结与展望  52-54
参考文献  54-58
致谢  58-59
攻读硕士期间主要成果  59

求解大规模支持向量机问题的并行算法研究

内容摘要

全文目录

相似论文