学位论文 > 优秀研究生学位论文题录展示

基于无界抽样的正则化回归学习算法的研究

作　者: 储小荣
导　师: 孙红卫
学　校: 济南大学
专　业: 应用数学
关键词: 学习理论回归学习无界抽样样本误差逼近误差学习速率
分类号: TP181
类　型: 硕士论文
年　份: 2013年
下　载: 3次
引　用: 0次
阅　读: 论文下载

内容摘要

正则化回归学习是统计学习理论的主要研究领域之一。在回归学习中，通常假设输出变量是一致有界的，但这种假设与许多实际情况相背离，例如输出变量服从Gaussian分布等，近些年基于无界抽样的学习算法的研究开始受到广泛关注。2010年，C. Wang和D. X. Zhou引入输出样本矩有界的假设，利用覆盖数的方法研究了正则化最小二乘回归学习算法的一致性。本文提出更一般的关于输出数据的无界条件，进一步地弱化矩假设，假设输出变量的某个p (p≥2)阶矩有界，文中给出实例，证明我们的无界条件严格弱于矩假设。在上述关于输出数据的假设条件下，我们利用积分算子与误差分解的技巧，研究了最小二乘正则化算法与惩罚项为l~2-范数的系数正则化算法的渐进收敛性，给出了算法解的误差界与学习速率。对于系数正则化，首先讨论了基于非正定核的系数正则化算法，利用样本算子，给出算法优化解f_z的显示表达式，通过引入正则化函数，将误差分为三部分，分别进行估计，得到与一致有界情形下类似的误差界与学习速率。其次，讨论了基于无界抽样的半监督系数正则化算法。这里所谓半监督是指假设空间和学习算法基于两组不同的输入数据，在实践中，由于获取有标号数据十分困难，而无标号数据相对容易获得，但这部分数据无法在监督学习算法中使用，半监督学习同时利用了标号数据与无标号数据所含有的信息。对于最小二乘正则化回归学习，我们研究了抽样满足α-混合条件和φ-混合条件，以及输出数据满足上述无界条件情形下的算法一致性。利用有关强混合抽样过程的概率不等式，研究了算法的渐进收敛性，给出了误差界与学习速率的估计。上述工作同时证明了如下现象：(1)目标函数f_ρ越光滑，学习速率越好；(2)样本之间的相关性越高，学习速率越差；(3)当目标函数的光滑性与样本之间相关性达到一定程度时，学习速率不再提高，即存在饱和效应。(4)在φ-混合过程中，学习速率与无界条件参数p无关；而对于α混合过程，当样本相关性参数t> p/(p-2)且目标函数f_ρ的光滑性参数r≥1/2时，无界条件的影响变弱，且当t足够大时，我们能得到与一致有界抽样相同的学习速率。本文还针对最小二乘正则化回归学习算法，给出T. Zhang所提出的排一分析法的一个简要的算法分析。

全文目录

摘要  7-9
Abstract  9-11
第一章绪论  11-19
  1.1 机器学习  11
  1.2 统计学习理论  11-14
    1.2.1 学习问题  12
    1.2.2 ERM 准则  12-13
    1.2.3 核方法  13-14
  1.3 正则化算法  14-16
  1.4 无界条件  16-17
  1.5 本论文的概括  17-19
第二章基于无界抽样的系数正则化回归学习算法的研究  19-39
  2.1 引言  19-20
  2.2 基于无界抽样的系数正则化算法  20-27
    2.2.1 预备知识  20-22
    2.2.2 样本误差的估计  22-25
    2.2.3 误差界及学习速率  25-27
  2.3 基于无界抽样的半监督系数正则化算法  27-39
    2.3.1 预备知识  27-28
    2.3.2 主要结果  28-31
    2.3.3 假设误差  31-33
    2.3.4 样本误差  33-36
    2.3.5 学习速率  36-37
    2.3.6 讨论  37-39
第三章基于弱相关无界抽样的正则化算法  39-51
  3.1 引言  39-41
  3.2 主要结果  41-44
  3.3 基于φ-混合条件的样本误差  44-46
  3.4 基于α-混合条件的样本误差  46-48
  3.5 学习速率  48-51
第四章排一分析法  51-55
  4.1 引言  51
  4.2 主要引理  51-52
  4.3 学习速率  52-55
第五章结论与展望  55-57
  5.1 总结  55
  5.2 创新点  55
  5.3 展望  55-57
参考文献  57-63
致谢  63-65
附录  65-66

基于无界抽样的正则化回归学习算法的研究

内容摘要

全文目录

相似论文