学位论文 > 优秀研究生学位论文题录展示

贝叶斯学习的先验分布的研究

作　者: 胡振宇
导　师: 林士敏
学　校: 广西师范大学
专　业: 计算机软件与理论
关键词: 机器学习贝叶斯方法先验分布后验分布
分类号: TP181
类　型: 硕士论文
年　份: 2001年
下　载: 790次
引　用: 5次
阅　读: 论文下载

内容摘要

贝叶斯方法起源于著名的贝叶斯公式（又称为贝叶斯定理）。其后，发展成为一种系统的统计推断和决策的方法.90年代进一步研究可学习的贝叶斯网络，用于机器学习．由于概率统计与数据采掘的天然联系。数学采据兴起后贝叶斯网络日益受到重视，再次成为引人注目的热点．与非贝叶扬方法相比，贝叶斯方法的特出特点是其学习机制可以综合先验信息和后验信息，既可避免只使用先验信息可能带来的主观偏见，和缺乏样本信息时的大量盲目搜索与计算，也可避免只使用样本信息带来的噪音的影响．只要合理地确定先验，就可以进行有效的学习。因此，适用于具有概率统计特征的数据采掘和机器学习（或发现）问题，尤其是样本难得的问题．贝叶斯方法遇到的一个重大的问题是先验分布的确定依据的只是一些准则，没有可操作的完整的理论．在许多情况下先验分布的合理性和准确性难以评价．本文主要对先验分布的迭取进行研究． 1．本论文讨论贝叶斯学习中的一个基本问题—相容性问题．本文主要讨论相容性的定义和性质，证明了在相客性前提下贝叶斯学习的先验无关性：通过一些反例说明不相容性的贝叶斯学习是存在的：指出贝叶斯学习及其先验分布的选取的前提—相容性原则．也给出了一个相容性的相对简化的充分条件。并证明了在此条件下贝叶斯学习的渐近正态性。主要有以下结论：定义 1．l如果对于θ₀的任意一个邻域V，几乎必然有 limμ_n（V）＝l，即任给η>0巾和任意θ₀的一个邻域 V存在 n≥n_o使得几乎必然则称在处是相容的· 引理1.1设θ₀是Θ的一个点，π₁。、π₂是两个在θ₀正值连续先验分布，如果在相容, 则几乎必然定理1.l如果μ_n和v_n均为θ的后验分布．且是相容的，则对于任意的有界连续！函数／，有卜（川＋］松＼）。 n—— 假设孔。回，称以下条件为正则条件：（CI）先验密度。（8）在民大于 0且连续。 —刀。。—u丛一h一、。一巳。口讹，。刀．aIOg f（X旧）、十o C)logf（卜）在90的邻域关于6H次可微且微分E（…）在O 、一，·－。J、一I－·一’U—””””””””—－’”－—”Dg“内连续。（Q）对任何S＞o及从(S＝0 一孔卜占口O存在正数牡了（与占相关）使得 tim P［suP n－’K（9）一人（民）｝＜一k（8）】 1 。、。e。日－川（占）即4 是弱相容性的，亦即尸＊ 4＝00 hWOO 定理2．！若上述条件（O）到(Q 成立，且一o＜b＜口＜o，则9＿＋ba＿＜0＜0＿＋arr。的后验概率，即 Q儿一叮厂，；(引入皆…雪XJdo以概率 1趋近于（2）‘ie‘du，n －＋。。 2．将贝叶斯先验选取的一些准则（如共轭分布、不变性原则、最大嫡原则等）看成是一些启发式规则，将贝叶斯启发式方法引入先验分布的选取中，以优化的观点将先验信息与样本信息结合起来，对先验分布的选取进行研究。并引入损失函数和风险函数分别从贝叶斯决策理论与贝叶斯判别分析的角度，对先验分布和合理性与准确性进行评价。推广了现有的MLll方法。证明了在一定的条件下最大后验信念（HPB）先验和二型极大似然（MLll）先验是最合适先验（MSP）。主要有如下一些结论：定义3＊：记ac＝stir（XW门，O）m（9）dg，a；＝。；DP（尸川卜，a尸”）4o 互互比值 a。a；称为 N（0）对 A（0）后验信念比，。。／。；称为先验信念比。由（3．2）， ac h］P（X’”’IN，8）N（8呷 2＝——（．3） a ql尸（XU门八，0）八（8）do假设仅有两个可以考虑的先验八汐）和八(的，如果要选用11；(的而不是从(的就必须有闪＜；叫，或一 0 ＜—— N 定义3．3因子＿DOS柏FlOP 060灯ffiflo ＊。／al ＊nDI DPIO厂＊幻l叨厂口rl口厂。／兀a，风称为先验贝叶斯因子。先验信念比和后验信念比这两种比率相除，可能会减弱先验信念的影响，突出数据的影响。定理3．二如果对于各个先验分布的先验信念都相等，则仅得先验似然达到最人值的八用即为最大后验信念先验。定义 4．lp用称为最合适先验(MSP－－Most Suitable Prior MSP卜如果使凡(尸，旬x》达到最小值。定理4．1如果采用“0．1”损失函数，即！0，600＝A L（A，5k）卜《．二”：’（4，3）

全文目录

绪论  12-23
  0．1 主观概率与先验分布  12-13
  0．2 确定主观概率的方法  13-14
  0．3 利用先验信息确定先验分布  14-16
  0．4 无信息先验分布  16-19
  0．5 鞋利用边缘分布  19-20
  0．6 纯启发式方法  20
  0．7 随机化方法  20-21
  0．8 贝叶斯启发式方法  21
  0．9 贝叶斯启发式方法  21-23
第一章贝叶斯方法的学习机制及其相容性  23-30
  1．1 贝叶斯方法的学习机制  23-26
  1．2 贝叶斯学习的相容性  26-28
  1．3 相容性贝叶斯学习的条件  28-29
  l．4 注记  29-30
第二章贝叶斯学习中后验分布的渐近正态性  30-36
  2．1 条件和结论  30-32
  2．2 定理的证明  32-36
第三章基于贝叶斯判别分析的先验分布的选取  36-41
  3．1 先验分布的后验信念  36-37
  3．2 基于极大后验信念的先验分布的选取  37-41
第四章基于贝叶斯决策分析的先验分布的选取  41-45
  4．l 贝叶斯决策与后验信念  41-42
  4．2 基于最小后验期望损失的先验分布的选取  42-44
  4．3 注记  44-45
第五章贝叶斯学习中确定先验的参数化方法  45-48
  5．1 线性联合LOP先验  45-46
  5．2 基于LOP的确定先验的参数化方法  46-47
  5．3 注记  47-48
结束语  48-49
参考资料  49-51
致谢  51

贝叶斯学习的先验分布的研究

内容摘要

全文目录

相似论文