学位论文 > 优秀研究生学位论文题录展示

基于文档频率的分级主题模型

作　者: 张一凡
导　师: 徐蔚然
学　校: 北京邮电大学
专　业: 信号与信息处理
关键词: 图模型主题模型分级语义
分类号: TP391.1
类　型: 硕士论文
年　份: 2011年
下　载: 65次
引　用: 0次
阅　读: 论文下载

内容摘要

为了抽取文档集中的语义结构,研究者提出了一系列的无监督方法,在文本的词袋模型假设下,我们得到了词计数向量来表示文本的信息。而在词袋模型的基础上,可以通过主题模型的方法得到了一个精致的统计框架以描述向量化的数据。在这一思路下,一系列的模型被提出来用以改进模型的表达能力。统计主题模型如此吸引入是因为它允许一个对新文档集的快速分析和理解。然而如果要从数据中得到一个分级的结构,这个框架本身不能提供一个答案。而近期的一些研究表明在单纯数据驱动的方法的基础上,加入背景知识和先验信息是一个值得研究的方向。本文提出了一个扩展的分级主题模型。这个模型将词在文本中的频率作为分级信息加入主题,从而使主题具有更自然的分级语义结构。DF主题模型产生的分级主题拥有一个比树结构更宽泛的主题关系表示。在通用数据集上的生成概率实验表明模型的分级表达具有比LDA和HLDA更好的数据拟合能力。在认知科学领域,背景知识是人类获取分级语义的重要工具。并且大量的先前工作用文本的外部信息来完善已有的模型。本文在这个思路上采用了略有不同的方法。原因是词的文本频率来自原始数据本身。所以本文的工作仍然是无监督的方法。在将词的文本频率信息和统计学习过程融合的基础上,本文希望能得到一个更符合人类认知角度的分级主题表示。

全文目录

摘要  4-5
ABSTRACT  5-8
第1章自然语言处理  8-14
  1.1 自然语言处理的发展现状  8-11
  1.2 论文的研究背景  11-12
  1.3 论文的研究内容  12-13
  1.4 论文的结构  13-14
第2章统计语言模型  14-23
  2.1 文本处理  14-21
    2.1.1 文本的表示  15-16
    2.1.2 特征项的抽取  16-17
    2.1.3 训练方法与分类算法  17-20
    2.1.4 评估方法  20-21
  2.2 贝叶斯方法  21-23
第3章基于词频的分级统计主题模型DF-LDA  23-31
  3.1 图模型  23-27
    3.1.1 无向图模型的表示  24-25
    3.1.2 有向图模型的表示  25-27
  3.2 LDA模型  27-28
  3.3 分级主题模型(DF-LDA)  28-29
  3.4 DF-LDA模型的生成过程  29-31
第4章 DF-LDA主题模型的求解  31-34
  4.1 Gibbs抽样方法  31-32
  4.2 DF-LDA模型的求解  32-34
第5章实验与分析  34-37
  5.1 分级主题抽取实验  34
  5.2 生成概率比较实验  34-37
第6章结论  37-38
参考文献  38-42
致谢  42-43
攻读硕士期间发表学术论文  43

基于文档频率的分级主题模型

内容摘要

全文目录

相似论文