学位论文 > 优秀研究生学位论文题录展示

基于概率主题模型的中文话题检测与追踪研究

作　者: 孙玉婷
导　师: 裴小兵
学　校: 华中科技大学
专　业: 软件工程
关键词: 话题检测与追踪话题组织概率主题模型动态概率主题模型有监督的主题模型
分类号: TP391.1
类　型: 硕士论文
年　份: 2010年
下　载: 195次
引　用: 1次
阅　读: 论文下载

内容摘要

针对网络新闻数据的泛滥,话题检测与追踪技术提供了一种处理新闻报道、事件的方法,从新闻数据中抽取话题,组织话题成为当前话题检测与追踪研究的热点。近年来,基于图理论和概率统计学的主题模型在机器学习领域得到越来越多的应用。概率主题模型基于主题的思想,非常适用于话题挖掘,即话题检测与追踪研究。利用概率主题模型(Latent Dirichlet Allocation,LDA)及其变形,进行话题检测、话题追踪、话题组织等一系列实验,通过评测验证了其效率。首先利用David等人提出的一种有监督的概率主题模型(Supervised Topic Model, STM),用于话题追踪任务。STM模型对给定的报道-话题对的数据集进行训练,得到了一种依赖于潜在主题的标签数据集生成模型。通过参数推导,可以得知一个测试报道的标签期望值,从而能够判断报道的话题属性,通过错误权衡代价图评测了话题追踪的实验结果。另外,针对新闻数据的动态增长的特性,报道数据之间是不可交换的这一事实,动态概率主题模型解放了LDA模型中对文档之间是可交换的这一假设。基于Online-LDA模型的话题检测试验,利用相邻时间片的话题分布的先验信息,来训练Online-LDA模型的参数。通过话题在单词上的分布来判断话题之间的相似性,通过报道在主题上的分布来判断报道的话题属性。最后,提出了话题组织这一概念,从直观上反应新闻事件的发展变化。利用动态概率主题模型,抽取主题,随时间的发展变化组织话题,从一个较抽象层次的角度提供了认识事物发展的视图。

基于概率主题模型的中文话题检测与追踪研究

内容摘要

全文目录

相似论文