学位论文 > 优秀研究生学位论文题录展示

微博热点话题发现技术研究

作　者: 田芳
导　师: 柏建普
学　校: 内蒙古科技大学
专　业: 计算机应用技术
关键词: 微博话题发现网络爬虫搜索引擎
分类号: TP393.092
类　型: 硕士论文
年　份: 2013年
下　载: 37次
引　用: 0次
阅　读: 论文下载

内容摘要

近年来，微博的迅猛发展，已经成为人们获取和传播信息的最主要的形式，由微博所引发的社会问题和危机事件也日呈频发态势。如何在纷繁复杂的微博信息发现热点话题，已经成为话题发现和跟踪领域研究领域的热点。同时，微博热点话题的发现，为网络舆情的监管，掌握事件发展动态，都提供有利的数据保证，具有十分重要的理论价值和现实意义。本文首先从微博信息收集入手，针对微博平台上API受限或不稳定等问题，自行设计了网络爬虫工具，并实现了信息收集手动和自动两种方式。其次，本文采用lucene对微博文本信息进行预处理，针对原有向量空间的不足，采用潜在语义分析方法对向量空间进行奇异值分解，达到了降低词袋维度和消除语义噪音等效果。再次，在分析了文本分类的各种算法的优缺点基础上，提出了采用朴素贝叶斯分类算法实现话题发现及跟踪。朴素贝叶斯分类算法是一种非常简单和有效的文本分类算法，计算待分类项出现的条件下，其它已知分类出现的概率，选择概率最大的，将待分类项归为该类。接下来，本文根据微博用户特征，通过lucene关键词的倒排索引，快速找到该关键词所在微博，继而找到该微博用户的关注度，通过词语的关注度，找到微博的关注度，最终计算话题关注度。相对于微博传统计算话题热度的方法，这种算法更多地考虑到微博自身用户特点，所以更有效和准确。最后，基于以上工作，本文实现了微博舆情分析系统，并对实验数据进行了测试，通过对实验结果的分析，找出在研究过程中的有待改进的地方，更加明确了今后研究工作的重点。

全文目录

摘要  3-4
Abstract  4-8
1. 绪论  8-13
  1.1 课题背景  8-10
  1.2 研究内容  10-11
  1.3 国内外相关研究现状  11
  1.4 论文各章节安排  11-12
  1.5 本章小结  12-13
2. 本文所涉及的理论知识及相关技术  13-25
  2.1 开发模式的介绍  13-16
  2.2 面向对象开发模式  16-17
  2.3 Hibernate 框架  17-19
  2.4 全文检索引擎 Lucene  19-22
  2.5 潜在语义分析（LSA）方法  22-23
  2.6 常见的文本分类算法介绍  23-24
  2.7 本章小结  24-25
3 微博热点话题发现系统分析  25-33
  3.1 微博热点话题发现系统研究的难点及解决办法  25-26
  3.2 功能模块介绍  26-32
    3.2.1 信息采集模块相关技术研究  26-27
    3.2.2 信息处理模块相关技术研究  27-29
    3.2.3 信息分析模块相关技术研究  29-32
  3.3 本章小结  32-33
4 微博热点话题发现系统设计与实现  33-44
  4.1 微博热点话题发现系统构架  33-34
  4.2 微博热点话题发现系统开发工具和环境  34-36
  4.3 系统的详细设计  36-43
    4.3.1 数据采集模块设计  37-39
    4.3.2 数据处理模块设计  39-41
    4.3.3 数据分析模块设计  41-43
  4.4 本章小结  43-44
5 系统测试与分析  44-49
  5.1 测试环境和工具  44
  5.2 测试过程和结果分析  44-48
  5.3 本章小结  48-49
结论  49-50
参考文献  50-54
在学研究成果  54-55
致谢  55

微博热点话题发现技术研究

内容摘要

全文目录

相似论文