学位论文 > 优秀研究生学位论文题录展示

基于PSO-KHM聚类的微博舆情预警系统的研究与实现

作　者: 张奇
导　师: 孙国梓
学　校: 南京邮电大学
专　业: 计算机技术
关键词: PSO算法 KHM聚类 VSM 舆情分析
分类号: TP393.092
类　型: 硕士论文
年　份: 2013年
下　载: 27次
引　用: 0次
阅　读: 论文下载

内容摘要

随着web2.O的迅速发展,微博(Microblog)为广大网络用户提供了一个自由交流的空间,成为表达民意的一个重要平台。但目前微博中也存在一些不和谐的不文明行为,甚至存在一些攻击国家、扰乱社会的言论。为了正确地引导社会舆论,净化网络环境,微博舆情预警与检测技术应运而生,为政府和网络管理部门提供了有效的管理手段,也便于政府及时掌握各个时期微博中民众关心的热点话题,并了解民众对这些热点话题的观点和态度,从而能够做出正确、科学的决策。本文主要研究内容有：首先,分析了当前文本聚类分析中常用的几类方法和聚类算法评价标准,并介绍了粒子群(Particle Swarm Optimization)算法及一些成熟的改进方法,并将其应用到了KHM (K-Harmonic Means)聚类的前期优化上。其次,介绍了微博信息的爬虫提取,然后如何将非结构化的微博信息转换为结构化的文本,微博文本的预处理过程,主要包括中文词法分析,去重,文本的特征选择,文本的表示模型,然后用PSO-KHM聚类算法进行聚类出热点话题,最后用加权评价函数鉴别舆情信息并给出预警。最后,实现了该微博舆情预警系统原型,满足了当前微博信息分析的需要。基于互联网的舆情信息分析、挖掘技术越来越受到广泛关注。只有采用数据挖掘技术,使其自动地对互联网舆情进行分析、整理,才能建立起全面、有效、快速的舆情监测机制。

全文目录

摘要  4-5
Abstract  5-6
目录  6-8
第一章绪论  8-13
  1.1 课题背景及意义  8-10
  1.2 国内外的研究现状  10-11
  1.3 论文内容安排  11-13
第二章微博舆情数据挖掘相关理论研究  13-26
  2.1 微博舆情数据挖掘  13-15
  2.2 微博信息提取技术  15-20
    2.2.1 基于API的数据提取技术  15-18
    2.2.2 基于Web网络爬虫的数据提取技术  18-20
  2.3 分词技术  20-21
  2.4 去停用词  21-22
  2.5 文本的表示模型  22-26
第三章基于改进PSO算法的聚类分析  26-43
  3.1 几种主要的聚类算法  26-34
    3.1.1 划分方法  27-29
    3.1.2 层次聚类算法  29-31
    3.1.3 基于密度的聚类算法  31-32
    3.1.4 基于网格的聚类算法  32-33
    3.1.5 基于模型的方法  33-34
  3.2 PSO算法  34-35
  3.3 改进的PSO算法  35-38
    3.3.1 带有惯性因子的粒子群算法  35-36
    3.3.2 带有收缩因子的粒子群算法  36
    3.3.3 基于遗传思想改进粒子群算法  36-37
    3.3.4 离散二进制粒子群算法  37-38
    3.3.5 其他的PSO改进算法  38
  3.4 利用PSO改进KHM聚类算法  38-43
    3.4.1 K-means聚类算法  38-40
    3.4.2 KHM聚类算法  40-43
第四章基于聚类的微博舆情预警系统的模型设计  43-59
  4.1 系统的整体目标  43-44
  4.2 系统总体架构设计  44-46
  4.3 系统流程设计  46-55
    4.3.1 微博信息爬虫采集模块  46-47
    4.3.2 微博信息去重模块  47-49
    4.3.3 微博信息收集存储模块  49-53
    4.3.4 文本预处理模块  53-54
    4.3.5 文本聚类热点检测模块  54
    4.3.6 微博舆情评测模块  54-55
  4.4 系统实现  55-58
    4.4.1 开发平台及工具  55
    4.4.2 可视化功能  55-58
  4.5 本章小结  58-59
第五章总结及展望  59-61
  5.1 总结  59
  5.2 展望  59-61
参考文献  61-64
致谢  64

基于PSO-KHM聚类的微博舆情预警系统的研究与实现

内容摘要

全文目录

相似论文