学位论文 > 优秀研究生学位论文题录展示

基于NMF垃圾邮件过滤系统研究

作　者: 王军伟
导　师: 裴小兵
学　校: 华中科技大学
专　业: 软件工程
关键词: 文本分类垃圾邮件特征降维非负矩阵分解
分类号: TP393.098
类　型: 硕士论文
年　份: 2009年
下　载: 24次
引　用: 0次
阅　读: 论文下载

内容摘要

随着Internet的发展,电子邮件已是人们日常交流的重要工具,方便了人们的生活和学习。但同时垃圾邮件也不断的增多,占据了邮件服务器的大量存储空间,还严重干扰了人们的正常信息交流。如何有效地控制垃圾邮件已成为人们关注的课题,基于非负矩阵分解的垃圾邮件过滤技术采用了基于语义层次的降维方法,已被很好地推广到文本分类和数据挖掘等领域。非负矩阵分解是一种新的特征项降维方法,它是一种基于语义层次上的特征项降维。与传统的降维方法相比,在降维的过程中它将特征项从语义上进行聚类,这样就可以消除特征项中一词多义,多词同义现象,从而在文本分类过程中对类别的判别正确率更高。由于非负矩阵分解是基于语义上的降维,降维效果十分显著,因此算法实现效率更快。实验结果也证实了这一点,说明非负矩阵分解在文本分类领域有重要的理论和应用价值。首先研究了文本分类中传统的降维方法,分析了这些降维方法的应用背景和实际效果,并用实验的方法进行了验证。将非负矩阵分解方法引入到邮件过滤特征项降维中,并与传统降维方法进行了对比分析。与传统降维方法相比,非负矩阵分解的方法降维效果更好,因为它是基于语义上的降维,解决了同义词和依次多义的现象,在实际的邮件过滤应用中更具有强的区分度。最后设计和实现了基于非负矩阵分解的垃圾邮件过滤演示系统。实验结果表明了非负矩阵分解的降维方法比传统降维方法更有效,邮件过滤效率更高,特征库的更新更方便。

全文目录

摘要  4-5
Abstract  5-9
1 绪论  9-19
  1.1 课题提出的背景  9-10
  1.2 国内外研究现状  10-17
  1.3 本文主要研究内容  17
  1.4 论文成果  17-18
  1.5 论文结构  18-19
2 邮件过滤相关技术分析  19-30
  2.1 文本的表示  19-22
  2.2 传统特征项降维方法  22-25
  2.3 非负矩阵分解降维方法  25-29
  2.4 本章总结  29-30
3 基于非负矩阵的邮件过滤模型  30-36
  3.1 向量空间  30-31
  3.2 概念语义空间  31-32
  3.3 基于非负矩阵的垃圾邮件过滤  32-35
  3.4 本章小结  35-36
4 系统的设计与实现  36-44
  4.1 系统的总体结构  36-37
  4.2 预处理模块  37-38
  4.3 中文分词  38-41
  4.4 中文停用词的处理  41-42
  4.5 过滤模块  42
  4.6 更新模块  42-43
  4.7 本章小结  43-44
5 实验结果及分析  44-52
  5.1 邮件分类语料库  44-45
  5.2 邮件分类算法  45-47
  5.3 邮件分类评价指标  47-48
  5.4 实验结果  48-50
  5.5 实验结果分析  50-51
  5.6 本章小结  51-52
6 总结与展望  52-54
  6.1 总结  52
  6.2 展望  52-54
致谢  54-55
参考文献  55-58

基于NMF垃圾邮件过滤系统研究

内容摘要

全文目录

相似论文