学位论文 > 优秀研究生学位论文题录展示

文本分类中特征选择算法的分析与研究

作　者: 张彪
导　师: 刘贵全
学　校: 中国科学技术大学
专　业: 信息安全
关键词: 文本分类 维数约简 相关性 关联分析
分类号: TP391.1
类　型: 硕士论文
年　份: 2010年
下　载: 358次
引　用: 8次
阅　读: 论文下载
 

内容摘要


自动文本分类是对大量的半结构化、无结构化的未知类别文本(文本文档、网页等)按照给定的分类体系,根据文本内容划分到指定的类别中的过程。由于文本数据的半结构化、无结构化的特点,当文本使用特征向量表示的时候,特征向量通常会达到几万维甚至于几十万维,给文本分类带来了很不利的影响。如果直接在这样一个高维特征空间上进行分类器的训练和分类,会带来两个问题:一是很多低维空间具有良好性能的统计分类器在计算上变得低效不可行;二是训练样本(训练文本集的个数)一定的前提下,过多的特征使得样本统计的估计变得非常困难,从而降低统计分类器的推广能力和泛化能力,呈现所谓的"过学习"或"过训练"的现象。因此寻求一种有效的维数约简方法,降低特征空间的维数,提高分类的效率和精度,成为文本自动分类中至关重要的问题。维数约简是将高维空间映射到一个小得多的低维空间,同时希望该低维空间一方面能尽可能多的保留原始数据中的重要信息,另一方面又能有效地把原始信息中的噪音、冗余数据过滤掉。维数约简技术分为两类,分别是特征选择、特征重构。特征选择是依据某个准则在原始特征集合中挑选出有利于学习算法的特征,去掉那些冗余的、与类别不相关的特征。特征重构是由原始特征集合创建新的特征集合,使得新创建的特征集合远远小于原始的特征集合。由于特征选择具有速度快,适合处理于大规模数据集的特点,因此本文主要在特征选择方面开展了一些工作,提出了两种特征选择算法:基于互信息的相关性特征选择方法和基于关联分析的特征选择方法。基于互信息的相关性特征选择方法不仅计算了特征与类别的相关度,也考虑了特征之间的相关度。文中采用了改进后的互信息来最为相关性的量化指标来衡量特征与特征、特征与类别间的相关性,从而在最大程度保留原始空间信息的目的下,尽可能地剔除掉不相关的、冗余的特征。在试验中将文本分类中常用的特征选择方法IG、CHI作为参照的基准,从实验结果中可以看到我们提出的算法是很有效的一种特征选择方法。基于关联分析的特征选择方法主要考虑了特征之间存在的关联关系,传统的特征选择算法则没有考虑这样的联系。算法首先对特征词之间的关联关系进行挖掘,找出那些对类别有重要影响的特征词组,这些特征词组中的每个单词在传统单独打分策略的特征选择算法中很可能会因分值过低而被丢弃;然后根据这样的关联词组对已打分排序的特征集合重新排序,使得对分类具有重要影响的特征不会因低估而被丢弃。在Ruters21578、20Newsgroup文本数据集上的实验结果表明该方法是一种有特点、有效的特征选择方法。

全文目录


摘要  4-6
Abstract  6-10
第1章 绪 论  10-16
  1.1 研究背景与意义  10-11
  1.2 自动文本分类概述  11-12
  1.3 维数约简概述  12-14
  1.4 研究的内容与贡献  14
  1.5 本论文结构安排  14-16
第2章 文本分类相关技术及分析  16-30
  2.1 文本分类方法  16-20
    2.1.1 朴素贝叶斯  16-17
    2.1.2 K 近邻方法  17
    2.1.3 决策树方法  17-18
    2.1.4 神经网络  18-19
    2.1.5 支持向量机  19-20
  2.2 维数约简技术  20-27
    2.2.1 特征重构  20-22
    2.2.2 特征选择  22-27
  2.3 文本分类评估  27-30
第3章 基于关联分析的特征选择  30-44
  3.1 相关概念的介绍  30
  3.2 关联特征挖掘  30-33
  3.3 基于关联分析的特征选择方法  33-35
  3.4 试验结果及其分析  35-43
    3.4.1 数据集介绍  35-37
    3.4.2 试验设计  37-38
    3.4.3 试验结果分析  38-43
  3.5 本章小结  43-44
第4章 基于互信息的相关性特征选择  44-54
  4.1 特征相关性及冗余性的定义  44-45
    4.1.1 互信息与相关性  44
    4.1.2 冗余特征  44-45
  4.2 互信息问题分析  45-46
  4.3 基于互信息的相关性特征选择算法  46-48
    4.3.1 近似Markov Blanket  46-47
    4.3.2 特征选择算法  47-48
  4.4 试验结果及其分析  48-52
  4.5 本章小结  52-54
第5章 特征选择算法在搜索引擎系统中的应用  54-62
  5.1 nutch 搜索引擎介绍  54-55
  5.2 规则分类算法介绍  55
  5.3 特征选择算法  55-56
  5.4 知识分类模块流程  56-58
  5.5 系统实现  58-61
    5.5.1 软硬件环境  58
    5.5.2 系统介绍  58-61
  5.6 本章小结  61-62
第6章 总结与展望  62-64
  6.1 总结  62-63
  6.2 未来的工作  63-64
参考文献  64-68
致谢  68-69
个人简历、在读期间发表的论文及研究成果  69

相似论文

  1. 光纤陀螺温度漂移建模与补偿,V241.5
  2. 极化SAR图像超分辨算法的研究,TN957.52
  3. 个性化检索中相似用户群的获取与更新,TP391.3
  4. 基于仿生模式识别的文本分类技术研究,TP391.1
  5. 互联网上旅游评论的情感分析及其有用性研究,TP391.1
  6. 外来入侵植物加拿大一枝黄花对入侵地土壤动物群落结构的影响,S451
  7. 大豆品种对腐竹品质的影响及其品质评价体系的初步构建,TS214.2
  8. 粳稻穗角性状的遗传分离分析和QTL定位及关联分析,S511.22
  9. 作物品种群体抗性性状基因座定位的新方法研究,S336
  10. 我国栽培大豆品种的遗传多样性分析与青籽粒性状QTL的关联定位,S565.1
  11. 非小细胞肺癌组织中金属硫蛋白及基质金属蛋白酶-2的表达及相关性研究,R734.2
  12. 基于数据分布特征的文本分类研究,TP391.1
  13. 基于本体的中文科技论文分类研究,TP391.1
  14. 基于词跨度的中文文本关键词提取及在文本分类中的应用,TP391.1
  15. 不同数据结构下的基因组关联分析,Q75
  16. 基于粗糙集理论的文本分类研究,TP18
  17. 面向文本分类的改进K近邻的支持向量机算法研究,TP391.1
  18. 集合多标签文本分类研究,TP391.1
  19. 基于贝叶斯过滤的文本分类技术的研究与实现,TP393.098
  20. 基于内容的中文垃圾短信分类技术的研究,TP391.1
  21. 基于树型条件随场的特定域事件提取方法研究,TP391.1

中图分类: > 工业技术 > 自动化技术、计算机技术 > 计算技术、计算机技术 > 计算机的应用 > 信息处理（信息加工） > 文字信息处理
© 2012 www.xueweilunwen.com