学位论文 > 优秀研究生学位论文题录展示

粗糙集在文本分类系统中的应用研究

作　者: 杨淑棉
导　师: 刘培玉
学　校: 山东师范大学
专　业: 计算机软件与理论
关键词: 粗糙集 知识粒度(kg) 重要度 文本分类 属性约简 规则匹配
分类号: TP391.1
类　型: 硕士论文
年　份: 2007年
下　载: 159次
引　用: 2次
阅　读: 论文下载
 

内容摘要


随着计算机技术和通讯技术的飞速发展,人们可以获得的文本信息越来越多,如何有效地组织和管理这些信息,并快速、准确、全面地从中找到用户所需要的信息是当前信息科学和技术领域面临的一大挑战。文本分类作为处理和组织大量文本信息的关键技术,可以给信息文本分配一个或多个比较合适的类别,从而提高文本检索等应用的处理效率。且作为信息过滤、搜索引擎、文本数据库、数字化图书馆等领域的技术基础,文本分类技术有着广泛的应用前景。粗糙集理论是波兰数学家1982提出的一种分析模糊和不确定知识的强有力的数学工具,作为人工智能领域的一个新的研究热点,能有效分析和处理不精确、不一致、不完整等各种不完备信息,并从中发现隐含的知识,揭示潜在的规律。粗糙集理论无需提供除问题所需处理的数据集合之外的任何先验信息;包括了知识的一种模型,使知识可用数学方法来分析处理;能获取分类所需的最小属性集,在不影响分类精度的条件下降低特征向量的维数,得到最简的显示表达的分类规则。而其它如朴素贝叶斯方法、K近邻方法都无法得到显示规则。本论文主要对基于粗糙集理论的文本分类系统进行了系统的研究。具体的研究内容和创新性研究主要概括如下:(1)详细介绍了粗糙集及其相关理论方法和文本分类的基本内容,分析了粗糙集和文本分类的研究背景及其研究现状,并对其技术的热点、研究领域及未来发展进行了探讨,为该论文的下一步展开奠定了基础。(2)通过研究现有属性约简算法的优缺点,在一般粗糙集的相对约简算法结合Tabu算法的基础上,提出了一种改进的属性约简算法。该算法以属性重要度为启发式信息,能得到一个最小约简。(3)针对分词难的问题,为屏蔽对文本分词,在单篇文献中,提出了一种基于属性重要度的文本表示方法,并给出了一种获取关键词的算法。同时这种算法克服了张雪英提出的基于GF/GL权重计算对特殊文献中同一字符串出现频率是1的难题。(4)在深入研究了文本分类和粗糙集的基础上,提出了一种基于粗糙集的文本分类系统模型,主要包括四大模块:文本预处理模块、属性约简模块、规则获取模块及其规则匹配模块。主要在属性约简模块和规则匹配模块上进行了深入的研究,最后利用仿真实验,基于粗糙集的文本分类系统是可行的。论文中存在的不足:一方面是是语料库和停用词表的限制,另一方面基于知识粒的概念和计算正处于研究阶段,没有形成统一的概念体系。通过把知识粒的大小来衡量属性重要度作为一种启发式信息用于属性约简和文本表示还很少,其中对软计算公式研究还不大透彻。自动文本分类及粗糙集理论还有很多细节问题值得去探讨,本论文提出的部分算法经仿真实验验证,本系统是可行的,但仍还有待于进一步研究。

全文目录


摘要  6-8
ABSTRACT  8-10
第一章 绪论  10-16
  1.1 课题研究背景和研究意义  11-12
  1.2 粗糙集理论的发展和研究现状  12-13
  1.3 基于粗集理论的文本自动分类面临的主要问题  13-15
  1.4 本文的主要内容及组织结构  15-16
第二章 粗糙集理论与方法概述  16-28
  2.1 知识与分类  16-17
  2.2 集合的上下近似  17-18
  2.3 信息表知识表达系统和决策表  18-19
  2.4 不可分辨关系  19
  2.5 基于决策表的知识约简  19-21
  2.6 基于粗糙集的规则集  21
  2.7 规则匹配  21-22
  2.8 粒计算理论基础知识  22-25
  2.9 ROUGH集理论研究和应用研究  25-28
第三章 自动文本分类概述  28-38
  3.1 文本自动分类的一般过程  28-29
  3.2 文本的表示形式  29-30
  3.3 文本的向量空间模型  30-33
  3.4 纬度约简  33-35
  3.5 文本自动分类器  35-38
第四章 单篇文献中基于属性重要度的文本表示方法  38-45
  4.1 研究背景  38-40
  4.2 基于属性重要度的文本表示方法描述  40-45
第五章 基于粗糙集的文本分类系统研究  45-59
  5.1 基于粗糙集的文本分类设计模型  45-46
  5.2 文本分类模型各个模块的具体实现  46-56
  5.3 小结  56-59
结束语  59-60
参考文献  60-65
攻读硕士学位期间发表的论文和参与的项目  65-66
致谢  66

相似论文

  1. 基于仿生模式识别的文本分类技术研究,TP391.1
  2. 互联网上旅游评论的情感分析及其有用性研究,TP391.1
  3. 基于支持向量机的故障诊断方法研究,TP18
  4. 基于连锁图的QTL综合分析方法研究,S562
  5. 基于遗传算法和粗糙集的聚类算法研究,TP18
  6. 基于粗糙集的城市区域交通绿时控制系统研究,TP18
  7. 基于数据分布特征的文本分类研究,TP391.1
  8. 粗糙集的增量式属性约简研究,TP18
  9. 知识粒度的计算及其在属性约简中的应用研究,TP18
  10. 基于粗糙集和模糊SVM的车牌识别技术研究,TP391.41
  11. 面向文本分类的改进K近邻的支持向量机算法研究,TP391.1
  12. 粗糙集理论和Flex技术在中长期径流预报中的应用,P338
  13. 服装质量预测系统的软件设计与实现,TP311.52
  14. 基于树型条件随场的特定域事件提取方法研究,TP391.1
  15. 网络教育新闻文本分类系统的设计与实现,TP391.1
  16. 一种于经验数据的软件缺陷修复工作量预测模型研究,TP311.53
  17. 水质时序数据处理及预警系统数据库构建技术研究,TP274
  18. 基于粗糙集理论的决策树分类算法与应用研究,TP18
  19. 基于综合效应的粗糙规划模型,O221
  20. 基于核心示例集的属性约简方法研究,O159
  21. 跨语言文本分类的研究,TP391.1

中图分类: > 工业技术 > 自动化技术、计算机技术 > 计算技术、计算机技术 > 计算机的应用 > 信息处理（信息加工） > 文字信息处理
© 2012 www.xueweilunwen.com