学位论文 > 优秀研究生学位论文题录展示

SSBS中文分词处理系统的研究

作　者: 李小龙
导　师: 钮焱
学　校: 湖北工业大学
专　业: 计算机应用技术
关键词: 统计分词支持向量机智能学习
分类号: TP391.1
类　型: 硕士论文
年　份: 2010年
下　载: 44次
引　用: 0次
阅　读: 论文下载

内容摘要

随着信息技术的高速发展,中文信息处理在计算机各个领域得到了长足的发展,而中文分词是中文信息处理的基础所在,由于词是连接句子与信息处理平台的中间环节,因此中文分词的处理结果直接影响到中文信息处理的准确性,成为制约中文信息处理平台处理能力的瓶颈所在。本文对中文自动分词处理技术的现状,原理、流程,评价指标以及国内外发展状况进行了一个综述,对各种分词算法进行了深入的学习和研究,在分析了目前的各种分词算法的优劣所在之后,提出了改进思路。使用支持向量机与向量空间建立了新的CWSSBS模型,由于支持向量机具有在有限样本的训练下能够建立一个复杂的分词模型和实现较强的自我学习能力,而且使用倒排字典的方法来保证常用的,最新的未登录新词处于最优先地位,因此所改进的CWSSBS自动学习未登录新词的能力得到了有效的提高。在支持向量机的作用下,字典具有自我学习的功能,从而使得本系统还具有较高的陌生环境适应性以及强壮的可移植性,并且在人工以及机器监督机制的干预下能够及时的更正自动学习中的错误；在歧义处理部分,提出了一种改进的正向匹配与逆向匹配相结合的歧义采集方法,在歧义处理过程中,采用最长成字法来保证了歧义字段的处理,达到了最大程度上消除歧义的目的。通过系统结果的仿真分析,可以看到改进的CWSSBS跟原有的系统相比,在歧义问题的解决和字典自我学习的功能方面得到了很多的提高,但由于时间,环境等条件以及能力的限制,未来需要进一步的探讨和改进。

全文目录

摘要  5-6
Abstract  6-7
目录  7-9
第1章绪论  9-22
  1.1 课题的研究背景  9-11
    1.1.1 中文分词技术的起源  9-10
    1.1.2 中文分词技术的研究意义  10-11
  1.2 中文分词技术概述  11-12
    1.2.1 中文分词的特点  11
    1.2.2 中文分词的应用领域  11-12
  1.3 中文分词的难点  12-13
  1.4 现有的中文分词算法  13-15
  1.5 基于统计的中文新词处理技术  15-17
  1.6 中文自动分词的评价指标  17-18
  1.7 国内外研究现状  18-20
  1.8 本文的主要工作和组织结构  20-21
    1.8.1 本文的主要工作  20-21
    1.8.2 本文的主要组织结构  21
  1.9 本章小结  21-22
第2章支持向量机与向量空间  22-26
  2.1 支持向量机  22-23
    2.1.1 支持向量机的训练方法  22-23
  2.2 向量空间  23-25
    2.2.1 向量空间与子空间  23-24
    2.2.2 向量空间的基与维数  24-25
    2.2.3 R~3中坐标变换公式  25
  2.3 本章小结  25-26
第3章 CWSSBS的实现与仿真分析  26-38
  3.1 系统简介  26-29
    3.1.1 设计思想  26
    3.1.2 CWSSBS的功能  26
    3.1.3 互信息的定义及CWSSBS的组成  26-29
  3.2 CWSSBS的设计与实现  29-36
    3.2.1 字典模型的建立  29-30
    3.2.2 语言模型的建立  30-31
    3.2.3 倒排字典模型的实现  31-32
    3.2.4 倒排字典表的设计  32-33
    3.2.5 倒排字典的建立  33-34
    3.2.6 字典算法优化  34-35
    3.2.7 歧义的解决  35-36
  3.3 实验和结果分析  36-37
  3.4 本章小结  37-38
第4章总结与展望  38-40
  4.1 本文总结  38
  4.2 未来工作的展望  38-40
致谢  40-41
参考文献  41-44
附录  44

SSBS中文分词处理系统的研究

内容摘要

全文目录

相似论文