学位论文 > 优秀研究生学位论文题录展示

WEB文本情感分类中关键问题的研究

作　者: 陈博
导　师: 郭军
学　校: 北京邮电大学
专　业: 信号与信息处理
关键词: 中文分词 POC-NLW模板情感分类最大熵观点检索
分类号: TP391.1
类　型: 博士论文
年　份: 2008年
下　载: 1205次
引　用: 7次
阅　读: 论文下载

内容摘要

随着计算机技术和互联网的迅猛发展,网络在线的文档成为现代主要的信息载体,是人们生活中不可或缺的主要信息来源。而随着互联网进入web2.0时代,人们从被动的接受门户网站发布信息,转变为主动的获取、发布、共享、传播信息。同时,由于用户参与到信息的产生,网络信息的内容形式也变得多样化,越来越多的具有个人观点性的内容充斥着网络。这些观点性内容对于网络电子商务、网络社区发掘、网络信息安全、网络信息检索等多方面都具有重要的意义和实用价值。对网络文本观点性内容的自动情感分析成为近期web信息处理的一个研究热点,而其中的核心技术就是文本情感分类。在这样一个背景下,本文对面向web文本的中文分词、文本情感分类以及Weblog观点检索问题进行了下述创新性研究工作:首先,研究了面向web文本的中文分词问题。根据web文本环境的特点,研究重点在于中文分词中的未登录词识别问题,同时兼顾切分歧义消解、整体切分准确率和高效处理海量文本的能力。在未登录词识别方面,提出了POC-NLW字符标记模板,从字符级别的粒度来表征中文词汇的构成机制,并结合隐马尔可夫模型,实现了基于字符序列标注的中文分词方法。此外,分别使用了基于规则匹配的预处理、基于词典匹配的初级全切分、基于词语级别的N-Gram统计切分模型,并通过级联方式将上述各模块有效组合,构成了多模型混合的层叠系统。实验结果表明,本文提出的基于POC-NLW模板标注的切分方法具有较强的未登录词识别能力;而多模型混合的层叠系统在整体切分精度和未登录词识别方面都达到了较高的实用水平。另外,本文提出的系统还具有高效的建模和切分处理速度,具有面向海量web文本切分的实用性能。第二,研究了web文本情感分类问题,主要包括文本的主客观分类和正负面极性分类两个子问题。在语言特征表示方面,对比研究了基于多种N-Gram语言特征模板的文本特征表示方式;在文本特征加权方面,对比了布尔、绝对词频、归一化词频以及基于TFIDF的特征加权方式;在特征选择方面,提出了全局TFIDF显著指数,引入“全局过滤-局部加权”的特征抽取方式;在情感分类模型方面,以朴素贝叶斯模型做对比,详细研究了最大熵模型的最大似然估计问题,采用高斯先验和指数型先验,对传统的最大熵模型进行改进。通过在真实网络电影评论数据集上的详细对比试验,以及对语料样本的分析,证实了采用高阶语言特征模板、基于TFIDF的特征选择和过滤方法、加入指数型先验的最大熵模型较好的适用于文本情感分类问题。第三,研究了Weblog观点检索问题,以TREC Blog Track评测为主线,主要研究了面向blog文档的主题检索和文本情感分类技术在观点检索中的应用。首先,针对Weblog文档的特点以及观点检索的特殊性,在Weblog文档的HTML解析、噪声标签过滤、文本内容提取、词形还原等预处理方面作了技术改进;之后,以Indri检索系统为研究平台,利用结构化查询语言和web搜索引擎进行查询扩展和结构化查询主题构造,并采用基于文档标题字段的域查询,有效的提高了基本的ad-hoc主题检索的性能;在Weblog观点检索方面,使用基于最大熵的主观性内容判别模型,并提出了分类器自学习的策略,实现不同数据集之间的知识传递,在Weblog数据集上有效建模;同时,分别构建了句子级别和文档级别的最大熵模型,并将两者组合构成层叠式的Weblog文档观点性内容判别模型。在Blog Track数据集上的评测指标表明,本文构造的Weblog观点检索系统达到了较高的性能水平。

全文目录

摘要  5-7
ABSTRACT  7-13
第一章绪论  13-33
  1.1 研究背景及意义  13-14
  1.2 文本情感分类的基本概念  14-15
  1.3 中文分词的研究现状  15-20
    1.3.1 国内研究现状  16-18
    1.3.2 国际研究现状  18-19
    1.3.3 中文分词中亟需解决的问题  19-20
  1.4 文本情感分类的研究现状  20-24
    1.4.1 文本情感分类的主要研究内容  20-22
    1.4.2 文本情感分类的应用现状  22-23
    1.4.3 文本情感分类中亟需解决的问题  23-24
  1.5 本文的研究工作  24-27
  参考文献  27-33
第二章基于统计语言模型的中文分词  33-67
  2.1 中文分词的相关技术概念  33-37
    2.1.1 中文分词的主要方法  33-35
    2.1.2 统计分词系统的基本构架  35-36
    2.1.3 中文分词的性能评价指标  36-37
  2.2 统计语言模型  37-43
    2.2.1 中文分词问题的模型表示  37-38
    2.2.2 N-Gram语言模型  38-39
    2.2.3 隐马尔可夫模型  39-40
    2.2.4 最大似然参数估计  40-41
    2.2.5 语言模型的平滑方法  41-43
  2.3 POC-NLW字符标记模板  43-49
    2.3.1 模板假设  43-45
    2.3.2 模板的定义  45-46
    2.3.3 基于POC-NLW的HMM模型  46-48
    2.3.4 基于HMM的字符序列标注  48-49
  2.4 多模型混合的层叠分词系统  49-54
    2.4.1 基于规则匹配的预处理  50-51
    2.4.2 基于词典匹配的全切分  51-52
    2.4.3 层次级联的多模型混合策略  52-54
  2.5 分词系统的实验评测  54-61
    2.5.1 语料集与评测方式  54
    2.5.2 基于词语级别的N-Gram模型切分评测  54-55
    2.5.3 基于字符级别的HMM模型切分评测  55-58
    2.5.4 多模型混合的层叠系统评测  58-60
    2.5.5 本节小结  60-61
  2.6 本章小结  61-62
  参考文献  62-67
第三章基于统计模型的文本情感分类  67-103
  3.1 引言  67-68
  3.2 相关研究工作  68-71
    3.2.1 传统文本分类的研究概览  68-69
    3.2.2 基于统计模型的文本情感分类的相关研究  69-71
  3.3 语言特征抽取  71-76
    3.3.1 基于N-Gram模板的文本特征表示  71-73
    3.3.2 语言特征加权和选择  73-76
  3.4 情感分类模型  76-87
    3.4.1 朴素贝叶斯模型  76-77
    3.4.2 最大熵模型  77-83
    3.4.3 引入先验的改进最大熵模型  83-87
  3.5 实验  87-96
    3.5.1 数据集与工具包  87
    3.5.2 评估标准  87-88
    3.5.3 语言特征抽取方法的对比  88-92
    3.5.4 最大熵先验模型的对比  92-95
    3.5.5 语言特征模板的对比  95-96
  3.6 本章小结  96-98
  参考文献  98-103
第四章 Weblog观点检索的研究  103-123
  4.1 引言  103-104
  4.2 相关研究概览  104-107
    4.2.1 Weblog信息检索  104-105
    4.2.2 Weblog观点检索  105-107
  4.3 Weblog观点检索系统设计与评测  107-118
    4.3.1 Blog Track评测数据与相关技术指标  107-109
    4.3.2 Weblog主题检索系统  109-115
    4.3.3 基于情感分类的Weblog观点检索系统  115-118
  4.4 本章小结  118-120
  参考文献  120-123
第五章总结与展望  123-127
  5.1 总结  123-124
  5.2 展望  124-127
致谢  127-129
攻读博士学位期间发表的论文  129

WEB文本情感分类中关键问题的研究

内容摘要

全文目录

相似论文