学位论文 > 优秀研究生学位论文题录展示

基于聚类分析的搜索引擎自动性能评价研究

作　者: 吴世勇
导　师: 王明文
学　校: 江西师范大学
专　业: 计算机科学与技术
关键词: 信息检索搜索引擎性能评价聚类分析
分类号: TP391.3
类　型: 硕士论文
年　份: 2010年
下　载: 70次
引　用: 0次
阅　读: 论文下载

内容摘要

随着互联网的快速普及,通过网络共享的信息资源正以指数级的速度递增。要从众多的网页中找到我们需要的信息,无疑像大海捞针一样困难,搜索引擎技术就是为了帮助人们快速地找到所需的信息。而搜索引擎的检索性能评价作为信息检索研究中的核心课题之一,客观可靠的检索性能评价方式是必须考虑和设计的内容。传统的搜索引擎性能评价方法需要人工标注标准答案集,需花费了大量的人力物力,并且评价结果依赖人工标注的准确性,效率较低。基于聚类分析的思路,提出了一种搜索引擎性能评价指标和自动进行搜索引擎性能评价的方法,此方法能自动计算信息类查询的覆盖范围,并根据其覆盖范围对检索结果进行聚类,通过评估函数实现检索性能的自动评价,并对如何利用类间距和类内距两个指标来定义合适的评估函数进行了分析。实验结果表明,基于聚类指标的评价方法与人工标注的评价方法的评价结果是相一致的。具体来说,本文的工作主要包括以下几点:1 )在大规模日志分析的网络搜索引擎用户行为研究的基础上,对Sogou实验室提供的查询日志进行分析,提取了查询日志中的信息类查询并提出了计算查询覆盖度的方法;2)使用不同的搜索引擎(谷歌、百度、Bing)对提取出来的信息类查询进行检索,运用一些网页抓取器将检索返回的结果网页下载保存进行预处理;3)构建了一个完整的检索系统评价实验平台,对检索结果进行聚类分析,通过类内距和类间距等聚类指标定义不同的评估函数对检索性能进行评价;4)使用抽样方法进行人工标注,用传统的评价方法对检索性能进行评价,比较分析两种评价方法的优劣,完成多种评价函数的比较实验。

全文目录

摘要  3-4
ABSTRACT  4-8
第一章引言  8-13
  1.1 研究背景  8-10
  1.2 研究意义  10
  1.3 本文工作  10-12
  1.4 论文的组织结构  12-13
第二章搜索引擎概述  13-27
  2.1 信息检索简介  13-14
  2.2 搜索引擎的发展  14-16
  2.3 搜索引擎的基本原理  16-21
    2.3.1 网页采集  17-18
    2.3.2 网页预处理  18-19
    2.3.3 建立倒排索引  19-20
    2.3.4 相关性排序  20-21
  2.4 搜索引擎的评价  21-25
    2.4.1 引言  21
    2.4.2 常用的评价指标  21-24
    2.4.3 国内外信息检索评测  24-25
  2.5 本章小结  25-27
第三章基于聚类分析的搜索引擎自动性能评价  27-36
  3.1 相关研究  27-30
    3.1.1 查询类别分析  27-29
    3.1.2 聚类分析  29-30
  3.2 信息类查询的评价思路  30-31
  3.3 查询覆盖度的计算  31-33
  3.4 自动性能评价的框架  33-34
  3.5 评价函数  34-35
  3.6 本章小结  35-36
第四章实验设计及结果分析  36-46
  4.1 实验数据集及实验环境  36-37
    4.1.1 实验数据集  36
    4.1.2 实验环境  36-37
  4.2 实验过程  37-39
    4.2.1 查询覆盖度计算  37-38
    4.2.2 聚类分析  38-39
  4.3 实验结果及分析  39-45
    4.3.1 自动评价结果  39-40
    4.3.2 两种评价方法的比较  40-41
    4.3.3 评估函数比较分析  41-43
    4.3.4 查询覆盖度计算方法的比较  43-44
    4.3.5 参数λ的影响  44-45
  4.4 本章小结  45-46
第五章总结与展望  46-48
  5.1 总结  46
  5.2 未来的工作  46-48
参考文献  48-52
附录  52-56
简历  56-57
致谢  57

基于聚类分析的搜索引擎自动性能评价研究

内容摘要

全文目录

相似论文