学位论文 > 优秀研究生学位论文题录展示

熵的思想在搜索引擎质量评价中的应用

作　者: 王东涵
导　师: 陈昊鹏；王东锐
学　校: 上海交通大学
专　业: 软件工程
关键词: 搜索引擎负反馈信息熵点击分布点击事件点击熵
分类号: TP391.3
类　型: 硕士论文
年　份: 2012年
下　载: 34次
引　用: 0次
阅　读: 论文下载

内容摘要

搜索引擎是最近几年互联网领域的热门话题。搜索引擎质量评价可以追溯到20世纪50年代Kent提出查全率和查准率的信息检索评价框架和其后英国Cranfield工程基于此建立的测评方案。搜索引擎发展到今天,基于语义分析的第三代已经成熟,基于个性搜索和社交网络第四代也崭露头角。但搜索引擎的质量评价体系在过去的几十年间并没有质的变化。本文对搜索引擎的技术及其质量评价体系做了全面的研究和回顾后,总结了现有评价体系在实际应用中的问题:第一,手工劳动量大、代价高昂和拓展性差而不能有效指导搜索引擎质量改进;第二,查询样例集合的代表性由于集合规模有限而难以控制;第三,各搜索引擎对现有评价体系有针对性的进行改进,其效果已出现边际效益递减定律所描述的情况,改进越来越难,收效越来越小,例如基于相关性的改进。通过对这一领域文献的广泛阅读和对搜索引擎质量评价体系的思考,本文提出了一套从负反馈思想出发,把熵的概念应用于点击信息分析,量化DSAT(Dissatisfaction)对于搜索引擎质量影响程度的方法,并以实验结果证明了这种方法是对搜索引擎质量评价体系的有效补充。在研究过程中,本文创新性的对DSAT进行了mDSAT和1DSAT的分类,以实现对它们不同的特性加以有效处理。因为本方法是基于点击日志实现DSAT自动挖掘和基于点击熵值实现DSAT重要性自动排序,避免了前述的第一个问题;而点击日志是所有点击信息的集合,理论上本方法的样本集合是基于所有用户的查询关键词,大大减少了前述的第二个问题对搜索引擎质量评价的影响;本方法是从一个新的角度(DSAT自动挖掘和重要性排序)对现有评价体系进行补充,应该在一定时期内有效帮助搜索引擎质量改进,而对本方法任何有针对性的措施都是直接对搜索引擎质量的改进,从而缓解了前述的第三个问题。本方法的创新之处在于把信息熵的概念应用于点击日志中点击信息的分析,通过拓展点击分布的概念,提出点击事件和点击熵的定义和计算公式,提出了一种新颖而实用的解释点击信息的方法,从而量化DSAT对于搜索引擎质量的重要性;在此过程中,通过对实际用户点击日志的分析和实验,解决了对低点击量和无点击量的搜索结果对本方法的不适应的问题;最终实现了基于点击日志对DSAT的自动挖掘;然后,本文提出以控制科学的负反馈思想为切入点,把DSAT(dissatisfaction)作为搜索引擎系统的负反馈输入,达到直接有效的帮助搜索引擎改进质量的目的。基于上述思想,本文提出了一套框架系统来实现点击熵的自动和实时的计算并由此实现了DSAT在实时和批量模式下的自动挖掘。本文详细叙述了该框架系统的需求说明、概要设计和详细设计,并给出了点击日志点击信息的数据流程图,详细解释了Query/URL的聚合过程。然后讨论了该框架系统的具体实现,并对其索引生成器和实时报表的亮点部分进行了详细解释。为了让点击熵的结果具有可比性和易读性,本文提出了对点击熵进行正规化的方法,从而达到对于DSAT重要性进行自动排序的目的。最后,本文通过测试和实验,证明了在该框架实现的基础上,负反馈和信息熵思想的这种在搜索引擎上的应用的有效性和其对于搜索引擎的有效改进。

熵的思想在搜索引擎质量评价中的应用

内容摘要

全文目录

相似论文