学位论文 > 优秀研究生学位论文题录展示

排序学习损失函数的研究

作　者: 吴佳金
导　师: 杨志豪
学　校: 大连理工大学
专　业: 计算机应用技术
关键词: 信息检索排序学习损失函数梯度下降查询级别回归融合
分类号: TP181
类　型: 硕士论文
年　份: 2011年
下　载: 73次
引　用: 0次
阅　读: 论文下载

内容摘要

在信息量急速膨胀的今天,信息检索技术显得尤为重要。传统的信息检索模型主要分为两类：一类为与查询相关的基于内容的方法,如基于词频统计、概率模型和语言模型等的方法；另一类是与查询独立的基于链接分析的方法,如PageRank、HITTS等算法。二类方法的核心都是对网页进行排序。排序学习的出现,使得多种检索模型的融合成为可能；训练出的新的排序模型能够有效地提高检索效果。排序学习属于信息检索与机器学习交叉领域。按照输入空间的不同,可以将排序学习方法分为三类：单文档级别(pointwise,点级)、文档对级别(pairwise,对级)与文档列表级(listwise,列表级)。损失函数是排序学习方法用于构建目标函数、优化排序模型的重要手段,其优劣将最终影响排序函数的性能。本文对排序学习方法的损失函数进行研究。首先讨论单一地运用训练样例存在的不足,并以对级方法为例,提出改进方法：通过将点级损失与对级损失函数融合,改善损失函数对训练过程中损失的表征能力,以更好地估计训练过程中真实的损失。其次,基于列表级方法,构造了一种新的损失函数,即应用查询级别的回归损失作为列表级损失函数,并用神经网络对排序函数建模,用梯度下降方法对目标函数进行求解,提出了一种新的列表级排序学习方法。最后,本文提出损失函数融合的框架,提出三种用于衡量损失函数权重的公式或融合方法,并验证该框架的可行性,对比三种权重公式的优劣,将基于三种权重公式的方法与点级、对级与列表级以及其它综合考虑训练样例的方法进行比较。为排序学习方法的研究提供了一种改进的思路。在LETOR数据集上的实验显示本文所提出的方法要优于现有的排序学习方法,从而证明了所提出方法的有效性。

全文目录

摘要  4-5
Abstract  5-8
1 绪论  8-11
  1.1 课题背景  8
  1.2 排序学习研究现状  8-10
  1.3 本文主要研究内容与组织结构  10-11
2 排序学习相关工作  11-24
  2.1 排序学习的一般过程  11-12
  2.2 排序学习方法的特征  12
    2.2.1 与查询相关的特征  12
    2.2.2 与查询独立的特征  12
  2.3 排序学习数据集构造  12-13
  2.4 排序学习方法分类  13-19
    2.4.1 点级排序学习方法  13-15
    2.4.2 对级排序学习方法  15-17
    2.4.3 列表级排序学习方法  17-19
  2.5 评价排序函数的标准  19-23
    2.5.1 MAP与MRR  20-21
    2.5.2 NDCG  21-22
    2.5.3 ERR  22-23
  2.6 小结  23-24
3 一种改进的对级排序学习方法  24-34
  3.1 引言  24-25
  3.2 方法  25-27
    3.2.1 RankNet算法  25-26
    3.2.2 加入点级损失来改进RankNet算法  26-27
  3.3 实验设置  27-29
    3.3.1 数据集  27-28
    3.3.2 实验设计  28-29
  3.4 实验结果分析  29-33
  3.5 小结  33-34
4 一种查询级别回归的排序学习方法  34-40
  4.1 引言  34
  4.2 方法  34-36
    4.2.1 查询级别的回归  34-35
    4.2.2 优化方法  35-36
  4.3 实验设置  36
    4.3.1 数据集  36
    4.3.2 实验设计  36
  4.4 实验结果分析  36-38
    4.4.1 精度对比  36-38
    4.4.2 速度对比  38
  4.5 小结  38-40
5 多损失函数融合的排序学习方法  40-51
  5.1 引言  40
  5.2 候选损失函数及其梯度  40-42
  5.3 多损失函数融合框架  42-43
  5.4 实验设置  43-44
  5.5 实验结果与分析  44-50
    5.5.1 选取适合的损失函数  44-45
    5.5.2 正则化权重的损失函数融合  45
    5.5.3 迭代次数相关权重的损失函数融合  45-46
    5.5.4 分段损失函数融合  46
    5.5.5 三种损失函数融合方法的对比  46-49
    5.5.6 与其它损失函数融合算法的对比  49-50
  5.6 小结  50-51
结论  51-53
参考文献  53-56
攻读硕士学位期间发表学术论文情况  56-58
致谢  58-59

排序学习损失函数的研究

内容摘要

全文目录

相似论文