学位论文 > 优秀研究生学位论文题录展示

融合视觉与语义双模态信息的自动图像标注

作　者: 曹月
导　师: 刘峡壁
学　校: 北京理工大学
专　业: 计算机科学与技术
关键词: 基于内容的图像检索自动图像标注语义分析图像分类
分类号: TP391.41
类　型: 硕士论文
年　份: 2010年
下　载: 76次
引　用: 0次
阅　读: 论文下载

内容摘要

自动图像标注是当前图像检索领域的研究热点之一,在数字图书馆、医学图像处理、移动多媒体、数字娱乐等领域中有广泛的应用前景。融合视觉与语义双模态信息的自动图像标注是近年来引人关注的发展方向。本文立足于机器学习思想,针对视觉与语义双模态信息融合中的若干关键问题进行了研究,主要内容包括语义相关性度量的融合方法以及视觉与语义信息的融合模型。提出了一种基于神经网络交叉学习的语义相关性度量融合方法。该方法利用三层神经网络可以表示任意复杂非线性映射的特点,实现词汇之间不同语义相关性度量的融合,以获得更为准确的语义相关性度量。采用交叉学习模式进行神经网络的学习,将包括语义相关性度量以及视觉与语义信息融合在内的图像标注过程视为一个整体,以最优化图像标注效果为神经网络学习目标,粒子群算法为优化手段,实现神经网络的权值调整。在Corel5K图像库上结合图像标注去噪方法,对所提出的语义相关性度量融合方法进行了实验验证。结果表明该方法是有效的,图像标注效果可在基于视觉信息的标注基础上提高23.2%。提出了一种融合视觉与语义信息的改进随机游走模型。该模型采用粒子群优化算法对图像视觉与语义信息的融合过程进行优化,使得模型中的参数能够自动学习,以避免人工设定参数方式的繁琐性以及对计算结果造成的不确定性。通过减少人为因素的影响,提高图像标注结果的可靠性。在Corel5K图像库中对改进的随机游走方法进行了实验验证。结果表明所提出的改进随机游走模型是可行的,图像标注效果可在基于视觉信息的标注基础上提高23.6%。

全文目录

摘要  5-6
Abstract  6-8
目录  8-10
第1章绪论  10-22
  1.1 引言  10-11
  1.2 研究现状  11-18
    1.2.1 语义相关性度量方法  13-16
    1.2.2 视觉与语义双模态信息的融合方法  16-18
  1.3 研究内容  18-19
  1.4 论文结构  19-22
第2章预备知识  22-30
  2.1 引言  22
  2.2 基于视觉信息的图像标注方法  22-25
    2.2.1 图像特征提取  23
    2.2.2 高斯混合模型  23-24
    2.2.3 基于后验伪概率的图像标注  24-25
    2.2.4 图像标注的MMP 学习  25
  2.3 语义相关性度量方法  25-28
    2.3.1 基于WordNet 的JNC 度量  26-27
    2.3.2 基于WordNet 的LIN 度量  27
    2.3.3 基于WordNet 的BNP 度量  27-28
  2.4 实验数据库及评价准则  28-29
    2.4.1 图像数据库  28
    2.4.2 评价准则  28-29
  2.5 小结  29-30
第3章融合多种语义相关性度量的神经网络及其交叉学习方法  30-44
  3.1 引言  30-31
  3.2 融合多种语义相关性度量的神经网络  31-32
  3.3 神经网络的交叉学习  32-33
  3.4 用粒子群算法实现神经网络的交叉学习  33-37
    3.4.1 粒子群优化算法  34-35
    3.4.2 粒子群优化神经网络  35-37
  3.5 图像标注去噪方法  37-39
  3.6 实验  39-41
    3.6.1 实验设置  39-40
    3.6.2 实验结果  40-41
  3.7 小结  41-44
第4章融合视觉与语义双模态信息的改进随机游走方法  44-52
  4.1 引言  44-45
  4.2 改进随机游走模型  45-46
  4.3 用改进随机游走模型融合视觉与语义双模态信息  46-47
  4.4 实验  47-49
    4.4.1 实验设置  47-48
    4.4.2 实验结果  48-49
  4.5 小结  49-52
第5章结论与展望  52-54
  5.1 全文工作总结  52
  5.2 进一步工作  52-54
参考文献  54-58
攻读学位期间发表论文与研究成果清单  58-60
致谢  60

融合视觉与语义双模态信息的自动图像标注

内容摘要

全文目录

相似论文