学位论文 > 优秀研究生学位论文题录展示

面向web图片检索的文本和图片信息融合技术研究

作　者: 尹湘舟
导　师: 谢深泉
学　校: 湘潭大学
专　业: 计算机软件与理论
关键词: 多媒体融合特征提取联合聚类 web图片检索语义相似性
分类号: TP391.41
类　型: 硕士论文
年　份: 2009年
下　载: 107次
引　用: 1次
阅　读: 论文下载

内容摘要

随着互联网的发展,人类大步迈入信息时代。互联网使人们足不出户就能阅读到世界各国的信息,更使得人们可以在弹指挥手间不受时间和地域的限制获取想要的信息。互联网已经成为人类最大的数据库、知识交换的重要平台、信息共享的重要途径。互联网上可获取的信息已从简单的文本信息,全面扩展到图像、视频、音频、图形等各种多媒体信息。因此如何从这浩瀚数据海洋中检索出用户感兴趣的图片是一个非常具有挑战性的任务。与此同时,多媒体对象之间呈现出了跨媒体的特征,主要表现在多种类型媒体数据混合并存、组织结构复杂,而且往往不同类型的媒体数据从各个侧面表达了同一语义。媒体对象间的这些跨媒体特点要求我们进行web图片检索中能够充分考虑到这些特点,并合理加以利用。也就是需要对于多种模态的媒体对象进行融合分析,挖掘出它们之间潜在的语义联系,以语义为桥梁,在检索时实现多媒体之间的融合。本文针对图像与文本之间的关系,在通过文本信息实现图像检索的基础上,引入图像自身的内容信息之间的相似性,实现文本与图像的融合,使达到更好的检索效果。本文提出了一种文本和图片相似性矩阵融合的方法。它是根据计算得到文本相似性矩阵和图片相似性矩阵,把两个矩阵水平拼接在一起形成一个大的相似性矩阵,这是一个矩阵级别的相似性融合,也是本文作者对融合的一次新的尝试,然后对融合以后的相似性矩阵进行联合聚类,使得聚类以后的结果融合文本信息和图片信息。本文还提出了一种错误驱动融合的方法。它是利用文本研究的成熟技术,提出了一个基于文本相似性联合聚类,再利用图片联合聚类结果去修正最终结果。并且通过实验验证了本文提出的两种融合方法比单一使用其中一种对媒体信息进行聚类的效果要好。本文还实现了一个有效的、扩展性良好的面向web图片检索的文本和图片信息融合系统,并通过实验验证了系统的有效性,为以后进一步深入研究打下了良好的基础。

全文目录

摘要  4-5
Abstract  5-9
第1章引言  9-13
  1.1 应用背景  9-10
  1.2 研究意义  10-11
  1.3 本文研究目标和组织结构  11-13
第2章国内外研究现状  13-31
  2.1 图像检索  13-15
    2.1.1 基于文本信息的图像检索  13-14
    2.1.2 基于图像视觉信息的图像检索  14
    2.1.3 基于文本和视觉信息的图像检索  14-15
    2.1.4 基于图像高层语义特征的图像检索  15
  2.2 多媒体融合  15-16
  2.3 多媒体特征提取  16-23
    2.3.1 文本特征提取  16-17
    2.3.2 图片特征提取  17-23
      2.3.2.1 图像的特征向量简述  17-18
      2.3.2.3 SIFT 特征提取算法  18-23
  2.4 相似性计算  23-29
    2.4.1 社会相似性  24
    2.4.2 语义相似性  24-27
      2.4.2.1 Wordnet 简介  24-25
      2.4.2.2 基于树结构语义相似性计算  25-27
      2.4.2.3 基于图结构语义相似性  27
    2.4.3 图片相似性计算  27-29
  2.5 联合聚类算法  29-30
  2.6 小结  30-31
第3章面向WEB 图片检索的文本和图片信息融合模型  31-38
  3.1 概述  31-32
  3.2 特征提取模块  32-34
    3.2.1 文本特征提取  32-33
    3.2.2 图片特征提取  33
    3.2.3 创建参数池  33-34
  3.3 特征融合、聚类模块  34-37
    3.3.1 模块结构  34-35
    3.3.2 类层次结构  35-37
  3.4 小结  37-38
第4章文本和图片信息融合及联合聚类  38-50
  4.1 本文的一些定义  38-40
  4.2 文本相似性计算  40-41
    4.2.1 社会相似性  40
    4.2.2 语义相似性  40-41
  4.3 图片相似性计算  41-42
  4.4 相似性融合  42-43
    4.4.1 文本相似性融合  42
    4.4.2 文本、图片相似性矩阵融合  42-43
  4.5 错误驱动融合  43-44
  4.6 数据集二部图表示  44-45
  4.7 联合聚类算法  45-49
    4.7.1 文本联合聚类算法  45-47
    4.7.2 图片联合聚类算法  47-48
    4.7.3 文本、图片融合联合聚类算法  48-49
  4.8 小结  49-50
第5章文本和图片信息融合实验  50-62
  5.1 实验设计  50-52
    5.1.1 硬件环境  50
    5.1.2 软件环境  50-51
    5.1.3 实验数据  51-52
    5.1.4 实验数据预处理  52
  5.2 聚类结果评价  52-61
    5.2.1 属性聚类结果  52-55
    5.2.2 聚类结果分析  55-61
      5.2.2.1 文本联合聚类分析  55-57
      5.2.2.2 图片联合聚类分析  57-58
      5.2.2.3 文本、图片融合联合聚类分析  58-59
      5.2.2.4 错误驱动融合聚类分析  59-61
  5.3 小结  61-62
第6章结束语  62-64
  6.1 本文工作总结  62-63
  6.2 未来研究工作展望  63-64
参考文献  64-67
致谢  67-68
附录A 参加的科研项目和发表的学术论文  68

面向web图片检索的文本和图片信息融合技术研究

内容摘要

全文目录

相似论文