学位论文 > 优秀研究生学位论文题录展示

基于相关性挖掘的跨媒体检索研究

作　者: 张鸿
导　师: 庄越挺
学　校: 浙江大学
专　业: 计算机科学与技术
关键词: 计算机视觉 机器学习 跨媒体检索 图像检索 音频检索 典型相关性分析 非线性流形 主动学习 相关性推理
分类号: TP391.3
类　型: 博士论文
年　份: 2007年
下　载: 731次
引　用: 0次
阅　读: 论文下载
 

内容摘要


从九十年代初期开始，基于内容的多媒体检索一直是计算机领域的研究热点。认知心理学的研究表明人脑对外界事物的认知需要跨越不同感官传递的信息以作出综合的判断，类似地，人们对多媒体数据的检索需求是要能够灵活跨越不同类型的多媒体数据(如图像、音频等)，以形成对多媒体语义的整体理解。这就需要有一种新的检索方式能够处理和查询不同类型的多媒体数据，本文的目的便是研究这种灵活跨越不同类型多媒体数据的检索方式——跨媒体检索。针对图像、音频等多媒体数据在底层内容特征上的异构性和不可比性使得难以计算跨媒体相关性的现状，本文以典型相关性分析为突破点，研究了图像和音频在内容特征上潜在的统计关系，并且在特征降维的同时最大程度地保持了相关性学习结果，从而通过自定义的距离函数实现了跨媒体的相关性度量；还进一步提出了基于增量学习的相关反馈机制，从用户交互过程中提取先验知识，以修正图像和音频数据集在同构子空间中的拓扑结构，从而有效缩小了底层内容与高层语义之间的鸿沟，提高了跨媒体检索效率。大量研究证明流形结构在多媒体数据表达方面可以发现非线性的数据关系，本文提出一个流形子空间讨算方法，用来模拟文本、图像和音频数据在语义空间上的分布关系。该方法通过计算多媒体数据的本征距离矩阵，在此基础上求取语义子空间的本征参数，从而得到内嵌的非线性的流形子空间作为语义子空间；同时给出了短期修正和长期修正两种策略用以结合相关反馈信息来更新流形结构。针对Web环境中多媒体数据集之间特有的跨媒体数据关系，提出以Web页面中的多媒体对象为最小数据单元，建立跨媒体关联图用以综合表达在内容特征、链接关系和用户交互三方面的数据关系；提出全局相关性推理算法充分利用跨媒体关联图中各种数据关系之间的互补性，从而准确找到跨媒体的相关对象；提出用隐性语义索引分析图像的视觉特征和音频的听觉特征之间的互索引关系，并通过交互式的相似度传递优化了图像和音频的聚类质量，设计了主动学习策略用以计算用户标注的反馈样本周围未标注样本的的条件概率，加速了图像和音频之间跨媒体检索的收敛过程，而且当查询例子不在数据库中时也能取得较好的检索性能。在数据管理方面，针对多媒体资源数据量大、存储分散等特征，本文从信息共享这个基本问题出发，尝试将数字图书馆中海量、分布的多媒体数据资源用网格技术进行管理，给出了初步的技术方案和体系设计，以及仿真实验结果。

全文目录


摘要  8-10
ABSTRACT  10-12
第1章 绪论  12-20
  1.1 研究背景  12-13
  1.2 研究问题与相关工作  13-16
  1.3 研究目标与贡献  16-18
  1.4 论文组织  18-20
第2章 跨媒体检索相关研究综述  20-33
  2.1 跨媒体的定义  21-23
    2.1.1 人脑认知的跨媒体特性  21-22
    2.1.2 主要研究范畴  22-23
    2.1.3 本文的定位  23
  2.2 融合分析  23-26
    2.2.1 图像内容特征的融合分析  24-25
    2.2.2 视频多通道特征的融合分析  25-26
    2.2.3 主要应用  26
  2.3 关联挖掘  26-28
    2.3.1 交叉索引关系  27
    2.3.2 链接关联模型  27-28
    2.3.3 多媒体关系图  28
  2.4 类跨媒体检索的研究  28-32
    2.4.1 跨语言检索  29-30
    2.4.2 文本—视频(图像)之间的统计分析和互检索  30
    2.4.3 基于直接语义关系的多媒体检索  30-31
    2.4.4 视频流中的说话人脸检测  31-32
  2.5 小结  32-33
第3章 异构特征间的典型相关性学习  33-43
  3.1 跨媒体的内容鸿沟  33-35
  3.2 不同内容特征间的相关性分析  35-37
    3.2.1 典型相关性定义  35
    3.2.2 视觉特征和听觉特征之间的典型相关性  35-37
    3.2.3 本方法的优点  37
  3.3 基于相关性的图像—音频聚类  37-38
  3.4 测试结果  38-41
    3.4.1 预处理  38-39
    3.4.2 相关性保持结果的对比分析  39-40
    3.4.3 聚类结果检测  40-41
  3.5 小结  41-43
第4章 图像和音频内容的统一表达  43-55
  4.1 引言  43-44
  4.2 半监督式的相关性保持映射(SSCPM)  44-46
    4.2.1 SSCPM算法描述  44-45
    4.2.2 基于通用距离函数的跨媒体相关性计算  45-46
  4.3 动态相关性排序  46-48
    4.3.1 算法描述  46-47
    4.3.2 相关性度量分析: SSCPMdis和Crodis的比较  47-48
  4.4 新媒体对象在同构子空间中的定位  48-49
  4.5 实验分析  49-54
    4.5.1 SSCPM子空间维数选取  49-50
    4.5.2 不同方法得到的跨媒体检索结果  50-51
    4.5.3 相关反馈对跨媒体检索性能的改善  51-52
    4.5.4 相关性保持映射对图像的聚类检测  52-54
  4.6 小结  54-55
第5章 跨媒体语义的非线性学习  55-68
  5.1 引言  55-56
  5.2 基于流形学习的本征参数求取  56-60
    5.2.1 多特征观测空间  56-57
    5.2.2 非线性流形  57-58
    5.2.3 关联矩阵  58-59
    5.2.4 本征参数计算  59-60
  5.3 基于短期修正和长期修正的相关性求精  60-61
  5.4 非线性的新数据引入算法  61-62
    5.4.1 方法1:几何定位法  61-62
    5.4.2 方法2:交互定位法  62
  5.5 实验分析  62-66
    5.5.1 多模态检索性能  63-64
    5.5.2 图像和音频的交叉检索性能  64-65
    5.5.3 定位算法检测  65-66
  5.6 小结  66-68
第6章 基于WEB的跨媒体相关性推理  68-78
  6.1 引言  68-69
  6.2 图模型的建立  69-71
    6.2.1 预处理  69-70
    6.2.2 跨媒体的链接分析  70
    6.2.3 跨媒体关联图(CMCG)  70-71
  6.3 全局相关性推理  71-73
  6.4 CMCG的更新  73-74
  6.5 实验分析  74-77
    6.5.1 逻辑结构  74-75
    6.5.2 数据结构  75
    6.5.3 跨媒体检索性能  75-76
    6.5.4 查询例子不在数据库中的检索性能  76-77
  6.6 小结  77-78
第7章 图像和音频特征的共生关系学习  78-88
  7.1 引言  78
  7.2 预处理:视觉和听觉特征的共生估计  78-80
    7.2.1 隐性语义索引  79
    7.2.2 跨媒体特征共生矩阵的最优估计  79-80
  7.3 基于相似度传递的共生关系优化算法  80-82
    7.3.1 形式化描述和收敛性证明  80-81
    7.3.2 算法分析  81-82
  7.4 基于主动学习的相关反馈  82-84
    7.4.1 步骤1:候选集计算  82-83
    7.4.2 步骤2:对未标注样本的主动学习  83-84
  7.5 实验分析  84-87
    7.5.1 矩阵秩r的选取  84-85
    7.5.2 主动学习策略对检索性能的影响  85-86
    7.5.3 LSI-Active和CCA-Passive方法的性能对比  86-87
  7.6 小结  87-88
第8章 系统框架设计与实现  88-105
  8.1 引言  88
  8.2 跨媒体海量信息的综合检索与智能技术系统的整体设计  88-90
  8.3 跨媒体检索子系统的设计和实现  90-96
    8.3.1 CMRS子系统的总体框架设计  90-93
    8.3.2 CMRS之:基于典型相关性分析的图像—音频检索  93-94
    8.3.3 CMRS之:视频—图像—音频检索  94-95
    8.3.4 跨媒体检索在数字图书馆项目CADAL中的应用  95-96
  8.4 基于网格的CADAL资源管理  96-104
    8.4.1 主要技术问题  97-98
    8.4.2 网格环境中的资源管理  98
    8.4.3 基于网格的CADAL软件层次结构  98-100
    8.4.4 CADAL网格构架  100-101
    8.4.5 仿真实验  101-104
  8.5 小结  104-105
第9章 结论与展望  105-109
  9.1 结论  105-106
  9.2 展望  106-109
参考文献  109-118
攻读博士学位期间发表的论文及科研情况  118-119
致谢  119

相似论文

  1. 领域知识指导的半监督学习和主动学习倾向性分类研究,TP181
  2. 跨语言文本分类的研究,TP391.1
  3. 流形学习的方差最小化准则,TP181
  4. 特定领域中文术语抽取,TP391.1
  5. 基于专家委员会的主动学习算法研究,TP181
  6. 极小化标注的海洋文献复杂分类,TP391.1
  7. 基于主动学习的汉语依存树库构建,TP391.1
  8. 多源遥感资源管理系统的信息安全问题研究,TP309
  9. 基于一种主动相关反馈机制的图像检索方法研究,TP391.3
  10. 基于行为方案的ARL系统中测试时机的确定与实现,TP242.3
  11. 声学建模中若干问题的研究,TN912.34
  12. SAR图像分类与自动目标识别技术研究,TN957.52
  13. 非线性流形上多姿态人脸检测与识别,TP391.41
  14. 基于内容的WEB图像过滤技术研究,TP391.41
  15. 贝叶斯学习理论中若干问题的研究,TP181
  16. 多模态特征融合和变量选择的视频语义理解,TP391.41
  17. 基于多分辨分析与主动学习的微钙化点簇检测,R737.9
  18. 基于内容的音频检索研究,TN912.3
  19. 基于数字指纹的音频检索研究,TP391.41
  20. 音频样例检索技术研究,TP391.3

中图分类: > 工业技术 > 自动化技术、计算机技术 > 计算技术、计算机技术 > 计算机的应用 > 信息处理（信息加工） > 检索机
© 2012 www.xueweilunwen.com