学位论文 > 优秀研究生学位论文题录展示
多模态视频信息检索
作 者: 俞辉
导 师: 薛向阳
学 校: 复旦大学
专 业: 计算机应用技术
关键词: 视频处理 基于内容的视频检索 多模态特征信息 TRECVID 子检索模块 手动式检索 交互式检索
分类号: TP391.3
类 型: 硕士论文
年 份: 2008年
下 载: 198次
引 用: 0次
阅 读: 论文下载
内容摘要
随着多媒体技术以及互联网应用的迅速发展,多媒体数据量特别是视频数据量呈现爆炸式地增长,找到一种行之有效的视频检索方法越来越成为一种必须。高效的视频检索技术能够极大的帮助人们在因特网上进行数字娱乐,提高人们的生活品质。基于网页文本的检索技术目前已经比较成熟,百度和google已经提供了可靠的在线检索功能帮助人们在网络上检索相关文本内容。相对于文本而言,视频数据的组成结构比较复杂,结构上按粒度从大到小可以分为:幕,场景,镜头,帧,此外视频本身还带有图像,声音以及文本等多种特征信息,由此带来了视频分析处理本身的复杂性,如何有效的进行视频检索也成了难题。事实上通过合理的利用这些存在于视频中的各种特征信息可以有效的帮助人们进行视频检索,找到想要的内容。迄今很多视频检索方法被提出来,早期的人们通过单独利用视频中挖掘出的图像或文本等特征进行相关检索。基于文本特征的检索能够保证检索结果有较好的召回率而基于图像特征的检索对具有明显图像特征的查询主题有不错的效果;从整体来说,单一的使用某种特征方式下的检索,实际效果还不是很理想,于是人们考虑到将各种特征信息结合起来使用,利用各种特征信息不同的检索优势并且配合机器学习技术的使用以提高视频检索的性能。于是根据每种特征信息可以建立单独的子检索模块,而现阶段的很多研究着眼于如何利用机器学习技术帮助训练融合各子检索模块上。虽然人们采用了很多方法来训练学习视频检索引擎,但是当前的视频检索技术能达到的性能还不是很理想。主要原因在于没能充分的挖掘出视频中蕴含的各种信息,在这种情况下只考虑机器学习方面的研究,并不能从本质上提高视频检索的性能。我们的算法从视频内容本身出发,着眼于从视频本身挖掘出更多有用的资源信息然后将这些信息加以融合来提高视频检索的精度。只有充分的挖掘出视频本身的各种特征信息以及这些信息之间的相关联系,才能真正的提高视频检索的性能提高。考虑到充分利用视频本身蕴含的各种特征信息,本文提出了一种新的多模态检索模型,基于这个模型我们实现了相应的手动式搜索和交互式搜索的算法方案。我们以一年一度的TRECVID视频处理比赛作为我们算法的实验平台,实验结果也证明了我们算法的有效性。本文主要围绕提出的多模态检索模型做出了相关介绍,给出了详细的实验数据,并对未来视频检索的研究做出了展望。
|
全文目录
目录 3-5 摘要 5-7 ABSTRACT 7-9 第一章 研究背景 9-15 1.1 多媒体信息检索 9-11 1.2 视频检索 11-14 1.2.1 视频结构化分析 11-12 1.2.2 视频检索粒度及查询方式 12 1.2.3 TRECVID介绍 12-14 1.3 本文的贡献 14-15 第二章 视频检索研究以相关处理技术 15-26 2.1 相关视频处理技术 15-21 2.1.1 图像特征提取 15-17 2.1.2 镜头分割及关键帧提取 17-18 2.1.3 OCR文字提取 18-19 2.1.4 ASR语音文字识别 19-20 2.1.5 文本处理技术 20 2.1.6 图像高层语义提取 20 2.1.7 音频信息 20-21 2.2 视频检索相关研究 21-24 2.3 本文的工作 24-25 2.4 本章小结 25-26 第三章 多模态视频检索模型 26-42 3.1 多模态视频检索模型框架 26-27 3.2 模块分析 27-41 3.2.1 查询输入模块 27-29 3.2.2 文本检索模块 29-30 3.2.3 图像检索模块 30-32 3.2.4 语义检索模块 32-33 3.2.5 结果融合模块 33-36 3.2.6 特定语义过滤模块 36-37 3.2.7 本体过滤模型 37-38 3.2.8 结果输出模块 38 3.2.9 交互式学习模块 38-41 3.3 本章小结 41-42 第四章 查询主题分析 42-46 4.1 查询主题分类 42-44 4.2 查询主题分类的使用 44-45 4.3 本章小结 45-46 第五章 实验分析 46-54 5.1 TRECVID评测标准 46-47 5.2 TRECVID 2005实验分析 47-49 5.3 TRECVID 2006实验分析 49-51 5.4 TRECVID 2007实验分析 51-53 5.5 本章小结 53-54 第六章 展望与总结 54-55 附录一 硕士期间发表的论文 55-56 附录二 硕士期间主要工作 56-57 参考文献 57-60 致谢 60-61
|
相似论文
- 基于嵌入式系统钻孔成像装置的研究,P634.3
- 基于Davinci技术的车辆检测与跟踪算法的研究与实现,TP301.6
- 多DSP目标检测软件设计与优化,TP368.1
- 基于DM368的高清IP Camera的软件系统设计与实现,TP391.41
- 基于DM368处理器的单通道视频编码器系统软件设计,TN919.81
- 基于压缩域特征的视频检索技术研究,TP391.41
- 视频镜头边界检测算法的研究,TP391.41
- 基于DSP技术广播/电视执行终端的研制,TP277
- 视频监控系统中的多目标检测与跟踪技术研究,TP391.41
- 基于视频分析的沥青拌和料配比监控系统,TP391.41
- 高性能视频检索平台中网络性能优化设计与实现,TP393.09
- Retinex图像增强技术研究及其DSP实现,TP391.41
- 基于FPGA及NiosⅡ软核处理器的监控视频处理器设计,TP277
- 基于SOPC视频降噪系统的研究与设计,TP391.41
- 基于DM642的嵌入式雾天实时处理算法研究与实现,TP391.41
- 概率学习像素分类法去除农作物视频中阴影,TP391.41
- 视频图像中雨滴检测与去除方法的研究,TP391.41
- 数字化瞄准具实时图像处理系统的开发,TP391.41
- 视频监控中基于人的检测与跟踪,TP277
- 基于能量优化的图像与视频纹理替换技术研究,TP391.41
- 基于纹理的视频镜头边界检测系统研究,TP391.41
中图分类: > 工业技术 > 自动化技术、计算机技术 > 计算技术、计算机技术 > 计算机的应用 > 信息处理(信息加工) > 检索机
© 2012 www.xueweilunwen.com
|