学位论文 > 优秀研究生学位论文题录展示

自由视点视频深度图估计的关键技术研究

作　者: 霍智勇
导　师: 朱秀昌
学　校: 南京邮电大学
专　业: 信号与信息处理
关键词: 自由视点视频深度图估计从运动中恢复结构光流约束区域立体匹配 DAISY描述符 Epanechnikov权重核基于深度图的渲染
分类号: TP391.41
类　型: 博士论文
年　份: 2013年
下　载: 487次
引　用: 0次
阅　读: 论文下载

内容摘要

人们在观看立体图像时能够体会到画面的深度感，在观看多视点视频时可以根据自己的喜好选择不同的视角，这些都是普通二维视频难以达到的效果，受到越来越多观众的欢迎。因此，立体和多视点视频是当今视频技术和应用的主流发展方向之一，具有非常广阔的市场前景。其中有多项需要解决的关键技术，如多视点纹理和深度信息的获取，多视点视频的编解码和传输，以及多视点视频的渲染等，尤其是有关深度信息的准确获得已成为当前热门研究领域之一。本文研究的关注点是在多视点视频系统中如何给立体内容加入视点交互，获得相应场景的深度信息，以及如何由深度信息进行多视点渲染，使观众可以自由选择观看的视点位置。本文从构建自由视点视频系统的角度出发，在三个方面开展了相关关键技术的研究工作，即从单视点运动视频中获得可靠深度图，从多视点视频中获得可靠深度（视差）图以及利用基于深度图的渲染（Depth Image Based Rendering，DIBR）技术进行虚拟视点图像合成。主要工作和创新点如下：1．从单视点运动视频中估计出深度图是非常困难的，本文联合利用SFM（Structure fromMotion）和光流计算将视频中的图像帧转变为纹理＋深度图的格式，并且每一帧都有关联的摄像机姿态。算法首先利用SFM获得场景的稀疏表示、图像帧之间特征点的匹配关系，以及每个关键帧的摄像机姿态。在给定参考帧后，根据质量测量选定另一个参与运动流计算的图像帧，通过测量图像之间的运动流实现场景稀疏表示的结构稠密化，获得最优质量的深度图。算法不进行任何深度图内插计算。2．为了在低计算复杂度下获得可靠的深度图，本文将全局优化的方法应用到区域立体匹配的框架内，提出不同的两种从立体图像对中提取深度信息的算法：一种是基于全局差错能量最小化的方法，另一种是基于线性区域生长的方法。全局差错能量最小化是在视差搜索范围内使用块匹配技术为每一个视差构建一个差错能量矩阵。线性生长法是判断某个点与根点之间关联度的差错能量是否小于预先设定的阈值。算法对每一个差错矩阵反复进行均值滤波，寻找最小差错能量，进而获得视差图和深度图。算法利用平滑函数进行全局最优化，通过检测视差图中的高误差能量，剔除由于遮挡区域造成的不可靠预测视差点，以提高视差图的可靠性。在匹配过程中，应用递归二维均值滤波技术快速计算方法对区域匹配算法进行优化，从而提高算法效率。3．针对低纹理区域和遮挡会引起双目立体歧义的问题，提出一种基于DAISY特征和改进型权重核的快速立体匹配视差生成的算法。该算法首先稠密构造局部特征的DAISY描述，计算初始匹配成本；基于Epanechnikov权重核双通聚合消除特征相似歧义得到可靠匹配代价；按照“胜者全拿”的优化准则获得初始视差。然后，利用改进型双边滤波、对称一致性验证和多方向权重视差外插等策略改善视差估计精度。实验结果表明，该方法能有效提高匹配精度，得到分段光滑、精度高的稠密视差，且结构简单、复杂度低。4．针对现有DIBR虚拟视点图像渲染算法存在的问题，提出一种基于深度信息进行后处理的DIBR虚拟视点渲染算法。该算法利用摄像机参数和深度信息，将参考视点图像的纹理和深度图变形到虚拟视点，利用基于深度信息的后处理消除变形图像中的裂缝和伪影，结合深度信息采用inpaint技术填补剩余的纹理空洞。实验结果显示，该方法不论从主观质量或是客观质量上均优于现有的虚拟视点生成方法。在数值试验中，还对多视点渲染算法的图像合成质量进行比较，以及对视频压缩的影响进行了分析。

全文目录

摘要  6-8
ABSTRACT  8-10
缩略语表  10-12
图表目录  12-17
第1章绪论  17-24
  1.1 引言  17
  1.2 课题背景及意义  17-20
  1.3 论文的主要工作和创新之处  20-22
  1.4 论文的结构安排  22-23
  1.5 本章小结  23-24
第2章自由视点视频技术研究  24-37
  2.1 自由视点视频的国内外研究现状  25-29
  2.2 SFM的深度图估计研究  29-32
  2.3 视点图像立体匹配技术的研究  32-33
  2.4 虚拟视点渲染技术研究  33-36
  2.5 本章小结  36-37
第3章基于 SFM 和光流的深度图联合估计  37-69
  3.1 深度图联合估计算法  37-38
  3.2 场景特征点检测与跟踪  38-41
    3.2.1 特征点检测  38-40
    3.2.2 特征点跟踪  40-41
  3.3 视频关键帧的选择  41-43
    3.3.1 关键帧选择原理  41-43
    3.3.2 关键帧选择过程  43
  3.4 从运动中恢复3D稀疏结构  43-50
    3.4.1 恢复初始结构  44-46
    3.4.2 恢复结构的更新  46-50
  3.5 从运动中恢复3D稠密结构  50-55
    3.5.1 运动稠密化  50-51
    3.5.2 结构稠密化  51-54
    3.5.3 深度尺度化调整  54-55
  3.6 数值仿真与分析  55-67
    3.6.1 3D结构恢复  55-60
    3.6.2 恢复深度图  60-67
  3.7 本章小结  67-69
第4章全局优化的区域立体匹配深度图估计  69-84
  4.1 约束条件与可靠性计算  70-73
    4.1.1 多视点平面配置  71
    4.1.2 深度和视差的关系  71-73
    4.1.3 视差图可靠度的计算  73
  4.2 全局差错能量最小化法  73-74
  4.3 线性生长法  74-75
  4.4 数值仿真与分析  75-83
    4.4.1 能量最小化法仿真  76-77
    4.4.2 线性生长法仿真  77-80
    4.4.3 可靠度比较  80-81
    4.4.4 计算时间比较  81-82
    4.4.5 3D 视图  82-83
  4.5 本章小结  83-84
第5章基于鲁棒局部特征描述的区域立体匹配  84-95
  5.1 引言  84-85
  5.2 立体匹配的初始化  85-88
    5.2.1 基于 DAISY 的初始匹配成本  85-86
    5.2.2 基于双通EKSW的成本聚合  86-88
    5.2.3 基于局部WTA的视差优化  88
  5.3 稳健视差的估计过程  88-90
    5.3.1 视差联合双边滤波  88-89
    5.3.2 左右一致性不可靠检测  89
    5.3.3 多方向权重化视差填充  89-90
  5.4 数值仿真与分析  90-93
  5.5 本章小结  93-95
第6章基于深度信息后处理的虚拟视点渲染算法  95-115
  6.1 DIBR绘制技术  95-96
  6.2 存在问题及解决方案  96-104
    6.2.1 裂缝和空洞填充  98-100
    6.2.2 重影的消除  100-102
    6.2.3 遮挡区域的重绘  102-104
  6.3 算法结构  104-106
  6.4 数值仿真与分析  106-114
    6.4.1 DIBR生成虚拟视点图像  108-111
    6.4.2 生成视点的质量评价  111-114
  6.5 本章小结  114-115
第7章总结与展望  115-118
  7.1 取得的研究成果  115-116
  7.2 可进一步研究的问题  116-118
致谢  118-119
参考文献  119-129
攻读博士学位期间的学术成果  129-130

自由视点视频深度图估计的关键技术研究

内容摘要

全文目录

相似论文