学位论文 > 优秀研究生学位论文题录展示

基于连续深度融合的多视图三维重建研究

作　者: 朱文峤
导　师: 许端清
学　校: 浙江大学
专　业: 计算机科学与技术
关键词: 三维重建立体匹配畸变矫正深度融合连续优化
分类号: TP391.41
类　型: 博士论文
年　份: 2013年
下　载: 53次
引　用: 0次
阅　读: 论文下载

内容摘要

随着影视、动漫与游戏行业的蓬勃发展,其对高真实感三维场景重建的需求越来越多。而在文物数字化等领域,对于三维模型重建要求更高,从三维重建的逼真度要求上升到了对三维形体准确度及表面色彩保真度的要求。基于多视图立体匹配的三维重建是实现上述需求的一种重要方法,可直接计算得到包含准确色彩纹理的三维模型结果。准确性、鲁棒性以及计算效率是评价基于多视图立体匹配三维重建的重要标准。图像的畸变、随机噪声、重复纹理以及物体间的遮挡等因素影响了多视图立体匹配算法的鲁棒性和重建结果的准确性。本文主要从提升算法鲁棒性和重建结果的准确性两个方面来深入研究面向复杂场景的三维重建方法：一方面,研究高质量的深度图计算以及融合算法,通过对影响深度计算准确性的一些因素进行建模,提高计算结果的准确性。另一方面,研究基于连续优化的深度计算方法,利用连续优化计算鲁棒性高的特点,来提高三维重建算法的鲁棒性。具体地,本文研究图像的径向畸变矫正、基于非凸连续优化的深度计算、基于凸连续优化的深度计算以及基于连续深度图融合的多视图立体匹配。主要工作与创新包括：●提出了一种基于矩阵QR分解的图像径向畸变矫正算法,解决了现有三维重建管线中畸变参数计算不够鲁棒的问题,提升了多视图三维重建算法的鲁棒性和重建结果的准确性。通过将畸变参数计算转化成矩阵分解问题,简化了参数的计算过程。●提出了一种基于对称连续优化的深度图计算方法,使能量泛函的解更趋于全局最优解,有效的提高了深度图的质量。通过将立体匹配问题转化成连续马尔科夫随机域的形式,建立了基于对称连续优化的深度计算模型。在模型的数据项中,引入颜色一致性约束和梯度一致性约束,提高了算法的准确性。设计了基于多层图像金字塔的迭代计算框架,有效地提高了计算出的深度图的质量。在匹配泛函模型的设计中,还引入了左右一致性约束,进一步提升了深度计算结果的准确性。●提出了一种基于凸优化的深度图计算方法,有效地提高了深度计算过程的鲁棒性和计算结果的准确性。针对物体间的相互遮挡等原因导致深度并不是严格连续的问题,提出了分段连续假设条件下的深度图计算方法将深度计算问题转化成自由不连续泛函模型来实现深度的计算,同时在泛函模型中引入了图像分割的先验知识,有效地抑制深度图在图像低频区域的噪声。通过利用将泛函模型松懈成凸泛函的方法,确保了深度图的计算过程不依赖初始值,提升了算法的鲁棒性,提高了深度图的质量。●提出了一种基于连续深度图融合的三维重建方法,提高了重建模型的准确性。通过利用左右一致性信息来控制深度图不同区域的更新速度,提高了深度图的质量。设计了一种利用近邻图像信息和深度信息进行深度图优化的机制,进一步提高了深度图的质量。综合利用左右一致性约束信息、点的法向量信息以及相机的视角信息有效解决了深度融合过程中的去噪问题。

全文目录

致谢  5-6
摘要  6-8
Abstract  8-18
第1章绪论  18-24
  1.1 课题背景  18-19
  1.2 问题的提出  19-21
  1.3 研究内容和意义  21-22
  1.4 本文结构  22-24
第2章多视图三维重建技术综述  24-43
  2.1 相机标定技术  24-28
    2.1.1 针孔模型  24-27
    2.1.2 图像畸变矫正  27-28
  2.2 双目立体匹配  28-32
    2.2.1 对极几何  28-29
    2.2.2 局部窗口匹配方法  29-31
    2.2.3 基于能量函数最小化的方法  31-32
  2.3 多视图立体匹配  32-40
    2.3.1 基于深度图融合的方法  33-36
    2.3.2 基于特征扩充的方法  36-37
    2.3.3 基于体素的方法  37-38
    2.3.4 基于曲面演变的方法  38-39
    2.3.5 深度融合与表面计算  39-40
  2.4 进一步的分析  40-41
  2.5 本章小结  41-43
第3章基于QR分解的图像径向畸变矫正  43-59
  3.1 径向畸变以及畸变模型  44-45
  3.2 参数计算  45-46
  3.3 基于QR分解的畸变参数计算  46-49
    3.3.1 基于多条直线的径向畸变计算  48
    3.3.2 退化的情形  48-49
  3.4 图像矫正计算  49-52
    3.4.1 双线性插值计算  51-52
  3.5 算法流程  52
  3.6 实验与分析  52-58
    3.6.1 模拟实验  53-55
    3.6.2 基于单条线特征的矫正实验  55-57
    3.6.3 基于多条线的矫正实验  57-58
  3.7 本章小结  58-59
第4章基于对称连续优化的视差计算  59-82
  4.1 连续视差计算模型  59-62
    4.1.1 数据项  60-61
    4.1.2 左右一致性约束  61
    4.1.3 总变差平滑约束  61-62
    4.1.4 能量函数展开  62
  4.2 能量泛函最小化  62-68
    4.2.1 线性化  63-65
    4.2.2 SOR算法  65-66
    4.2.3 多层金字塔计算  66-67
    4.2.4 算法流程  67-68
  4.3 数值计算  68-72
    4.3.1 空间离散化  69
    4.3.2 操作符离散化  69-70
    4.3.3 函数离散化  70-71
    4.3.4 复杂度分析  71-72
  4.4 实验与分析  72-81
    4.4.1 实验测试数据集  72-74
    4.4.2 初始视差计算与预处理  74-75
    4.4.3 连续优化结果与分析  75-81
  4.5 本章小结  81-82
第5章基于凸优化的视差计算  82-102
  5.1 数学背景介绍  82-85
    5.1.1 自由不连续问题  83-84
    5.1.2 Calibration方法  84-85
  5.2 连续优化视差函数建模  85-88
    5.2.1 数据项  86-87
    5.2.2 平滑约束项  87-88
  5.3 能量函数最小化计算  88-94
    5.3.1 数值计算  89-93
    5.3.2 复杂度分析  93-94
  5.4 实验与分析  94-100
    5.4.1 分段连续性的保持  94-95
    5.4.2 不同窗口大小对视差结果的影响  95-100
    5.4.3 综合分析  100
  5.5 本章小结  100-102
第6章基于连续深度融合的多视图立体匹配  102-123
  6.1 算法的框架介绍  102-104
    6.1.1 相机标定  103-104
    6.1.2 基于连续深度图融合的多视图立体匹配  104
  6.2 基于连续深度图融合的多视图立体匹配算法描述  104-114
    6.2.1 立体匹配图像对选择  104-105
    6.2.2 图像对极矫正  105-106
    6.2.3 连续深度计算  106-109
    6.2.4 基于近邻图像的视差提升  109-111
    6.2.5 迭代视差优化  111-112
    6.2.6 连续深度计算与融合  112-114
  6.3 实验与分析  114-122
    6.3.1 基于Middlebury图集的算法验证  115-118
    6.3.2 实际场景的三维重建验证  118-122
  6.4 本章小结  122-123
第7章总结与展望  123-125
  7.1 本文工作总结  123-124
  7.2 未来工作展望  124-125
参考文献  125-134
攻读博士学位期间主要的研究成果  134

基于连续深度融合的多视图三维重建研究

内容摘要

全文目录

相似论文