学位论文 > 优秀研究生学位论文题录展示

无标记人体运动捕捉及姿态估计的研究

作　者: 万成凯
导　师: 袁保宗
学　校: 北京交通大学
专　业: 信号与信息处理
关键词: 运动捕捉姿态估计 MRF 运动目标提取人体模型活动轮廓水平集曲线演化
分类号: TP391.41
类　型: 博士论文
年　份: 2009年
下　载: 815次
引　用: 12次
阅　读: 论文下载

内容摘要

人类感知外界信息,80%以上是通过视觉得到的,让计算机具有视觉是人类多年以来的梦想。随着人机交互技术的发展,人与计算机之间自然的、多模态的交互将成为人与计算机之间交互的主要方式。而这首先就需要计算机可以正确地理解和捕捉人的行为,运动捕捉正是在这种背景下提出来。运动捕捉是指检测和记录运动目标(通常是人)的动作或表情,并将其转化为数字化的“抽象运动”的技术,其结果则表示为不同时刻目标所处的姿态。它是新一代人机交互的关键技术之一,同时也可应用于动画游戏制作、运动分析、虚拟现实、智能监控及模型基编码等领域。基于视觉的人体运动捕捉具有非入侵、成本低、智能化等优点。从图像序列中获取人体的姿态信息已经成为运动捕捉领域的热点之一。然而由于存在人体的非刚体运动、三维空间到二维图像平面投影的多义性、人体的遮挡与自遮挡、高维状态空间搜索、复杂条件下的图像特征提取与匹配等方面的困难,从视频图像中恢复出人体三维运动姿态存在大量的不确定性。因此三维人体运动捕捉是计算机视觉领域一项非常有挑战性的任务。本文正是从计算机视觉的角度出发,对基于视觉的人体运动捕捉和姿态估计进行了深入地研究,其取得的主要成果可以总结如下:1.提出了一种集多种约束功能的活动轮廓运动目标提取算法,即MC-GMM-Active Contours。它在活动轮廓的框架之下引入了对GMM背景模型的描述。为了有效地利用前一帧已经获得的前景目标的有关信息,能量函数中引入了前景颜色模型。为了有效的抑制阴影,能量函数中引入了阴影消除能量项来代替以往独立的阴影消除模块。人们对物体的认识主要是来自于其外形轮廓,而能量函数的曲率约束项则将目标轮廓及先验知识约束统一于运动目标提取的过程之中。能量函数的优化采用曲线演化及水平集方法来优化目标函数的方法。而在水平集的数值解中,采用了半隐式无条件稳定的加性算子分裂算法(Additive OperatorSplitting,AOS)。这些使得我们在固定摄像机条件下,获得了比通常算法更准确和快速的运动目标提取算法。2.提出了一种结合改进的三维动态马尔可夫随机场(Markov Random Fields)和距离能量模型(Distance Energy Model)的姿态估计方法(M-MRF-DEM)。相比以往基于MRF的运动捕捉算法,有如下的改进:为了使模型与表演者任何时候都合身紧凑,我们提出了一种基于骨架模型的自适应距离能量模型。它可以根据姿态估计过程中的反馈,对人体模型进行在线更新。为了可以更有效的描述MRF中体素之间的关系,我们采用了一个更准确的二元交互势。为了能更好地约束人体运动姿态的合理性,我们引入了更合理的附加约束项。实验表明改进后的算法使得估计的姿态更为鲁棒。3.提出了一种无需目标提取的3D活动轮廓运动捕捉算法。该方法不再把运动目标提取和姿态估计作为两个独立的模块相继处理。以往的运动目标提取模块提取出人体轮廓之后,后续的处理步骤只关注图像中轮廓以内的部分,这使得后续步骤中信息出现丢失。同时这也使得后续的处理过分依赖目标提取的结果,一旦目标提取存在错误则在后续步骤中无法恢复。而基于3D活动轮廓的人体运动捕捉将人体的目标提取与姿态估计无缝地整合到活动轮廓的框架下,借助于人体模型,将运动捕捉与三维重建两个任务有机地结合起来,克服了前面的缺点。同时该算法引入了人体运动先验约束项来抑制三维数据中摄像机遮挡带来的影响,这些改进使得我们的算法获得比通常算法具有更高效率和更加鲁棒的效果。4.提出了一种基于2D活动轮廓的强先验运动目标分割与人体姿态估计算法。该方法同样不再把运动目标提取作为一个独立的模块来单独处理。但是在很多情况下,人们不仅需要得到更加精确姿态估计,同时也要获得运动目标分割的较好结果。因此本方法致力于同时获得人体的姿态和目标分割的更好结果。本方法仍以人体模型为基础,将运动捕捉和目标分割统一在活动轮廓的框架之下。一方面人体模型的强先验知识可以指导目标分割获得更好的分割效果,另一方面好的目标提取效果又使得姿态估计有更高的精度。

全文目录

摘要  5-7
ABSTRACT  7-13
第一章绪论  13-27
  1.1 论文的研究背景  13-19
    1.1.1 第四代人机自然交互与通信  14-16
    1.1.2 运动捕捉是第四代人机交互中的关键技术之一  16-17
    1.1.3 运动捕捉在其它领域的应用  17-19
  1.2 运动捕捉的研究现状  19-22
    1.2.1 运动捕捉系统分类  19-20
    1.2.2 基于视觉的人体运动捕捉  20-22
  1.3 论文的主要内容和结构安排  22-27
    1.3.1 论文的主要内容  22-25
    1.3.2 论文的结构安排  25-27
第二章人体运动捕捉与姿态估计的技术综述  27-43
  2.1 难点所在  27-28
  2.2 运动目标提取与跟踪  28-34
    2.2.1 时间差分  29-30
    2.2.2 背景减除  30-31
    2.2.3 光流法  31
    2.2.4 活动轮廓  31-32
    2.2.5 基于马尔可夫随机场的方法  32-33
    2.2.6 均值漂移(Mean shift)  33
    2.2.7 粒子滤波  33-34
  2.3 姿态估计  34-42
    2.3.1 基于模型的人体姿态估计  35-40
    2.3.2 无模型的姿态估计方法  40-42
  2.4 基于视觉运动捕捉的趋势和发展方向  42-43
第三章基于活动轮廓的运动目标提取  43-67
  3.1 对GMM方法、MRF-MAP方法和活动轮廓方法的分析  43-48
    3.1.1 基于GMM的背景减除方法  43-45
    3.1.2 基于马尔可夫随机场的最大后验概率方法[MRF-MAP]  45-46
    3.1.3 基于活动轮廓的方法  46-48
  3.2 多约束GMM背景模型的活动轮廓运动目标提取方法[MC-GMM-Active Contours]  48-54
    3.2.1 基于GMM背景模型的活动轮廓  48-50
    3.2.2 引入对前景颜色模型的描述  50-52
    3.2.3 引入阴影消除项  52-54
  3.3 Level Set框架下轮廓的演化和跟踪(能量函数的最小化)  54-61
    3.3.1 引理和命题  54-55
    3.3.2 能量函数的微分形式  55-56
    3.3.3 基于Level Set的曲线演化  56-58
    3.3.4 水平集数值解及快速算法----加性算子分裂法(AOS)  58-61
  3.4 实验  61-65
  3.5 小结  65-67
第四章基于马尔可夫随机场和自适应能量模型的姿态估计  67-93
  4.1 相关问题  67-71
    4.1.1 马尔可夫随机场(Markov Random FieldS)  67-69
    4.1.2 马尔可夫随机场最小能量的求解---切图算法(Graph Cuts)  69-71
  4.2 三维重建及数据的表示  71-72
  4.3 人体骨架模型及姿态参数  72-74
  4.4 基于三维动态马尔可夫随机场和自适应能量模型的运动捕捉算法  74-87
    4.4.1 Sun工作的分析[3D-DMRF]  75-77
    4.4.2 算法的改进  77-79
    4.4.3 基于三维马尔可夫随机场和自适应距离能量模型的运动捕捉算法细节[M-MRF-DEM]  79-87
  4.5 实验  87-91
  4.6 小结  91-93
第五章基于3D活动轮廓的人体运动捕捉  93-109
  5.1 基于3D活动轮廓的三维体素数据重建  93-96
  5.2 基于3D活动轮廓的人体运动捕捉  96-102
    5.2.1 能量函数的基本构成  96-97
    5.2.2 人体运动先验约束项  97-98
    5.2.3 能量函数的优化  98-102
  5.3 实验  102-107
  5.4 小结  107-109
第六章基于2D活动轮廓的强先验分割与姿态估计  109-127
  6.1 问题的提出  109-110
  6.2 基于形状先验的分割  110-111
  6.3 基于2D活动轮廓的强先验分割与姿态估计  111-118
    6.3.1 运动目标分割的简单回顾  111-112
    6.3.2 人体模型的引入  112-114
    6.3.3 能量函数的优化  114-118
  6.4 实验  118-126
  6.5 小结  126-127
第七章总结与展望  127-131
  7.1 本文的研究成果  127-128
  7.2 下一步工作的展望  128-129
  7.3 结束语  129-131
参考文献  131-147
攻读博士学位期间撰写论文  147-149
附录A  149-151
附录B  151-152
致谢  152-154
学位论文数据集  154

无标记人体运动捕捉及姿态估计的研究

内容摘要

全文目录

相似论文