学位论文 > 优秀研究生学位论文题录展示

基于视觉的人体跟踪技术在人机交互中的应用

作　者: 谢小舜
导　师: 傅彦；欧阳彦
学　校: 电子科技大学
专　业: 软件工程
关键词: 数字娱乐计算机视觉人机交互人体跟踪
分类号: TP11
类　型: 硕士论文
年　份: 2010年
下　载: 125次
引　用: 0次
阅　读: 论文下载

内容摘要

现阶段,数字娱乐领域的人机交互模式单一,此研究将计算机视觉引入数字娱乐的人机交互,采用基于视觉的人体运动分析作为数字娱乐的人机游戏交互界面,进一步丰富和完善了数字娱乐的人机接口。本研究应用了一个简易的人体上半身三维模型,这个模型对跟踪和人体模型的恢复有很强的指导作用,能够很好地模拟人上半身的一般动作。使用USB单摄像头采集图像,实时计算场景深度信息,然后结合使用深度和颜色信息进行人体跟踪,做了基于颜色直方图的粒子滤波的跟踪算法,并得出了实验结果。通过实验证明,该系统能在复杂背景下对人体上半身的一般运动进行实时鲁棒的跟踪和识别,并很好地解决了自动初始化和错误恢复等问题。此外还开发了一套数字娱乐程序框架和一款运用了DirectX技术,完全使用人体运动分析系统且通过身体驱动的Stranded游戏,运用Body Tracking类作为该游戏的输入系统,该类是输入系统中的最主要的一个类。它是把基于视觉的人体跟踪技术运用在游戏中的人机交互接口的平台,以手部姿态跟踪与识别为例进行人机交互的实现,头部的跟踪与识别则参照上述方法和程序进行实现。本游戏系统通过从USB摄像机中获取的人体实时图像,经过图像的预处理(图像的简化等),得到不同阙值的人体头部和人手的特征量,并从中选取当前背景下最合适的阙值,让决策树进行识别,最后通过窗口控制来作为游戏中替代鼠标键盘的输入方式,实现游戏的人机交互,从而构建了一个新颖的具有很强人机交互特点的数字娱乐系统。

全文目录

摘要  4-5
Abstract  5-9
第一章绪论  9-11
  1.1 基于计算机视觉的人机交互技术与人体运动分析简介  9-10
    1.1.1 基于计算机视觉的人机交互技术简介  9
    1.1.2 基于计算机视觉的人体运动分析简介  9-10
  1.2 本文的研究目的和意义  10
  1.3 论文的主要工作  10-11
第二章基于视觉的单摄像机人体跟踪理论、方法与技术  11-31
  2.1 概述  11
  2.2 人体模型的设计  11-14
    2.2.1 静态约束  12-14
    2.2.2 运动约束  14
  2.3 基于人体模型的跟踪方法  14-29
    2.3.1 特征的选取  15-18
    2.3.2 背景的简化  18-21
      2.3.2.1 HSI 颜色空间  19-20
      2.3.2.2 高斯分布背景简化模型  20-21
      2.3.2.3 前景生成  21
    2.3.3 常见跟踪模型以及优化  21-25
      2.3.3.1 卡尔曼滤波方法  21-22
      2.3.3.2 粒子滤波方法  22-25
      2.3.3.3 Mean‐shift 类方法  25
    2.3.4 人体跟踪技术的初始化方法  25-29
      2.3.4.1 基于Haar 特征的人脸检测方法  25-27
      2.3.4.2 基于肤色聚类的人手检测方法  27-29
  2.4 人体跟踪系统的错误恢复方法  29
  2.5 本章小结  29-31
第三章人机交互三维游戏系统的设计  31-39
  3.1 人机交互系统模型  31-32
    3.1.1 人体跟踪系统模型  31-32
    3.1.2 人机交互三维游戏模型  32
  3.2 人机交互三维游戏系统的功能模块图  32-33
    3.2.1 人体跟踪系统的功能模块图  32-33
    3.2.2 人机交互三维游戏的功能模块图  33
  3.3 人机交互三维游戏系统的功能模块简介  33-38
    3.3.1 人体跟踪系统的功能模块  33-36
    3.3.2 人机交互三维游戏的功能模块  36-38
  3.4 本章小节  38-39
第四章人机交互三维游戏系统的实现  39-71
  4.1 人体跟踪系统的实现  39-49
    4.1.1 系统配置  39-40
    4.1.2 人体跟踪技术的实现  40-49
      4.1.2.1 图像数据的采集  40
      4.1.2.2 图像背景的简化  40
      4.1.2.3 图像中头部的定位与跟踪  40-43
      4.1.2.4 图像中人手的定位与跟踪  43-45
      4.1.2.5 三维模型恢复  45-48
      4.1.2.6 跟踪器的错误恢复  48-49
      4.1.2.7 实验结果  49
  4.2 “Stranded”三维游戏以及人机交互接口的实现  49-70
    4.2.1 “Stranded”游戏的体系结构  50-52
    4.2.2 “Stranded”游戏的系统实现  52-70
      4.2.2.1 游戏资源组织  53-58
      4.2.2.2 摄像机移动和碰撞检测  58-60
      4.2.2.3 游戏元素加载  60-64
      4.2.2.4 人机交互接口系统的实现  64-69
      4.2.2.5 游戏程序运行结果分析  69-70
  4.3 本章小节  70-71
第五章人机交互三维游戏系统演示  71-78
  5.1 游戏“Stranded”的菜单和界面  71-73
    5.1.1 游戏“Stranded”的主菜单  71-72
    5.1.2 游戏“Stranded”的启动游戏菜单  72-73
    5.1.3 游戏“Stranded”的加载界面  73
  5.2 游戏“Stranded”的检测碰撞  73-74
  5.3 游戏“Stranded”的元素加载  74-76
    5.3.1 游戏“Stranded”的模型加载  74-75
    5.3.2 游戏“Stranded”的场景加载  75
    5.3.3 游戏“Stranded”的元素加载  75-76
  5.4 游戏“Stranded”的运行时刻界面  76-77
  5.5 本章小结  77-78
第六章结论与展望  78-80
致谢  80-81
参考文献  81-84

基于视觉的人体跟踪技术在人机交互中的应用

内容摘要

全文目录

相似论文