学位论文 > 优秀研究生学位论文题录展示

应用Kinect与手势识别的增强现实教育辅助系统

作　者: 钱鹤庆
导　师: 申瑞民
学　校: 上海交通大学
专　业: 计算机视觉与模式识别
关键词: 计算机视觉 Kinect 手势识别 增强现实 智能教室 E-Learning
分类号: TP391.41
类　型: 硕士论文
年　份: 2011年
下　载: 964次
引　用: 3次
阅　读: 论文下载
 

内容摘要


计算机视觉(CV)是一门研究如何利用计算机来处理一系列视觉问题的研究领域。手势识别是其中一个重要议题。其目标是利用计算机理解人类的手势从而创造一系列自然的人机交互(HCI)体验。上海交通大学E-Learning实验室的标准自然教室(SNC)在传统教室的基础上,利用大量的人工智能,计算机视觉,多媒体等技术,为师生提供更加交互的教学环境。本文通过对最新的科技产品Kinect在SNC的创新智能教室框架下的应用探索,提出了结合手势识别与增强现实技术的教育辅助系统的设想并进行了实现。本论文的主要工作包括了几个方面。首先是对Kinect这一最新设备在标准自然教室中的应用研究。我们提出可以应用Kinect来增加SNC中更自然的人机交互模式。其次通过对手势识别方法进行调研,应用Kinect的人体模型,选取了DTW算法进行动态姿势识别。同时提出了一种结合动态与静态手部识别的识别方法。在动态识别手臂动作的基础上,通过肤色模型对手部进行检测,提取手部轮廓信息。我们选择Hu不变矩对手部轮廓抽取特征进行静态识别。通过增加静态的识别,减少了动态识别的误识可能,也增加了可供识别的手势种类。最后通过对增强现实应用的调研,利用三维建模技术,在Kinect人体检测与跟踪的基础上,增加手势控制模型,完成了一个虚拟地球仪的教育辅助系统。本文的工作在标准自然教室相关研究中属首创,具有重要应用创新价值。同时对相关算法的研究也具有一定学术价值。本论文的工作也为后续的研究开发工作打下了良好的基础。

全文目录


摘要  3-5
ABSTRACT  5-10
第一章绪论  10-21
  1.1 E-LEARNING 与标准自然教室（SNC）  10-12
    1.1.1 E-Learning 概述  10-11
    1.1.2 标准自然教室（SNC）  11-12
  1.2 KINECT 简介  12-14
  1.3 研究背景与现状  14-18
    1.3.1 手势识别  14-17
    1.3.2 增强现实  17-18
  1.4 论文的研究内容、意义  18-19
  1.5 论文的主要成果  19-20
  1.6 论文的结构  20
  1.7 本章小结  20-21
第二章 基于视觉的手势识别方法概述  21-29
  2.1 基于视觉的手势识别一般流程  21-22
  2.2 人手（身体）检测与跟踪  22-24
    2.2.1 Adaboost 人手检测  22-23
    2.2.2 肤色模型  23
    2.2.3 Kinect 的检测与跟踪方法  23-24
  2.3 人手（身体）建模与特征提取  24-27
    2.3.1 kinematic 模型  24-25
    2.3.2 轮廓特征  25-26
    2.3.3 人体模型  26-27
  2.4 识别算法  27-28
    2.4.1 机器学习算法  27
    2.4.2 模板匹配  27-28
    2.4.3 动态算法  28
  2.5 本章小结  28-29
第三章基于手势识别的增强现实相关算法  29-44
  3.1 基于DTW 算法的动态手势识别  29-33
    3.1.1 DTW 算法原理  29-31
    3.1.2 人体正规化  31-32
    3.1.3 加权欧式距离  32-33
  3.2 基于轮廓的静态手势识别  33-41
    3.2.1 肤色检测  33-36
    3.2.2 轮廓提取  36-39
    3.2.3 轮廓匹配  39-41
  3.3 增强现实计算  41-43
  3.4 本章小结  43-44
第四章实验与结果分析  44-57
  4.1 DTW 动态手势识别  44-48
    4.1.1 DTW 手势训练  44-47
    4.1.2 DTW 手势识别测试  47-48
  4.2 基于轮廓匹配的静态手势识别  48-53
    4.2.1 肤色模型测试  48-49
    4.2.2 轮廓提取测试  49-50
    4.2.3 Hu 矩轮廓匹配测试  50-53
  4.3 其他测试  53-56
    4.3.1 动态与静态结合测试  53-55
    4.3.2 增强现实计算测试  55-56
  4.4 本章小结  56-57
第五章系统设计与实现  57-69
  5.1 系统硬件以及软件环境介绍  57-59
  5.2 系统框架  59-62
    5.2.1 系统逻辑架构  59-60
    5.2.2 系统主要流程图  60-62
  5.3 系统实现  62-66
    5.3.1 DTW 训练与识别框架的实现  62-64
    5.3.2 原型系统实现  64-66
  5.4 系统运行结果  66-69
第六章总结与展望  69-71
  6.1 总结  69
  6.2 改进以及展望  69-71
参考文献  71-74
程序源代码（附录1）  74-77
致谢  77-79
攻读硕士学位期间已发表的论文、申请的专利和参与项目  79-81

相似论文

  1. 基于学习的低阶视觉问题研究,TP391.41
  2. 基于视觉的番木瓜外观品质检测技术研究,S667.9
  3. 基于计算机视觉对“次郎”甜柿外部品质检测与分级的研究,S665.2
  4. 手势追踪研究与手势识别应用平台实现,TP391.4
  5. 基于计算机视觉的脱水蒜片检测与分级研究,TP391.41
  6. 基于运动目标轨迹分析的智能交通监控系统,TP277
  7. 体育“B-learning”学习理论与实验研究,G807.0
  8. 裸眼三维增强现实关键技术研究,TP391.41
  9. 手机增强现实虚实注册关键技术研究,TP391.9
  10. 人机交互中的手指定位研究与应用,TP11
  11. 户外目标识别及在增强现实中的应用,TP391.9
  12. 增强现实系统中火焰特效关键技术研究,TP391.9
  13. 基于ARToolKit增强现实交互场景的研究,TP391.41
  14. 利用Kinect估计人体头部姿态,TP391.41
  15. 基于DSP的单目视觉定位方法关键技术研究,TP391.41
  16. 日本产学官连携に关する主な制度形成の研究,H36
  17. 基于视觉的人体跟踪技术在人机交互中的应用,TP11
  18. 摄像机标定方法研究,TP391.41
  19. 基于项目的案例学习系统的研究与设计,TP311.52
  20. 基于计算机视觉的袜套辨色分级系统研究,TP391.41

中图分类: > 工业技术 > 自动化技术、计算机技术 > 计算技术、计算机技术 > 计算机的应用 > 信息处理（信息加工） > 模式识别与装置 > 图像识别及其装置
© 2012 www.xueweilunwen.com