学位论文 > 优秀研究生学位论文题录展示

多模态教学视频语义分析及实现

作　者: 王廉
导　师: 宋斌
学　校: 南京理工大学
专　业: 计算机应用技术
关键词: 教学视频镜头分割关键帧人脸检测标题文字提取
分类号: TP391.41
类　型: 硕士论文
年　份: 2014年
下　载: 23次
引　用: 0次
阅　读: 论文下载

内容摘要

视频是一种融合图像、声音和文字等模态数据的多媒体信息载体,在社会生活的各个领域得到广泛的应用。作为一种重要的领域视频,教学视频通过与互联网平台的结合,在现代教学活动中扮演重要的角色。近年来,基于内容的视频语义分析成为研究热点,对教学视频进行语义分析,可以提高教学内容的检索和浏览效率,改善用户的学习体验,具有重要的现实意义。本文研究视频语义分析的关键技术,结合教学视频各模态的具体特征,设计一种基于图像模态和文字模态的多模态教学视频语义分析系统框架。首先,提出一种基于累积直方图的视频镜头分割方法,利用其将教学视频分割为镜头集,并提取关键帧；其次,利用人脸检测方法将关键帧分为教师关键帧和课件关键帧两类,采用一种标题文字提取方法获得课件关键帧中的标题信息；最后,基于以上研究成果,给出一种镜头合并算法,得到语义教学单元。论文最后设计并实现了一个基于B/S架构的教学视频点播系统,用户可以使用语义教学单元的标题关键字检索和浏览教学视频。实验结果表明,本文提出的多模态教学视频语义分析方案具有令人满意的效果,并且具有较高的使用价值。

全文目录

摘要  3-4
Abstract  4-7
1 绪论  7-13
  1.1 研究背景及意义  7-8
  1.2 国内外研究及发展现状  8-11
    1.2.1 视频语义分析  8-9
    1.2.2 多模态视频语义分析  9-10
    1.2.3 教学视频语义分析  10-11
  1.3 主要研究内容与工作  11-12
  1.4 论文结构安排  12-13
2 视频语义分析关键技术研究  13-23
  2.1 视频数据的特征与结构化  13-15
  2.2 视频结构化处理技术  15-19
    2.2.1 镜头分割技术  15-18
    2.2.2 关键帧提取技术  18
    2.2.3 场景分割技术  18-19
  2.3 视频语义分析技术  19-22
    2.3.1 基于模式分类的方法  19-21
    2.3.2 基于规则推理的方法  21
    2.3.3 结合特定类型的方法  21-22
    2.3.4 多模态综合的方法  22
  2.4 本章小结  22-23
3 教学视频特点及语义分析  23-28
  3.1 教学视频特点  23-25
  3.2 语义教学单元  25-26
  3.3 主要研究问题  26-27
  3.4 本章小结  27-28
4 多模态教学视频语义分析系统框架  28-50
  4.1 镜头分割与关键帧提取  28-36
    4.1.1 基于累积直方图的视频镜头分割  28-34
    4.1.2 提取镜头关键帧  34-36
  4.2 关键帧分类  36-39
    4.2.1 人脸检测方法  36-37
    4.2.2 基于特征肤色的人脸检测方法  37-39
  4.3 标题文字提取  39-47
    4.3.1 课件关键帧及标题文字分析  39-40
    4.3.2 图像文字提取方法  40-41
    4.3.3 课件关键帧标题文字提取方法  41-47
  4.4 镜头合并算法  47-49
  4.5 本章小结  49-50
5 基于B/S架构的教学视频点播系统  50-58
  5.1 系统总体设计  50-51
  5.2 系统详细设计  51-57
    5.2.1 数据库设计  51-52
    5.2.2 Web服务器设计  52-54
    5.2.3 客户端设计  54
    5.2.4 系统运行效果及分析  54-57
  5.3 本章小结  57-58
6 总结和展望  58-59
  6.1 总结  58
  6.2 未来展望  58-59
致谢  59-60
参考文献  60-64
附录  64

多模态教学视频语义分析及实现

内容摘要

全文目录

相似论文