学位论文 > 优秀研究生学位论文题录展示

新闻视频故事单元分割

作　者: 夏肇霖
导　师: 王建宇；张玉珍
学　校: 南京理工大学
专　业: 系统工程
关键词: 主持人镜头检测近邻传播聚类主题字幕提取音频跳变检测故事单元分割
分类号: TP391.41
类　型: 硕士论文
年　份: 2012年
下　载: 26次
引　用: 1次
阅　读: 论文下载

内容摘要

随着日常信息量的增长,新闻节目的增多,新闻视频分析、组织、检索等成为一种迫切需要。故事单元结构作为新闻视频分析等工作的基础,研究其分割实现具有一定的意义。本文以新闻视频节目为对象,对新闻故事单元分割中的相关技术进行了讨论,主要包括：主持人镜头检测、主题字幕检测、音频跳变检测,并设计了一种基于多模态融合的新闻故事单元分割算法。采用运动补偿和自适应双阈值算法的镜头边界检测后,在每个镜头选取关键帧的基础上,本文提出了一种基于人脸检测和近邻传播聚类的检测算法,实现了主持人镜头检测。同时提取镜头关键帧的小波系数作为特征,采用支持向量机分类器对这些特征分类,实现了主题字幕的提取。对新闻视频中的音频,提取Mel频率倒谱系数作为音频特征,设计了基于混合高斯模型和分割熵的检测算法,实现了新闻视频中音频跳变检测。本文在总结了现有的故事单元分割方法基础上,利用主持人镜头、主题字幕以及音频跳变的检测结果,设计了一种基于多模态融合的故事单元分割方法,实现了故事单元边界检测。最后,本文以Visual C++6.0. Matlab R2007为开发语言,实现了一个新闻故事单元自动分割系统。实验表明,本文的新闻故事单元自动分割算法具有令人满意的效果。

全文目录

摘要  3-4
Abstract  4-7
1 绪论  7-11
  1.1 本文研究背景及意义  7-8
  1.2 故事单元分割国内外研究现状  8-9
  1.3 本文研究的主要内容  9-10
  1.4 论文的组织和结构  10-11
2 新闻视频结构化研究  11-21
  2.1 视频相关概念和术语  11-13
  2.2 新闻节目视频结构化  13
  2.3 新闻镜头边界检测  13-20
    2.3.1 镜头突变检测常见算法  14-15
    2.3.2 镜头渐变检测常见算法  15-17
    2.3.3 基于运动补偿和自适应双阈值镜头检测  17-20
  2.4 本章总结  20-21
3 新闻音视频特征提取  21-43
  3.1 主持人镜头检测  21-28
    3.1.1 基于AdaBoost人脸检测  21-24
    3.1.2 近邻传播聚类(Affinity Propagation,AP)  24-26
    3.1.3 基于近邻传播聚类(AP)的主持人镜头检测  26-27
    3.1.4 实验结果及分析  27-28
  3.2 主题字幕提取  28-32
    3.2.1 小波变换特征  29-30
    3.2.2 支持向量机(Support Vector Machine,SVM)  30-31
    3.2.3 基于SVM和小波变换的主题字幕检测  31-32
    3.2.4 实验结果及分析  32
  3.3 音频分割  32-42
    3.3.1 音频特征提取  32-36
    3.3.2 混合高斯模型(Gaussian Mixed Model,GMM)  36-38
    3.3.3 基于GMM和分割熵的音频跳变点检测  38-40
    3.3.4 实验结果及分析  40-42
  3.4 本章总结  42-43
4 新闻故事单元分割  43-55
  4.1 常见的故事单元分割方法  43-45
    4.1.1 单模态分割方法  44-45
    4.1.2 多模态融合的分割方法  45
    4.1.3 基于上下文的分割方法  45
  4.2 基于多模态融合的故事单元检测  45-53
    4.2.1 新闻特征信息分析  46-47
    4.2.2 初始故事单元分割  47-49
    4.2.3 主要人物分析  49-50
    4.2.4 基于多模态融合的故事单元分割算法设计  50-53
  4.3 实验结果及分析  53-54
  4.4 本章小结  54-55
5 新闻视频故事单元分割系统的设计与实现  55-61
  5.1 系统总体框架设计  55-56
  5.2 音视频解码子系统  56
  5.3 新闻视频算法处理子系统  56-58
  5.4 数据库支持子系统  58-59
  5.5 本章小结  59-61
6 结论与展望  61-63
  6.1 本文的主要工作  61
  6.2 进一步工作的方向  61-63
致谢  63-65
参考文献  65-69

新闻视频故事单元分割

内容摘要

全文目录

相似论文