学位论文 > 优秀研究生学位论文题录展示

基于内容的视频情感提取算法研究

作　者: 谈文婷
导　师: 曹建荣
学　校: 山东建筑大学
专　业: 控制理论与控制工程
关键词: 情感提取镜头边界检测比例因子核函数关键帧支持向量机
分类号: TP391.41
类　型: 硕士论文
年　份: 2010年
下　载: 63次
引　用: 0次
阅　读: 论文下载

内容摘要

随着通信技术、宽带网络技术、音视频压缩技术以及计算机技术的发展,数字视频也越来越广泛地融入于人们的生活空间中。多媒体人机交互界面(HCI)中的图像/视频不仅携带了大量的图像信息,还携带了大量的情感信息。如何在图像/视频检索系统中引进情感计算技术,使计算机能够识别图像/视频中的情感信息,并利用这些情感信息进行视频的检索,已成为目前人们倍加关注的课题。本文主要针对故事片这类视频,根据其拍摄的风格和特点,对其情感提取算法进行了研究,分别从音频和视频两方面提取出某些片段的情感特征,并根据这些情感特征对该视频段进行情感分类。主要内容如下：在音频方面,本文提出了运用比例因子等特征利用支持向量机进行音频情感分类方法,通过提取MPEG音频流比例因子等特征,首先把音频分为语音、音乐、混音和静音四类,然后对语音、音乐、混音的音频段进行情感分类,将音频包含的情感分为：高兴、悲伤、生气、厌恶、惊奇和平静六类,并通过实验证明了该方法的可靠性和有效性。为从视频图像中提取情感信息,首先要对视频进行镜头分割,并提取镜头的关键帧。本文提出了一个基于支持向量机核函数重构的镜头边界检测算法。该算法利用视频压缩、域中特征,如宏块类型,帧间对应宏块DC系数差和帧类型将视频帧分为发生切变的帧、发生渐变的帧和非镜头变换帧三类,实现视频的镜头分割。与常用的核函数进行了比较实验,结果显示当构造的核函数为径向基函数与高斯核函数叠加时镜头边界检测的准确率最高,其综合性能指标SUM_F1比2001 TREC评估中获得SUM_F1最佳指标的算法高约14%。根据故事片的特点,还提出了一种抽取镜头关键帧的方法。在镜头分割和提取关键帧后,利用支持向量机对故事片的关键帧进行情感的识别和分类,采用的特征是彩色直方图和MPEG-7的边缘直方图。用径向基函数构成SVM,进行训练和测试,分类后得到视频关键帧粗略的情感语义。

全文目录

摘要  4-5
ABSTRACT  5-10
第1章绪论  10-21
  1.1 基于内容的视频情感提取研究的意义  10-11
  1.2 视频情感识别的基本概念和研究现状  11-19
    1.2.1 情感的定义  11
    1.2.2 情感的分类表示  11-13
    1.2.3 情感计算技术的提出和研究  13-19
      1.2.3.1 情感计算的提出  13-15
      1.2.3.2 国内外研究现状  15-17
      1.2.3.3 情感计算的关键技术  17-18
      1.2.3.4 情感计算的发展前景与面临的挑战  18-19
  1.3 论文的主要内容  19-21
第2章镜头分割算法和关键帧提取  21-49
  2.1 镜头分割算法综述  21-32
  2.2 基于支持向量机的镜头分割算法  32-40
    2.2.1 基于SVM的镜头边界检测算法  32-37
      2.2.1.1 SVM基本原理  32-34
      2.2.1.2 特征的选取  34-35
      2.2.1.3 训练和测试数据的建立  35
      2.2.1.4 支持向量机的构造和训练  35-37
    2.2.2 镜头分割算法实验结果及评价  37-40
  2.3 重构核函数的镜头边界检测算法  40-44
    2.3.1 核函数的性质及其构造方法  40-43
      2.3.1.1 核函数与正定矩阵  41-42
      2.3.1.2 核函数的基本性质  42-43
    2.3.2 构造核函数改善支持向量机性能实验及评价  43-44
      2.3.2.1 构造核函数  43
      2.3.2.2 实验及评价  43-44
  2.4 镜头关键帧的提取  44-48
    2.4.1 相关工作  45-46
    2.4.2 镜头关键帧提取方法  46-48
  2.5 本章小结  48-49
第3章语音情感识别算法  49-62
  3.1 语音情感  49-57
    3.1.1 语音情感识别  51
    3.1.2 语音情感识别的研究现状  51-55
    3.1.3 语音情感识别研究面临的难题  55-57
  3.2 语音情感识别算法描述  57-61
    3.2.1 特征的提取  57-59
    3.2.2 SVM训练及情感分类  59-61
  3.3 本章小结  61-62
第4章关键帧情感特征的提取  62-74
  4.1 特征的计算  62-71
    4.1.1 颜色特征的提取  63-66
      4.1.1.1 颜色与情感  63
      4.1.1.2 颜色描述模型  63-64
      4.1.1.3 颜色特征的表达方法  64-66
    4.1.2 纹理特征的提取  66-70
      4.1.2.1 纹理与情感  66
      4.1.2.2 MPEG-7纹理描述符  66-68
      4.1.2.3 边缘直方图描述符  68-70
    4.1.3 特征归一化  70-71
  4.2 关键帧情感的提取  71-73
    4.2.1 特征的提取  71-72
    4.2.2 实验结果及讨论  72-73
  4.3 本章小结  73-74
第5章总结与展望  74-76
  5.1 论文工作的总结  74
  5.2 对未来工作的展望  74-76
参考文献  76-87
后记  87-88
攻读硕士学位期间论文发表及科研情况  88

基于内容的视频情感提取算法研究

内容摘要

全文目录

相似论文