本站原创
摘要：提出了一个基于关键区域色彩矩阵的视频镜头检测方法，详细地描述了这种方法的原理，并比较了该方法与其它方法的优缺点，最后阐释了该方法在视频内容检索系统中的运行策略。
关键词：关键区域；色彩矩阵；镜头边界检测；视频检索
1672-7800（2013）001-0162-03
作者简介：曲佳佳（1987-），男，西南科技大学计算机科学与技术学院硕士研究生，研究方向为计算机视觉；吴亚东（1979-），男，博士，西南科技大学计算机科学与技术学院副教授，研究方向为计算机视觉；赵志弘（1987-），男，西南科技大学计算机科学与技术学院硕士研究生，研究方向为网络教育应用；刘江娴（1988-），女，华中师范大学信息技术系硕士研究生，研究方向为教育信息资源设计与开发。1研究背景
随着信息传播工具的迅速发展，视频已经渐渐取代文本、图像成为人们日常生活中获取信息的一个主要途径。由于视频信息数据量大、分辨率不统一、编码多种多样等特点，制约着基于视频内容检索的发展。因此，如何提高视频内容检测的准确度与效率，成为视频内容检索关注的问题。
为了对视频内容进行有效的组织，需要将视频分解为一个个基本单元，而一般认为视频的基本物理单元是镜头，一个镜头由一组摄像机连续拍摄得到的时间上连续的若干帧图像组成。镜头的自动分割是视频结构化的基础，也是视频分析和视频检索过程中的首要任务，镜头分割的好坏将直接影响到更高一级的视频结构化以及后续视频检索的效果。
2传统的镜头边界检测方法及其优缺点
传统镜头分割的主要思想为依据两帧图像的特征值的差值与给定阈值进行比较，如果差值大于给定的阈值，说明两帧的特征变化较大，判定
计算两帧差异D的方法可以分为两类：一类是基于图像的色彩特征计算帧间差异的方法；另一类是利用图像的形态信息计算帧间差异的方法。
基于形态特征的方法原理是首先计算出第n帧和第n+m帧的形态特征，如边缘特征、角点特征、纹理特征等，然后比较两帧在形态特征上的差异。该方法需要计算图像形态特征，时间复杂度较高，并且对画面的分辨率比较敏感，因此目前该方法应用较少，处于发展阶段。
基于颜色特征计算帧差异的方法原理是，首先计算第n帧与第n+m帧的颜色特征，常用的有直方图特征，色彩空间特征等，然后比较两帧在色彩特征上的差异。该方法计算较少，速度较快，是目前较为常见的方法。该方法的缺点是没有考虑到色彩在画面上的分布，对分辨率也比较敏感，对于颜色相近的镜头边界不敏感。
常用的镜头边界检测的方法将整个画面作为基准，提取整个画面的特征，并没有考虑到画面的构图以及前景与背景之间的关系。基于整个画面的方法一方面计算量特别大，尤其是计算画面的形状特征时，计算量尤其大。另一方面，提取整个画面的特征往往会忽略画面的构图特征，尤其在计算色彩差异的时候，整个画面的色彩差异往往不能真实地反映镜头的边界。
本文提出了基于关键区域色彩矩阵的镜头分割方法。通过设定画面关键区域，利用关键区域的特征进行镜头边界的检测。利用关键区域一方面大大减少了特征提取的计算量，另一方面能很好地反应画面的构图特征、画面前景与背景的特征。
3基于关键区域色彩矩阵的镜头边界检测
图1电视画面布局
A：上下结构：包括上下对称与不对称两种情况。属于水平构图。
B：左右结构：包括左右对称与不对称两种情况。属于垂直构图。
C：九宫格结构：这种构图能反映A、B两种构图特征。
D：斜线构图：能反映画面在斜线上的构图特点。
图2关键区域设定
区域1、3、5、6：反映画面的背景区域，同时这四个区域能代表画面的构图中的上下构图与左右构图以及斜线构图。同时区域1的选取避免了电视台台标干扰。区域3避免了电视画面时间的干扰。区域5避免了左下角的文字干扰。
区域2：反映的是16∶9分割线，在16∶9的画面里，区域2为黑色，在4∶3画面里，区域2为画面背景色彩。
区域5：为画面的核心部分，属于视觉集中区域，一般情况为画面的主题区域。该区域变化比较剧烈。
这几个区域能反映画面前景与背景的关系，同时能代表不同的画面构图形式。
图3基于关键区域色彩矩阵的镜头边界检测流程预处理过程主要将画面分辨率和色彩空间归一化，程序识别的规格。
关键区域划分过程主要从画面中获取如图2所示的关键区域，Ri（0≤i≤5）。
计算关键区域色彩向量过程，分别计算几个区域的平均色彩，即每个区域的所有像素在RGB分量上的平均值，每个关键区域得到一个色彩向量。公式表示为：mlk=112wk*hk∑12（i，j）∈ΩkIli，j（2）（2）式中：mlk表示第l帧图像，第k个关键区域的色彩向量，Ωk表示第k个关键区域的像素范围，Ili，j表示在第l帧图像中（i，j）处的色彩向量，Ili，j=rli，j，gli，j，bli，j。其中rli，j，gli，j，bli，j分别表示第l帧图像中（i，j）处像素的RGB色彩分量。wk表示第k个关键区域的像素宽度，hk表示第k个关键区域的像素高度。
计算色彩矩阵，将几个色彩向量m组成一个画面的色彩矩阵M。第l帧图像的关键区域色彩矩阵Ml为：Ml=ml1ml2…ml6T第l帧图像的关键矩阵Nl的计算方法为：Nl=‖ml1‖‖ml2‖…‖ml6‖T根据连续帧的色彩矩阵绘制色彩曲线，色彩曲线如图4所示。
图4色彩曲线举例
图4中三条曲线分别为一个区域的色彩矩阵的3个分量。
检测色彩曲线，根据视频序列帧中，关键区域色彩矩阵Ml中mli=rli，gli，bli，i=1，2，…，6的色彩分量值，描述色彩变化曲线，并对色彩曲线进行中值滤波，对滤波后得到的色彩曲线进行分析，检测曲线拐点。并计算第l帧拐点矩阵Tl。Tl=tl1tl2…tl6T
其中，tli=1若第i区域存在拐点
0若第i区域不存在拐点，i=1，2，…，6其中，αi，i=1，2，…，6为根据不同关键区域对镜头分割的影响，设置的权重系数。通过对D分析，设置阈值，若D≥，则说明在第l帧处是否存在镜头切换。
4基于关键区域色彩矩阵的镜头边界检测实验结果该方法能准确检测出镜头的切换，对于突变镜头准确率为98%。对于渐变镜头准确率为90%。由于
5基于关键区域色彩矩阵的镜头边界检测方法在视频检索系统中的应用在视频检索系统中，关键区域色彩矩阵可以作为视频的索引特征，具体方法为依据待检测视频的色彩矩阵在特征库中匹配关键区域色彩矩阵相似的特征，建立一个相似特征链，可以极大地加快建设速度。具体过程如图5所示。
首先根据待检测画面的关键区域色彩矩阵，在特征库中寻找与之接近的画面特征，并将找到的特征按照相似度由高到底形成一个候选链表。特征链表里的帧与待检测的图像在颜色的分布构图上接近。
其次在特征链表里寻找与待检测画面其他特征相近的帧。这里用到了颜色直方图特征。
6结语
本文介绍了一种基于关键区域色彩曲线的镜头边界检查方法。阐释了关键区域选取的原理，色彩矩阵的定义及计算方法，色彩曲线的定义及计算方法，以及镜头边界的检测方法。最后介绍了本方法在视频检索系统中的具体应用。
该方法考虑到视频的关键区域，相比整个画面来说，计算量大大减少，有效避开了视频画面中与内容无关的部分，如台标、广告等。同时，关键区域能反应画面的构图特征，提高了准确率。
图5色彩矩阵应用举例
参考文献：
孙利涛，杨雷.视频镜头分割技术综述[J].山东轻工业学院学报，2007（7）.
吴四清，张国平，葛镜.基于内容检索的视频分割技术的研究[J].电脑与信息技术，2006（4）.
[3]郭汉龙，陈福民，张敏芳.基于自动门限的分区.氢方图的镜头分割[J].计算机工程与科学，2005（3）.
[4]司艺华，曹元大，张洪欣.一种基于二次帧差的突变镜头检测方法[J].计算机工程与应用，2006（11）.
[5]彭宇新，NGOCHONGWAH.肖建国一种基于二分图最优匹配的镜头检索方法[J].电子学报，2004（7）.
[6]MINZHI，ANNICAI.Shotchangedetectionwithadaptivethresholds[J].IEEEInt，WorkshopVLSIDesign&VideoTech.Suzhou，2005.
（责任编辑：余晓）
关键词：关键区域；色彩矩阵；镜头边界检测；视频检索
1672-7800（2013）001-0162-03
作者简介：曲佳佳（1987-），男，西南科技大学计算机科学与技术学院硕士研究生，研究方向为计算机视觉；吴亚东（1979-），男，博士，西南科技大学计算机科学与技术学院副教授，研究方向为计算机视觉；赵志弘（1987-），男，西南科技大学计算机科学与技术学院硕士研究生，研究方向为网络教育应用；刘江娴（1988-），女，华中师范大学信息技术系硕士研究生，研究方向为教育信息资源设计与开发。1研究背景
随着信息传播工具的迅速发展，视频已经渐渐取代文本、图像成为人们日常生活中获取信息的一个主要途径。由于视频信息数据量大、分辨率不统一、编码多种多样等特点，制约着基于视频内容检索的发展。因此，如何提高视频内容检测的准确度与效率，成为视频内容检索关注的问题。
为了对视频内容进行有效的组织，需要将视频分解为一个个基本单元，而一般认为视频的基本物理单元是镜头，一个镜头由一组摄像机连续拍摄得到的时间上连续的若干帧图像组成。镜头的自动分割是视频结构化的基础，也是视频分析和视频检索过程中的首要任务，镜头分割的好坏将直接影响到更高一级的视频结构化以及后续视频检索的效果。
2传统的镜头边界检测方法及其优缺点
传统镜头分割的主要思想为依据两帧图像的特征值的差值与给定阈值进行比较，如果差值大于给定的阈值，说明两帧的特征变化较大，判定
怎么写论文www.udooo.com
两帧为不同的主题。在此两帧之间进行镜头分割；如果差值小于给定的阈值，则说明两帧的特征变化较小，判定两帧为同一主题，继续进行下两帧的比较。这种方法用公式表示为：D（In，In+m）＞T（1）（1）式中：In表示视频片段中第n个帧的内容，In+m表示视频第n+m个帧的内容。T为划定镜头边界的阈值，T一般根据实验经验来确定。计算两帧差异D的方法可以分为两类：一类是基于图像的色彩特征计算帧间差异的方法；另一类是利用图像的形态信息计算帧间差异的方法。
基于形态特征的方法原理是首先计算出第n帧和第n+m帧的形态特征，如边缘特征、角点特征、纹理特征等，然后比较两帧在形态特征上的差异。该方法需要计算图像形态特征，时间复杂度较高，并且对画面的分辨率比较敏感，因此目前该方法应用较少，处于发展阶段。
基于颜色特征计算帧差异的方法原理是，首先计算第n帧与第n+m帧的颜色特征，常用的有直方图特征，色彩空间特征等，然后比较两帧在色彩特征上的差异。该方法计算较少，速度较快，是目前较为常见的方法。该方法的缺点是没有考虑到色彩在画面上的分布，对分辨率也比较敏感，对于颜色相近的镜头边界不敏感。
常用的镜头边界检测的方法将整个画面作为基准，提取整个画面的特征，并没有考虑到画面的构图以及前景与背景之间的关系。基于整个画面的方法一方面计算量特别大，尤其是计算画面的形状特征时，计算量尤其大。另一方面，提取整个画面的特征往往会忽略画面的构图特征，尤其在计算色彩差异的时候，整个画面的色彩差异往往不能真实地反映镜头的边界。
本文提出了基于关键区域色彩矩阵的镜头分割方法。通过设定画面关键区域，利用关键区域的特征进行镜头边界的检测。利用关键区域一方面大大减少了特征提取的计算量，另一方面能很好地反应画面的构图特征、画面前景与背景的特征。
3基于关键区域色彩矩阵的镜头边界检测
3.1电视画面结构及构图形式
电视画面主要包含主体、陪体、前景、后景、环境等。根据画面构图形式的外在线形结构的区别，可以将其分为水平构图、垂直线构图、斜线构图、曲线构图、黄金分割试构图、九宫格式构图、圆形构图、对称构图、非对称构图等。这几种构图形式可以表示为如图1的几种形式。图1电视画面布局
A：上下结构：包括上下对称与不对称两种情况。属于水平构图。
B：左右结构：包括左右对称与不对称两种情况。属于垂直构图。
C：九宫格结构：这种构图能反映A、B两种构图特征。
D：斜线构图：能反映画面在斜线上的构图特点。
3.2关键区域的选取
本方法考虑到画面的构图与画面的前景与背景的关系，依据构图原理，设定关键区域如图2所示。图2关键区域设定
区域1、3、5、6：反映画面的背景区域，同时这四个区域能代表画面的构图中的上下构图与左右构图以及斜线构图。同时区域1的选取避免了电视台台标干扰。区域3避免了电视画面时间的干扰。区域5避免了左下角的文字干扰。
区域2：反映的是16∶9分割线，在16∶9的画面里，区域2为黑色，在4∶3画面里，区域2为画面背景色彩。
区域5：为画面的核心部分，属于视觉集中区域，一般情况为画面的主题区域。该区域变化比较剧烈。
这几个区域能反映画面前景与背景的关系，同时能代表不同的画面构图形式。
3.3基于关键区域色彩矩阵的镜头边界检测方法
基于关键区域色彩矩阵的视频镜头边界检测方法包括以程：帧预处理→定义多个关键区域→通过色彩均值化计算关键区域的色彩矩阵，得到关键矩阵→将关键矩阵储存入视频特征数据库→根据色彩矩阵，生成关键区域色彩曲线，并对曲线进行滤波→检测关键区域色彩曲线拐点，得到拐点矩阵→对拐点处相邻帧分析，计算相邻帧间距离D→通过分析D的值，判断是否存在镜头切换。流程如图3所示。图3基于关键区域色彩矩阵的镜头边界检测流程预处理过程主要将画面分辨率和色彩空间归一化，程序识别的规格。
关键区域划分过程主要从画面中获取如图2所示的关键区域，Ri（0≤i≤5）。
计算关键区域色彩向量过程，分别计算几个区域的平均色彩，即每个区域的所有像素在RGB分量上的平均值，每个关键区域得到一个色彩向量。公式表示为：mlk=112wk*hk∑12（i，j）∈ΩkIli，j（2）（2）式中：mlk表示第l帧图像，第k个关键区域的色彩向量，Ωk表示第k个关键区域的像素范围，Ili，j表示在第l帧图像中（i，j）处的色彩向量，Ili，j=rli，j，gli，j，bli，j。其中rli，j，gli，j，bli，j分别表示第l帧图像中（i，j）处像素的RGB色彩分量。wk表示第k个关键区域的像素宽度，hk表示第k个关键区域的像素高度。
计算色彩矩阵，将几个色彩向量m组成一个画面的色彩矩阵M。第l帧图像的关键区域色彩矩阵Ml为：Ml=ml1ml2…ml6T第l帧图像的关键矩阵Nl的计算方法为：Nl=‖ml1‖‖ml2‖…‖ml6‖T根据连续帧的色彩矩阵绘制色彩曲线，色彩曲线如图4所示。
图4色彩曲线举例
图4中三条曲线分别为一个区域的色彩矩阵的3个分量。
检测色彩曲线，根据视频序列帧中，关键区域色彩矩阵Ml中mli=rli，gli，bli，i=1，2，…，6的色彩分量值，描述色彩变化曲线，并对色彩曲线进行中值滤波，对滤波后得到的色彩曲线进行分析，检测曲线拐点。并计算第l帧拐点矩阵Tl。Tl=tl1tl2…tl6T
其中，tli=1若第i区域存在拐点
0若第i区域不存在拐点，i=1，2，…，6其中，αi，i=1，2，…，6为根据不同关键区域对镜头分割的影响，设置的权重系数。通过对D分析，设置阈值，若D≥，则说明在第l帧处是否存在镜头切换。
4基于关键区域色彩矩阵的镜头边界检测实验结果该方法能准确检测出镜头的切换，对于突变镜头准确率为98%。对于渐变镜头准确率为90%。由于
源于：论文格式www.udooo.com
画面运动产生部分误检，误检率为3%。5基于关键区域色彩矩阵的镜头边界检测方法在视频检索系统中的应用在视频检索系统中，关键区域色彩矩阵可以作为视频的索引特征，具体方法为依据待检测视频的色彩矩阵在特征库中匹配关键区域色彩矩阵相似的特征，建立一个相似特征链，可以极大地加快建设速度。具体过程如图5所示。
首先根据待检测画面的关键区域色彩矩阵，在特征库中寻找与之接近的画面特征，并将找到的特征按照相似度由高到底形成一个候选链表。特征链表里的帧与待检测的图像在颜色的分布构图上接近。
其次在特征链表里寻找与待检测画面其他特征相近的帧。这里用到了颜色直方图特征。
6结语
本文介绍了一种基于关键区域色彩曲线的镜头边界检查方法。阐释了关键区域选取的原理，色彩矩阵的定义及计算方法，色彩曲线的定义及计算方法，以及镜头边界的检测方法。最后介绍了本方法在视频检索系统中的具体应用。
该方法考虑到视频的关键区域，相比整个画面来说，计算量大大减少，有效避开了视频画面中与内容无关的部分，如台标、广告等。同时，关键区域能反应画面的构图特征，提高了准确率。
图5色彩矩阵应用举例
参考文献：
孙利涛，杨雷.视频镜头分割技术综述[J].山东轻工业学院学报，2007（7）.
吴四清，张国平，葛镜.基于内容检索的视频分割技术的研究[J].电脑与信息技术，2006（4）.
[3]郭汉龙，陈福民，张敏芳.基于自动门限的分区.氢方图的镜头分割[J].计算机工程与科学，2005（3）.
[4]司艺华，曹元大，张洪欣.一种基于二次帧差的突变镜头检测方法[J].计算机工程与应用，2006（11）.
[5]彭宇新，NGOCHONGWAH.肖建国一种基于二分图最优匹配的镜头检索方法[J].电子学报，2004（7）.
[6]MINZHI，ANNICAI.Shotchangedetectionwithadaptivethresholds[J].IEEEInt，WorkshopVLSIDesign&VideoTech.Suzhou，2005.
（责任编辑：余晓）