CN103810711A - 一种用于监控***视频的关键帧提取方法及其*** - Google Patents

一种用于监控***视频的关键帧提取方法及其*** Download PDF

Info

Publication number
CN103810711A
CN103810711A CN201410074061.2A CN201410074061A CN103810711A CN 103810711 A CN103810711 A CN 103810711A CN 201410074061 A CN201410074061 A CN 201410074061A CN 103810711 A CN103810711 A CN 103810711A
Authority
CN
China
Prior art keywords
key frame
video
pixel
frame
keyframe
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201410074061.2A
Other languages
English (en)
Inventor
王书栋
耿静
曹仰杰
郝伟伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZHENGZHOU RIXING ELECTRONICS Co Ltd
Original Assignee
ZHENGZHOU RIXING ELECTRONICS Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZHENGZHOU RIXING ELECTRONICS Co Ltd filed Critical ZHENGZHOU RIXING ELECTRONICS Co Ltd
Priority to CN201410074061.2A priority Critical patent/CN103810711A/zh
Publication of CN103810711A publication Critical patent/CN103810711A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

本发明提供了一种用于监控***视频的关键帧提取方法及其***。方法包括如下步骤：a)利用背景差分法提取视频中含有运动对象的关键帧序列；b)基于联合直方图计算关键帧序列中相邻两帧的相似度，并提取相似性小于阈值的关键帧，将其加入关键帧集合中；c)判断关键帧集合中相邻两个关键帧的标号是否小于一定间隔，若是则删除其中信息熵小的关键帧，更新关键帧集合。利用本发明能够实现以简单的算法从海量监控视频中提取仅含运动目标的关键帧，大幅减少关键帧序列中的冗余数据，显著减少视频数据的存储量。

Description

一种用于监控***视频的关键帧提取方法及其***
技术领域
本发明涉及智能视频监控领域，特别是一种用于监控***视频的关键帧提取方法及其***。
背景技术
随着数字视频处理技术的发展和社会安全意识的提高，监控设备广泛应用于各行各业，这样便产生了海量的监控视频数据，使视频的存储，检索和浏览等操作变得复杂而耗时。因此如何在海量的监控视频信息中快速有效地存储和浏览有用信息，对现今监控视频有着重要的意义。为了快速浏览以及高效利用这些监控数据，关键帧提取技术就显得尤为重要。
关键帧是能够代表视频序列的主要内容的有限的视频帧子集。近年，针对不同的应用目的，关键帧提取技术已有初步发展。出现了使用广义高斯密度特征向量之间的相对熵（KLD）进行镜头聚类边界的选取，进而基于相似性和相异性标准提取关键帧。也有基于视觉注意模型的视觉注意度（AVI）描述来提取关键帧、镜头边界检测与在镜头内提取关键帧 、“增强三维关键帧”来浓缩监控视频片断有意义的内容信息等不同方法提取关键帧。然而，以上的关键帧提取方法具有算法复杂、计算量大的问题，而且，它们都是以计算视频中所有帧序列的方式来提取关键帧，可是现实监控视频中可能会含有大量的纯背景帧，从而并不能针对性地提取人们想查看的仅包含运动目标的视频片断，提取关键帧难度大。
因此，需要一种监控***视频的关键帧提取方法以及设备，来实现以简单的算法从海量监控视频中提取仅含运动目标的关键帧。
发明内容
本发明的目的在于针对上述现有技术存在的问题，对视频监控提出一种基于运动目标检测的关键帧提取方法及其设备，以克服现有技术的缺陷。
根据本发明的一个方面，提供了一种用于监控***视频的关键帧提取方法，所述方法包括如下步骤：a) 利用背景差分法提取视频中含有运动对象的关键帧序列；b) 基于联合直方图计算所述关键帧序列中相邻两帧的相似度，并提取相似性小于阈值的关键帧，将其加入关键帧集合中；c) 判断所述关键帧集合中相邻两个关键帧的标号是否小于一定间隔，若是则删除其中信息熵小的关键帧，更新所述关键帧集合。
优选地，在步骤a中，所述背景差分法中使用具有两个高斯模型的高斯混合背景模型来建立背景模型。
优选地，在步骤a中通过检测变化像素，来检测帧中是否有运动对象。
优选地，在步骤a中，在所述高斯混合背景模型中，若某一象素当前强度值为                                                ，则该象素属于两个背景模型的概率计算公式如下式：
Figure 81732DEST_PATH_IMAGE002
   (1)
其中
Figure 76364DEST_PATH_IMAGE003
分别表示所述两个高斯模型公式，
Figure 593933DEST_PATH_IMAGE004
和
Figure 493756DEST_PATH_IMAGE005
分别是在
Figure 872916DEST_PATH_IMAGE006
时刻的所述两个高斯模型的协方差和均值。
优选地，在步骤a中，在进行检测所述变化像素时还进行邻域像素模型符合性检测。
优选地，检测所述变化像素的方法如下，将当前待处理帧的每个像素的强度值与其对应的两个背景像素模型的均值做差处理，若差值大于设定的阈值即判定为所述变化像素。
优选地，在所述高斯混合模型模型Hk
Figure 909005DEST_PATH_IMAGE007
中，计算所述每个当前待处理帧的像素是否是所述变化像素的计算公式如下：
Figure 597475DEST_PATH_IMAGE008
      (2)       
其中
Figure 719015DEST_PATH_IMAGE009
为系数常量。
优选地，计算所述每个当前待处理帧的像素是否是所述变化像素的计算公式如下：
Figure 913584DEST_PATH_IMAGE010
(3)
优选地，在步骤a中，对于因背景变化而在前景中形成的很多小尺寸的像素块，通过尺寸滤波对其加以消除，来降低监控***背景模型的错误。
优选地，步骤b还包括如下步骤：b1)将所述关键帧序列中的首个关键帧作为当前关键帧；b2)将所述当前关键帧放入关键帧集合中；b3)从所述关键帧序列中取出下一帧作为比较关键帧；b4)对所述当前关键帧与所述比较关键帧的相似性进行计算；b5)判断相似性是否小于第二阈值，是则进入步骤b6；否则进入步骤b7；b6)将所述比较关键帧作为所述当前关键帧，并将其加入所述关键帧集合中；b7)检测所述比较关键帧是否为所述关键帧序列中的最后一帧，是则结束，所述关键帧集合即为经过初步精确后的所述关键帧序列；否则返回步骤b3继续处理。
优选地，在步骤b4中，计算所述关键帧之间的相似性的方法是基于联合直方图的关键帧提取方法，所述方法根据联合直方图的对称性来判定图像的相似程度。
优选地，对于大小同为
Figure 132076DEST_PATH_IMAGE011
的两幅图像
Figure 929131DEST_PATH_IMAGE012
、，对应的像素值对
Figure 258929DEST_PATH_IMAGE014
的联合概率表示为：
 
Figure 331927DEST_PATH_IMAGE015
 (4)   
其中，。
优选地，所述联合直方图的对称性定义为：
    
Figure 209065DEST_PATH_IMAGE017
   (5)
其中，
Figure 982986DEST_PATH_IMAGE018
是所述联合直方图的对角线上的权值，在此为小于1的正常量，而
Figure 113753DEST_PATH_IMAGE019
则表示远离所述对角线元素的权重，公式中
Figure 65659DEST_PATH_IMAGE020
为整数。
优选地，在步骤c中，所述关键帧序列中的关键帧的图像信息熵的计算公式为：
Figure 383508DEST_PATH_IMAGE021
   (6)
其中，
Figure 961120DEST_PATH_IMAGE022
指图像的灰度级数，表示像素
Figure 69202DEST_PATH_IMAGE024
的灰度值，
Figure 936663DEST_PATH_IMAGE025
为各灰度级出现的概率。
优选地，当所述关键帧序列中的关键帧的图像为彩色图像时，使用亮度分量代替灰度级数进行所述图像信息熵的计算。
优选地，在所述步骤c中的所述间隔为15-25。
优选地，所述间隔为20。
根据本发明的另一方面，提供了一种利用关键帧提取方法的监控视频***，所述***包括采集模块、压缩模块、运动对象检测模块、关键帧提取模块、以及显示模块，其特征在于，所述采集模块用于采集视频；所述压缩模块用于对所述采集模块采集的视频进行压缩；所述运动对象检测模块用于对经过所述压缩模块压缩的视频进行运动对象检测，利用背景差分法提取视频中含有运动对象的关键帧序列；所述关键帧提取模块用于对所述运动对象检测模块输出的含有运动对象的视频序列进行关键帧的提取，所述提取包括以下两个步骤：a）基于联合直方图计算所述关键帧序列中相邻两帧的相似度，并提取相似性小于阈值的关键帧，将其加入关键帧集合中；和b) 判断所述关键帧集合中相邻两个关键帧的标号是否小于一定间隔，若是则删除其中信息熵小的关键帧，更新所述关键帧集合；所述显示模块用于显示所述采集模块输出的采集视频、所述压缩模块输出的压缩视频、所述运动对象检测模块输出的入侵报警视频、以及所述关键帧提取模块输出的所述关键帧视频。
利用本发明的一种视频的关键帧提取方法，实现以简单的算法从海量监控视频中提取仅含运动目标的关键帧，并能够大幅减少关键帧序列中的冗余数据，从而显著地减少了视频数据的存储量。
附图说明
参考随附的附图，本发明更多的目的、功能和优点将通过本发明实施方式的如下描述得以阐明，其中： 
图1示意性示出了本发明的一种视频的关键帧提取方法的流程图。
图2示意性示出了初步精确关键帧序列的流程图。
图3示意性示出了利用根据本发明的关键帧提取方法的监控视频***的结构。
 
具体实施方式
通过参考示范性实施例，本发明的目的和功能以及用于实现这些目的和功能的方法及其设备将得以阐明。然而，本发明并不受限于以下所公开的示范性实施例；可以通过不同形式来对其加以实现。说明书的实质仅仅是帮助相关领域技术人员综合理解本发明的具体细节。
在下文中，将参考附图描述本发明的实施例。在附图中，相同的附图标记代表相同或类似的部件，或者相同或类似的步骤。
图1示意性示出了本发明的一种视频的关键帧提取方法的流程图。如图1所示：
步骤110，利用背景差分法提取视频中含有运动对象的关键帧序列。利用背景差分法检测一段含有运动对象的视频，确定含有运动对象视频片段的起始帧及结束帧，起始帧为首次检测到出现运动对象的帧，结束帧为运动对象消失的帧的前一帧。得到该含有运动对象的视频片段（从起始帧到结束帧）的关键帧序列。其中，背景差分法又被称为背景减，其以利用背景模型检测当前帧与背景差异的方式来对运动目标进行检测。
优选地，使用简化的高斯混合背景模型。该简化的高斯模型将背景模型数固定为两个，在进行变化像素检测时增加邻域像素模型符合性检测，从而使背景模型具有较好的速度及稳健性。其中，通过对变化像素的检测来检测帧中是否有运动对象。
在简化的高斯混合背景模型中，若某一象素当前强度值为
Figure 642899DEST_PATH_IMAGE027
，则该象素属于两个背景模型的概率计算公式如下式：
Figure 185876DEST_PATH_IMAGE028
   (1)
其中
Figure 743897DEST_PATH_IMAGE003
分别表示两个高斯模型公式，
Figure 148464DEST_PATH_IMAGE029
和
Figure 108330DEST_PATH_IMAGE030
分别是在
Figure 822208DEST_PATH_IMAGE006
时刻高斯模型的协方差和均值。
使用背景差分法将每帧（当前待处理帧）各像素的强度值与其对应的背景帧像素强度值做差处理，其处理结果大于设定阈值(以下，称为第一阈值)的像素即判定为变化像素。上述两个高斯背景模型Hk
Figure 601945DEST_PATH_IMAGE007
中，当前像素是否是变化像素的计算公式如下：
Figure 810204DEST_PATH_IMAGE008
      (2)       
其中为系数常量。
为了消除背景中杂乱的虚假变化像素，在判定当前像素是否为变化像素时，除了检查背景中像素
Figure 447039DEST_PATH_IMAGE024
之外，还同时检查其邻域象素，即使用背景差分法将当前待处理帧的每个像素强度值与其对应的两个背景像素模型的均值做差处理，只有当前像素与背景中的这些像素差值结果大于设定的阈值时，才认为是变化象素。因此，使用表示点
Figure 975289DEST_PATH_IMAGE024
的邻域像素坐标，则变化像素检测公式修改为：
Figure 519534DEST_PATH_IMAGE010
(3)
优选地，对于因背景变化而在前景中形成的很多小尺寸的像素块，通过尺寸滤波对其加以消除，来降低监控***背景模型的错误。其中，背景变化例如背景中的植物枝叶摆动等。
通过上述公式，可以判定当前帧有没有运动对象，连续多个包含运动对象的帧称为一个运动片段，对这个视频片段利用帧相似度计算公式可以找到一个代表帧即关键帧，首、尾帧对应片段的开始帧和结束帧。即可构建出关键帧序列
Figure 512898DEST_PATH_IMAGE026
。
步骤120，通过计算相邻两帧的相似度，初步精确关键帧序列。对由步骤110中获取的关键帧序列
Figure 267227DEST_PATH_IMAGE026
，计算相邻两帧之间的相似程度，并提取相似性小于阈值（以下，称为第二阈值）的关键帧，将其加入关键帧集合中，该关键帧集合即为初步精确后的关键帧序列。图2示意性示出了初步精确关键帧序列的流程图，如图2所示，初步精确关键帧序列的步骤如下：
步骤1201，将关键帧序列
Figure 269818DEST_PATH_IMAGE026
中的首个关键帧
Figure 606253DEST_PATH_IMAGE032
作为当前关键帧
Figure 770518DEST_PATH_IMAGE033
，即，
Figure 74460DEST_PATH_IMAGE034
，，其中“=”表示赋值；
步骤1202，将当前关键帧
Figure 806104DEST_PATH_IMAGE033
放入关键帧集合
Figure 406850DEST_PATH_IMAGE036
中；
步骤1203，从关键帧序列中取出下一帧作为比较关键帧，即
Figure 932509DEST_PATH_IMAGE037
，；
步骤1204,然后对当前关键帧
Figure 89952DEST_PATH_IMAGE033
与关键帧序列
Figure 322350DEST_PATH_IMAGE038
中的关键帧
Figure 156314DEST_PATH_IMAGE039
的相似性
Figure 106952DEST_PATH_IMAGE040
进行计算，其中，关键帧
Figure 802507DEST_PATH_IMAGE039
为用于与当前关键帧
Figure 154991DEST_PATH_IMAGE033
进行相似性比较的关键帧（附图中称为比较关键帧）；
步骤1205，判断相似性
Figure 97539DEST_PATH_IMAGE040
是否小于第二阈值
Figure 597791DEST_PATH_IMAGE041
，若是则进入步骤1206;否则进入步骤1207；相似性值越大，说明两帧之间的相似性越大；
步骤1206，将关键帧
Figure 304027DEST_PATH_IMAGE039
作为新的当前关键帧，即
Figure 417476DEST_PATH_IMAGE035
，并将该关键帧加入到关键帧集合
Figure 405024DEST_PATH_IMAGE036
中；
步骤1207，检测关键帧是否为关键帧序列
Figure 769457DEST_PATH_IMAGE038
中的最后一帧，是则结束，关键帧集合
Figure 788229DEST_PATH_IMAGE036
即为初步精确后的关键帧序列；否则返回步骤1203继续处理；
优选地，在步骤1204中计算关键帧之间的相似性的方法是基于联合直方图的关键帧提取方法，该方法根据联合直方图的对称性来判定图像的相似程度。
具体地，联合直方图表示两幅大小相同的图像
Figure 200755DEST_PATH_IMAGE042
 和间其对应位置上像素对的灰度组合出现的频率。对于大小同为
Figure 285703DEST_PATH_IMAGE011
的两幅图像
Figure 740955DEST_PATH_IMAGE012
、
Figure 437516DEST_PATH_IMAGE013
，对应的像素值对
Figure 3626DEST_PATH_IMAGE014
的联合概率表示为：
       
Figure 106625DEST_PATH_IMAGE015
 (4)   
其中，
Figure 732779DEST_PATH_IMAGE016
。
根据上式可知，对所有可能的像素值对
Figure 854318DEST_PATH_IMAGE044
求值，可得到图像和
Figure 52716DEST_PATH_IMAGE047
的联合直方图。
联合直方图对称性定义为：
    
Figure 723868DEST_PATH_IMAGE017
   (5)
其中，是联合直方图对角线上的权值，在此为小于1的正常量。而
Figure 455512DEST_PATH_IMAGE019
则表示远离对角线元素的权重，公式中
Figure 423468DEST_PATH_IMAGE020
为整数。
Figure 581917DEST_PATH_IMAGE049
直观地表示出了两帧之间的相似性，当
Figure 293521DEST_PATH_IMAGE049
越趋近于1，则表示联合直方图越对称，即说明两帧图像的相似性越大。
步骤130，对于关键帧集合K中的相邻两个关键帧的标号间隔小于一定阈值（以下，称为第三阈值）的情况，删除该相邻两个关键帧中信息熵较小的关键帧，来再次精确关键帧序列。根据监控视频连续的特性，在一段连续变化的视频序列中，连续的前后视频帧存在的特征值是渐变的，即相邻帧的图像信息值变化不大。由于关键帧是一段视频主要内容的代表，且图像的熵信息能够体现图像所包含的信息量，从而关键帧所含的信息量应相对较大。因此，为减少数据的冗余，对于关键帧集合中的间隔小于第三阈值的关键帧，删除信息熵小的关键帧，而保留图像的信息熵值大的关键帧，从而再次精确了关键帧序列。
优选地，图像信息嫡的计算公式为：
   
Figure 971758DEST_PATH_IMAGE021
   (6)               
其中，指图像的灰度级数，
Figure 694044DEST_PATH_IMAGE023
表示像素
Figure 271656DEST_PATH_IMAGE024
的灰度值，
Figure 991350DEST_PATH_IMAGE025
为各灰度级出现的概率。当待处理图像为彩色图像时，使用图像的亮度分量代替灰度级数来进行图像信息熵的计算。
优选地，第三阈值为15-25，优选为20。
本发明还提供一种利用根据本发明的关键帧提取方法的监控视频***。图3示意性示出了利用根据本发明的关键帧提取方法的监控视频***的结构。如图3所示：
利用根据本发明的关键帧提取方法的监控视频***300包括：采集模块301、压缩模块302、运动对象检测模块303、关键帧提取模块304、以及显示模块305。
采集模块301用于采集视频。例如利用摄像机等设备采集所监控的视频。
压缩模块302用于对采集模块301采集的视频进行压缩。压缩算法例如，MPEG-X和 H.26X等常用的视频编码算法。
运动对象检测模块303用于对经过压缩模块302压缩的视频进行运动对象检测。运动对象检测的算法例如步骤110所述。当应用在视频监控领域中时，一旦检测到运动对象后，该模块可以判断为有入侵行为发生，则可以将此时检测到的入侵视频传送到显示模块进行报警。
关键帧提取模块304用于对运动对象检测模块303输出的含有运动对象的视频序列进行关键帧的提取。提取关键帧的算法例如步骤120及步骤130所述。
显示模块305用于显示采集模块301输出的采集视频、压缩模块302输出的压缩视频、运动对象检测模块303输出的入侵报警视频、以及关键帧提取模块304输出的关键帧视频。
利用本发明的一种视频的关键帧提取方法，实现以简单的算法从海量监控视频中提取仅含运动目标的关键帧，并能够大幅减少关键帧序列中的冗余数据，从而显著地减少了视频数据的存储量。
结合这里披露的本发明的说明和实践，本发明的其他实施例对于本领域技术人员都是易于想到和理解的。说明和实施例仅被认为是示例性的，本发明的真正范围和主旨均由权利要求所限定。

Claims (18)

1.一种用于监控***视频的关键帧提取方法，所述方法包括如下步骤：
a) 利用背景差分法提取视频中含有运动对象的关键帧序列；
b) 基于联合直方图计算所述关键帧序列中相邻两帧的相似度，并提取相似性小于阈值的关键帧，将其加入关键帧集合中；
c) 判断所述关键帧集合中相邻两个关键帧的标号是否小于一定间隔，若是则删除其中信息熵小的关键帧，更新所述关键帧集合。
2.根据权利要求1所述的方法，其特征在于，在步骤a中，所述背景差分法中使用具有两个高斯模型的高斯混合背景模型来建立背景模型。
3.根据权利要求1所述的方法，其特征在于，在步骤a中通过检测变化像素，来检测帧中是否有运动对象。
4.根据权利要求2所述的方法，其特征在于，在步骤a中，在所述高斯混合背景模型中，若某一象素当前强度值为                                                
Figure 931724DEST_PATH_IMAGE001
，则该象素属于两个背景模型的概率计算公式如下式：
Figure 877814DEST_PATH_IMAGE002
   (1)
其中
Figure 744270DEST_PATH_IMAGE003
分别表示所述两个高斯模型公式，
Figure 584050DEST_PATH_IMAGE004
和
Figure 127027DEST_PATH_IMAGE005
分别是在
Figure 486378DEST_PATH_IMAGE006
时刻的所述两个高斯模型的协方差和均值。
5.根据权利要求3所述的方法，其特征在于，在步骤a中，在进行检测所述变化像素时还进行邻域像素模型符合性检测。
6.根据权利要求2所述的方法，其特征在于，检测所述变化像素的方法如下，将当前待处理帧的每个像素的强度值与其对应的两个背景像素模型的均值做差处理，若差值大于设定的阈值即判定为所述变化像素。
7.根据权利要求6所述的方法，其特征在于，在所述高斯混合模型模型Hk
Figure 77896DEST_PATH_IMAGE007
中，计算所述每个当前待处理帧的像素是否是所述变化像素的计算公式如下：
Figure 834500DEST_PATH_IMAGE008
      (2)       
其中
Figure 751640DEST_PATH_IMAGE009
为系数常量。
8.根据权利要求6所述的方法，其特征在于，计算所述每个当前待处理帧的像素是否是所述变化像素的计算公式如下：
Figure 344426DEST_PATH_IMAGE010
(3)   。
9.根据权利要求1所述的方法，其特征在于，在步骤a中，对于因背景变化而在前景中形成的很多小尺寸的像素块，通过尺寸滤波对其加以消除，来降低监控***背景模型的错误。
10.根据权利要求1所述的方法，其特征在于，步骤b还包括如下步骤：
b1)将所述关键帧序列中的首个关键帧作为当前关键帧；
b2)将所述当前关键帧放入关键帧集合中；
b3)从所述关键帧序列中取出下一帧作为比较关键帧；
b4)对所述当前关键帧与所述比较关键帧的相似性进行计算；
b5)判断相似性是否小于第二阈值，是则进入步骤b6；否则进入步骤b7；
b6)将所述比较关键帧作为所述当前关键帧，并将其加入所述关键帧集合中；
b7)检测所述比较关键帧是否为所述关键帧序列中的最后一帧，是则结束，所述关键帧集合即为经过初步精确后的所述关键帧序列；否则返回步骤b3继续处理。
11.根据权利要求10所述的方法，其特征在于，在步骤b4中，计算所述关键帧之间的相似性的方法是基于联合直方图的关键帧提取方法，所述方法根据联合直方图的对称性来判定图像的相似程度。
12.根据权利要求11所述的方法，其特征在于，对于大小同为
Figure 801953DEST_PATH_IMAGE011
的两幅图像
Figure 616325DEST_PATH_IMAGE012
、
Figure 251837DEST_PATH_IMAGE013
，对应的像素值对
Figure 518870DEST_PATH_IMAGE014
的联合概率表示为：
 
Figure 780087DEST_PATH_IMAGE015
 (4)   
其中，
Figure 448966DEST_PATH_IMAGE016
。
13.根据权利要求12所述的方法，其特征在于，所述联合直方图的对称性定义为：
    
Figure 255379DEST_PATH_IMAGE017
   (5)
其中，是所述联合直方图的对角线上的权值，在此为小于1的正常量，而
Figure 809037DEST_PATH_IMAGE019
则表示远离所述对角线元素的权重，公式中
Figure 145472DEST_PATH_IMAGE020
为整数。
14.根据权利要求1所述的方法，其特征在于，在步骤c中，所述关键帧序列中的关键帧的图像信息熵的计算公式为：
Figure 575316DEST_PATH_IMAGE021
   (6)
其中，
Figure 879258DEST_PATH_IMAGE022
指图像的灰度级数，
Figure 967431DEST_PATH_IMAGE023
表示像素
Figure 610902DEST_PATH_IMAGE024
的灰度值，
Figure 821435DEST_PATH_IMAGE025
为各灰度级出现的概率。
15.根据权利要求14所述的方法，其特征在于，当所述关键帧序列中的关键帧的图像为彩色图像时，使用亮度分量代替灰度级数进行所述图像信息熵的计算。
16.根据权利要求1所述的方法，其特征在于，在所述步骤c中的所述间隔为15-25。
17.根据权利要求16所述的方法，其特征在于，所述间隔为20。
18.一种利用关键帧提取方法的监控视频***，所述***包括采集模块、压缩模块、运动对象检测模块、关键帧提取模块、以及显示模块，其特征在于：
所述采集模块用于采集视频；
所述压缩模块用于对所述采集模块采集的视频进行压缩；
所述运动对象检测模块用于对经过所述压缩模块压缩的视频进行运动对象检测，利用背景差分法提取视频中含有运动对象的关键帧序列；
所述关键帧提取模块用于对所述运动对象检测模块输出的含有运动对象的视频序列进行关键帧的提取，所述提取包括以下两个步骤：a）基于联合直方图计算所述关键帧序列中相邻两帧的相似度，并提取相似性小于阈值的关键帧，将其加入关键帧集合中；和b) 判断所述关键帧集合中相邻两个关键帧的标号是否小于一定间隔，若是则删除其中信息熵小的关键帧，更新所述关键帧集合；
所述显示模块用于显示所述采集模块输出的采集视频、所述压缩模块输出的压缩视频、所述运动对象检测模块输出的入侵报警视频、以及所述关键帧提取模块输出的所述关键帧视频。
CN201410074061.2A 2014-03-03 2014-03-03 一种用于监控***视频的关键帧提取方法及其*** Pending CN103810711A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410074061.2A CN103810711A (zh) 2014-03-03 2014-03-03 一种用于监控***视频的关键帧提取方法及其***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410074061.2A CN103810711A (zh) 2014-03-03 2014-03-03 一种用于监控***视频的关键帧提取方法及其***

Publications (1)

Publication Number Publication Date
CN103810711A true CN103810711A (zh) 2014-05-21

Family

ID=50707432

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410074061.2A Pending CN103810711A (zh) 2014-03-03 2014-03-03 一种用于监控***视频的关键帧提取方法及其***

Country Status (1)

Country Link
CN (1) CN103810711A (zh)

Cited By (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104284198A (zh) * 2014-10-27 2015-01-14 李向伟 视频浓缩方法
CN104837031A (zh) * 2015-04-08 2015-08-12 中国科学院信息工程研究所 一种高速自适应提取视频关键帧的方法
CN104853060A (zh) * 2015-04-14 2015-08-19 武汉基数星通信科技有限公司 高清视频前置处理方法和***
CN104980707A (zh) * 2015-06-25 2015-10-14 浙江立元通信技术股份有限公司 一种智能视频巡逻***
CN105100776A (zh) * 2015-08-24 2015-11-25 深圳凯澳斯科技有限公司 一种立体视频截图方法及装置
CN105469383A (zh) * 2014-12-30 2016-04-06 北京大学深圳研究生院 基于多特征融合的无线胶囊内窥镜冗余图像筛除方法
CN105516735A (zh) * 2015-12-11 2016-04-20 小米科技有限责任公司 代表帧获取方法和装置
CN105701843A (zh) * 2016-04-15 2016-06-22 张志华 一种无人值守停车场监控***
CN106470323A (zh) * 2015-08-14 2017-03-01 杭州海康威视***技术有限公司 视频数据的存储方法及设备
CN106503112A (zh) * 2016-10-18 2017-03-15 大唐软件技术股份有限公司 视频检索方法和装置
CN106780429A (zh) * 2016-11-16 2017-05-31 重庆金山医疗器械有限公司 基于感知颜色空间和关键角点的wce视频时序冗余图像数据的关键帧提取方法
CN106911943A (zh) * 2017-02-21 2017-06-30 腾讯科技（深圳）有限公司 一种视频展示方法及其装置
CN106960211A (zh) * 2016-01-11 2017-07-18 北京陌上花科技有限公司 关键帧获取方法及装置
CN107346547A (zh) * 2017-07-04 2017-11-14 易视腾科技股份有限公司 基于单目平台的实时前景提取方法及装置
CN107578011A (zh) * 2017-09-05 2018-01-12 中国科学院寒区旱区环境与工程研究所 视频关键帧的判定方法及装置
CN107886560A (zh) * 2017-11-09 2018-04-06 网易（杭州）网络有限公司 动画资源的处理方法及装置
CN108171189A (zh) * 2018-01-05 2018-06-15 广东小天才科技有限公司 一种视频编码方法、视频编码装置及电子设备
WO2018166288A1 (zh) * 2017-03-15 2018-09-20 北京京东尚科信息技术有限公司 信息呈现方法和装置
WO2019007020A1 (zh) * 2017-07-05 2019-01-10 优酷网络技术（北京）有限公司 一种视频摘要的生成方法及装置
WO2019085941A1 (zh) * 2017-10-31 2019-05-09 腾讯科技（深圳）有限公司 一种关键帧提取方法、装置和存储介质
CN109816769A (zh) * 2017-11-21 2019-05-28 深圳市优必选科技有限公司 基于深度相机的场景地图生成方法、装置及设备
CN109902565A (zh) * 2019-01-21 2019-06-18 深圳市烨嘉为技术有限公司 多特征融合的人体行为识别方法
CN110781711A (zh) * 2019-01-21 2020-02-11 北京嘀嘀无限科技发展有限公司 目标对象识别方法、装置、电子设备及存储介质
CN110795595A (zh) * 2019-09-10 2020-02-14 安徽南瑞继远电网技术有限公司 基于边缘计算的视频结构化存储方法、装置、设备及介质
CN110944159A (zh) * 2019-12-31 2020-03-31 联想(北京)有限公司 一种信息处理方法、电子设备以及信息处理***
CN110996183A (zh) * 2019-07-12 2020-04-10 北京达佳互联信息技术有限公司 视频摘要的生成方法、装置、终端及存储介质
CN111289848A (zh) * 2020-01-13 2020-06-16 甘肃省安全生产科学研究院有限公司 一种应用在基于安全生产的智能型热局放仪的复合数据滤波方法
CN111752520A (zh) * 2020-06-28 2020-10-09 Oppo广东移动通信有限公司 图像显示方法、装置、电子设备和计算机可读存储介质
CN111836072A (zh) * 2020-05-21 2020-10-27 北京嘀嘀无限科技发展有限公司 视频处理方法、装置、设备和存储介质
CN112906818A (zh) * 2021-03-17 2021-06-04 东南数字经济发展研究院 一种减少视频数据集用于人工智能训练时冗余的方法
CN112989112A (zh) * 2021-04-27 2021-06-18 北京世纪好未来教育科技有限公司 在线课堂内容采集方法及装置
CN113553979A (zh) * 2021-07-30 2021-10-26 国电汉川发电有限公司 一种基于改进yolo v5的安全服检测方法和***
CN113596556A (zh) * 2021-07-02 2021-11-02 咪咕互动娱乐有限公司 视频传输方法、服务器及存储介质
CN113794815A (zh) * 2021-08-25 2021-12-14 中科云谷科技有限公司 用于提取视频关键帧的方法、装置及控制器
CN117112833A (zh) * 2023-10-24 2023-11-24 北京智汇云舟科技有限公司 一种基于存储空间优化的视频静态帧过滤方法及装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008176653A (ja) * 2007-01-19 2008-07-31 Omron Corp 監視装置および方法、並びにプログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008176653A (ja) * 2007-01-19 2008-07-31 Omron Corp 監視装置および方法、並びにプログラム

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
周兵等: "一种适合于监控视频内容检索的关键帧提取新方法", 《郑州大学学报(工学版)》, vol. 34, no. 3, 31 May 2013 (2013-05-31), pages 102 - 105 *
王瑞: "智能视频监控***的研究与开发", 《万方学位论文数据库》 *
郝伟伟: "适用于监控视频的关键帧提取", 《万方学位论文数据库》, 8 October 2013 (2013-10-08), pages 19 *

Cited By (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104284198A (zh) * 2014-10-27 2015-01-14 李向伟 视频浓缩方法
CN105469383A (zh) * 2014-12-30 2016-04-06 北京大学深圳研究生院 基于多特征融合的无线胶囊内窥镜冗余图像筛除方法
CN104837031A (zh) * 2015-04-08 2015-08-12 中国科学院信息工程研究所 一种高速自适应提取视频关键帧的方法
CN104837031B (zh) * 2015-04-08 2018-01-30 中国科学院信息工程研究所 一种高速自适应提取视频关键帧的方法
CN104853060A (zh) * 2015-04-14 2015-08-19 武汉基数星通信科技有限公司 高清视频前置处理方法和***
CN104980707A (zh) * 2015-06-25 2015-10-14 浙江立元通信技术股份有限公司 一种智能视频巡逻***
CN104980707B (zh) * 2015-06-25 2019-03-08 浙江立元通信技术股份有限公司 一种智能视频巡逻***
CN106470323A (zh) * 2015-08-14 2017-03-01 杭州海康威视***技术有限公司 视频数据的存储方法及设备
CN106470323B (zh) * 2015-08-14 2019-08-16 杭州海康威视***技术有限公司 视频数据的存储方法及设备
CN105100776B (zh) * 2015-08-24 2017-03-15 深圳凯澳斯科技有限公司 一种立体视频截图方法及装置
CN105100776A (zh) * 2015-08-24 2015-11-25 深圳凯澳斯科技有限公司 一种立体视频截图方法及装置
CN105516735A (zh) * 2015-12-11 2016-04-20 小米科技有限责任公司 代表帧获取方法和装置
CN105516735B (zh) * 2015-12-11 2019-03-22 小米科技有限责任公司 代表帧获取方法和装置
CN106960211A (zh) * 2016-01-11 2017-07-18 北京陌上花科技有限公司 关键帧获取方法及装置
CN106960211B (zh) * 2016-01-11 2020-04-14 北京陌上花科技有限公司 关键帧获取方法及装置
CN105701843A (zh) * 2016-04-15 2016-06-22 张志华 一种无人值守停车场监控***
CN106503112A (zh) * 2016-10-18 2017-03-15 大唐软件技术股份有限公司 视频检索方法和装置
CN106780429A (zh) * 2016-11-16 2017-05-31 重庆金山医疗器械有限公司 基于感知颜色空间和关键角点的wce视频时序冗余图像数据的关键帧提取方法
CN106780429B (zh) * 2016-11-16 2020-04-21 重庆金山医疗器械有限公司 基于感知颜色空间和关键角点的wce视频时序冗余图像数据的关键帧提取方法
CN106911943A (zh) * 2017-02-21 2017-06-30 腾讯科技（深圳）有限公司 一种视频展示方法及其装置
CN106911943B (zh) * 2017-02-21 2021-10-26 腾讯科技（深圳）有限公司 一种视频展示方法、装置及存储介质
CN108629224A (zh) * 2017-03-15 2018-10-09 北京京东尚科信息技术有限公司 信息呈现方法和装置
WO2018166288A1 (zh) * 2017-03-15 2018-09-20 北京京东尚科信息技术有限公司 信息呈现方法和装置
CN108629224B (zh) * 2017-03-15 2019-11-05 北京京东尚科信息技术有限公司 信息呈现方法和装置
CN107346547A (zh) * 2017-07-04 2017-11-14 易视腾科技股份有限公司 基于单目平台的实时前景提取方法及装置
CN107346547B (zh) * 2017-07-04 2020-09-04 易视腾科技股份有限公司 基于单目平台的实时前景提取方法及装置
WO2019007020A1 (zh) * 2017-07-05 2019-01-10 优酷网络技术（北京）有限公司 一种视频摘要的生成方法及装置
CN107578011A (zh) * 2017-09-05 2018-01-12 中国科学院寒区旱区环境与工程研究所 视频关键帧的判定方法及装置
WO2019085941A1 (zh) * 2017-10-31 2019-05-09 腾讯科技（深圳）有限公司 一种关键帧提取方法、装置和存储介质
CN107886560B (zh) * 2017-11-09 2021-05-25 网易（杭州）网络有限公司 动画资源的处理方法及装置
CN107886560A (zh) * 2017-11-09 2018-04-06 网易（杭州）网络有限公司 动画资源的处理方法及装置
CN109816769A (zh) * 2017-11-21 2019-05-28 深圳市优必选科技有限公司 基于深度相机的场景地图生成方法、装置及设备
CN108171189A (zh) * 2018-01-05 2018-06-15 广东小天才科技有限公司 一种视频编码方法、视频编码装置及电子设备
CN110781711A (zh) * 2019-01-21 2020-02-11 北京嘀嘀无限科技发展有限公司 目标对象识别方法、装置、电子设备及存储介质
CN109902565A (zh) * 2019-01-21 2019-06-18 深圳市烨嘉为技术有限公司 多特征融合的人体行为识别方法
CN110996183A (zh) * 2019-07-12 2020-04-10 北京达佳互联信息技术有限公司 视频摘要的生成方法、装置、终端及存储介质
CN110795595A (zh) * 2019-09-10 2020-02-14 安徽南瑞继远电网技术有限公司 基于边缘计算的视频结构化存储方法、装置、设备及介质
CN110795595B (zh) * 2019-09-10 2024-03-05 安徽南瑞继远电网技术有限公司 基于边缘计算的视频结构化存储方法、装置、设备及介质
CN110944159A (zh) * 2019-12-31 2020-03-31 联想(北京)有限公司 一种信息处理方法、电子设备以及信息处理***
CN111289848A (zh) * 2020-01-13 2020-06-16 甘肃省安全生产科学研究院有限公司 一种应用在基于安全生产的智能型热局放仪的复合数据滤波方法
CN111836072A (zh) * 2020-05-21 2020-10-27 北京嘀嘀无限科技发展有限公司 视频处理方法、装置、设备和存储介质
CN111752520A (zh) * 2020-06-28 2020-10-09 Oppo广东移动通信有限公司 图像显示方法、装置、电子设备和计算机可读存储介质
CN112906818A (zh) * 2021-03-17 2021-06-04 东南数字经济发展研究院 一种减少视频数据集用于人工智能训练时冗余的方法
CN112989112B (zh) * 2021-04-27 2021-09-07 北京世纪好未来教育科技有限公司 在线课堂内容采集方法及装置
CN112989112A (zh) * 2021-04-27 2021-06-18 北京世纪好未来教育科技有限公司 在线课堂内容采集方法及装置
CN113596556A (zh) * 2021-07-02 2021-11-02 咪咕互动娱乐有限公司 视频传输方法、服务器及存储介质
CN113596556B (zh) * 2021-07-02 2023-07-21 咪咕互动娱乐有限公司 视频传输方法、服务器及存储介质
CN113553979A (zh) * 2021-07-30 2021-10-26 国电汉川发电有限公司 一种基于改进yolo v5的安全服检测方法和***
CN113553979B (zh) * 2021-07-30 2023-08-08 国电汉川发电有限公司 一种基于改进yolo v5的安全服检测方法和***
CN113794815A (zh) * 2021-08-25 2021-12-14 中科云谷科技有限公司 用于提取视频关键帧的方法、装置及控制器
CN117112833A (zh) * 2023-10-24 2023-11-24 北京智汇云舟科技有限公司 一种基于存储空间优化的视频静态帧过滤方法及装置
CN117112833B (zh) * 2023-10-24 2024-01-12 北京智汇云舟科技有限公司 一种基于存储空间优化的视频静态帧过滤方法及装置

Similar Documents

Publication Publication Date Title
CN103810711A (zh) 一种用于监控***视频的关键帧提取方法及其***
KR102560308B1 (ko) 외관 탐색을 위한 시스템 및 방법
US7957557B2 (en) Tracking apparatus and tracking method
WO2016173277A9 (zh) 视频编码方法、解码方法及其装置
CN108734107B (zh) 一种基于人脸的多目标跟踪方法及***
KR101891225B1 (ko) 배경 모델을 업데이트하기 위한 방법 및 장치
CN103729858B (zh) 一种视频监控***中遗留物品的检测方法
CN104978567B (zh) 基于场景分类的车辆检测方法
US9953240B2 (en) Image processing system, image processing method, and recording medium for detecting a static object
US9904868B2 (en) Visual attention detector and visual attention detection method
CN110782433B (zh) 基于时序的动态信息暴力抛物检测方法、装置及存储介质
CN108229346B (zh) 使用有符号的前景提取与融合的视频摘要
CN112561951B (zh) 一种基于帧差绝对误差和sad的运动和亮度检测方法
CN103093198A (zh) 一种人群密度监测方法及装置
Patil et al. Global abnormal events detection in surveillance video—A hierarchical approach
CN101877135B (zh) 一种基于背景重构的运动目标检测方法
Chen et al. An image restoration and detection method for picking robot based on convolutional auto-encoder
CN113361475A (zh) 一种基于多阶段特征融合信息复用的多光谱行人检测方法
CN107665325B (zh) 基于原子特征袋模型的视频异常事件检测方法及***
Agrawal et al. Segmentation of moving objects using numerous background subtraction methods for surveillance applications
CN112581489A (zh) 一种视频压缩方法、装置及存储介质
CN108573217B (zh) 一种结合局部结构化信息的压缩跟踪方法
CN110889347A (zh) 基于时空计数特征的密度交通流计数方法及***
Zhu et al. Detection and recognition of abnormal running behavior in surveillance video
Yang et al. MediaCCNY at TRECVID 2012: Surveillance Event Detection.

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20140521

WD01 Invention patent application deemed withdrawn after publication