CN106062715A - 用于智能视频删减的方法和设备 - Google Patents

用于智能视频删减的方法和设备 Download PDF

Info

Publication number
CN106062715A
CN106062715A CN201380082021.6A CN201380082021A CN106062715A CN 106062715 A CN106062715 A CN 106062715A CN 201380082021 A CN201380082021 A CN 201380082021A CN 106062715 A CN106062715 A CN 106062715A
Authority
CN
China
Prior art keywords
video
frame
motion
moving region
equipment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201380082021.6A
Other languages
English (en)
Other versions
CN106062715B (zh
Inventor
L.王
F.阿格达西
G.M.米勒
S.J.米切尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pelco Inc
Original Assignee
Pelco Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pelco Inc filed Critical Pelco Inc
Publication of CN106062715A publication Critical patent/CN106062715A/zh
Application granted granted Critical
Publication of CN106062715B publication Critical patent/CN106062715B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

根据至少一个示例实施例，删减视频数据的方法和相应的装置包括基于与所述视频数据的内容相关联的短期的和长期的变化，检测视频数据的视频帧内的运动区域。然后，基于所检测到的运动区域、相应的过滤后的运动区域和与所述视频数据相关联的变化模式，识别与所述视频数据的内容相关联的运动事件。基于所识别的运动事件，确定用于储存所述视频数据的视频帧的储存模式。视频帧根据所确定的储存模式而储存。

Description

用于智能视频删减的方法和设备
背景技术
未压缩的视频数据是一系列的视频帧或图像。如此，储存视频数据通常与大的存储器消耗相关联。许多视频应用涉及储存大量的视频数据。例如，视频监视***通常被设计成不断地捕捉视频数据并且储存捕捉的视频以用于需要的任何时候的潜在的未来访问。
发明内容
在涉及大量的视频内容的储存的视频应用中，可用的存储器容量通常对可以储存多少视频数据施加限制。在这样的情况中，识别相对较高重要性的视频内容并且优先其储存是有用的。
根据至少一个示例实施例，用于删减视频数据的方法和相应的设备包括基于与所述视频数据的内容相关联的短期的和长期的变化检测视频数据的视频帧中的运动区域。基于所检测到的运动区域、相应的过滤后的运动区域和与所述视频数据相关联的变化模式，识别与所述视频数据的内容相关联的运动事件。然后，基于所识别的运动事件，确定所述视频数据的视频帧的储存时段。视频帧根据所确定的储存时段而储存。
过滤后的运动区域也被识别。例如，过滤后的区域与重复的运动相关联。如此，在已经识别的运动区域内的并且与重复的运动相关联的子区域被识别。与重复的运动相关联的子区域然后被从已经识别的运动区域排除，得到过滤后的运动区域。如果捕捉视频数据的相机不是固定的，例如，旋转的视频相机，则由于相机运动导致的视频数据的内容中的变化可以被估计和过滤。
根据至少一个示例实施例，用于运动区域和过滤后的运动区域的运动检测基于单独的检测时间段而进行。在检测时间段中，对于每个相应的视频帧产生一个或多个运动描述符。例如，对于每个视频帧，基于相应的识别的运动区域产生第一描述符，并且基于相应的过滤后的运动区域产生第二描述符。运动描述符包括在每个视频帧内的运动区域的分布的指示、在每个视频帧内的运动区域的相对量的指示和/或在单个视频块内的运动像素的最大数量。
一旦产生运动描述符，分析在单独的分析时间段内的视频帧，并且确定每个分析时间段内的变化模式的一个或多个指示符。确定的指示符被储存以用在识别所述运动事件中。基于一个或多个阈值识别运动事件。例如，阈值可以包括运动的最小时段、最小运动等级和两个连续的运动事件之间的最大间隙时段。根据一个示例方面，对于每个分析时间端适应性地确定阈值。例如，在分析时间段内基于默认的阈值初始地识别运动事件。如果识别的运动事件的数量被认为太高，则默认的阈值被提高并且重复识别运动事件的过程。但是，如果识别的运动事件被认为太少，则默认的阈值被降低，并且重复识别运动事件的过程。
根据至少一个示例实施例，运动事件被分级。基于运动事件的分级，确定视频帧的储存时段。例如，与运动事件相关联的等级越高，一个或多个相应的视频帧被储存地越久。
附图说明
以上将从如在附图中所示出的本发明的示例实施例的下列更具体的描述中变得显而易见，附图中贯穿不同的视图，相似的附图标记指代相同的部件。附图未必是按比例的，而是将重点放在示出本发明的实施例。
图1是根据至少一个示例实施例示出视频监视***的图；
图2是根据至少一个示例实施例示出删减视频数据的方法的流程图；
图3是根据至少一个示例实施例示出识别运动块以用于过滤的方法的流程图；
图4是根据至少一个示例实施例示出排序运动事件的方法的流程图；以及
图5是根据至少一个示例实施例示出储存视频数据和相应的存储器消耗的模式的表。
具体实施方式
本发明的示例实施例的描述如下。
图1是根据至少一个示例实施例示出视频监视***100的图。视频监视***100包括一个或多个相机、例如101a-101d、处理装置110和存储装置120。处理装置110可以是计算机装置，例如个人计算机、膝上型计算机、服务器、平板机、手持装置等等，或者可以是具有处理器和其中储存了计算机代码指令的存储器的计算装置。例如，处理装置110可以是嵌入在(一个或多个)相机、例如101a-101d中的处理器，或可以是被配置为储存和分析由(一个或多个)相机、例如101a-101d捕捉的视频数据的视频服务器。储存装置120是被配置为储存由例如101a-101d的(一个或多个)相机记录的视频数据的存储器装置，例如外部存储器装置、服务器等等。根据一个示例实现方式，处理装置110和储存装置120是同一电子设备的组件。可替代地，处理装置110和储存装置120实现在相机101a-101d的一个或每一个中。甚至根据另一个实现方式，例如101a-101d的(一个或多个)相机、处理装置110和储存装置120通过诸如局域网、广域网、其组合等的通信网络相互耦接。例如101a-101d的(一个或多个)相机可以通过有线或者无线链路105耦接到处理装置110或储存装置120。
在视频监视***100中，例如101a-101d的(一个或多个)相机通常不断地捕捉视频数据。记录的视频数据通常储存一段时间以用于在需要时的潜在的访问。视频数据储存的越久，提供对之前记录的事件的访问的可能性越大。如此，设计例如100的视频监视***的难题在于给定硬件储存容量，存尽可能多的感兴趣的视频内容。具体而言，一天的记录的视频数据产生将要储存的数百万的视频帧，或者相当于十亿字节的视频数据。给定监视***100的或者等同的储存装置120的存储器储存容量，目标是储存尽可能多的感兴趣的视频内容，并且因此保存尽可能多的感兴趣的事件的记录。
储存所有记录的视频帧导致储存感兴趣的视频内容也储存不具有感兴趣的事件的视频内容。如此，储存不具有感兴趣的事件的视频内容消耗否则将可用于储存指示感兴趣的事件的视频内容的存储空间。视频监视***100的用户通常想要保存感兴趣事件的记录尽可能最长的时间段。此外，简单地储存帧内(I帧)以及丢弃帧间预测(P帧)不提供用于访问之前的感兴趣事件的足够的存储信息。
根据至少一个示例实施例，分析捕捉的视频数据，并且基于运动或时间变化的从捕捉的视频数据得到的信息识别运动事件。这里，运动事件被定义为其中在相邻视频帧之上几乎不断地检测到显著运动的视频帧的序列或时间段。运动事件可包括一个或多个其中没有检测到显著运动的相对较短的时间段。得到的运动信息包括原始的和过滤后的运动信息。原始的运动信息包括基于从捕捉的视频数据检测的短期和长期的变化而确定的运动信息。通过从该原始的运动中排除至少重复的运动而产生过滤后的运动信息。
识别的运动事件被用于确定储存模式，相应的帧的视频根据该存储模式被储存。例如，运动事件越相关，相应的视频帧储存在储存装置120中越久。根据一个示例实现方式，识别的视频事件按照相关性或重要性通过基于相应的运动信息的无监督的学习而被分类或分级(rank)。用于每一个运动事件的分类或分级的信息然后被用于确定用于与相同的运动事件相关联的视频帧的储存模式。给定储存容量，所确定的储存模式使得相关的或信息丰富的视频数据的储存能够比典型的视频删减(prune)技术长久得多。
图2是示出根据至少一个示例实施例的删减视频数据的方法200的流程图。通过例如101a-101d的(一个或多个)相机捕捉的视频数据可以直接储存在储存装置120中或在被储存在储存装置120之前被转发到处理装置110用于处理。在块210处，基于与当前视频帧相关联的短期和长期的时间变化而检测原始的运动区域、例如像素。长期的变化可以使用诸如高斯混合模型(GMM)、移动平均等的背景减除技术来检测。短期的变化可以例如通过从当前视频帧中减去前一视频帧而检测。
然后采用阈值来将当前视频帧的像素标记为“运动”或“静止”像素。在阈值以上的区别于背景的当前帧的像素被标记为“运动”像素。此外，在阈值以上的区别于前一帧中的相应的像素的当前帧的像素被标记为“运动”像素。对于长期和短期的变化可以使用相同的阈值或不同的阈值。基于当前视频帧的内容，(一个或多个)阈值可以是动态的。为了抑制照明改变的影响，标准化的交叉关联可以被用作在检测运动像素中的度量。本领域技术人员应理解的是，使用长期变化和短期变化两者得到运动像素的较少噪声的估计。
一旦检测到运动像素，当前视频帧被分成N×N个视频块，其中N是整数。然后使用第二阈值将每一个块标记为“运动”或“静止”块。如果“运动”像素的计数大于第二阈值，则该块被标记为“运动”块；否则其被标记为“静止”块。形态学的腐蚀或开运算(opening)可应用于在标记视频块之前去除噪声“运动”像素。例如，当形态学的腐蚀或开运算被应用于当前视频帧时，相对小或细的“运动”区域通常被消除。
在块220处，检测的“运动”块被过滤并且相应的过滤后的“运动”块被确定。在过滤运动块时，考虑在至少一个之前的视频帧中的相应的视频块的标记。换句话说，基于在当前视频帧和之前的视频帧中的运动信息而确定过滤后的运动。
图3是示出根据至少一个示例实施例的识别运动块以用于过滤的方法的流程图。运动改变计数器(MCC)被定义用于每一个视频块以指示视频块标记在相应的检测时间段中从“静止”翻转为“运动”的次数。如此，MCC被用于检测重复的或波动的运动。例如，每一个检测时间段具有预定持续时间，例如，五或十分钟，并且MCC在每一个检测时段的开始时被复位。提出运动改变历史图像(MCHI)以保持每一个视频块的运动历史。对于在当前视频帧中的视频块，在块310处检查视频块的标记。如果视频块被标记为“静止”，则在块315处递减相应的MCHI。然而，如果视频块被标记为“运动”，则在块320处检查在前一视频帧中的相同的视频块的标记。如果在前一帧中的该频块的标记是“静止”，则在块325处递增对应于该视频块的MCC。如果当前视频块被标记为“运动”，则在块330处对于相同的视频块的MCHI被设置在最大值。对于每一个新的检测时间段MCHI还被复位。
在块340处，将用于视频块的MCC与标记改变阈值相比较。如果MCC大于标记改变阈值，则在块350处，相应的噪声屏蔽(mask)条目被设置为1，指示相应的检测到的运动为噪声或者是不相干的运动。例如，视频监视***100的用户通常对保持摇摆的旗帜或者移动的树叶和树枝的跟踪不感兴趣。如果对应于视频块的MCC小于标记改变阈值，则在块245处相应的噪声屏蔽条目被设置为0。如果用于视频块的噪声屏蔽条目被设置为0(块260)，则在块265处检查指示在之前的视频帧上的该视频块的噪声屏蔽条目的历史的历史屏蔽条目。如果该历史屏蔽条目大于0，则在块380处该视频块的噪声屏蔽被设置为1。如果在块360处发现噪声屏蔽条目等于1，则在块370处相应的历史屏蔽条目被设置为正值。即使在相应的视频场景中一段时间没有运动，历史屏蔽也保持对过去的噪声屏蔽值的跟踪并且被用于抑制噪声。对于在当前视频帧内的所有视频块重复关于图3描述的过程。然后采用噪声屏蔽来过滤当前视频帧中的检测到的原始运动。
在图2的块230处，产生用于当前视频帧的至少一个运动描述符。运动描述符包括运动活动性值、运动分布指示符和在“运动”视频块中的“运动”像素的最大数量。运动活动性值指示在相应的视频帧内检测的运动块的百分比。运动分布指示符表示对于相应的视频帧的视频块的分布。例如，运动分布指示符可以是位序列，每一位指示相应的视频块是被标记为“运动”还是“静止”。例如，整个视频帧可以被均匀地分为8×8或更精细的视频块。运动分布指示符的每个格(bin)对应于视频帧中的视频块。对于包含大于阈值数量的多个运动像素的视频块，相应的位被设置为1。对于包含少于阈值数量的多个运动像素的视频块，相应的位被设置为0。如此，32位整数表示32个视频块，这是描述在视频帧中的运动分布的有效方式。在“运动”视频块中的“运动”像素的最大数量是用于评估在视频帧中的运动量的统计参数。本领域技术人员应理解的是，可以使用其它统计的参数，例如每一个“运动”视频块的“运动”像素的平均数、在“运动”视频块中的“运动”像素的最小数量、其组合等。
与运动描述符相关联的参数被用于将运动与散射的噪声相区分。根据至少一个示例实施例，对于处理的每一个视频帧，产生两个运动描述符。一个运动描述符对应于在视频帧中检测到的原始的运动，而另一个运动描述符基于相应的过滤后的运动而获得。
根据至少一个示例实施例，对于与检测时间段相关联的视频帧进行在块210-230中描述的过程。换句话说，由例如101a-101d的(一个或多个)相机记录的视频数据被作为单独的视频的序列而处理，视频帧的每一个序列对应于一个检测时间段。在与检测时间段相关联的每一个视频序列中的视频帧被一起处理。在块240处，分析在当前分析时间段中的运动活动性模式，并且计算且储存相应的度量。具体而言，在当前检测时间段内估计在每一个视频块i中的运动的概率分布Pi t。上标t是指与被处理的视频帧相关联的分析时间段。例如，分析时间段可以以每个小时为基础定义，其中一天的每个小时表示一个时间段。可替代地，分析时间段可以不同地定义，例如，不是所有的时间段具有相同的持续时间。例如，分析时间段可以是一个小时或两个小时长。本领域技术人员应理解的是，可以定义用于分析时间段的其它持续时间。可替代地，可以按照多个连续的视频帧而定义分析时间段。本领域技术人员应理解的是，其它统计的或非统计的参数可以作为在每一个分析时间段内的运动模式的分析的部分而计算。此外，在表征与给定的检测时间段相关联的运动模式时，与在之前的一天或多天中的相同的分析时间段相关联的参数可以被合并。
在块250处，基于与在当前分析时间段中的视频帧相关联的运动描述符以及作为与当前分析时间段相关联的运动模式的分析的部分而获得的参数来检测在当前分析时间段内的运动事件。运动事件在这里被定义为视频帧的序列、或在当前分析时间段中的相应的时间间隔，在该间隔内在相邻视频帧之上几乎不断地检测到显著运动。运动事件可包括其中没有检测到显著运动的一个或多个相对较短的时段。根据至少一个示例实施例，基于在相应的视频帧内的运动活动性的量、时间间隔的长度、或承载几乎持续的运动的连续视频帧的数量和与在承载几乎持续的运动的时间间隔内的“静止”视频帧相关联的(一个或多个)间隙时段的长度来识别运动事件。
具体地，运动活动性阈值被用于在当前分析时间段内作为“运动”帧或“静止”帧的每一个视频帧。如果相应的运动活动性水平大于运动活动性阈值，则视频帧被标记为“运动”帧。例如，运动活动性可以被定义在范围[0，100]内，其中0指示场景中没有运动并且100指示场景中的全运动。对于原始的和过滤后的运动两者采用相同的范围。本领域技术人员应理解的是，可以不同地定义运动活动性。
根据一个示例实施例，基于检测到的原始的运动来检测第一组运动事件，并且基于相应的过滤后的运动来检测第二组运动事件。一旦当前时间段的视频帧被标记，使用两个时间阈值来检测运动事件。第一时间阈值表示用于检测运动事件的几乎持续的运动的最小时间段。第二时间阈值表示在任意两个连续的运动事件之间的最小间隙时段。具体而言，如果检测到的几乎持续运动的时段大于第一时间阈值，则基于几乎持续运动的检测的时段而识别相应的运动事件，否则检测的时段被忽略。此外，如果两个相邻的检测到的运动事件之间的间隙小于第二时间阈值，则这两个检测到的运动事件被合并为一个较长的运动事件。
根据至少一个示例实施例，运动活动性阈值、第一时间阈值和第二时间阈值的至少一个至少部分地基于用于相应的分析时间段的运动模式分析而被定义。例如，可以基于在相应的检测时间段期间的运动活动性水平和运动事件的频率来计算(一个或多个)阈值。具体地，可以例如基于检测到的运动事件的数量迭代地确定阈值参数。例如，可以在第一迭代中使用默认的阈值参数值，并且然后在接下来的迭代中基于在每一迭代时检测到的运动事件的数量而更新该默认的阈值参数值。本领域技术人员应理解的是，与在至少前一天中的相同的分析时间段相关联的参数也可用于设置(一个或多个)阈值。例如基于相应的运动模式分析使用自适应阈值允许在一天的不同时间时的更可靠的运动事件检测。例如，对所有的时间段使用固定的阈值使得难以在白天和夜晚检测运动，因为在白天和夜晚的运动水平完全不同。
根据一个示例实现方式，迭代地确定自适应阈值。给出运动活动性的默认阈值，初始运动事件被识别。如果检测到的运动事件太少，则降低自适应阈值并且再次检测运动事件。这样的过程被重复直至检测到的运动事件的数量大于相应的最小值。相反，如果检测到太多的事件或者检测到太长时间段的事件，则增加运动自适应阈值并且再次检测运动事件。该过程被重复直至检测到的运动事件的数量下降到预定的范围。
一旦检测到运动事件，在当前检测时间段中基于原始的和过滤后的运动而检测到的运动事件在块260处被分级。基于检测到的原始和过滤后的运动进行分级。运动事件的分级可以被看作基于相应的重要性或相关性而分类运动事件的方式。例如，与原始的和过滤后的运动两者相关联的运动事件被认为比仅与原始的运动相关联的运动事件更加相关。
图4是示出根据至少一个示例实施例的分级运动事件的方法的流程图。首先，在块405和415处，对于基于原始的运动检测到的运动事件和基于过滤后的运动检测到的运动事件定义一个或多个层级。层级包含几个层。例如，层0是顶层，其具有最粗略的时间间隔，例如五分钟的持续时间。也就是说，分析时间段被分成例如12个五分钟的时间段。接下来的层包含越来越精细的时间间隔，例如一分钟、20秒、5秒和/或甚至1秒的时间间隔。
在块440到455处，计算在分级的层级的最低等级处的运动事件的分级。基于在层级的最低等级处计算的分级信息，以越来越粗略的时间粒度构造层级的较高等级处的运动事件的分级，如在块470到485处所示。例如在最低的等级处的时间间隔是1秒，并且较高的等级的时间间隔可以是10秒、1分钟和/或5分钟。根据一个示例实施例，在其中没有检测到原始的运动的视频帧的序列被分配最低的等级。较高的等级被分配给其中仅检测到原始的运动的运动事件。更加高的等级被分配给在其中检测到原始的和过滤后的运动两者的运动事件。
在给定的层级中，运动事件的分级从包含最精细的时间间隔的底层开始、并且以最粗略的或最大的时间间隔结束而进行。运动事件的分级从最精细的间隔传播到相应的较大间隔。从底层、例如层N-1、并且向上，逐层构建该层级。从层j+1到层j，时间间隔的最大分级将被分配给相应的较粗略的时间间隔，直至达到顶层或最粗略的层，例如层0。
在块270处，基于例如在块240处计算的运动模式统计或参数以及与相同的运动事件相关联的视频帧的用户交互来调整计算的运动事件的分级。例如，具有在相应的视频块处检测到的具有相对较低的运动概率、例如Pi t的运动的运动事件的分级被提高作为在该运动事件中的(一个或多个)非预期的事件的指示。此外，用户查询被跟踪并且存储在处理装置110或数据库120中。例如，用户查询的开始和结束时间、与作为用户查询的对象的视频帧相关联的运动模式、以及用户访问视频段的时间由监视***100储存。使用与用户查询有关的存储的信息，与对视频帧的用户查询和导出或访问相关联的运动事件的分级被提高。类似于与用户查询相关联的运动事件的并且在一天中相同的时间槽处的检测到的运动事件的(一个或多个)分级也可以作为分级调整的一部分而被提高。
在块280处，储存视频数据的模式基于检测到的运动事件和相应的分级而确定，并且视频数据据此储存在数据库120中。根据至少一个示例实施例，与最低分级的运动事件相关联的视频段被首先删除。然而，与较高分级的运动事件相关联的视频段基于相应的分级和在数据库120处可用的空闲存储空间而被储存较长的时间。
图5是示出根据至少一个示例实施例的基于检测到的原始事件和(一个或多个)相应的分级来储存视频数据的模式的表。所有视频段不管相应的分级如何都被储存达第一预定的时间段，例如三天。一旦经过了第一预定的时间段，仅与检测到的运动事件相关联的视频段、例如具有等于或大于4的等级的视频段被储存达第二预定的时间段，例如4到6天，并且其他的视频段被删除。在经过第二预定的时间段之后，与具有过滤后的运动的运动事件相关联的视频段、例如具有大于7的等级的视频段被储存达第三预定的时间段，例如7-10天。此外，与仅具有原始的运动的运动事件相关联的、例如具有在4和7之间的等级的I-帧在第三预定的时间段期间被保持储存。
在第三预定的时段之后，仅与仅具有过滤后的运动的运动事件对应的I-帧被保持达第四预定的时段，例如11-14天。在第五预定的时段期间，例如15到18天，仅与仅具有原始的运动的运动事件相关联的关键帧被保持储存在数据库120中。在第六预定的时段期间，例如19到28天，仅与具有过滤后的运动的运动事件相关联的关键帧被保持储存在数据库120中。在第六预定的时间段之后，与具有过滤后的运动的运动事件对应的关键帧被删除。关键帧被定义为包含对于相应的运动事件的时段的最显著的运动的I-帧。图5中的表的最后一行示出了对应于每一个预定的时间段的存储器消耗。
假定对于单个相机的2兆比特每秒的视频比特率，储存在一天中捕捉的相应的视频数据消耗存储器的21千兆字节。如果每单个相机分配105千兆字节的存储器容量，如果不应用删减，存储器容量仅允许储存5天的视频数据。然而，通过应用图5中描述的储存模式，一些视频内容被保持储存多达28天。
根据至少一个示例实施例，从例如101a-101d的(一个或多个)捕捉相机接收的视频数据由处理装置110在运行中(on the fly)处理和分析。例如，接收的视频数据被储存到分别的视频文件中，每一个视频文件对应于检测时间段。对于原始的视频数据，在视频文件中的图像组(GOP)中的视频的每一个I-帧和第一p-帧的捕捉时间和位置被记录在数据库中。视频事件的分级、识别的运动事件的开始时间和结束时间也被储存。根据一个示例实现方式，视频数据的I-帧和p-帧被分开储存。如此，所有p-帧可以被一起删除。此外，保持对每一个GOP的位置的跟踪使得易于进行视频删减处理。此外，尤其是如果将分层地进行视频剪除，分层的分级特别有用。
本领域技术人员应理解的是，本文所述的视频删减的过程是示例实施例并且不应以限制的方式解释。例如，替代于对识别的运动事件分级，可以基于相应的检测到的运动区域而分类运动事件。此外，如果捕捉相机是移动的，则由于相机运动引起的变化可以被过滤。本领域技术人员还应理解的是，本文所述的视频删减过程也可以应用在不同于视频监视的视频应用。此外，替代于定义用于储存视频帧的时间段，可以基于检测到的运动事件定义可变的帧速率。这样的可变的帧速率然后可以被用于视频数据压缩或视频数据传输中。可替换地，可以基于检测到的运动事件定义可变的视频分辨率或可变的视频质量。
应理解的是，以上描述的示例实施例可以以多种不同的方式实现。在一些示例中，本文所述的各种方法和机器每个可以由物理的、虚拟的或混合通用或专用计算机而实施，该计算机具有中央处理器、存储器、磁盘或其它大容量储存装置、(一个或多个)通信接口、(一个或多个)输入/输出(I/O)装置和其它***设备。通用或专用计算机例如通过将软件指令加载到数据处理器中、然后使得指令执行以实行本文所述的功能而被转换为执行以上描述的方法的机器。
如本领域已知的，这样的计算机可包含***总线，其中总线是用于在计算机或处理***的组件之间的数据传送的一组硬件线。一个或多个总线本质上是连接计算机***的例如处理器、磁盘储存装置、存储器、输入/输出端口、网络端口等的不同元件的共享导线，该导线使能在元件之间的信息的传送。一个或多个中央处理器被附接到***总线并且提供计算机指令的执行。还附接到***总线的通常是I/O装置接口，用于将各种输入和输出装置、例如键盘、鼠标、显示器、打印机、扬声器等连接到计算机。(一个或多个)网络接口允许计算机连接到附接到网络的各种其它装置。存储器提供用于实现实施例的计算机软件指令和数据的易失性存储。磁盘或其它大容量储存装置提供用于实现例如本文所述的各种过程的计算机软件指令和数据的非易失性存储。
因此，实施例通常可以以硬件、固件、软件或其任意组合而实现。
在某些实施例中，本文所述的程序、装置和处理构成提供用于***的软件指令的至少一部分的包括计算机可读介质的计算机程序产品，该计算机可读介质例如诸如一个或多个DVD-ROM、CD-ROM、软盘、磁带等的可拆卸的存储介质。这样的计算机程序产品可以由任何合适的软件安装过程来安装，如本领域众所周知的。在另一个实施例中，软件指令的至少一部分也可通过电缆、通信和/或无线连接而下载。
实施例也可以实现为储存在非暂时机器可读介质上的指令，其可以由一个或多个处理器读取和执行。非瞬态机器可读介质可包括用于以可由例如计算装置的机器读取的形式储存或传输信息的任何机制。例如，非瞬态机器可读介质可包括只读存储器(ROM)；随机存取存储器(RAM)；磁盘储存介质；光储存介质；闪速存储器装置；以及其它。
另外，固件、软件、例程或指令在本文可以被描述为进行数据处理器的某些动作和/或功能。然而，应理解，本文包含的这样的描述只是为了方便并且这样的动作事实上从计算装置、处理器、控制器或执行固件、软件、例程、指令等的其它装置得到。
还应理解的是，流程图、框图和网络图可以包括更多或更少的要素，可以不同地布置或者不同地表示。但是将进一步理解的是，某些实现方式可以指导块和网络图以及示出以特定方式实现的实施例的执行的块和网络图的数量。
因此，进一步的实施例还可以以物理的、虚拟的、云计算机和/或其一些组合的多种计算机架构而实现，因此，本文所述的数据处理器意图仅用于说明的目的并且不作为对实施例的限制。
尽管本发明已经参考其示例实施例具体示出并且描述，但是本领域技术人员将理解的是，可以在不脱离由所附权利要求包含的本发明的范围的情况下，在其中做出形式和细节上的各种改变。

Claims (33)

1.一种删减视频数据的方法，包括：
由计算机装置基于与所述视频数据的内容相关联的短期的和长期的变化，检测在所述视频数据的视频帧内的运动区域；
基于所检测到的运动区域、相应的过滤后的运动区域和与所述视频数据相关联的变化模式，识别与所述视频数据的内容相关联的运动事件；以及
基于所识别的运动事件，确定用于所述视频数据的视频帧的储存时段。
2.如权利要求1所述的方法，还包括根据确定的储存时段储存所述视频帧。
3.如权利要求1所述的方法，还包括识别所述过滤后的运动区域。
4.如权利要求3所述的方法，其中识别所述过滤后的运动区域包括：
识别在所识别的运动区域内的与重复的运动相关联的子区域；以及
识别所述过滤后的运动区域作为排除与重复的运动相关联的子区域的识别的运动区域。
5.如权利要求1所述的方法，还包括产生用于所述视频数据的每一帧的一个或多个运动描述符。
6.如权利要求5所述的方法，其中产生用于所述视频数据的每一帧的一个或多个运动描述符包括：
基于相应的识别的运动区域产生用于每个视频帧的第一描述符；以及
基于相应的过滤后的运动区域产生用于每个视频帧的第二描述符。
7.如权利要求5所述的方法，其中每个运动描述符包括：
每个视频帧内的运动区域的分布的指示；以及
每个视频帧内的运动区域的相对量的指示。
8.如权利要求1所述的方法，还包括：
确定与所述视频数据相关联的变化模式的一个或多个指示符；以及
储存所确定的变化模式的一个或多个指示符以在识别所述运动事件中使用。
9.如权利要求5所述的方法，其中识别所述运动事件包括基于产生的一个或多个运动描述符以及一个或多个阈值来识别所述运动事件。
10.如权利要求9所述的方法，其中所述一个或多个阈值包括以下的至少一个：
运动的最小时段；
最小运动等级；以及
两个连续的运动事件之间的最大间隙时段。
11.如权利要求9所述的方法，其中所述一个或多个阈值的至少一个是自适应的阈值。
12.如权利要求11所述的方法，其中迭代地识别所述至少一个的自适应的阈值和所述运动事件。
13.如权利要求1所述的方法，还包括对所识别的运动事件分级。
14.如权利要求13所述的方法，其中基于过滤后的运动区域而识别的运动事件比基于未过滤的运动区域而检测的运动事件分级更高。
15.如权利要求13所述的方法，其中确定视频帧的所述储存时段包括基于运动事件的分级来确定与该运动事件相关联的视频帧的储存时段。
16.如权利要求15所述的方法，其中与高分级的运动事件相关联的视频帧比与低分级的运动事件相关联的视频帧储存更长的时段。
17.一种用于删减视频数据的设备，包括：
处理器；以及
存储器，在其上储存有计算机代码指令，
所述存储器和在其上储存有计算机代码指令的所述处理器被配置为使得该设备：
基于与所述视频数据的内容相关联的短期的和长期的变化来检测在所述视频数据的视频帧内的运动区域；
基于所检测的运动区域、相应的过滤后的运动区域和与所述视频数据相关联的变化模式来识别与所述视频数据的内容相关联的运动事件；
以及
基于所识别的运动事件来确定用于所述视频数据的视频帧的储存时段。
18.如权利要求17所述的设备，其中所述处理器和在其上储存有计算机代码指令的所述存储器还被配置为使得所述设备根据所确定的储存时段来储存所述视频帧。
19.如权利要求17所述的设备，其中所述处理器和在其上储存有计算机代码指令的所述存储器还被配置为使得所述设备识别所述过滤后的运动区域。
20.如权利要求19所述的设备，其中在识别所述过滤后的运动区域中，所述处理器和在其上储存有计算机代码指令的所述存储器还被配置为使得所述设备：
识别在所识别的运动区域内的与重复的运动相关联的子区域；以及
识别所述过滤后的运动区域作为排除与重复的运动相关联的子区域的识别的运动区域。
21.如权利要求17所述的设备，其中所述处理器和在其上储存有计算机代码指令的所述存储器还被配置为使得所述设备产生用于所述视频数据的每一帧的一个或多个运动描述符。
22.如权利要求21所述的设备，其中在产生用于所述视频数据的每一帧的一个或多个运动描述符中，所述处理器和在其上储存有计算机代码指令的所述存储器还被配置为使得所述设备：
基于相应的识别的运动区域产生用于每个视频帧的第一描述符；以及
基于相应的过滤后的运动区域产生用于每个视频帧的第二描述符。
23.如权利要求21所述的设备，其中每个运动描述符包括：
每个视频帧内的运动区域的分布的指示；以及
每个视频帧内的运动区域的相对量的指示。
24.如权利要求17所述的设备，其中所述处理器和在其上储存有计算机代码指令的所述存储器还被配置为使得所述设备：
确定与所述视频数据相关联的变化模式的一个或多个指示符；以及
储存所确定的变化模式的一个或多个指示符以在识别所述运动事件中使用。
25.如权利要求17所述的设备，其中在识别所述运动事件中，所述处理器和在其上储存有计算机代码指令的所述存储器还被配置为使得所述设备基于一个或多个阈值识别所述运动事件。
26.如权利要求25所述的设备，其中所述一个或多个阈值包括以下的至少一个：
运动的最小时段；
最小运动等级；以及
两个连续的运动事件之间的最大间隙时段。
27.如权利要求25所述的设备，其中所述一个或多个阈值的至少一个是自适应的阈值。
28.如权利要求27所述的设备，其中所述处理器和在其上储存有计算机代码指令的所述存储器还被配置为使得所述设备迭代地识别所述至少一个的自适应的阈值和所述运动事件。
29.如权利要求27所述的设备，其中所述处理器和在其上储存有计算机代码指令的所述存储器还被配置为使得所述设备对所识别的运动事件分级。
30.如权利要求29所述的设备，其中基于过滤后的运动区域而识别的运动事件比基于未过滤的运动区域而检测的运动事件分级更高。
31.如权利要求28所述的设备，其中在确定视频帧的所述储存时段中，所述处理器和在其上储存有计算机代码指令的所述存储器还被配置为使得所述设备基于所述运动事件的分级确定与运动事件相关联的视频帧的储存时段。
32.如权利要求31所述的设备，其中与高分级的运动事件相关联的视频帧比与低分级的运动事件相关联的视频帧储存更长的时段。
33.一种非暂时计算机可读介质，在其上储存有计算机软件，该计算机软件在由处理器执行时被配置为使得设备：
基于与视频数据的内容相关联的短期的和长期的变化，检测在所述视频数据的视频帧内的运动区域；
基于所检测到的运动区域、相应的过滤后的运动区域和与所述视频数据相关联的变化模式，识别与所述视频数据的内容相关联的运动事件；以及
基于所识别的运动事件，确定用于所述视频数据的视频帧的储存时段。
CN201380082021.6A 2013-12-24 2013-12-24 用于智能视频删减的方法和设备 Active CN106062715B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2013/077673 WO2015099704A1 (en) 2013-12-24 2013-12-24 Method and apparatus for intelligent video pruning

Publications (2)

Publication Number Publication Date
CN106062715A true CN106062715A (zh) 2016-10-26
CN106062715B CN106062715B (zh) 2019-06-04

Family

ID=53479370

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380082021.6A Active CN106062715B (zh) 2013-12-24 2013-12-24 用于智能视频删减的方法和设备

Country Status (4)

Country Link
US (1) US10134145B2 (zh)
EP (1) EP3087482B1 (zh)
CN (1) CN106062715B (zh)
WO (1) WO2015099704A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107613237A (zh) * 2017-09-14 2018-01-19 国网重庆市电力公司电力科学研究院 一种视频动静混合关键帧的抽取方法

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9501915B1 (en) 2014-07-07 2016-11-22 Google Inc. Systems and methods for analyzing a video stream
US10140827B2 (en) 2014-07-07 2018-11-27 Google Llc Method and system for processing motion event notifications
US9420331B2 (en) 2014-07-07 2016-08-16 Google Inc. Method and system for categorizing detected motion events
US10127783B2 (en) 2014-07-07 2018-11-13 Google Llc Method and device for processing motion events
US9685194B2 (en) * 2014-07-23 2017-06-20 Gopro, Inc. Voice-based video tagging
USD782495S1 (en) 2014-10-07 2017-03-28 Google Inc. Display screen or portion thereof with graphical user interface
US9361011B1 (en) 2015-06-14 2016-06-07 Google Inc. Methods and systems for presenting multiple live video feeds in a user interface
DE102016206367A1 (de) * 2016-04-15 2017-10-19 Robert Bosch Gmbh Kameraeinrichtung für den Außenbereich eines Gebäudes
US10506237B1 (en) 2016-05-27 2019-12-10 Google Llc Methods and devices for dynamic adaptation of encoding bitrate for video streaming
US10192415B2 (en) 2016-07-11 2019-01-29 Google Llc Methods and systems for providing intelligent alerts for events
US10957171B2 (en) 2016-07-11 2021-03-23 Google Llc Methods and systems for providing event alerts
US10380429B2 (en) 2016-07-11 2019-08-13 Google Llc Methods and systems for person detection in a video feed
US11783010B2 (en) 2017-05-30 2023-10-10 Google Llc Systems and methods of person recognition in video streams
US10599950B2 (en) 2017-05-30 2020-03-24 Google Llc Systems and methods for person recognition data management
US11134227B2 (en) 2017-09-20 2021-09-28 Google Llc Systems and methods of presenting appropriate actions for responding to a visitor to a smart home environment
US10664688B2 (en) 2017-09-20 2020-05-26 Google Llc Systems and methods of detecting and responding to a visitor to a smart home environment
US11399207B2 (en) * 2018-02-02 2022-07-26 Comcast Cable Communications, Llc Image selection using motion data
US11568624B1 (en) * 2019-05-09 2023-01-31 Objectvideo Labs, Llc Managing virtual surveillance windows for video surveillance
US11893795B2 (en) 2019-12-09 2024-02-06 Google Llc Interacting with visitors of a connected home environment
EP3968636A1 (en) * 2020-09-11 2022-03-16 Axis AB A method for providing prunable video
EP3968635A1 (en) 2020-09-11 2022-03-16 Axis AB A method for providing prunable video
CN113055705B (zh) * 2021-03-25 2022-08-19 郑州师范学院 基于大数据分析的云计算平台数据存储方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050169497A1 (en) * 2003-11-19 2005-08-04 Gustafson Ammon E. Optimized digital watermarking functions for streaming data
US20060165386A1 (en) * 2002-01-08 2006-07-27 Cernium, Inc. Object selective video recording
CN101325691A (zh) * 2007-06-14 2008-12-17 清华大学 融合不同生存期的多个观测模型的跟踪方法和跟踪装置
CN102810159A (zh) * 2012-06-14 2012-12-05 西安电子科技大学 基于surf高效匹配核的人体检测方法
US20130030875A1 (en) * 2011-07-29 2013-01-31 Panasonic Corporation System and method for site abnormality recording and notification

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0502371D0 (en) * 2005-02-04 2005-03-16 British Telecomm Identifying spurious regions in a video frame
KR101791919B1 (ko) * 2010-01-22 2017-11-02 톰슨 라이센싱 예시-기반의 초 해상도를 이용하여 비디오 압축을 위한 데이터 프루닝
US9171075B2 (en) * 2010-12-30 2015-10-27 Pelco, Inc. Searching recorded video
US8335350B2 (en) * 2011-02-24 2012-12-18 Eastman Kodak Company Extracting motion information from digital video sequences

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060165386A1 (en) * 2002-01-08 2006-07-27 Cernium, Inc. Object selective video recording
US20050169497A1 (en) * 2003-11-19 2005-08-04 Gustafson Ammon E. Optimized digital watermarking functions for streaming data
CN101325691A (zh) * 2007-06-14 2008-12-17 清华大学 融合不同生存期的多个观测模型的跟踪方法和跟踪装置
US20130030875A1 (en) * 2011-07-29 2013-01-31 Panasonic Corporation System and method for site abnormality recording and notification
CN102810159A (zh) * 2012-06-14 2012-12-05 西安电子科技大学 基于surf高效匹配核的人体检测方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107613237A (zh) * 2017-09-14 2018-01-19 国网重庆市电力公司电力科学研究院 一种视频动静混合关键帧的抽取方法
CN107613237B (zh) * 2017-09-14 2020-03-06 国网重庆市电力公司电力科学研究院 一种视频动静混合关键帧的抽取方法

Also Published As

Publication number Publication date
EP3087482B1 (en) 2019-11-06
CN106062715B (zh) 2019-06-04
US10134145B2 (en) 2018-11-20
WO2015099704A1 (en) 2015-07-02
US20170039729A1 (en) 2017-02-09
EP3087482A4 (en) 2017-07-19
EP3087482A1 (en) 2016-11-02

Similar Documents

Publication Publication Date Title
CN106062715A (zh) 用于智能视频删减的方法和设备
Goyette et al. A novel video dataset for change detection benchmarking
CN106504270B (zh) 一种视频中目标物体的展示方法及装置
US7428314B2 (en) Monitoring an environment
US8107680B2 (en) Monitoring an environment
CN107016322B (zh) 一种尾随人员分析的方法及装置
KR20080075091A (ko) 실시간 경보 및 포렌식 분석을 위한 비디오 분석 데이터의저장
KR102217253B1 (ko) 행동패턴 분석 장치 및 방법
CN111062967B (zh) 一种基于目标动态跟踪的电力营业厅客流统计方法及***
CN109873832B (zh) 流量识别方法、装置、电子设备和存储介质
AU2009243442A1 (en) Detection of abnormal behaviour in video objects
CN110430339B (zh) 数字视频帧内篡改检测方法及***
Tian et al. Selective eigenbackground for background modeling and subtraction in crowded scenes
CN110689555B (zh) 基于前景检测的kcf跟踪目标丢失检测方法及***
CN110309720A (zh) 视频检测方法、装置、电子设备和计算机可读介质
CN108932465B (zh) 降低人脸检测误检率的方法、装置及电子设备
Song et al. Benchmarking wild bird detection in complex forest scenes
JP2014110020A (ja) 画像処理装置、画像処理方法および画像処理プログラム
DE102009048117A1 (de) Verfahren und Vorrichtung zum Erkennen einer Fehldetektion eines Objektss in einem Bild
GB2553105B (en) Method and system for determining a relationship between two regions of a scene
Goehner et al. A comparison of background subtraction algorithms for detecting avian nesting events in uncontrolled outdoor video
CN111784742A (zh) 一种行人跨镜头追踪方法及装置
TW201927001A (zh) 搜尋視訊事件之方法、裝置、及電腦可讀取記錄媒體
Sitara et al. Automated camera sabotage detection for enhancing video surveillance systems
KR101848367B1 (ko) 모션벡터와 dct 계수를 이용한 메타데이터 기반 의심영상 구분식별 방식의 영상 관제 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant