CN115439501A - 一种视频流动态背景构造方法、装置及检测运动目标方法 - Google Patents
一种视频流动态背景构造方法、装置及检测运动目标方法 Download PDFInfo
- Publication number
- CN115439501A CN115439501A CN202211394729.2A CN202211394729A CN115439501A CN 115439501 A CN115439501 A CN 115439501A CN 202211394729 A CN202211394729 A CN 202211394729A CN 115439501 A CN115439501 A CN 115439501A
- Authority
- CN
- China
- Prior art keywords
- preset
- video frame
- object classification
- frame
- acquiring
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F5/00—Methods or arrangements for data conversion without changing the order or content of the data handled
- G06F5/06—Methods or arrangements for data conversion without changing the order or content of the data handled for changing the speed of data flow, i.e. speed regularising or timing, e.g. delay lines, FIFO buffers; over- or underrun control therefor
- G06F5/065—Partitioned buffers, e.g. allowing multiple independent queues, bidirectional FIFO's
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种视频流动态背景构造方法、装置及检测运动目标方法,涉及图像处理技术领域。所述视频流动态背景构造方法包括:获取视频流中的一个运动周期内的各帧视频帧,所述运动周期为视频流中的动态背景进行一次周期变化所需的时间,各帧所述视频帧中包括当前时刻视频帧;根据各帧视频帧预估当前时刻的下一时刻的低频周期变化动态背景。本申请的视频流动态背景构造方法通过一个运动周期内的各帧视频帧预估出当前时刻的下一时刻的低频周期变化动态背景,从而消除了具有周期性有规律的运动的背景对图像中目标运动物体识别所带来的干扰。
Description
技术领域
本申请涉及图像处理技术领域,具体涉及一种视频流动态背景构造方法、视频流动态背景构造装置以及视频流动态背景构造装置。
背景技术
在通过摄像装置进行目标检测时,通常是对采集自网络摄像头的实时视频流内容中的移动目标或变化区域进行检测,过滤掉静止不变的冗余视频数据,对有价值的视频数据进行传输、分析等处理,从而达到节约网络流量、计算资源等目的。
然后,在某些情况下,虽然视频中的物体有运动,然后这种运动事实上是一些背景的周期性有规律的运动,例如,风吹动树枝树叶导致树枝树叶往复摇晃,雨雪天气下视频中的雨点和雪花周期性的掉落,水面的波纹摇晃等。
此时,如果再过滤掉静止不变的冗余视频数据时,可能这些有规律的运动部分无法被过滤掉,然而,这些实质上也属于背景的一部分。
因此,希望有一种技术方案来解决或至少减轻现有技术的上述不足。
发明内容
本发明的目的在于提供一种视频流动态背景构造方法来克服或至少减轻现有技术的至少一个上述缺陷。
本发明的一个方面,提供一种视频流动态背景构造方法,所述视频流动态背景构造方法包括:
获取视频流中的一个运动周期内的各帧视频帧,所述运动周期为视频流中的动态背景进行一次周期变化所需的时间,各帧所述视频帧中包括当前时刻视频帧;
根据各帧视频帧预估当前时刻的下一时刻的低频周期变化动态背景。
可选地,所述根据各帧视频帧预估当前时刻的下一时刻的低频周期变化动态背景包括:
分别对每帧视频帧以预设分割条件进行分割,从而将每帧视频帧分割成多个宏块;
分别获取每个宏块的模糊亮度值;
将各个宏块的模糊亮度值分别进行缓存,从而获取多个缓存数据序列,每个缓存数据序列包括一个运动周期内的不同视频帧中每个视频帧的具有相同位置的宏块的模糊亮度值;
分别对每个缓存数据序列进行傅里叶变换,从而获取每个缓存数据序列的频谱数据,其中,一个频谱数据对应一个视频帧图像位置;
获取频谱数据中符合第二预设条件的频谱数据作为低频数据;
对各个低频数据进行傅里叶逆变换,从而获取各个低频周期函数,其中,一个低频周期函数对应一个视频帧图像位置;
根据每个低频周期函数计算其所对应的视频帧图像位置的当前时刻的下一时刻的模糊亮度预测值;
根据各个视频帧图像位置以及每个视频帧图像位置的模糊亮度预测值生成当前时刻的下一时刻的低频周期变化动态背景。
可选地,所述分别对每帧视频帧以预设分割条件进行分割,从而将每帧视频帧分割成多个宏块包括:
以基本分割单元为16×16像素对每帧视频帧进行分割。
可选地,所述将各个宏块的模糊亮度值分别进行缓存,从而获取多个缓存数据序列包括:
将各个宏块的模糊亮度值进行FIFO缓存,从而缓存成多个缓存数据序列。
可选地,所述获取频谱数据中符合第二预设条件的频谱数据作为低频数据包括:
获取频谱数据中1Hz以下的频谱数据作为低频数据。
可选地,所述运动周期采用如下方式获取:
获取当前时刻视频帧;
获取经过训练的图像分类器;
提取所述视频帧的图像特征;
将所述图像特征输入至所述经过训练的图像分类器,从而获取物体分类标签;
获取预设运动周期数据库,所述运动周期数据库包括至少一个预设物体分类标签以及每个物体分类标签对应的预设运动周期;
获取与所述物体分类标签相同的预设物体分类标签所对应的预设运动周期作为所述运动周期。
可选地,所述提取所述视频帧的图像特征包括:
将获取的视频帧进行分割,从而分割成多个图像块;
分别提取每个图像块的图像特征;
所述将所述图像特征输入至所述经过训练的图像分类器,从而获取物体分类标签包括:
将各个图像块的图像特征分别属于至所述经过训练的图像分类器,从而获取每个图像块所对应的物体分类标签,其中,一个物体分类标签为未识别标签;
所述获取与所述物体分类标签相同的预设物体分类标签所对应的预设运动周期作为所述运动周期包括:
获取输入至所述经过训练的图像分类器内的图像块的数量;
获取未识别标签数量;
判断输入至所述经过训练的图像分类器内的图像块的数量减去所述未识别标签数量是否大于1,若是,则
分别获取与各个所述物体分类标签相同的预设物体分类标签所对应的预设运动周期;
获取各个预设运动周期中时间最长的预设运动周期作为运动周期。
可选地,所述运动周期采用如下方式获取进一步包括:
获取当前时刻的视频流周侧风速信息;
获取权重数据库,所述权重数据库包括至少一个预设风速范围以及一个权重时间,一个权重时间对应一个预设风速范围;
获取当前时刻的视频流周侧风速信息所位于的预设风速范围所对应的权重时间;
为所述运动周期数据库中的预设物体分类标签进行分类,从而将各个预设物体分类标签分为加量预设物体分类标签以及减量预设物体分类标签;
获取与所述物体分类标签相同的预设物体分类标签以及该预设物体分类标签对应的运动周期;
若获取的与所述物体分类标签相同的预设物体分类标签为加量预设物体分类标签,则将该预设物体分类标签对应的预设运动周期加上权重时间后所获取的时间作为运动周期;
若获取的与所述物体分类标签相同的预设物体分类标签为减量预设物体分类标签,则将该预设物体分类标签对应的预设运动周期减去权重时间后所获取的时间作为运动周期。
本申请还提供了一种视频流动态背景构造装置,所述视频流动态背景构造装置包括:
获取模块,所述获取模块用于获取视频流中的一个运动周期内的各帧视频帧,所述运动周期为视频流中的动态背景进行一次周期变化所需的时间,各帧所述视频帧中包括当前时刻视频帧;
预估模块,所述预估模块用于根据各帧视频帧预估当前时刻的下一时刻的低频周期变化动态背景。
本申请还提供了一种检测运动目标方法,所述检测运动目标方法包括:
采用如上所述的视频流动态背景构造方法获取当前时刻的下一时刻的低频周期变化动态背景;
获取当前时刻的下一时刻的真实视频帧;
根据当前时刻的下一时刻的低频周期变化动态背景以及当前时刻的下一时刻的真实视频帧获取当前时刻的下一时刻的真实视频帧中的有效运动目标信息。
有益效果
本申请的视频流动态背景构造方法通过一个运动周期内的各帧视频帧预估出当前时刻的下一时刻的低频周期变化动态背景,从而消除了具有周期性有规律的运动的背景对图像中目标运动物体识别所带来的干扰。
附图说明
图1为本申请第一实施例的视频流动态背景构造方法的流程示意图;
图2是一种电子设备,用于实现图1所示的视频流动态背景构造方法;
图3为本申请第一实施例的视频帧的示意图。
具体实施方式
为使本申请实施的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行更加详细的描述。在附图中,自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。所描述的实施例是本申请一部分实施例,而不是全部的实施例。下面通过参考附图描述的实施例是示例性的,旨在用于解释本申请,而不能理解为对本申请的限制。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。下面结合附图对本申请的实施例进行详细说明。
图1为本申请第一实施例的视频流动态背景构造方法的流程示意图。
如图1所示的视频流动态背景构造方法包括:
步骤1:获取视频流中的一个运动周期内的各帧视频帧,所述运动周期为视频流中的动态背景进行一次周期变化所需的时间,各帧所述视频帧中包括当前时刻视频帧;
步骤2:根据各帧视频帧预估当前时刻的下一时刻的低频周期变化动态背景。
本申请的视频流动态背景构造方法通过一个运动周期内的各帧视频帧预估出当前时刻的下一时刻的低频周期变化动态背景,从而消除了具有周期性有规律的运动的背景对图像中目标运动物体识别所带来的干扰。
在本实施例中,根据各帧视频帧预估当前时刻的下一时刻的低频周期变化动态背景包括:
分别对每帧视频帧以预设分割条件进行分割,从而将每帧视频帧分割成多个宏块;具体而言,在本实施例中,以基本分割单元为16×16像素对每帧视频帧进行分割。
举例来说,假设一个视频帧的大小为1024×1024,则以基本分割单元为16×16像素对每帧视频帧进行分割可以获取到64个宏块,例如可以获取宏块1、宏块2、宏块3.......宏块64,其中,由于通常切割方法采用顺序切割,因此,各个宏块之间的相对位置是已知的,例如,参见图3,在图3所示的实施例中,其中每个格代表一个宏块,图3所示实施例中一共有16个宏块,各个宏块通过从左自右的顺序以及从上到下的顺序切割。
假设一个运动周期内的各帧视频帧一共有100帧视频帧,则总共获取到6400个宏块。
采用分割的方式将每视频帧内的像素区域做合适的分割,基本分割单元为16×16像素的宏块,可以降低数据处理的计算量,同时又能够避免算法对变化的处理过于敏感。
分别获取每个宏块的模糊亮度值,在本实施例中,对每个宏块内的像素数据,取其亮度均值,作为该块视频区域的模糊亮度值;
将各个宏块的模糊亮度值分别进行缓存,从而获取多个缓存数据序列,每个缓存数据序列包括一个运动周期内的不同视频帧中每个视频帧的具有相同位置的宏块的模糊亮度值;
具体而言,将各个宏块的模糊亮度值进行FIFO缓存,从而缓存成多个缓存数据序列。
举例来说,假设有5帧视频帧,分别为视频帧1、视频帧2、视频帧3、视频帧4、视频帧5。
假设每帧视频帧被分割成4个宏块,例如,视频帧1具有宏块1、宏块2、宏块3以及宏块4;视频帧2具有宏块5、宏块6、宏块7以及宏块8;视频帧3具有宏块9、宏块10、宏块11以及宏块12;视频帧4具有宏块13、宏块14、宏块15以及宏块16;视频帧5具有宏块17、宏块18、宏块19以及宏块20。
将各个宏块的模糊亮度值进行FIFO缓存,从而缓存成多个缓存数据序列即为:第一缓存数据序列(宏块1的模糊亮度值、宏块5的模糊亮度值、宏块9的模糊亮度值、宏块13的模糊亮度值、宏块17的模糊亮度值);第二缓存数据序列(宏块2的模糊亮度值、宏块6的模糊亮度值、宏块10的模糊亮度值、宏块14的模糊亮度值、宏块18的模糊亮度值);第三缓存数据序列(宏块3的模糊亮度值、宏块7的模糊亮度值、宏块11的模糊亮度值、宏块15的模糊亮度值、宏块19的模糊亮度值);第四缓存数据序列(宏块4的模糊亮度值、宏块8的模糊亮度值、宏块12的模糊亮度值、宏块16的模糊亮度值、宏块20的模糊亮度值)。
分别对每个缓存数据序列进行傅里叶变换,从而获取每个缓存数据序列的频谱数据,其中,一个频谱数据对应一个视频帧图像位置;
从上述可以看出,由于本申请的每帧视频帧具有同样的分辨率,并且处理方法均相同,因此,视频帧1的宏块1在视频帧1的图像中的位置事实上上与视频帧2的宏块5在视频帧2的图像中的位置相同,因为宏块1事实上就是视频帧1的第一个分割的宏块,宏块5事实上就是视频帧2的第一个分割的宏块,而不论是视频帧1还是视频帧2,在本实施例中,都是以从左到右、从上到下的方式依次分割,因此,理论上如果将视频帧1以及视频帧2重合,则宏块1与宏块5的位置是重合的,同理,在上述的各个宏块重合时,宏块1、宏块5、宏块9、宏块13、宏块17也都是重合的,他们所重合的那个位置代表一个视频帧图像位置。
当我们将第一缓存数据序列进行傅里叶变换时,从而获取第一缓存数据序列的第一频谱数据,一个频谱数据对应一个视频帧图像位置(以上述为例,该视频帧图像位置是指视频帧1至视频帧5重合时,宏块1、宏块5、宏块9、宏块13、宏块17共同所在的位置,在本实施例中,该位置称为第一位置)。
当我们将第二缓存数据序列进行傅里叶变换时,从而获取第二缓存数据序列的第二频谱数据,一个频谱数据对应一个视频帧图像位置(以上述为例,该视频帧图像位置是指视频帧1至视频帧5重合时,宏块2、宏块6、宏块10、宏块14、宏块18共同所在的位置,在本实施例中,该位置称为第二位置)。
当我们将第三缓存数据序列进行傅里叶变换时,从而获取第三缓存数据序列的第三频谱数据,一个频谱数据对应一个视频帧图像位置(以上述为例,该视频帧图像位置是指视频帧1至视频帧5重合时,宏块3、宏块7、宏块11、宏块15、宏块19共同所在的位置,在本实施例中,该位置称为第三位置)。
当我们将第四缓存数据序列进行傅里叶变换时,从而获取第四缓存数据序列的第四频谱数据,一个频谱数据对应一个视频帧图像位置(以上述为例,该视频帧图像位置是指视频帧1至视频帧5重合时,宏块4、宏块8、宏块12、宏块16、宏块20共同所在的位置,在本实施例中,该位置称为第四位置)。
获取频谱数据中符合第二预设条件的频谱数据作为低频数据,在本实施例中,获取频谱数据中1Hz以下的频谱数据作为低频数据。
以上述5帧视频帧的例子举例来说,假设第一频谱数据超过1Hz,第二频谱数据超过1Hz,第三频谱数据小于1Hz,第四频谱数据小于1Hz,则获取第三频谱数据以及第四频谱数据作为低频数据。
对各个低频数据进行傅里叶逆变换,从而获取各个低频周期函数,其中,一个低频周期函数对应一个视频帧图像位置。
具体而言,对第三频谱数据进行傅里叶逆变换,从而获取第三低频周期函数,其中,第三低频周期函数对应一个第三位置。
对第四频谱数据进行傅里叶逆变换,从而获取第四低频周期函数,其中,第四低频周期函数对应一个第四位置。
根据每个低频周期函数计算其所对应的视频帧图像位置的当前时刻的下一时刻的模糊亮度预测值。
具体而言,根据第三低频周期函数计算其第三位置的当前时刻的下一时刻的模糊亮度预测值。
根据第四低频周期函数计算其第四位置的当前时刻的下一时刻的模糊亮度预测值。
在本实施例中,视频流是通过摄像装置拍摄获取。
在本实施例中,当前时刻是指进行本申请的视频流动态背景构造方法所在时刻,当前时刻视频帧是指在进行本申请的视频流动态背景构造方法在当前时刻所获取的最后一帧视频帧,当前时刻的下一时刻的真实视频帧是指当前时刻所获取的最后一帧视频帧之后获取的在时间上距离当前时刻视频帧最近的一帧视频帧,当前时刻的下一时刻是指获取的在时间上距离当前时刻视频帧最近的一帧视频帧的那个时刻。
在本实施例中,根据各个视频帧图像位置以及每个视频帧图像位置的模糊亮度预测值生成当前时刻的下一时刻的低频周期变化动态背景。
具体而言,以上述5帧视频帧的例子举例来说,通过上述步骤,可以获取第三位置的当前时刻的下一时刻的模糊亮度预测值以及第四位置的当前时刻的下一时刻的模糊亮度预测值,生成一个空白画布(该空白画布的大小尺寸与视频帧的大小尺寸相同),将第三位置的当前时刻的下一时刻的模糊亮度预测值以及第四位置的当前时刻的下一时刻的模糊亮度预测值填入该空白画布,即生成了当前时刻的下一时刻的低频周期变化动态背景。
本申请使用离散傅立叶变换提取某局部区域内视频数据变化的周期性规律,并根据该其周期变化规律,对下一帧对应区域的像素值提出一个符合周期性的预测值,综合每一个局部区域的周期预测值,则形成视频内容的动态背景. 以该动态背景作为视频变化的比较参考对象,可以在很大程度上过滤掉 1Hz 以下的循环运动。
在本实施例中,运动周期是极为重要的考虑因素,距离来说,动态背景进行一次周期变化所需的时间直接决定过滤1Hz 以下的循环运动的好坏,因此,最合适的运动周期是正好能够覆盖背景运动物体完成一次运动变化所需时间,举例来说,如果树枝被风吹的左右晃动,其从初始位置晃动到最大幅度处并从最大幅度处晃动至初始位置所需时间为4秒,则该运动周期取4秒则最为合适,或者取该4秒内一共有多少帧视频帧均可。然而,如果树枝被风吹的左右晃动,其从初始位置晃动到最大幅度处并从最大幅度处晃动至初始位置所需时间为4秒,在获取周期变化时,却取了5秒或者3秒,则很可能使得本申请的方法不准确,因此,本申请采用如下方法进行运动周期的获取。
在本实施例中,运动周期采用如下方式获取:
获取当前时刻视频帧;
获取经过训练的图像分类器;
提取所述视频帧的图像特征;
将所述图像特征输入至所述经过训练的图像分类器,从而获取物体分类标签;
获取预设运动周期数据库,所述运动周期数据库包括至少一个预设物体分类标签以及每个物体分类标签对应的预设运动周期;
获取与所述物体分类标签相同的预设物体分类标签所对应的预设运动周期作为所述运动周期。
具体而言,本申请首先识别作为背景的运动物体的类别,例如,通过图像分类器可以分类出图像中的树枝、水滴或者其他做往复运动,但基本不会离开图像画面中且不作为有效运动目标信息需要识别的物体。
此时,根据设置的预设运动周期数据库,可以获取直接预设的预设运动周期,举例来说,如果物体分类标签为树枝,而一般树枝的运动周期均为3秒左右,此时,就可以选取3秒作为运动周期。
而如果物体分类标签为下雨时的水滴,而一般水滴的运动周期均为2秒左右,此时,就可以选取2秒作为运动周期。
采用这种方式,能够实现较为精确的对运动周期的选取,从而使得本申请的方法更为准确。
在本实施例中,提取所述视频帧的图像特征包括:
将获取的视频帧进行分割,从而分割成多个图像块;
分别提取每个图像块的图像特征;
将图像特征输入至经过训练的图像分类器,从而获取物体分类标签包括:
将各个图像块的图像特征分别属于至所述经过训练的图像分类器,从而获取每个图像块所对应的物体分类标签,其中,一个物体分类标签为未识别标签;
获取与物体分类标签相同的预设物体分类标签所对应的预设运动周期作为所述运动周期包括:
获取输入至所述经过训练的图像分类器内的图像块的数量;
获取未识别标签数量;
判断输入至所述经过训练的图像分类器内的图像块的数量减去所述未识别标签数量是否大于1,若是,则
分别获取与各个所述物体分类标签相同的预设物体分类标签所对应的预设运动周期;
获取各个预设运动周期中时间最长的预设运动周期作为运动周期。
举例来说,如果一个视频帧中有多个除了未识别标签以外的物体分类标签,说明该视频帧的背景中可能有多个往复周期运动的物体,例如,可能有水滴以及树枝,此时,则需要获取各个预设运动周期中时间最长的预设运动周期作为运动周期,例如,水滴的运动周期为2秒,树枝的运动周期为4秒,则获取4秒作为运动周期。
采用这种方式,可以防止运动周期取的过小导致将一些本应该是背景的物体误认为是有效运动目标信息。
可以理解的是,未识别标签可以不设置预设运动周期,因为不清楚其预设运动周期多少,此时,如果全部是未识别标签时,可以赋值一个平均运动周期,例如,将所有预设运动周期求和并除以预设运动周期的数量作为运动周期。
在本实施例中,运动周期采用如下方式获取进一步包括:
获取当前时刻的视频流周侧风速信息;
获取权重数据库,所述权重数据库包括至少一个预设风速范围以及一个权重时间,一个权重时间对应一个预设风速范围;
获取当前时刻的视频流周侧风速信息所位于的预设风速范围所对应的权重时间;
为所述运动周期数据库中的预设物体分类标签进行分类,从而将各个预设物体分类标签分为加量预设物体分类标签以及减量预设物体分类标签;
获取与所述物体分类标签相同的预设物体分类标签以及该预设物体分类标签对应的运动周期;
若获取的与所述物体分类标签相同的预设物体分类标签为加量预设物体分类标签,则将该预设物体分类标签对应的预设运动周期加上权重时间后所获取的时间作为运动周期;
若获取的与所述物体分类标签相同的预设物体分类标签为减量预设物体分类标签,则将该预设物体分类标签对应的预设运动周期减去权重时间后所获取的时间作为运动周期。
举例来说,对于室外视频监测,风速是直接影响各个物体(尤其是重量较小的物体)运动的重要因素,因此,本申请充分考虑了风速对运动周期取值的影响,通过根据风速赋予权值的方式,对各个物体所获取的运动周期进行处理,举例来说,假设当风速为20-28千米/小时时,可以赋予权值为0.5秒,假设风速为75-88千米/小时时,风速赋予权值为0.25秒。
可以理解的是,有些物体由于风速的帮助,其运动周期会明显减少,而相反的,有些物体由于风速的影响,其运动周期反而会增加,因此,将预设物体分类标签进行分类,从而将各个预设物体分类标签分为加量预设物体分类标签以及减量预设物体分类标签,举例来说,像雨滴等物体,风速大时,会加快雨滴的运动速度,从而其一个运动周期的速度会变的更快,因此,可以将2秒减去权重,从而获取更小的运动周期。而如果某个物体其运动方向正好与风向相反,则可能运动周期会变的反而更慢,此时,可以将其预设运动周期加上权重,从而作为运动周期使用。
本申请还提供了一种视频流动态背景构造装置,所述视频流动态背景构造装置包括获取模块以及预估模块,获取模块用于获取视频流中的一个运动周期内的各帧视频帧,所述运动周期为视频流中的动态背景进行一次周期变化所需的时间,各帧所述视频帧中包括当前时刻视频帧;预估模块用于根据各帧视频帧预估当前时刻的下一时刻的低频周期变化动态背景。
本申请还提供了一种检测运动目标方法,所述检测运动目标方法包括:
采用如上所述的视频流动态背景构造方法获取当前时刻的下一时刻的低频周期变化动态背景;
获取当前时刻的下一时刻的真实视频帧;
根据当前时刻的下一时刻的低频周期变化动态背景以及当前时刻的下一时刻的真实视频帧获取当前时刻的下一时刻的真实视频帧中的有效运动目标信息。
具体而言,随着真实视频帧的到达,通过逐像素比较该真实视频帧与低频周期变化动态背景的变化值,获得帧间变化量。
对帧间像素变化量做合适的加权,模糊处理,既可以作为检出有效运动目标的门限判定值。
本申请在不影响对出现在摄像头视野内的正常运动对象(人, 车,物)进行检测的同时, 抑制了树叶摇动, 阴影婆娑, 水波荡漾, 雨滴雪花等运动目标的干扰,提高了有效运动目标的检出率。
可以理解的是,上述对方法的描述,也同样适用于对装置的描述。
本申请还提供了一种电子设备,包括存储器、处理器以及存储在存储器中并能够在处理器上运行的计算机程序,处理器执行计算机程序时实现如上的视频流动态背景构造方法。
本申请还提供了一种计算机可读存储介质,计算机可读存储介质存储有计算机程序,计算机程序被处理器执行时能够实现如上的视频流动态背景构造方法。
图2是能够实现根据本申请一个实施例提供的视频流动态背景构造方法的电子设备的示例性结构图。
如图2所示,电子设备包括输入设备501、输入接口502、中央处理器503、存储器504、输出接口505以及输出设备506。其中,输入接口502、中央处理器503、存储器504以及输出接口505通过总线507相互连接,输入设备501和输出设备506分别通过输入接口502和输出接口505与总线507连接,进而与电子设备的其他组件连接。具体地,输入设备504接收来自外部的输入信息,并通过输入接口502将输入信息传送到中央处理器503;中央处理器503基于存储器504中存储的计算机可执行指令对输入信息进行处理以生成输出信息,将输出信息临时或者永久地存储在存储器504中,然后通过输出接口505将输出信息传送到输出设备506;输出设备506将输出信息输出到电子设备的外部供用户使用。
也就是说,图2所示的电子设备也可以被实现为包括:存储有计算机可执行指令的存储器;以及一个或多个处理器,该一个或多个处理器在执行计算机可执行指令时可以实现结合图1描述的视频流动态背景构造方法。
在一个实施例中,图2所示的电子设备可以被实现为包括:存储器504,被配置为存储可执行程序代码;一个或多个处理器503,被配置为运行存储器504中存储的可执行程序代码,以执行上述实施例中的视频流动态背景构造方法。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动,媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数据多功能光盘(DVD)或其他光学存储、磁盒式磁带、磁带磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。
本领域技术人员应明白,本申请的实施例可提供为方法、***或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
此外,显然“包括”一词不排除其他单元或步骤。上述装置中陈述的多个单元、模块或装置也可以由一个单元或总装置通过软件或硬件来实现。
附图中的流程图和框图,图示了按照本申请各种实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,模块、程序段、或代码的一部分包括一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地标识的方框实际上可以基本并行地执行,他们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或总流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的***来实现,或者可以用专用硬件与计算机指令的组合来实现。
在本实施例中所称处理器可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器 (Digital Signal Processor,DSP)、专用集成电路 (Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器可用于存储计算机程序和/或模块,处理器通过运行或执行存储在存储器内的计算机程序和/或模块,以及调用存储在存储器内的数据,实现装置/终端设备的各种功能。存储器可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作***、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器可以包括高速随机存取存储器,还可以包括非易失性存储器,例如硬盘、内存、插接式硬盘,智能存储卡(Smart Media Card, SMC),安全数字(Secure Digital, SD)卡,闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
在本实施例中,装置/终端设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实现上述实施例方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,计算机程序包括计算机程序代码,计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括:能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减。本申请虽然以较佳实施例公开如上,但其实并不是用来限定本申请,任何本领域技术人员在不脱离本申请的精神和范围内,都可以做出可能的变动和修改。
本领域技术人员应明白,本申请的实施例可提供为方法、***或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
此外,显然“包括”一词不排除其他单元或步骤。本申请的装置中陈述的多个单元、模块或装置也可以由一个单元或总装置通过软件或硬件来实现。
虽然,上文中已经用一般性说明及具体实施方案对本发明作了详尽的描述,但在本发明基础上,可以对之作一些修改或改进,这对本领域技术人员而言是显而易见的。因此,在不偏离本发明精神的基础上所做的这些修改或改进,均属于本发明要求保护的范围。
Claims (10)
1.一种视频流动态背景构造方法,其特征在于,所述视频流动态背景构造方法包括:
获取视频流中的一个运动周期内的各帧视频帧,所述运动周期为视频流中的动态背景进行一次周期变化所需的时间,各帧所述视频帧中包括当前时刻视频帧;
根据各帧视频帧预估当前时刻的下一时刻的低频周期变化动态背景。
2.如权利要求1所述的视频流动态背景构造方法,其特征在于,所述根据各帧视频帧预估当前时刻的下一时刻的低频周期变化动态背景包括:
分别对每帧视频帧以预设分割条件进行分割,从而将每帧视频帧分割成多个宏块;
分别获取每个宏块的模糊亮度值;
将各个宏块的模糊亮度值分别进行缓存,从而获取多个缓存数据序列,每个缓存数据序列包括一个运动周期内的不同视频帧中每个视频帧的具有相同位置的宏块的模糊亮度值;
分别对每个缓存数据序列进行傅里叶变换,从而获取每个缓存数据序列的频谱数据,其中,一个频谱数据对应一个视频帧图像位置;
获取频谱数据中符合第二预设条件的频谱数据作为低频数据;
对各个低频数据进行傅里叶逆变换,从而获取各个低频周期函数,其中,一个低频周期函数对应一个视频帧图像位置;
根据每个低频周期函数计算其所对应的视频帧图像位置的当前时刻的下一时刻的模糊亮度预测值;
根据各个视频帧图像位置以及每个视频帧图像位置的模糊亮度预测值生成当前时刻的下一时刻的低频周期变化动态背景。
3.如权利要求2所述的视频流动态背景构造方法,其特征在于,所述分别对每帧视频帧以预设分割条件进行分割,从而将每帧视频帧分割成多个宏块包括:
以基本分割单元为16×16像素对每帧视频帧进行分割。
4.如权利要求3所述的视频流动态背景构造方法,其特征在于,所述将各个宏块的模糊亮度值分别进行缓存,从而获取多个缓存数据序列包括:
将各个宏块的模糊亮度值进行FIFO缓存,从而缓存成多个缓存数据序列。
5.如权利要求4所述的视频流动态背景构造方法,其特征在于,所述获取频谱数据中符合第二预设条件的频谱数据作为低频数据包括:
获取频谱数据中1Hz以下的频谱数据作为低频数据。
6.如权利要求5所述的视频流动态背景构造方法,其特征在于,所述运动周期采用如下方式获取:
获取当前时刻视频帧;
获取经过训练的图像分类器;
提取所述视频帧的图像特征;
将所述图像特征输入至所述经过训练的图像分类器,从而获取物体分类标签;
获取预设运动周期数据库,所述运动周期数据库包括至少一个预设物体分类标签以及每个物体分类标签对应的预设运动周期;
获取与所述物体分类标签相同的预设物体分类标签所对应的预设运动周期作为所述运动周期。
7.如权利要求6所述的视频流动态背景构造方法,其特征在于,所述提取所述视频帧的图像特征包括:
将获取的视频帧进行分割,从而分割成多个图像块;
分别提取每个图像块的图像特征;
所述将所述图像特征输入至所述经过训练的图像分类器,从而获取物体分类标签包括:
将各个图像块的图像特征分别属于至所述经过训练的图像分类器,从而获取每个图像块所对应的物体分类标签,其中,一个物体分类标签为未识别标签;
所述获取与所述物体分类标签相同的预设物体分类标签所对应的预设运动周期作为所述运动周期包括:
获取输入至所述经过训练的图像分类器内的图像块的数量;
获取未识别标签数量;
判断输入至所述经过训练的图像分类器内的图像块的数量减去所述未识别标签数量是否大于1,若是,则
分别获取与各个所述物体分类标签相同的预设物体分类标签所对应的预设运动周期;
获取各个预设运动周期中时间最长的预设运动周期作为运动周期。
8.如权利要求7所述的视频流动态背景构造方法,其特征在于,所述运动周期采用如下方式获取进一步包括:
获取当前时刻的视频流周侧风速信息;
获取权重数据库,所述权重数据库包括至少一个预设风速范围以及一个权重时间,一个权重时间对应一个预设风速范围;
获取当前时刻的视频流周侧风速信息所位于的预设风速范围所对应的权重时间;
为所述运动周期数据库中的预设物体分类标签进行分类,从而将各个预设物体分类标签分为加量预设物体分类标签以及减量预设物体分类标签;
获取与所述物体分类标签相同的预设物体分类标签以及该预设物体分类标签对应的运动周期;
若获取的与所述物体分类标签相同的预设物体分类标签为加量预设物体分类标签,则将该预设物体分类标签对应的预设运动周期加上权重时间后所获取的时间作为运动周期;
若获取的与所述物体分类标签相同的预设物体分类标签为减量预设物体分类标签,则将该预设物体分类标签对应的预设运动周期减去权重时间后所获取的时间作为运动周期。
9.一种视频流动态背景构造装置,其特征在于,所述视频流动态背景构造装置包括:
获取模块,所述获取模块用于获取视频流中的一个运动周期内的各帧视频帧,所述运动周期为视频流中的动态背景进行一次周期变化所需的时间,各帧所述视频帧中包括当前时刻视频帧;
预估模块,所述预估模块用于根据各帧视频帧预估当前时刻的下一时刻的低频周期变化动态背景。
10.一种检测运动目标方法,其特征在于,所述检测运动目标方法包括:
采用如权利要求1至8中任意一项所述的视频流动态背景构造方法获取当前时刻的下一时刻的低频周期变化动态背景;
获取当前时刻的下一时刻的真实视频帧;
根据当前时刻的下一时刻的低频周期变化动态背景以及当前时刻的下一时刻的真实视频帧获取当前时刻的下一时刻的真实视频帧中的有效运动目标信息。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211394729.2A CN115439501B (zh) | 2022-11-09 | 2022-11-09 | 一种视频流动态背景构造方法、装置及检测运动目标方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211394729.2A CN115439501B (zh) | 2022-11-09 | 2022-11-09 | 一种视频流动态背景构造方法、装置及检测运动目标方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115439501A true CN115439501A (zh) | 2022-12-06 |
CN115439501B CN115439501B (zh) | 2023-04-07 |
Family
ID=84252432
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211394729.2A Active CN115439501B (zh) | 2022-11-09 | 2022-11-09 | 一种视频流动态背景构造方法、装置及检测运动目标方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115439501B (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140267801A1 (en) * | 2013-03-15 | 2014-09-18 | Google Inc. | Cascaded camera motion estimation, rolling shutter detection, and camera shake detection for video stabilization |
CN113630609A (zh) * | 2020-05-06 | 2021-11-09 | Tcl科技集团股份有限公司 | 一种视频编码方法、解码方法、存储介质以及终端设备 |
CN114205578A (zh) * | 2021-11-19 | 2022-03-18 | 福建超智集团有限公司 | 基于频域偏度和频域峰值的视频模糊异常检测方法和*** |
CN115174919A (zh) * | 2022-09-05 | 2022-10-11 | 腾讯科技(深圳)有限公司 | 一种视频处理方法、装置、设备及介质 |
-
2022
- 2022-11-09 CN CN202211394729.2A patent/CN115439501B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140267801A1 (en) * | 2013-03-15 | 2014-09-18 | Google Inc. | Cascaded camera motion estimation, rolling shutter detection, and camera shake detection for video stabilization |
CN113630609A (zh) * | 2020-05-06 | 2021-11-09 | Tcl科技集团股份有限公司 | 一种视频编码方法、解码方法、存储介质以及终端设备 |
CN114205578A (zh) * | 2021-11-19 | 2022-03-18 | 福建超智集团有限公司 | 基于频域偏度和频域峰值的视频模糊异常检测方法和*** |
CN115174919A (zh) * | 2022-09-05 | 2022-10-11 | 腾讯科技(深圳)有限公司 | 一种视频处理方法、装置、设备及介质 |
Non-Patent Citations (1)
Title |
---|
魏玮等: "周期性运动物体的特征提取及其分类", 《计算机工程与应用》 * |
Also Published As
Publication number | Publication date |
---|---|
CN115439501B (zh) | 2023-04-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Sen-Ching et al. | Robust techniques for background subtraction in urban traffic video | |
US7418134B2 (en) | Method and apparatus for foreground segmentation of video sequences | |
US20140198257A1 (en) | System and method for motion detection in a surveillance video | |
CN110598558A (zh) | 人群密度估计方法、装置、电子设备及介质 | |
US20190005653A1 (en) | Method and apparatus for extracting foreground | |
CN111179302B (zh) | 一种运动目标检测方法、装置、存储介质及终端设备 | |
Zhang et al. | Moving vehicles segmentation based on Bayesian framework for Gaussian motion model | |
Sankari et al. | Estimation of dynamic background and object detection in noisy visual surveillance | |
KR20090043416A (ko) | 카메라 이동 영향을 검출하고 억제하는 감시 카메라 장치및 그 제어 방법 | |
CN111741186A (zh) | 一种视频抖动检测方法、装置以及*** | |
Gao et al. | A novel algorithm of adaptive background estimation | |
US11447151B2 (en) | Object detection under rainy conditions for autonomous systems | |
CN107301655B (zh) | 一种基于背景建模的视频移动目标侦测方法 | |
CN115439501B (zh) | 一种视频流动态背景构造方法、装置及检测运动目标方法 | |
CN111179245A (zh) | 图像质量检测方法、装置、电子设备和存储介质 | |
CN111242051A (zh) | 一种车辆识别优化方法、装置及存储介质 | |
US20240221426A1 (en) | Behavior detection method, electronic device, and computer readable storage medium | |
abd el Azeem Marzouk | Modified background subtraction algorithm for motion detection in surveillance systems | |
CN115170612A (zh) | 一种检测跟踪方法、装置、电子设备及存储介质 | |
CN112949423B (zh) | 物体识别方法、物体识别装置及机器人 | |
CN110580706A (zh) | 一种视频背景模型的提取方法及装置 | |
Tang et al. | Removal of visual disruption caused by rain using cycle-consistent generative adversarial networks | |
CN113033551A (zh) | 对象检测的方法、装置、设备和存储介质 | |
CN106127757B (zh) | 基于改进遗传算法的夜晚安防监控视频分割方法及装置 | |
Patil et al. | A novel saliency-based cascaded approach for moving object segmentation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |