CN108596169B - 基于视频流图像的分块信号转换与目标检测方法及装置 - Google Patents

基于视频流图像的分块信号转换与目标检测方法及装置 Download PDF

Info

Publication number
CN108596169B
CN108596169B CN201810201588.5A CN201810201588A CN108596169B CN 108596169 B CN108596169 B CN 108596169B CN 201810201588 A CN201810201588 A CN 201810201588A CN 108596169 B CN108596169 B CN 108596169B
Authority
CN
China
Prior art keywords
image
video
global
sub
video stream
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810201588.5A
Other languages
English (en)
Other versions
CN108596169A (zh
Inventor
王荣华
杜明义
王耀东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jiaotong University
Beijing University of Civil Engineering and Architecture
Original Assignee
Beijing Jiaotong University
Beijing University of Civil Engineering and Architecture
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jiaotong University, Beijing University of Civil Engineering and Architecture filed Critical Beijing Jiaotong University
Priority to CN201810201588.5A priority Critical patent/CN108596169B/zh
Publication of CN108596169A publication Critical patent/CN108596169A/zh
Application granted granted Critical
Publication of CN108596169B publication Critical patent/CN108596169B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/255Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/30Noise filtering
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开一种基于视频流图像的分块信号转换与目标检测方法及装置,将视频图像进行网格分块,对分块后的二维子图像,利用分块区域内所有像素值的方差值,表示该区域在视频监控时刻的信号波动值,完成二维图像到一维信号的数据降维度处理。对于整体视频图像,转化为若干个一维信号波形进行检测,对于图像各区域的分块子图像,得到相对应的一维信号数据,从而通过实时波形的方法显示,利用数字信号处理中平滑滤波的方法降噪处理,排除子区域中背景的微弱变化,当前景目标或异常状况出现时,一维信号出现强烈的波动变化,可以明显的判断出视频流当中存在的异常波动,实现对视频检测区域中前景目标出现与否的判断。

Description

基于视频流图像的分块信号转换与目标检测方法及装置
技术领域
本发明涉及视频图像处理技术领域,具体涉及一种基于视频流图像的分块信号转换与目标检测方法及装置。
背景技术
随着信息时代计算机视觉技术的快速发展,人类生产生活等领域,视频图像采集与处理的应用呈现爆发式增长状态,从空天卫星遥感影像,到地面无人驾驶在一般的视频监控中,前景目标的检测方法是以背景图像为基础,通过全局图像做差分计算,利用多种滤波方法滤除背景噪音,实现对感兴趣目标的判断。或者利用视频图像的二维光流场计算方法,通过运动物体的速度特性进行检测。或者利用基于图像识别、目标分类、深度学***台的抖动、自然场景中树叶的晃动等情况,需要采用背景更新、图像去抖动、样本图像学习、深度神经网络等算法,通过大数据量运算完成。此类方法计算量大,实时检测中需要对图像全局像素点进行处理,数据计算过程复杂,实时图像处理中对每帧图像的计算量大,在线监测的时效性不高。
比如,王洋等提出一种对于铁路施工处异物侵限的检测报警***(王洋.京沪高速铁路跨越或并行既有铁路施工异物侵限报警技术研究[D]. 北京:北京交通大学,2010)。***在铁路施工现场以不同角度安装二维激光传感器形成激光光幕,能够检测到不同方向的异物侵限。作者提出了基于最小二乘法原理的异物识别算法,根据侵入物体的外轮廓直线特征参数以及运动情况进行异物识别,区分正常行驶的列车与侵限异物。另一方面,***包含基于ZigBee与GPRS的无线网络,实现对现场设备的远程配置以及对报警结果的远程访问。该方法利用二维激光扫描传感器,利用扫描区域点云距离的方式,对监测区域内的前景目标和异物入侵,进行实施的检测和报警,其不具有视频回放的功能,且检测区域较小。并且单个二维激光扫描传感器只是检测一个扇面区域的异物情况,如果对一个空间区域进行监测,需要多个二维激光扫描传感器拼成一个立体区域,所以成本较高。
又如,中南大学的习可等提出基于智能视频技术的铁路入侵检测方法(习可.基于智能视频技术的铁路入侵检测[D].长沙:中南大学, 2010.),以及北京交通大学杨柳旭等,提出列车远程瞭望***关键算法(杨柳旭.列车远程瞭望***关键算法研究[D].北京:北京交通大学,2016)。此类基于视频图像处理技术的目标检测与异物入侵方法,大部分基于传统的图像处理算法,通过图像差分或背景图像建模等方法,进行前景目标的检测。这些***的入侵检测算法分为预处理、背景提取、重点监控区域自动提取、运动目标检测、运动物体入侵检测和模板匹配等多个步骤。预处理包括镜头畸变校正、图像增强以及防抖动处理。背景提取基于优化的数学模型实现,运动目标检测包括目标特征提取与运动目标跟踪。最终,可以实现监测区域内目标的检测,以及关键视频图像的提取。上述方法主要利用传统图像处理视频处理的方式,对视频流中每帧图像进行较多个步骤的图像处理,数据量大、计算量大、实时视频处理的实效性不好。此类技术需要建立动态背景模型,针对光照变化的情况,进行动态背景更新,然后通过图像差分或其他特征提取方法,检测前景目标,所以此技术对外界的环境变化比较敏感,容易产生较多的噪声干扰,影响检测精度。因此亟需一种新的技术方案来解决现有技术中存在的问题。
发明内容
本发明的目的在于提供一种基于视频流图像的分块信号转换与目标检测方法及装置,将视频图像进行网格分块,对分块后的二维子图像,利用分块区域内所有像素值的方差值,表示该区域在视频监控时刻的信号波动值,完成二维图像到一维信号的数据降维度处理。本发明利用局部图像像素值的方差,表示本区域中视频图像数据的整体变化情况。对于整体视频图像,可以转化为若干个一维信号波形进行检测。对于图像各区域的分块子图像,得到相对应的一维信号数据,从而通过实时波形的方法显示,利用数字信号处理中平滑滤波的方法降噪处理,排除子区域中背景的微弱变化,当前景目标或异常状况出现时,一维信号出现强烈的波动变化,可以明显的判断出视频流当中存在的异常波动,实现对视频检测区域中前景目标出现与否的判断。
为实现上述目的,本发明的技术方案为:基于视频流图像的分块信号转换与目标检测方法,所述方法包括:
视频数据采集:利用视频图像数据采集设备采集并保存监控区域的视频流图像数据;
全局视频处理:对视频流图像进行灰度化处理,对灰度化处理后的视频流图像进行全局降采样;
局部信号转换:将视频流全局图像进行视频区域分割形成子区域,对子区域进行区域均值滤波,计算视频流图像子区域的方差;
一维信号处理:将子区域图像的方差值,按照时间的推移绘制成波形,进行信号均值滤波,计算一维信号波形的差值,获得背景图像的参考值实现前景目标视频图像检测。
如上所述的基于视频流图像的分块信号转换与目标检测方法,所述全局视频处理方法包括:
视频流图像预处理,将监控相机安装于固定平台,利用计算机接收摄像头实时采集的视频图像,定义为I(x,y,t),其中I(x,y)表示每一帧图像的数据,I(x,y,t)即为时间t时刻对应的视频流图像,其图像宽度为W、图像高度为H;
图像灰度化处理,对监控相机所采集的三通道RGB彩色数字图像转为单通道的8位灰度图像,即像素灰度值在0-255之间,记为:B(x,y,t);
视频图像全局降采样,对全局图像进行降维度、降采样计算,图像宽度方向、高度方向相同的比例缩放系数为w,h,新的降采样图像为L(x,y,t),新的降采样图像长度和高度为M、N,满足公式:
M=W/w,N=H/h
对降采样后图像进行一次高斯模糊处理,完成初次图像滤波,得到图像G(x,y,t),新图像G(x,y,t)中的像素灰度值与前期降采样图像L(x,y,t),满足公式:
Figure BDA0001594651300000041
如上所述的基于视频流图像的分块信号转换与目标检测方法,所述局部信号转换方法包括:
对高斯模糊处理后得到图像G(x,y,t),采用区域网格划分方法,将全局图像G(x,y,t)分割成尺寸大小相同的小窗口,定义图像分割系数为k,将全局图像划分为k×k个子区域Rn(x,y,t),其中n=1,2,...,k×k,局部图像的尺寸为Wn,Hn,局部图像的尺寸为Wn,Hn
对于网格分块后的子区域Rn(x,y,t),采用j×j的均值滤波模板,对子区域图像进行噪声滤除和平滑处理,以f(x,y,t)为在子区域图像Rn(x,y,t) 中移动平滑处理的窗口模板,得到子区域滤波后的图像Fn(x,y,t):
Figure BDA0001594651300000042
计算图像子区域内所有像素在时刻t的平均值Aven(t):
Figure BDA0001594651300000043
利用子区域图像所有像素点灰度值与平均值,计算t时刻的方差Dn(t):
Figure BDA0001594651300000051
如上所述的基于视频流图像的分块信号转换与目标检测方法,所述一维信号处理过程中:
进行信号均值滤波处理,获取视频图像按照网格分块信号化的一维信号
Figure BDA0001594651300000052
其中λn取值为3至10以内奇数;
通过公式San(t)=|Sn(t)-Sn(t-1)|计算一维信号波形的差值;
通过公式
Figure BDA0001594651300000053
获得背景图像的参考值,San(t)为当前t时刻的信号值,当大于α倍Tn的阈值时,判断为前景目标在视频监控区域内出现,视频图像生成数据储存的自动触发开关triggern , 满足公式
Figure BDA0001594651300000054
后,对当前场景进行自动的图像采集,保存前景目标出现时的重要视频图像。
本发明还提供一种基于视频流图像的分块信号转换与目标检测装置,所述装置包括:
视频数据采集单元,利用视频图像数据采集设备采集并保存监控区域的视频流图像数据;
上述的视频图像数据采集设备包括:摄像头,用于视频采集;计算机:用于采集与存储视频图像数据,并执行本发明所设计的算法;显示器:用于视频图像与检测结果的存储与展示;
全局视频处理单元,用于对视频流图像进行灰度化处理,对灰度化处理后的视频流图像进行全局降采样;
局部信号转换单元,用于将视频流全局图像进行视频区域分割形成子区域,对子区域进行区域均值滤波,计算视频流图像子区域的方差;
一维信号处理单元,用于将子区域图像的方差值,按照时间的推移绘制成波形,进行信号均值滤波,计算一维信号波形的差值,获得背景图像的参考值实现前景目标视频图像检测。
如上所述的基于视频流图像的分块信号转换与目标检测装置,所述全局视频处理单元包括全局降采样模块,所述全局降采样模块用于对视频图像全局降采样,全局降采样满足公式:
M=W/w,N=H/h
上式中,图像宽度方向、高度方向相同的比例缩放系数为w,h,图像宽度为W、图像高度为H,新的降采样图像长度和高度为M、N。
如上所述的基于视频流图像的分块信号转换与目标检测装置,所述局部信号转换单元包括视频区域分割模块,所述视频区域分割模块用于将全局视频图像分割成若干子区域,定义图像分割系数为k,则全局视频图像通过视频区域分割模块划分为k×k个子区域局部图像Rn(x,y,t)。
如上所述的基于视频流图像的分块信号转换与目标检测装置,所述局部信号转换单元包括区域均值滤波模块,所述区域均值滤波模块用于对子区域进行区域均值滤波,区域均值滤波公式为
Figure BDA0001594651300000061
j×j代表均值滤波模板,Fn(x,y,t)代表子区域滤波图像。
如上所述的基于视频流图像的分块信号转换与目标检测装置,所述一维信号处理单元包括前景目标检测模块,前景目标检测模块用于获得背景图像的参考值实现前景目标视频图像检测,通过公式
Figure BDA0001594651300000062
获得背景图像的参考值,San(t)为当前t时刻的信号值,当大于α倍Tn的阈值时,判断为前景目标在视频监控区域内出现,视频图像生成数据储存的自动触发开关triggern,满足公式
Figure BDA0001594651300000071
后,对当前场景进行自动的图像采集,保存前景目标出现时的重要视频图像。
本发明具有如下优点:本发明将摄像头监控的全局视频图像区域,划分为多个子区域,将子区域窗口的二维图像转换为一维信号波形,可以简化实时图像处理的数据量,提高视频帧的检测速度;本发明将全局视频图像,划分成子区域窗口,进行局部处理,这种视频流图像的分块化处理方式,可以为后续的多块子图像的并行处理,提供基础,可利用GPU对子图像进行并行处理,显著降低视频流图像的处理时间;本发明针对视频监控区域的图像数据,利用子区域像素值的均值和方差,将图像数据转化为信号波形,通过区域内像素值的波动幅度,判断其中是否出现了前景目标,可以消除传统图像处理中,帧差法或背景图像差值法引起的大量噪声干扰;本发明将二维图像转为一维信号的方法,对背景图像中光照、微小运动、相机平台抖动引起的明显噪点,具有较好的平滑作用,比传统图像处理方法更加简单;本发明利用信号处理的概念和方法,对视频流图像进行了分块信号化处理,并对其对应的波形进行了前景目标的触发判断,可以自动检测目标发生的时间,并自动提取和保存目标出现时的视频流图像,可用于数据回放。
附图说明
图1为基于视频流图像的分块信号转换与目标检测方法示意图;
图2为基于视频流图像的分块信号转换与目标检测方法高速周期机械运动的示意图;
图3为基于视频流图像的分块信号转换与目标检测方法视频区域分割示意图;
图4为基于视频流图像的分块信号转换与目标检测方法视频图像子区域均值波形示意图;
图5为基于视频流图像的分块信号转换与目标检测方法视频图像子区域方差波形
图6为基于视频流图像的分块信号转换与目标检测方法视频图像子区域邻域差值波形;
图7为基于视频流图像的分块信号转换与目标检测方法视频图像分块区域内的前景目标图像示意图。
具体实施方式
以下实施例用于说明本发明,但不用来限制本发明的范围。
如图1和图2所示,基于视频流图像的分块信号转换与目标检测方法,方法包括:
视频数据采集:利用视频图像数据采集设备采集并保存监控区域的视频流图像数据;
全局视频处理:对视频流图像进行灰度化处理,对灰度化处理后的视频流图像进行全局降采样;
局部信号转换:将视频流全局图像进行视频区域分割形成子区域,对子区域进行区域均值滤波,计算视频流图像子区域的方差;
一维信号处理:将子区域图像的方差值,按照时间的推移绘制成波形,进行信号均值滤波,计算一维信号波形的差值,获得背景图像的参考值实现前景目标视频图像检测。
基于视频流图像的分块信号转换与目标检测方法的一个实施例中,全局视频处理方法包括:
视频流图像预处理,将监控相机安装于固定平台,利用计算机接收摄像头实时采集的视频图像,定义为I(x,y,t),其中I(x,y)表示每一帧图像的数据,I(x,y,t)即为时间t时刻对应的视频流图像,其图像宽度为W、图像高度为H;
图像灰度化处理,对监控相机所采集的三通道RGB彩色数字图像转为单通道的8位灰度图像,即像素灰度值在0-255之间,记为:B(x,y,t);
对于视频监控采集的图像,具有较高的分辨率,即包含大量像素点参与计算。在实时图像处理中,本发明利用子区域内像素值的整体变化来计算,所以首先对全局图像进行降维度、降采样计算。由于像素值为整数值,所以设定图像宽度方向、高度方向相同的比例缩放系数为w,h,则新的降采样图像为L(x,y,t),其图像长度和高度为M、N,满足视频图像全局降采样,对全局图像进行降维度、降采样计算,图像宽度方向、高度方向相同的比例缩放系数为w,h,新的降采样图像为L(x,y,t),新的降采样图像长度和高度为M、N,满足公式:
M=W/w,N=H/h
其中,图像长度M和高度N为整数,即表示W和H可以分别被w 和h整除。之后,对降采样后图像进行一次高斯模糊处理,完成初次图像滤波,得到图像G(x,y,t),降低背景噪声干扰,其中新图像中的像素灰度值与前期降采样图像L(x,y,t),对降采样后图像进行一次高斯模糊处理,完成初次图像滤波,得到图像G(x,y,t),新图像G(x,y,t)中的像素灰度值与前期降采样图像L(x,y,t),满足公式:
Figure BDA0001594651300000091
基于视频流图像的分块信号转换与目标检测方法的一个实施例中,局部信号转换方法包括:
再次参见图1,对高斯模糊处理后得到图像G(x,y,t),采用区域网格划分方法,将全局图像G(x,y,t)分割成尺寸大小相同的小窗口,定义图像分割系数为k,将全局图像划分为k×k个子区域Rn(x,y,t),其中n=1,2,...,k×k,局部图像的尺寸为Wn,Hn,局部图像的尺寸为Wn,Hn;参见图3所示为将全局视频图像,按照本发明分成2×2的网格窗口的效果。
参见图4,为利用本发明对图3所示视频图像,进行处理的波形。可以看出,子窗口背景有树木、草地、植被和光照变化等动态背景,其均值波形在前景目标出现前,有窄幅波动;但当前景目标出现时,其出现较明显的波动。对于网格分块后的子区域Rn(x,y,t),采用j×j的均值滤波模板,对子区域图像进行噪声滤除和平滑处理,以f(x,y,t)为在子区域图像Rn(x,y,t)中移动平滑处理的窗口模板,得到子区域滤波后的图像 Fn(x,y,t):
Figure BDA0001594651300000101
计算图像子区域内所有像素在时刻t的平均值Aven(t):
Figure BDA0001594651300000102
利用子区域图像所有像素点灰度值与平均值,计算t时刻的方差Dn(t):
Figure BDA0001594651300000103
参见图5,由此方法,视频流图像数据按照网格分块处理,通过方差值计算,将子窗口区域的二维图像转化为一维信号,表示监控视频在t 时刻,此区域的像素值波动情况。方差值表示区域内像素值的能量波动,比均值波形更能明显的表示目标出现时刻的波动。
基于视频流图像的分块信号转换与目标检测方法的一个实施例中,一维信号处理过程中:
对于视频图像按照网格分块信号化的一维信号Dn(t),由于实际检测中噪音的出现,造成相邻时刻较大的一阶导数偏差,影响前景目标的正常判断。本发明实施例中利用λn=3的三邻域均值滤波,一定程度的降低噪声影响,其中λ可以选择大于等于3的奇数,但是邻域均值滤波的范围越大,则导致信号波形过于平滑,而降低对前景目标的判断,一般λn取值为3至10以内奇数;之后进行信号均值滤波处理,获取视频图像按照网格分块信号化的一维信号
Figure BDA0001594651300000111
通过公式San(t)=|Sn(t)-Sn(t-1)|计算一维信号波形的差值;通过视频图像子区域的方差计算得到的一维波形,滤波后可以平滑少量噪声干扰,得到对应窗口的动态波形。当没有前景目标出现时,动态波形只有微弱的变化;当前景目标出现时,波形会产生较大的波动。
一维信号相邻数据的差值波形中,当前景目标出现时,产生较大的阶跃信号,如图6所示,对于出现这种大幅波动的信号,可以判断其已经超过背景微小噪声干扰的波动范围,即定义为前景目标的出现。本发明实施例中定义τn=10帧视频图像对应的信号波形均值,通过公式
Figure BDA0001594651300000112
获得背景图像的参考值Tn,San(t)为当前t时刻的信号值,当大于α倍Tn的阈值时,判断为前景目标在视频监控区域内出现,视频图像生成数据储存的自动触发开关triggern,满足公式
Figure BDA0001594651300000113
后,对当前场景进行自动的图像采集,保存前景目标出现时的重要视频图像。
此刻,视频图像生成数据储存的自动触发开关triggern,对当前场景进行自动的图像采集,即可以保存前景目标出现时的重要视频图像。图7 所示为利用本发明所检测,并保存的前景目标视频图像示例,其中窗口2 和窗口4为整体监控区域的子图像,对应图3中对应的网格划分区域。对应子区域的一维信号波形,再次参考图4、图5和图6具有明显的信号波动,按照本发明的方法,可以准确检测并保存前景目标出现时的图像。
本发明还提供一种基于视频流图像的分块信号转换与目标检测装置,装置包括:
视频数据采集单元,利用视频图像数据采集设备采集并保存监控区域的视频流图像数据;其中,视频图像数据采集设备包括:摄像头,用于视频采集;计算机:用于采集与存储视频图像数据,并执行本发明所设计的算法;显示器:用于视频图像与检测结果的存储与展示;
全局视频处理单元,用于对视频流图像进行灰度化处理,对灰度化处理后的视频流图像进行全局降采样;
局部信号转换单元,用于将视频流全局图像进行视频区域分割形成子区域,对子区域进行区域均值滤波,计算视频流图像子区域的方差;
一维信号处理单元,用于将子区域图像的方差值,按照时间的推移绘制成波形,进行信号均值滤波,计算一维信号波形的差值,获得背景图像的参考值实现前景目标视频图像检测。
如上的基于视频流图像的分块信号转换与目标检测装置,全局视频处理单元包括全局降采样模块,全局降采样模块用于对视频图像全局降采样,全局降采样满足公式:
M=W/w,N=H/h
上式中,图像宽度方向、高度方向相同的比例缩放系数为w,h,图像宽度为W、图像高度为H,新的降采样图像长度和高度为M、N。
基于视频流图像的分块信号转换与目标检测装置的一个实施例中,局部信号转换单元包括视频区域分割模块,视频区域分割模块用于将全局视频图像分割成若干子区域,定义图像分割系数为k,则全局视频图像通过视频区域分割模块划分为k×k个子区域局部图像Rn(x,y,t)。
基于视频流图像的分块信号转换与目标检测装置的一个实施例中,局部信号转换单元包括区域均值滤波模块,区域均值滤波模块用于对子区域进行区域均值滤波,区域均值滤波公式为
Figure BDA0001594651300000131
j×j代表均值滤波模板,Fn(x,y,t)代表子区域滤波图像。
基于视频流图像的分块信号转换与目标检测装置的一个实施例中,一维信号处理单元包括前景目标检测模块,前景目标检测模块用于获得背景图像的参考值实现前景目标视频图像检测,通过公式
Figure BDA0001594651300000132
获得背景图像的参考值,San(t)为当前t时刻的信号值,当大于α倍Tn的阈值时,判断为前景目标在视频监控区域内出现,视频图像生成数据储存的自动触发开关triggern,满足公式
Figure BDA0001594651300000133
后,对当前场景进行自动的图像采集,保存前景目标出现时的重要视频图像。
本发明将摄像头监控的全局视频图像区域,划分为多个子区域,将子区域窗口的二维图像转换为一维信号波形,可以简化实时图像处理的数据量,提高视频帧的检测速度;本发明将全局视频图像,划分成子区域窗口,进行局部处理,这种视频流图像的分块化处理方式,可以为后续的多块子图像的并行处理,提供基础,可利用GPU对子图像进行并行处理,显著降低视频流图像的处理时间;本发明针对视频监控区域的图像数据,利用子区域像素值的均值和方差,将图像数据转化为信号波形,通过区域内像素值的波动幅度,判断其中是否出现了前景目标,可以消除传统图像处理中,帧差法或背景图像差值法引起的大量噪声干扰;本发明将二维图像转为一维信号的方法,对背景图像中光照、微小运动、相机平台抖动引起的明显噪点,具有较好的平滑作用,比传统图像处理方法更加简单;本发明利用信号处理的概念和方法,对视频流图像进行了分块信号化处理,并对其对应的波形进行了前景目标的触发判断,可以自动检测目标发生的时间,并自动提取和保存目标出现时的视频流图像,可用于数据回放。
虽然,上文中已经用一般性说明及具体实施例对本发明作了详尽的描述,但在本发明基础上,可以对之作一些修改或改进,这对本领域技术人员而言是显而易见的。因此,在不偏离本发明精神的基础上所做的这些修改或改进,均属于本发明要求保护的范围。

Claims (9)

1.基于视频流图像的分块信号转换与目标检测方法,其特征在于,所述方法包括:
视频数据采集:利用视频图像数据采集设备采集并保存监控区域的视频流图像数据;
全局视频处理:对视频流图像进行灰度化处理,对灰度化处理后的视频流图像进行全局降采样;
局部信号转换:将视频流全局图像进行视频区域分割形成子区域,对子区域进行区域均值滤波,计算视频流图像子区域的方差;
一维信号处理:将子区域图像的方差值,按照时间的推移绘制成波形,进行信号均值滤波,计算一维信号波形的差值,获得背景图像的参考值实现前景目标视频图像检测。
2.根据权利要求1所述的基于视频流图像的分块信号转换与目标检测方法,其特征在于,所述全局视频处理方法包括:
视频流图像预处理,将监控相机安装于固定平台,利用计算机接收摄像头实时采集的视频图像,定义为I(x,y,t),其中I(x,y)表示每一帧图像的数据,I(x,y,t)即为时间t时刻对应的视频流图像,其图像宽度为W、图像高度为H;
图像灰度化处理,对监控相机所采集的三通道RGB彩色数字图像转为单通道的8位灰度图像,即像素灰度值在0-255之间,记为:B(x,y,t);
视频图像全局降采样,对全局图像进行降维度、降采样计算,图像宽度方向、高度方向相同的比例缩放系数为w,h,新的降采样图像为L(x,y,t),新的降采样图像长度和高度为M、N,满足公式:
M=W/w,N=H/h
对降采样后图像进行一次高斯模糊处理,完成初次图像滤波,得到图像G(x,y,t),新图像G(x,y,t)中的像素灰度值与前期降采样图像L(x,y,t),满足公式:
Figure FDA0001594651290000021
3.根据权利要求1所述的基于视频流图像的分块信号转换与目标检测方法,其特征在于,所述局部信号转换方法包括:
对高斯模糊处理后得到图像G(x,y,t),采用区域网格划分方法,将全局图像G(x,y,t)分割成尺寸大小相同的小窗口,定义图像分割系数为k,将全局图像划分为k×k个子区域Rn(x,y,t),其中n=1,2,...,k×k,局部图像的尺寸为Wn,Hn
对于网格分块后的子区域Rn(x,y,t),采用j×j的均值滤波模板,对子区域图像进行噪声滤除和平滑处理,以f(x,y,t)为在子区域图像Rn(x,y,t)中移动平滑处理的窗口模板,得到子区域滤波后的图像Fn(x,y,t):
Figure FDA0001594651290000022
计算图像子区域内所有像素在时刻t的平均值Aven(t):
Figure FDA0001594651290000023
利用子区域图像所有像素点灰度值与平均值,计算t时刻的方差Dn(t):
Figure FDA0001594651290000024
4.根据权利要求1所述的基于视频流图像的分块信号转换与目标检测方法,其特征在于,所述一维信号处理过程中:
进行信号均值滤波处理,获取视频图像按照网格分块信号化的一维信号
Figure FDA0001594651290000025
其中λn取值为3至10以内奇数;
通过公式San(t)=|Sn(t)-Sn(t-1)|计算一维信号波形的差值;
通过公式
Figure FDA0001594651290000026
获得背景图像的参考值,San(t)为当前t时刻的信号值,当大于α倍Tn的阈值时,判断为前景目标在视频监控区域内出现,视频图像生成数据储存的自动触发开关trigger n,满足公式
Figure FDA0001594651290000031
后,对当前场景进行自动的图像采集,保存前景目标出现时的重要视频图像。
5.基于视频流图像的分块信号转换与目标检测装置,其特征在于,所述装置包括:
视频数据采集单元,利用视频图像数据采集设备采集并保存监控区域的视频流图像数据;所述视频图像数据采集设备包括:摄像头,用于视频采集;计算机:用于采集与存储视频图像数据并执行算法;显示器:用于视频图像与检测结果的存储与展示;
全局视频处理单元,用于对视频流图像进行灰度化处理,对灰度化处理后的视频流图像进行全局降采样;
局部信号转换单元,用于将视频流全局图像进行视频区域分割形成子区域,对子区域进行区域均值滤波,计算视频流图像子区域的方差;
一维信号处理单元,用于将子区域图像的方差值,按照时间的推移绘制成波形,进行信号均值滤波,计算一维信号波形的差值,获得背景图像的参考值实现前景目标视频图像检测。
6.根据权利要求5所述的基于视频流图像的分块信号转换与目标检测装置,其特征在于,所述全局视频处理单元包括全局降采样模块,所述全局降采样模块用于对视频图像全局降采样,全局降采样满足公式:
M=W/w,N=H/h
上式中,图像宽度方向、高度方向相同的比例缩放系数为w,h,图像宽度为W、图像高度为H,新的降采样图像长度和高度为M、N。
7.根据权利要求5所述的基于视频流图像的分块信号转换与目标检测装置,其特征在于,所述局部信号转换单元包括视频区域分割模块,所述视频区域分割模块用于将全局视频图像分割成若干子区域,定义图像分割系数为k,则全局视频图像通过视频区域分割模块划分为k×k个子区域局部图像Rn(x,y,t)。
8.根据权利要求5所述的基于视频流图像的分块信号转换与目标检测装置,其特征在于,所述局部信号转换单元包括区域均值滤波模块,所述区域均值滤波模块用于对子区域进行区域均值滤波,区域均值滤波公式为
Figure FDA0001594651290000041
j×j代表均值滤波模板,Fn(x,y,t)代表子区域滤波图像。
9.根据权利要求5所述的基于视频流图像的分块信号转换与目标检测装置,其特征在于,所述一维信号处理单元包括前景目标检测模块,前景目标检测模块用于获得背景图像的参考值实现前景目标视频图像检测,通过公式
Figure FDA0001594651290000042
获得背景图像的参考值,San(t)为当前t时刻的信号值,当大于α倍Tn的阈值时,判断为前景目标在视频监控区域内出现,视频图像生成数据储存的自动触发开关trigger n,满足公式
Figure FDA0001594651290000043
后,对当前场景进行自动的图像采集,保存前景目标出现时的重要视频图像。
CN201810201588.5A 2018-03-12 2018-03-12 基于视频流图像的分块信号转换与目标检测方法及装置 Active CN108596169B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810201588.5A CN108596169B (zh) 2018-03-12 2018-03-12 基于视频流图像的分块信号转换与目标检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810201588.5A CN108596169B (zh) 2018-03-12 2018-03-12 基于视频流图像的分块信号转换与目标检测方法及装置

Publications (2)

Publication Number Publication Date
CN108596169A CN108596169A (zh) 2018-09-28
CN108596169B true CN108596169B (zh) 2021-05-14

Family

ID=63626105

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810201588.5A Active CN108596169B (zh) 2018-03-12 2018-03-12 基于视频流图像的分块信号转换与目标检测方法及装置

Country Status (1)

Country Link
CN (1) CN108596169B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109589071B (zh) * 2018-12-05 2022-03-29 余姚市恒正金属制品有限公司 喷头水压调控***
CN109691922B (zh) * 2018-12-27 2021-04-20 安徽舜邦精细化工有限公司 洗发剂自动出料机构
CN110598239B (zh) * 2019-07-19 2023-11-17 中国建设基础设施有限公司 基于轨行区点云大数据的应用方法
CN111063146A (zh) * 2019-12-18 2020-04-24 浙江大华技术股份有限公司 监控画面的布防方法及设备、存储装置
CN113011218B (zh) * 2019-12-19 2024-03-01 合肥君正科技有限公司 一种车内监控检测中应对人员上下车自动更新背景的方法
CN111524158B (zh) * 2020-05-09 2023-03-24 黄河勘测规划设计研究院有限公司 水利工程复杂场景下的前景目标检测方法
CN113744137B (zh) * 2020-05-27 2024-05-31 合肥君正科技有限公司 一种螺旋矩阵式的帧差平滑处理方法
CN112801049B (zh) * 2021-03-26 2021-07-23 北京至真互联网技术有限公司 图像分类方法和装置及设备
CN113822240B (zh) * 2021-11-22 2022-03-25 广东电网有限责任公司中山供电局 一种电力现场作业视频数据提取异常行为的方法及装置
CN116071220B (zh) * 2023-03-06 2023-06-20 浙江华感科技有限公司 一种图像窗口数据处理方法、装置、设备及介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102288166A (zh) * 2011-05-13 2011-12-21 河海大学 基于视频的多模型结合水面船舶检测方法
CN104103039A (zh) * 2013-04-08 2014-10-15 上海联影医疗科技有限公司 一种图像噪声估计方法
CN107767363A (zh) * 2017-09-05 2018-03-06 天津大学 一种基于自然场景的无参考高动态图像质量评价算法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102288166A (zh) * 2011-05-13 2011-12-21 河海大学 基于视频的多模型结合水面船舶检测方法
CN104103039A (zh) * 2013-04-08 2014-10-15 上海联影医疗科技有限公司 一种图像噪声估计方法
CN107767363A (zh) * 2017-09-05 2018-03-06 天津大学 一种基于自然场景的无参考高动态图像质量评价算法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
《Sparsity and Structure in Hyperspectral Imaging:Sensing,reconstruction,and Target Detection》;Rebecca M.Willett等;《IEEE Signal Processing Magazine》;20131203;第31卷(第1期);全文 *
《基于亮度直方图匹配的运动目标检测算法》;薛丽霞 等;《计算机工程与应用》;20120321;全文 *

Also Published As

Publication number Publication date
CN108596169A (zh) 2018-09-28

Similar Documents

Publication Publication Date Title
CN108596169B (zh) 基于视频流图像的分块信号转换与目标检测方法及装置
CN112800860B (zh) 一种事件相机和视觉相机协同的高速抛撒物检测方法和***
EP2549759B1 (en) Method and system for facilitating color balance synchronization between a plurality of video cameras as well as method and system for obtaining object tracking between two or more video cameras
WO2015117072A1 (en) Systems and methods for detecting and tracking objects in a video stream
US20160117837A1 (en) Modification of at least one parameter used by a video processing algorithm for monitoring of a scene
CN107194946B (zh) 一种基于fpga的红外显著物体检测方法
CN109359593B (zh) 一种基于图像局部栅格的雨雪环境画面模糊监测预警方法
JP2010204860A (ja) 映像監視システム
CN112770090A (zh) 一种基于异动检测与目标跟踪的监控方法
CN115761563A (zh) 一种基于光流测算的河流表面流速的计算方法及***
CN106056078A (zh) 一种基于多特征回归式集成学习的人群密度估计方法
CN112766046B (zh) 一种目标检测方法及相关装置
CN111199177A (zh) 一种基于鱼眼图像校正的汽车后视行人检测报警方法
CN111582076A (zh) 一种基于像素运动智能感知的画面冻结检测方法
KR101520293B1 (ko) 시각 집중에 의한 관심객체 검지와 포렌식 영상 획득 스케쥴링 방법 및 시스템
CN103473753A (zh) 一种基于多尺度小波阈值去噪的目标检测方法
CN115147450B (zh) 基于运动帧差图像的移动目标检测方法及检测装置
CN108171168B (zh) 弱小目标变动智能图像检测方法及装置
CN111383242B (zh) 一种图像透雾处理方法及装置
Varkonyi-Koczy Fuzzy logic supported corner detection
CN115272995A (zh) 一种基于生成对抗网络的雨雪天车道线检测方法及***
Zhao et al. Research on vehicle detection and vehicle type recognition under cloud computer vision
Chaiyawatana et al. Robust object detection on video surveillance
CN111968158A (zh) 一种基于核相关滤波和结构相似性的视频抖动检测方法
CN113111699B (zh) 一种基于红外摄像头的人体运动检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant