CN115861365B - 运动目标检测方法、***、计算机设备及存储介质 - Google Patents
运动目标检测方法、***、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN115861365B CN115861365B CN202211240698.5A CN202211240698A CN115861365B CN 115861365 B CN115861365 B CN 115861365B CN 202211240698 A CN202211240698 A CN 202211240698A CN 115861365 B CN115861365 B CN 115861365B
- Authority
- CN
- China
- Prior art keywords
- background
- extracting
- binarized image
- map
- saliency map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Image Analysis (AREA)
Abstract
本方案涉及一种运动目标检测方法、***、计算机设备及存储介质。所述方法包括:获取实时采集的视频帧生成显著图;对显著图进行二值化处理,并提取出视觉显著区域;在视觉显著区域内提取潜在运动目标的特征角点,并计算特征角点相位差,得到运动目标感知结果,建立背景数据集,从中提取出运动目标,并将运动目标的二值化图作为检测结果。通过提取视觉显著区域,进而算特征角点相位差,从而得到运动目标感知结果,运动目标感知是自上而下的提供运动目标可能性信息,能够解决传统背景相减法中动态背景造成的干扰,利用运动感知结果能够有目的的在背景相减法中进行背景更新,提升背景数据集的准确性,从而提高运动目标检测的准确定和有效性。
Description
技术领域
本发明涉及机器视觉技术领域,特别是涉及一种运动目标检测方法、***、计算机设备及存储介质。
背景技术
随着科技进步的飞速发展,人们对智慧生活的追求也不断提高。在计算机视觉领域,目标检测是一个重要课题,主要任务是找到图像视频中的感兴趣区域,并确定其位置。运动目标检测算法作为机器视觉的基础之一,可以对视频中的运动目标进行检测;众多基于深度学习的方法能够在基准数据集上取得良好效果,也可以应用在目标检测中。而如今先进的运动目标检测算法都是自下而上的,并且面临着动态背景,动荡场景,光照变化等重大挑战;深度学习方法在目标大小、摄像机角度、光照、背景环境发生改变时,各个深度学习模型的效果均有不同程度的下降。
因此,传统的目标检测方法在进行目标检测时,通常会遇到动态背景造成的干扰,存在检测不准确的问题。
发明内容
基于此,为了解决上述技术问题,提供一种运动目标检测方法、***、计算机设备及存储介质,可以提高运动目标检测的准确率。
一种运动目标检测方法,所述方法包括:
获取实时采集的视频帧,通过显著图生成算法根据所述视频帧生成显著图;
对所述显著图进行二值化处理,得到二值化处理后的图像,并从二值化处理后的图像中的提取出视觉显著区域;
将所述显著图转换为对应的灰度图,在所述视觉显著区域内分别提取所述显著图、所述灰度图中潜在运动目标的特征角点,并计算所述特征角点在所述显著图、所述灰度图中的特征角点相位差;
根据所述特征角点相位差,从所述视频帧中获取当前帧内的运动目标感知结果,并根据所述运动目标感知结果建立背景数据集;
从所述背景数据集中提取出运动目标,并将所述运动目标的二值化图作为检测结果输出。
在其中一个实施例中,所述二值化处理包括区域二值化处理和全局二值化处理;对所述显著图进行二值化处理,得到二值化处理后的图像,并从二值化处理后的图像中的提取出视觉显著区域,包括:
对所述显著图进行区域二值化处理,得到二值化处理后的图像;
利用全局二值化中的大津法提取所述二值化处理后的图像中的视觉显著区域。
在其中一个实施例中,所述对所述显著图进行区域二值化处理,得到二值化处理后的图像,包括:
在所述显著图中选取以目标像素点为中心的窗口区域,并计算所述窗口区域内各个像素点的阈值,以及各个像素点的灰度值;
将灰度值大于阈值的像素点作为前景,将灰度值小于或者等于阈值的像素点作为背景,得到输出图像;
针对所述输出图像中的每个像素点进行模糊化处理,得到二值化处理后的图像。
在其中一个实施例中,所述利用全局二值化中的大津法提取所述二值化处理后的图像中的视觉显著区域,包括:
计算作为前景的像素点占所述二值化处理后的图像的前景比例、作为前景的像素点的前景平均灰度值;计算作为背景的像素点占所述二值化处理后的图像的背景比列、作为背景的像素点的背景平均灰度值;
根据所述前景比列、所述前景平均灰度值、所述背景比例,所述背景平均灰度值,计算所述二值化处理后的图像的均值;
根据所述均值通过提取最小外接矩形的方式将所述视觉显著区域从所述二值化处理后的图像中提取出。
在其中一个实施例中,所述计算所述特征角点在所述显著图、所述灰度图中的特征角点相位差,包括:
提取所述显著图、所述灰度图中的特征角点点集,根据所述特征角点点集利用稀疏光流法计算出状态向量集;
根据所述状态向量集确定所述特征角点的坐标,根据所述坐标计算出状态向量集合,并将所述状态向量集合作为所述特征角点相位差。
在其中一个实施例中,所述根据所述特征角点相位差,从所述视频帧中获取当前帧内的运动目标感知结果,包括:
确定静态背景阈值、动态背景阈值;
将所述静态背景阈值、所述动态背景阈值作为比较对象,根据所述特征角点相位差得到运动目标感知结果。
在其中一个实施例中,所述方法还包括:
当所述运动目标感知结果为存在运动目标时,不更新所述背景数据集;
当所述运动目标感知结果为背景,且所述前景比例小于阈值时,更新所述背景数据集。
一种运动目标检测***,所述***包括:
视频帧获取模块,用于获取实时采集的视频帧,通过显著图生成算法根据所述视频帧生成显著图;
视觉显著区域提取模块,用于对所述显著图进行二值化处理,得到二值化处理后的图像,并从二值化处理后的图像中的提取出视觉显著区域;
相位差计算模块,用于将所述显著图转换为对应的灰度图,在所述视觉显著区域内分别提取所述显著图、所述灰度图中潜在运动目标的特征角点,并计算所述特征角点在所述显著图、所述灰度图中的特征角点相位差;
背景数据集建立模块,用于根据所述特征角点相位差,从所述视频帧中获取当前帧内的运动目标感知结果,并根据所述运动目标感知结果建立背景数据集;
检测结果输出模块,用于从所述背景数据集中提取出运动目标,并将所述运动目标的二值化图作为检测结果输出。
一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
获取实时采集的视频帧,通过显著图生成算法根据所述视频帧生成显著图;
对所述显著图进行二值化处理,得到二值化处理后的图像,并从二值化处理后的图像中的提取出视觉显著区域;
将所述显著图转换为对应的灰度图,在所述视觉显著区域内分别提取所述显著图、所述灰度图中潜在运动目标的特征角点,并计算所述特征角点在所述显著图、所述灰度图中的特征角点相位差;
根据所述特征角点相位差,从所述视频帧中获取当前帧内的运动目标感知结果,并根据所述运动目标感知结果建立背景数据集;
从所述背景数据集中提取出运动目标,并将所述运动目标的二值化图作为检测结果输出。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
获取实时采集的视频帧,通过显著图生成算法根据所述视频帧生成显著图;
对所述显著图进行二值化处理,得到二值化处理后的图像,并从二值化处理后的图像中的提取出视觉显著区域;
将所述显著图转换为对应的灰度图,在所述视觉显著区域内分别提取所述显著图、所述灰度图中潜在运动目标的特征角点,并计算所述特征角点在所述显著图、所述灰度图中的特征角点相位差;
根据所述特征角点相位差,从所述视频帧中获取当前帧内的运动目标感知结果,并根据所述运动目标感知结果建立背景数据集;
从所述背景数据集中提取出运动目标,并将所述运动目标的二值化图作为检测结果输出。
上述运动目标检测方法、***、计算机设备及存储介质,通过获取实时采集的视频帧,通过显著图生成算法根据所述视频帧生成显著图;对所述显著图进行二值化处理,得到二值化处理后的图像,并从二值化处理后的图像中的提取出视觉显著区域;将所述显著图转换为对应的灰度图,在所述视觉显著区域内分别提取所述显著图、所述灰度图中潜在运动目标的特征角点,并计算所述特征角点在所述显著图、所述灰度图中的特征角点相位差;根据所述特征角点相位差,从所述视频帧中获取当前帧内的运动目标感知结果,并根据所述运动目标感知结果建立背景数据集;从所述背景数据集中提取出运动目标,并将所述运动目标的二值化图作为检测结果输出。通过从显著图中提取出视觉显著区域,进而根据特征角点计算特征角点相位差,从而得到运动目标感知结果,运动目标感知是自上而下的提供运动目标可能性信息,能够解决传统背景相减法中动态背景造成的干扰,利用运动感知结果能够有目的的在背景相减法中进行背景更新,提升背景数据集的准确性,从而提高运动目标检测的准确定和有效性。
附图说明
图1为一个实施例中运动目标检测方法的应用环境图;
图2为一个实施例中运动目标检测方法的流程示意图;
图3为一个实施例中选取显著图Res-net与其他显著图的比较结果示意图;
图4为一个实施例中运动目标显视觉显著区域提取过程展示图;
图5为一个实施例中运动目标感知结果示意图;
图6为一个实施例中运动目标检测方法的结构示意图;
图7为一个实施例中本申请提供的运动目标检测方法与其他运动目标检测方法的对比结果示意图;
图8为一个实施例中本申请提供的运动目标检测方法与其他运动目标检测方法的对比结果示意图;
图9为一个实施例中运动目标检测***的结构框图;
图10为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请实施例提供的运动目标检测方法,可以应用于如图1所示的应用环境中。如图1所示,该应用环境包括计算机设备110和摄像头120,计算机设备110与摄像头120通信连接。计算机设备110可以获取摄像头120实时采集的视频帧,通过显著图生成算法根据视频帧生成显著图;计算机设备110可以对显著图进行二值化处理,得到二值化处理后的图像,并从二值化处理后的图像中的提取出视觉显著区域;计算机设备110可以将显著图转换为对应的灰度图,在视觉显著区域内分别提取显著图、灰度图中潜在运动目标的特征角点,并计算特征角点在显著图、灰度图中的特征角点相位差;计算机设备110可以根据特征角点相位差,从视频帧中获取当前帧内的运动目标感知结果,并根据运动目标感知结果建立背景数据集;计算机设备110可以从背景数据集中提取出运动目标,并将运动目标的二值化图作为检测结果输出。其中,计算机设备110可以但不限于是各种个人计算机、笔记本电脑、智能手机、机器人、无人飞行器、平板电脑等设备。
在一个实施例中,如图2所示,提供了一种运动目标检测方法,包括以下步骤:
步骤202,获取实时采集的视频帧,通过显著图生成算法根据视频帧生成显著图。
摄像头可以实时采集视频帧,并传输到计算机设备中,计算机设备在获取到视频帧后,可以通过显著图生成算法根据视频帧生成显著图。其中,显著图生成算法可以是对比选择出来的,具体是通过量化数据比较选取出SAM-Resnet结构作为人眼显著图生成算法,量化数据比较的示意结果如图3所示。
步骤204,对显著图进行二值化处理,得到二值化处理后的图像,并从二值化处理后的图像中的提取出视觉显著区域。
计算机设备生成显著图之后,可以对显著图进行二值化处理,从而筛选出视觉显著区域。
步骤206,将显著图转换为对应的灰度图,在视觉显著区域内分别提取显著图、灰度图中潜在运动目标的特征角点,并计算特征角点在显著图、灰度图中的特征角点相位差。
计算机设备可以将显著图转换为灰度图,并采用Shi-Tomas特征角点提取法在视频帧的视觉显著性区域内,分别对视频灰度图和视频显著图进行提取潜在运动目标的特征角点。
提取出特征角点后,计算机设备可以利用稀疏光流法分别对灰度图和显著图中特征角点的运动状态提取,分别得到特征角点在灰度图和显著图中的特征角点相位差。
步骤208,根据特征角点相位差,从视频帧中获取当前帧内的运动目标感知结果,并根据运动目标感知结果建立背景数据集。
在灰度图和显著图中,计算机设备可以分别将连续三帧中特征角点序列的特征角点相位差均值与静态阈值、动态阈值相比较,从而获得当前帧内的运动目标感知结果。
利用获取的运动目标感知结果,计算机设备可以直接选取背景帧作为初始帧。背景数据集的建立方法是对于一个像素点,结合相邻像素点拥有的相近像素值的空间分布特征性,随机选择它的邻域点的像素值作为模型的样本值,背景深度为H。
步骤210,从背景数据集中提取出运动目标,并将运动目标的二值化图作为检测结果输出。
其中,背景数据集为每个背景点储存了一个样本集,然后每个新的像素值和样本集比较,判断新的像素值是否属于背景。比较方法选用计算新的像素值和样本中的每个样本值的距离,若距离小于阈值,则近似样本点数目增加;若距离小于阈值,则认为产生像素点为前景目标。检测过程一般由三个参数决定,样本集数目(背景深度H),阈值Tmin,距离相近判定阈值R。通过这个检测过程可以提取出运动目标。
计算机设备在提取出运动目标后,可以以二值化的形式输出检测结果。
在本实施例中,计算机设备通过获取实时采集的视频帧,通过显著图生成算法根据视频帧生成显著图;对显著图进行二值化处理,得到二值化处理后的图像,并从二值化处理后的图像中的提取出视觉显著区域;将显著图转换为对应的灰度图,在视觉显著区域内分别提取显著图、灰度图中潜在运动目标的特征角点,并计算特征角点在显著图、灰度图中的特征角点相位差;根据特征角点相位差,从视频帧中获取当前帧内的运动目标感知结果,并根据运动目标感知结果建立背景数据集;从背景数据集中提取出运动目标,并将运动目标的二值化图作为检测结果输出。通过从显著图中提取出视觉显著区域,进而根据特征角点计算特征角点相位差,从而得到运动目标感知结果,运动目标感知是自上而下的提供运动目标可能性信息,能够解决传统背景相减法中动态背景造成的干扰,利用运动感知结果能够有目的的在背景相减法中进行背景更新,提升背景数据集的准确性,从而提高运动目标检测的准确定和有效性。
在一个实施例中,提供的一种运动目标检测方法还可以包括二值化处理的过程,具体过程包括:对显著图进行区域二值化处理,得到二值化处理后的图像;利用全局二值化中的大津法提取二值化处理后的图像中的视觉显著区域。
其中,二值化处理包括区域二值化处理和全局二值化处理。
在一个实施例中,区域二值化处理的过程包括:在显著图中选取以目标像素点为中心的窗口区域,并计算窗口区域内各个像素点的阈值,以及各个像素点的灰度值;将灰度值大于阈值的像素点作为前景,将灰度值小于或者等于阈值的像素点作为背景,得到输出图像;针对输出图像中的每个像素点进行模糊化处理,得到二值化处理后的图像。
计算机设备在对视觉显著图进行区域二值化处理的过程中,可以选取以目标像素点(i,j)为中心的(2ω+1)×(2ω-1)窗口区域,在窗口区域内,计算每个像素点的阈值T(i,j),其中像素点的灰度值为f(i,j)。其中,T(i,j)的表达式为:其中,m∈[-ω,+ω],n∈[-ω,+ω],ω为窗口尺寸参数,具体值可以参考实际视频序列的尺寸设定,在本实施例中,ω的值可以设置为15;如果灰度值超过了阈值,则输出像素为前景,否则输出为背景,其输出图像为b(i,j),具体表达式为:b(i,j)=sign(f(i,j)-T(i.j))。由于区域二值化会产生噪点,因此需要针对每个像素点(x,y)进行模糊化处理,模糊化采用的方程为:其中,p(x,y)为模糊后像素点p(x,y)的像素值,n为选取框所选取边长的1/2,b(i,j)为区域二值化的图像。
在一个实施例中,全局二值化处理的过程包括:计算作为前景的像素点占二值化处理后的图像的前景比例、作为前景的像素点的前景平均灰度值;计算作为背景的像素点占二值化处理后的图像的背景比列、作为背景的像素点的背景平均灰度值;根据前景比列、前景平均灰度值、背景比例,背景平均灰度值,计算二值化处理后的图像的均值;根据均值通过提取最小外接矩形的方式将视觉显著区域从二值化处理后的图像中提取出。
计算机设备可以利用全局二值化中的大津法进行准确的视觉注视区域提取,针对图片p(x,y),属于前景的像素点数占整幅图像的比例即前景比例记为δ0,前景平均灰度为μ0,背景像素点数占整幅图像的比例即背景比列为δ1,背景平均灰度为μ1,则整个图像的均值为:μ=δ0μ0+δ1μ1。
设g(t)即为分割阈值为t时的类间方差,其表达式为:g(t)=δ0(μ0-μ)2+δ1(μ1-μ)2;当g(t)取全局最大值时所对应的t=τ值为最佳阈值,此时我们可以通过公式:得到人眼显著图的显著区域;最终通过提取最小外接矩形的方式将显著性区域从二值化的图形中提取出来,具体视觉注视区域如图4所示。
在一个实施例中,提供的一种运动目标检测方法还可以包括计算特征角点相位差的过程,具体过程包括:提取显著图、灰度图中的特征角点点集,根据特征角点点集利用稀疏光流法计算出状态向量集;根据状态向量集确定特征角点的坐标,根据坐标计算出状态向量集合,并将状态向量集合作为特征角点相位差。
其中,计算机设备可以将连续三帧的视频图像记载为fk-1(x,y)、fk(x,y)、fk+1(x,y),相对应的显著性图像为sk-1(x,y)、sk(x,y)、sk+1(x,y),利用Shi-Tomas算法提取在fk-1(x,y)帧提取的特征角点点集为Nk-1。分别利用稀疏光流法公式:Ixu+Iyv+It=0,其中,Ix、Iy是图像的偏导数,It是图像随时间的导数,u、v分别为x、y方向的速度。
方程组(ATA)d=ATb中,A为包含Ix、Iy的系数矩阵,AT为A的转置,d为u、v的速度矩阵,b为It的矩阵;当ATA可逆时,该方程组有解,具体解为连续帧fk-1(x,y)与fk(x,y),fk(x,y)与fk+1(x,y),sk-1(x,y)与sk(x,y)和sk(x,y)与sk+1(x,y)之间的状态向量集V1、V2、S1和S2。
在本实施例中,在状态向量集V1、V2、S1和S2的基础上设置光流长度L的数学定义为:L2=(xk-xk-1)2+(yk-yk-1)2,其中,(xk,yk)是k时刻特征点的坐标,(xk-1,yk-1)是k-1时刻特征点的坐标;连续帧的光流长度向量集合VL=(L1 2,L2 2,L3 2,…Ln-1 2,Ln 2)。计算机设备可以根据已经拥有的状态向量集合V1、V2、S1和S2得到对应的光流长度集合VL1、VL2、SL1和SL2,并根据光流长度集合计算出特征角点相位差。
在一个实施例中,提供的一种目标检测方法还可以包括得到运动目标感知结果的过程,具体过程包括:确定静态背景阈值、动态背景阈值;将静态背景阈值、动态背景阈值作为比较对象,根据特征角点相位差得到运动目标感知结果。
计算机设备可以设定静态背景阈值α和动态背景阈值β,bk为对于第k帧时的运动目标感知结果,其中, 通过实验验证,静态背景阈值α设置为[0.5,1.5],β设置为[5,10]范围内,效果较好,具体结果如图5所示。
在一个实施例中,创建背景数据集构建初始背景模型时,是直接选取背景帧(bk=0)为初始帧,对于任意像素x需要构建深度为N的灰度背景模型B(x),具体公式为:B(x)={v1(x),v2(x),…,vk(x),…,vn(x)},其中,v1(x),v2(x),…,vk(x),…,vn(x)是由来自于随机选取的像素点x周围邻域NB(x)以及本身的像素值构成的像素点x的背景样本集,N的取值通常为20。
在判断前景像素点和背景像素点时,具体的检测方式为:待检测像素点x的灰度值p(x),对应的背景样本集为B(x),计算待测像素点与背景样本集中每个元素之间的距离;如果距离小于阈值R,则匹配个数T的数值加1;如果匹配个数T小于匹配个数阈值Tmin,则像素点为前景像素点,其判别公式为: 其中,S(x)为判定结果,1为前景,0为背景;通常情况下,阈值R为20,Tmin为2。
在一个实施例中,提供的一种运动目标检测方法该可以包括更新背景数据集的过程,具体过程包括:当运动目标感知结果为存在运动目标时,不更新背景数据集;当运动目标感知结果为背景,且前景比例小于阈值时,更新背景数据集。
当感知结果为存在运动目标时,背景数据集不进行更新;当感知结果为背景时,根据检测前景运动目标提取到像素点数量C与前景检测阈值δ判定更新方法,如果前景像素点数量小于阈值则背景数据集更新,否则,该帧图像将放入待更新数据集MT中,也就是待更新数据集MT的深度t增加1,同时待更新数据集MT采用先进先出的原则,要求临时存入图像数据在数据集中时间不超过1秒;当待更新数据集MT的深度t满足φ(t)≠0时,以概率p=1/φ(t)进行背景数据集更新,φ(t)函数为:φ(t)=0.5fps×sign(t-0.5fps),其中,t是数据集MT的深度,fps是视频序列帧率。
在一个实施例中,提供的一种运动目标检测方法的结构图如图6所示,首先输入视频帧即视频序列,通过SAM-Resnet结构生成人眼显著图,并提取出显著图中的视觉显著区域;通过区域稀疏光流法进行计算出特征角点相位差后,可以计算出运动目标感知结果;将运动目标感知结果序列作为输入,进行背景数据集更新后提取出运动目标,从而将运动目标的二值化图作为检测结果输出。
应该理解的是,虽然上述流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,上述流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中,将本申请提供的运动目标检测方法与其他运动目标检测方法进行实验,实验结果如下:
Category | SuBSENCE | Vibe | GMM | Ours |
Bad Weather | 0.8945 | 0.7077 | 0.6758 | 0.8967 |
Baseline | 0.9450 | 0.8193 | 0.5424 | 0.7747 |
Camera Jitter | 0.8406 | 0.6088 | 0.5212 | 0.7576 |
Dynamic Background | 0.9711 | 0.5531 | 0.5095 | 0.8717 |
Intermittent Object Motion | 0.8947 | 0.5423 | 0.4504 | 0.6609 |
Low Framerate | 0.9393 | 0.2066 | 0.1705 | 0.4552 |
Night Video | 0.5035 | 0.3187 | 0.2627 | 0.2706 |
Shadow | 0.9788 | 0.8050 | 0.7552 | 0.8819 |
Turbulence | 0.7998 | 0.6900 | 0.4987 | 0.8643 |
在单纯背景条件下,本申请提供的运动目标检测方法与其他运动目标检测方法的对比结果如图7所示;在多场景下,本申请提供的运动目标检测方法与其他运动目标检测方法的对比结果如图8所示。
在一个实施例中,如图9所示,提供了一种运动目标检测***,包括:视频帧获取模块910、视觉显著区域提取模块920、相位差计算模块930、背景数据集建立模块940和检测结果输出模块950,其中:
视频帧获取模块910,用于获取实时采集的视频帧,通过显著图生成算法根据视频帧生成显著图;
视觉显著区域提取模块920,用于对显著图进行二值化处理,得到二值化处理后的图像,并从二值化处理后的图像中的提取出视觉显著区域;
相位差计算模块930,用于将显著图转换为对应的灰度图,在视觉显著区域内分别提取显著图、灰度图中潜在运动目标的特征角点,并计算特征角点在显著图、灰度图中的特征角点相位差;
背景数据集建立模块940,用于根据特征角点相位差,从视频帧中获取当前帧内的运动目标感知结果,并根据运动目标感知结果建立背景数据集;
检测结果输出模块950,用于从背景数据集中提取出运动目标,并将运动目标的二值化图作为检测结果输出。
在一个实施例中,视觉显著区域提取模块920还用于对显著图进行区域二值化处理,得到二值化处理后的图像;利用全局二值化中的大津法提取二值化处理后的图像中的视觉显著区域。
在一个实施例中,视觉显著区域提取模块920还用于在显著图中选取以目标像素点为中心的窗口区域,并计算窗口区域内各个像素点的阈值,以及各个像素点的灰度值;将灰度值大于阈值的像素点作为前景,将灰度值小于或者等于阈值的像素点作为背景,得到输出图像;针对输出图像中的每个像素点进行模糊化处理,得到二值化处理后的图像。
在一个实施例中,视觉显著区域提取模块920还用于计算作为前景的像素点占二值化处理后的图像的前景比例、作为前景的像素点的前景平均灰度值;计算作为背景的像素点占二值化处理后的图像的背景比列、作为背景的像素点的背景平均灰度值;根据前景比列、前景平均灰度值、背景比例,背景平均灰度值,计算二值化处理后的图像的均值;根据均值通过提取最小外接矩形的方式将视觉显著区域从二值化处理后的图像中提取出。
在一个实施例中,相位差计算模块930还用于提取显著图、灰度图中的特征角点点集,根据特征角点点集利用稀疏光流法计算出状态向量集;根据状态向量集确定特征角点的坐标,根据坐标计算出状态向量集合,并将状态向量集合作为特征角点相位差。
在一个实施例中,背景数据集建立模块940还用于确定静态背景阈值、动态背景阈值;将静态背景阈值、动态背景阈值作为比较对象,根据特征角点相位差得到运动目标感知结果。
在一个实施例中,背景数据集建立模块940还用于当运动目标感知结果为存在运动目标时,不更新背景数据集;当运动目标感知结果为背景,且前景比例小于阈值时,更新背景数据集。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是终端,其内部结构图可以如图10所示。该计算机设备包括通过***总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***和计算机程序。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种运动目标检测方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,图10中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现以下步骤:
获取实时采集的视频帧,通过显著图生成算法根据视频帧生成显著图;
对显著图进行二值化处理,得到二值化处理后的图像,并从二值化处理后的图像中的提取出视觉显著区域;
将显著图转换为对应的灰度图,在视觉显著区域内分别提取显著图、灰度图中潜在运动目标的特征角点,并计算特征角点在显著图、灰度图中的特征角点相位差;
根据特征角点相位差,从视频帧中获取当前帧内的运动目标感知结果,并根据运动目标感知结果建立背景数据集;
从背景数据集中提取出运动目标,并将运动目标的二值化图作为检测结果输出。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:对显著图进行区域二值化处理,得到二值化处理后的图像;利用全局二值化中的大津法提取二值化处理后的图像中的视觉显著区域。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:在显著图中选取以目标像素点为中心的窗口区域,并计算窗口区域内各个像素点的阈值,以及各个像素点的灰度值;将灰度值大于阈值的像素点作为前景,将灰度值小于或者等于阈值的像素点作为背景,得到输出图像;针对输出图像中的每个像素点进行模糊化处理,得到二值化处理后的图像。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:计算作为前景的像素点占二值化处理后的图像的前景比例、作为前景的像素点的前景平均灰度值;计算作为背景的像素点占二值化处理后的图像的背景比列、作为背景的像素点的背景平均灰度值;根据前景比列、前景平均灰度值、背景比例,背景平均灰度值,计算二值化处理后的图像的均值;根据均值通过提取最小外接矩形的方式将视觉显著区域从二值化处理后的图像中提取出。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:提取显著图、灰度图中的特征角点点集,根据特征角点点集利用稀疏光流法计算出状态向量集;根据状态向量集确定特征角点的坐标,根据坐标计算出状态向量集合,并将状态向量集合作为特征角点相位差。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:确定静态背景阈值、动态背景阈值;将静态背景阈值、动态背景阈值作为比较对象,根据特征角点相位差得到运动目标感知结果。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:当运动目标感知结果为存在运动目标时,不更新背景数据集;当运动目标感知结果为背景,且前景比例小于阈值时,更新背景数据集。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:
获取实时采集的视频帧,通过显著图生成算法根据视频帧生成显著图;
对显著图进行二值化处理,得到二值化处理后的图像,并从二值化处理后的图像中的提取出视觉显著区域;
将显著图转换为对应的灰度图,在视觉显著区域内分别提取显著图、灰度图中潜在运动目标的特征角点,并计算特征角点在显著图、灰度图中的特征角点相位差;
根据特征角点相位差,从视频帧中获取当前帧内的运动目标感知结果,并根据运动目标感知结果建立背景数据集;
从背景数据集中提取出运动目标,并将运动目标的二值化图作为检测结果输出。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:对显著图进行区域二值化处理,得到二值化处理后的图像;利用全局二值化中的大津法提取二值化处理后的图像中的视觉显著区域。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:在显著图中选取以目标像素点为中心的窗口区域,并计算窗口区域内各个像素点的阈值,以及各个像素点的灰度值;将灰度值大于阈值的像素点作为前景,将灰度值小于或者等于阈值的像素点作为背景,得到输出图像;针对输出图像中的每个像素点进行模糊化处理,得到二值化处理后的图像。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:计算作为前景的像素点占二值化处理后的图像的前景比例、作为前景的像素点的前景平均灰度值;计算作为背景的像素点占二值化处理后的图像的背景比列、作为背景的像素点的背景平均灰度值;根据前景比列、前景平均灰度值、背景比例,背景平均灰度值,计算二值化处理后的图像的均值;根据均值通过提取最小外接矩形的方式将视觉显著区域从二值化处理后的图像中提取出。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:提取显著图、灰度图中的特征角点点集,根据特征角点点集利用稀疏光流法计算出状态向量集;根据状态向量集确定特征角点的坐标,根据坐标计算出状态向量集合,并将状态向量集合作为特征角点相位差。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:确定静态背景阈值、动态背景阈值;将静态背景阈值、动态背景阈值作为比较对象,根据特征角点相位差得到运动目标感知结果。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:当运动目标感知结果为存在运动目标时,不更新背景数据集;当运动目标感知结果为背景,且前景比例小于阈值时,更新背景数据集。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
Claims (7)
1.一种运动目标检测方法,其特征在于,所述方法包括:
获取实时采集的视频帧,通过显著图生成算法根据所述视频帧生成显著图;
对所述显著图进行二值化处理,得到二值化处理后的图像,并从二值化处理后的图像中的提取出视觉显著区域;所述二值化处理包括区域二值化处理和全局二值化处理;对所述显著图进行二值化处理,得到二值化处理后的图像,并从二值化处理后的图像中的提取出视觉显著区域,包括:对所述显著图进行区域二值化处理,得到二值化处理后的图像;利用全局二值化中的大津法提取所述二值化处理后的图像中的视觉显著区域;
所述对所述显著图进行区域二值化处理,得到二值化处理后的图像,包括:在所述显著图中选取以目标像素点为中心的窗口区域,并计算所述窗口区域内各个像素点的阈值,以及各个像素点的灰度值;将灰度值大于阈值的像素点作为前景,将灰度值小于或者等于阈值的像素点作为背景,得到输出图像;针对所述输出图像中的每个像素点进行模糊化处理,得到二值化处理后的图像;
所述利用全局二值化中的大津法提取所述二值化处理后的图像中的视觉显著区域,包括:计算作为前景的像素点占所述二值化处理后的图像的前景比例、作为前景的像素点的前景平均灰度值;计算作为背景的像素点占所述二值化处理后的图像的背景比例、作为背景的像素点的背景平均灰度值;根据所述前景比例、所述前景平均灰度值、所述背景比例,所述背景平均灰度值,计算所述二值化处理后的图像的均值;根据所述均值通过提取最小外接矩形的方式将所述视觉显著区域从所述二值化处理后的图像中提取出;
将所述显著图转换为对应的灰度图,在所述视觉显著区域内分别提取所述显著图、所述灰度图中潜在运动目标的特征角点,并计算所述特征角点在所述显著图、所述灰度图中的特征角点相位差;
根据所述特征角点相位差,从所述视频帧中获取当前帧内的运动目标感知结果,并根据所述运动目标感知结果建立背景数据集;
从所述背景数据集中提取出运动目标,并将所述运动目标的二值化图作为检测结果输出。
2.根据权利要求1所述的运动目标检测方法,其特征在于,所述计算所述特征角点在所述显著图、所述灰度图中的特征角点相位差,包括:
提取所述显著图、所述灰度图中的特征角点点集,根据所述特征角点点集利用稀疏光流法计算出状态向量集;
根据所述状态向量集确定所述特征角点的坐标,根据所述坐标计算出状态向量集合,并将所述状态向量集合作为所述特征角点相位差。
3.根据权利要求1所述的运动目标检测方法,其特征在于,所述根据所述特征角点相位差,从所述视频帧中获取当前帧内的运动目标感知结果,包括:
确定静态背景阈值、动态背景阈值;
将所述静态背景阈值、所述动态背景阈值作为比较对象,根据所述特征角点相位差得到运动目标感知结果。
4.根据权利要求1所述的运动目标检测方法,其特征在于,所述方法还包括:
当所述运动目标感知结果为存在运动目标时,不更新所述背景数据集;
当所述运动目标感知结果为背景,且所述前景比例小于阈值时,更新所述背景数据集。
5.一种运动目标检测***,其特征在于,所述***包括:
视频帧获取模块,用于获取实时采集的视频帧,通过显著图生成算法根据所述视频帧生成显著图;
视觉显著区域提取模块,用于对所述显著图进行二值化处理,得到二值化处理后的图像,并从二值化处理后的图像中的提取出视觉显著区域;所述二值化处理包括区域二值化处理和全局二值化处理;对所述显著图进行二值化处理,得到二值化处理后的图像,并从二值化处理后的图像中的提取出视觉显著区域,包括:对所述显著图进行区域二值化处理,得到二值化处理后的图像;利用全局二值化中的大津法提取所述二值化处理后的图像中的视觉显著区域;
所述对所述显著图进行区域二值化处理,得到二值化处理后的图像,包括:在所述显著图中选取以目标像素点为中心的窗口区域,并计算所述窗口区域内各个像素点的阈值,以及各个像素点的灰度值;将灰度值大于阈值的像素点作为前景,将灰度值小于或者等于阈值的像素点作为背景,得到输出图像;针对所述输出图像中的每个像素点进行模糊化处理,得到二值化处理后的图像;
所述利用全局二值化中的大津法提取所述二值化处理后的图像中的视觉显著区域,包括:计算作为前景的像素点占所述二值化处理后的图像的前景比例、作为前景的像素点的前景平均灰度值;计算作为背景的像素点占所述二值化处理后的图像的背景比例、作为背景的像素点的背景平均灰度值;根据所述前景比例、所述前景平均灰度值、所述背景比例,所述背景平均灰度值,计算所述二值化处理后的图像的均值;根据所述均值通过提取最小外接矩形的方式将所述视觉显著区域从所述二值化处理后的图像中提取出;
相位差计算模块,用于将所述显著图转换为对应的灰度图,在所述视觉显著区域内分别提取所述显著图、所述灰度图中潜在运动目标的特征角点,并计算所述特征角点在所述显著图、所述灰度图中的特征角点相位差;
背景数据集建立模块,用于根据所述特征角点相位差,从所述视频帧中获取当前帧内的运动目标感知结果,并根据所述运动目标感知结果建立背景数据集;
检测结果输出模块,用于从所述背景数据集中提取出运动目标,并将所述运动目标的二值化图作为检测结果输出。
6.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至4中任一项所述方法的步骤。
7.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至4中任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211240698.5A CN115861365B (zh) | 2022-10-11 | 2022-10-11 | 运动目标检测方法、***、计算机设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211240698.5A CN115861365B (zh) | 2022-10-11 | 2022-10-11 | 运动目标检测方法、***、计算机设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115861365A CN115861365A (zh) | 2023-03-28 |
CN115861365B true CN115861365B (zh) | 2023-08-15 |
Family
ID=85661388
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211240698.5A Active CN115861365B (zh) | 2022-10-11 | 2022-10-11 | 运动目标检测方法、***、计算机设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115861365B (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105898278A (zh) * | 2016-05-26 | 2016-08-24 | 杭州电子科技大学 | 一种基于双目多维感知特性的立体视频显著性检测方法 |
CN109767454A (zh) * | 2018-12-18 | 2019-05-17 | 西北工业大学 | 基于时-空-频显著性的无人机航拍视频运动目标检测方法 |
CN114241377A (zh) * | 2021-12-16 | 2022-03-25 | 海南大学 | 基于改进yolox的船舶目标检测方法、装置、设备及介质 |
CN115147450A (zh) * | 2022-09-05 | 2022-10-04 | 中印云端(深圳)科技有限公司 | 基于运动帧差图像的移动目标检测方法及检测装置 |
-
2022
- 2022-10-11 CN CN202211240698.5A patent/CN115861365B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105898278A (zh) * | 2016-05-26 | 2016-08-24 | 杭州电子科技大学 | 一种基于双目多维感知特性的立体视频显著性检测方法 |
CN109767454A (zh) * | 2018-12-18 | 2019-05-17 | 西北工业大学 | 基于时-空-频显著性的无人机航拍视频运动目标检测方法 |
CN114241377A (zh) * | 2021-12-16 | 2022-03-25 | 海南大学 | 基于改进yolox的船舶目标检测方法、装置、设备及介质 |
CN115147450A (zh) * | 2022-09-05 | 2022-10-04 | 中印云端(深圳)科技有限公司 | 基于运动帧差图像的移动目标检测方法及检测装置 |
Non-Patent Citations (1)
Title |
---|
基于谱残差和聚类法的运动目标检测研究;马琴;张兴忠;李海芳;邓红霞;;计算机工程与科学;第40卷(第10期);第1867-1873页 * |
Also Published As
Publication number | Publication date |
---|---|
CN115861365A (zh) | 2023-03-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10254845B2 (en) | Hand gesture recognition for cursor control | |
US8855406B2 (en) | Egomotion using assorted features | |
CN111667001B (zh) | 目标重识别方法、装置、计算机设备和存储介质 | |
CN107452015B (zh) | 一种具有重检测机制的目标跟踪*** | |
JP2022122984A (ja) | 画像処理システム、画像処理方法及びプログラム | |
CN107578424B (zh) | 一种基于时空分类的动态背景差分检测方法、***及装置 | |
CN112669344A (zh) | 一种运动物体的定位方法、装置、电子设备及存储介质 | |
CN113822352B (zh) | 基于多特征融合的红外弱小目标检测方法 | |
EP3438929A1 (en) | Foreground and background detection method | |
CN111612822B (zh) | 对象跟踪方法、装置、计算机设备和存储介质 | |
WO2017135120A1 (en) | Computationally efficient frame rate conversion system | |
CN106407978B (zh) | 一种结合似物度的无约束视频中显著物体检测方法 | |
CN109685830B (zh) | 目标跟踪方法、装置和设备及计算机存储介质 | |
CN111383252A (zh) | 多相机目标追踪方法、***、装置及存储介质 | |
CN111275743A (zh) | 目标追踪方法、装置、计算机可读存储介质和计算机设备 | |
CN114648547B (zh) | 用于反无人机红外探测***的弱小目标检测方法和装置 | |
CN112435278B (zh) | 一种基于动态目标检测的视觉slam方法及装置 | |
CN113542868A (zh) | 视频关键帧选取方法、装置、电子设备、存储介质 | |
CN110880003B (zh) | 一种图像匹配方法、装置、存储介质及汽车 | |
CN115861365B (zh) | 运动目标检测方法、***、计算机设备及存储介质 | |
CN110516559B (zh) | 适用于精准监控的目标跟踪方法及装置、计算机设备 | |
US20190251695A1 (en) | Foreground and background detection method | |
CN116091998A (zh) | 图像处理方法、装置、计算机设备和存储介质 | |
CN110751671A (zh) | 一种基于核相关滤波与运动估计的目标跟踪方法 | |
CN113450385A (zh) | 一种夜间工作工程机械视觉跟踪方法、装置及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |