CN114694092A - 基于混合背景模型的高速公路监控视频抛洒物检测方法 - Google Patents

Abstract

本发明公开了一种基于混合背景模型的高速公路监控视频抛洒物检测方法，步骤如下：建立基背景模型，将高速公路监控视频输入基背景模型得到基背景视频；建立双背景变化模型，将基背景视频输入双背景变化模型，使用帧差法得到双背景变化模型的前景二值图；通过YOLO网络模型生成人车检测二值图；建立实时背景模型，记录高速公路监控视频中各帧的前景目标，并对相邻帧之间的前景目标进行匹配，生成静止物***置二值图；将双背景变化模型的前景二值图、人车检测二值图与静止物***置二值图进行按位“与”的逻辑操作，得到抛洒物在帧图像中的位置并标示。本发明公开的端到端的高速公路抛洒物检测方法在实际场景应用，验证了检测方法的有效性。

Description

基于混合背景模型的高速公路监控视频抛洒物检测方法

技术领域

本发明涉及计算机视觉和模式识别技术领域，具体涉及一种基于混合背景模型的高速公路监控视频抛洒物检测方法。

背景技术

近年来，我国的公路建设蓬勃发展，公路运输能力不断提高。而高速公路上一旦发生交通事故,会造成重大人员伤亡和财产损失。抛洒物事件的出现，是造成高速公路交通事故的重要原因之一。在高速行驶的过程中，抛洒物的突然出现可能使得司机同志来不及进行反应从而及时采取措施，引发交通事故，造成严重的后果，危害人们的财产甚至人身安全。

目前国内外对抛洒物检测的研究较少，其中使用深度学习的方法较多。深度学习的方法在使用大量规划好的数据集进行训练后，能在相对应的测试集中取得优秀的检测效果。然而当面对训练集中未出现过的物体类型时，深度学习模型往往显得无力。考虑到现实环境中抛洒物的种类繁多，无法建立包含所有种类的数据集对模型进行训练，目前亟待提出一种新的基于混合背景模型的高速公路监控视频抛洒物检测方法。

发明内容

本发明的目的是为了解决现有技术中的上述缺陷，提供一种基于混合背景模型的高速公路监控视频抛洒物检测方法，以提高抛洒物检测准确度以及鲁棒性。

本发明的目的可以通过采取如下技术方案达到：

一种基于混合背景模型的高速公路监控视频抛洒物检测方法，所述抛洒物检测方法包括以下步骤：

S1、建立基背景模型，获取高速公路监控视频并输入基背景模型生成基背景视频；

S2、建立双背景变化模型，将基背景视频的帧图像输入双背景变化模型生成前景二值图；

S3、对基背景视频的帧图像输入YOLO网络模型进行人车检测，生成人车检测二值图；

S4、建立实时背景模型，记录高速公路监控视频的各帧图像中前景目标的中心点坐标；

S5、对高速公路监控视频相邻帧中的实时前景目标进行匹配，生成静止物***置二值图；

S6、对双背景变化模型的前景二值图、人车检测二值图以及静止物***置二值图进行按位“与”的逻辑操作，得到抛洒物在监控视频帧图像中的位置，在帧图像中进行标示。

进一步地，所述步骤S1过程如下：

S101、建立基背景模型，使用混合高斯模型作为基背景模型，混合高斯模型简称GMM(Gaussian Mixture Model)，GMM在接收输入视频的帧图像后，生成对应的背景图像，背景图像只包含视频中的背景内容；GMM对背景图像中每个像素分别使用K个高斯分布进行背景建模，即对背景图像中每个像素建立一个由K个高斯分布混合组成的背景模型；随着视频每一帧图像的输入，背景图像中各像素的背景模型不断更新，同时背景图像也在变化；假设在输入视频的第1帧图像到第t帧图像中，横坐标为x、纵坐标为y的像素点P(x,y)在连续帧图像中的值组成的序列为{X₁,X₂,...,X_i,...,X_t}，X_i为该像素点P(x,y)在第i帧图像中的值，由R、G、B三种颜色分量构成，则在视频输入第t帧时背景图像中位于相同位置的像素值为X_t的概率为：

对于背景图像的像素点，ω_i,t为在第t帧时其混合高斯分布中第i个高斯分布的权值，μ_i,t是在第t帧时其混合高斯分布中第i个高斯分布的均值，∑_i,t为在第t帧时其混合高斯分布中第i个高斯分布的协方差矩阵，N(X_t,μ_i,t,∑_i,t)为在第t帧时像素点的K个高斯分布中第i个高斯分布的概率密度函数，表达式如下：

将这K个高斯分布按优先级p_i,t进行排序，第t帧时第i个高斯分布的优先级p_i,t的计算公式为：

p_i,t＝ω_i,t/|∑_i,t| (公式3)

对于背景图像中的每一像素点，取像素点对应的混合高斯分布中按优先级p_i,t排序时的前K₀个高斯分布作为该像素点的背景模型，这些高斯分布的组合最能体现背景图像中该像素的状态；在进行前景与背景区分时，对于输入视频的各帧图像的每一像素点，若该像素点的值与背景图像中相同位置像素的背景模型中的其中一个高斯分布的均值距离在事先指定的预设范围内，则将该像素点判定为背景，否则判定为前景，前景即运动目标；

S102、生成基背景视频，基背景模型接收高速公路监控视频的连续帧图像，不断更新背景图像中各个像素点的背景模型，同时生成连续的背景图像序列，将连续的背景图像序列组合成基背景视频，即背景变化的视频。基背景视频中记录的是场景中的背景信息，运动的车辆、行人等物体将不会被记录在内，只有类似抛洒物等静止在场景中的物体才会融入背景模型之中，出现在基背景视频内。

进一步地，所述步骤S2过程如下：

S201、建立双背景变化模型，使用混合高斯模型作为双背景变化模型，将基背景视频输入双背景变化模型，生成双背景变化模型下的背景图像序列，基背景视频记录了在高速公路监控视频中融入基背景的物体，包括静止在路面上的抛洒物以及停留在原地的汽车或行人，若在基背景视频的第t帧中出现了融入基背景视频的静止物体，此时双背景变化模型接收该帧图像后，生成的背景图像不会马上出现该静止物体，因为该静止物体融入双背景变化模型的背景图像需要双背景变化模型继续接收该帧后一定帧数的基背景视频图像，因此取基背景视频的第t帧图像与双背景变化模型接收该帧图像时生成的背景图像，进行差分法，可得出在第t帧时融入基背景视频的静止物体在基背景视频的第t帧图像中位置；

S202、生成双背景变化模型的前景二值图，对于基背景视频的每一帧图像，取一帧图像与双背景变化模型接收该帧图像时生成的背景图像，使用帧差法进行相减，得到差分图像，选择一个阈值T将差分图像二值化，得到前景二值图，帧差法的计算过程如下：

D_m(x,y)＝|f_A(x,y)-f_B(x,y)| (公式4)

其中D_m(x,y)为差分图像中位于横坐标为x、纵坐标为y的位置处像素点的值，f_A(x,y)与f_B(x,y)为两张不同图像中位于横坐标为x、纵坐标为y的位置处像素点的值，图像二值化的数学描述为：

进一步地，所述步骤S3过程如下:

实际情况下可能会出现车辆或行人在高速公路上暂时停留的情况，导致车辆或行人融入到基背景视频中，并在步骤S202的差分法后被保留下来成为噪声，因此，选择使用YOLO网络模型来进行人车检测，对这些干扰项进行排除。

YOLO(You Only Look Once)是一个开源的网络模型，通常被用于目标检测任务。YOLO网络模型利用CNN网络进行输入图像中的目标分类和定位，具有很高的精度和速度，它首先将输入图像划分为SxS大小的网格，每个网格负责检测中心点在网格内的对象。每个网格检测B个边界框及其置信度。置信度反映了边界框包含一个对象的概率和边界框的准确性，置信度用边界框和真实框的IOU表示。每个边界框也有其大小和位置信息，表示为(x,y,w,h)。其中(x,y)是边界框的中心坐标，它是相对于网格左上角坐标的偏移量。w和h是边界框的宽度和高度，其值为图像的宽度和高度之比。最后，YOLO网络模型在综合上述信息进行计算后输出输入图像中每个目标的分类和位置。

进一步地，所述步骤S4过程如下：

S401、建立实时背景模型，使用混合高斯模型作为实时背景模型，将高速公路监控视频输入实时背景模型，生成实时背景模型下的背景图像序列。由于双背景变化模型的前景二值图中记录的是基背景视频帧图像中的前景目标在帧图像中的位置，这些目标出现在基背景视频中的时间点是它们静止在监控视频中一段时间后的时间点，相对应的，若这些物体在监控视频中重新开始运动，它们从基背景视频中的消失也需要经过一定的视频帧数。若某物体在监控视频中静止一段时间并融入了基背景视频后，它由静止状态变回运动状态，离开了它在监控视频中静止的位置，但它却仍能被双背景变化模型检测出来，因为它在基背景视频中仍是静止状态，因此会出现该物体在监控视频中已经不在原地但仍检测出该位置有抛洒物的误判问题。为了解决该问题，需要建立实时背景模型，并利用监控视频帧图像中的前景目标的位置信息；

S402、记录高速公路监控视频中各帧图像中前景目标中心点坐标，对于高速公路监控视频中的每一帧图像，取任一帧图像与实时背景模型接收该帧图像时生成的背景图像，使用帧差法进行相减，得到差分图像，将差分图像二值化，得到差分二值图，识别差分二值图中由值为255的像素组成的若干个区域，这些区域所在位置为该帧图像中的前景目标在图像中的位置，记录这些区域的中心点坐标，即前景目标的中心点坐标。

进一步地，所述步骤S5过程如下：

S501、为了利用监控视频帧图像中前景目标的位置信息，判断这些前景目标在监控视频中是否处于静止状态，需要对监控视频相邻帧中的前景目标进行匹配。由于监控视频录制时帧与帧之间时间间隔很短，同一运动物体在相邻帧中出现时在帧图像中的位置非常接近，因此可以使用前景目标的中心点坐标对相邻帧中的前景目标进行匹配。对高速公路监控视频的相邻帧中的实时前景目标进行匹配，对于视频的第t帧图像，假设当前第t帧中各前景目标组合成集合S_t，前一帧即第t-1帧中的前景目标组合成集合S_t-1，则S_t中的前景目标与S_t-1中的前景目标的匹配规则为：取S_t-1中的一个前景目标A，计算前景目标A的中心点坐标与S_t中各前景目标中心点坐标的距离，记录最小的距离值，将计算得到该最小的距离值的S_t中的前景目标B与A进行匹配，判定第t-1帧中的A与第t帧中的B为相邻两帧中的同一目标，若S_t中存在前景目标未成功匹配，则将未成功匹配的前景目标标记为视频中新出现的目标；

S502、生成静止目标位置二值图，经过连续帧之间的前景目标匹配后，得到视频中各目标在连续帧中的运动情况，若一目标在视频中经过规定数量的帧数后中心点的移动距离小于设立的阈值，则判定该目标为静止目标；根据静止目标在帧图像中的位置生成静止目标位置二值图，二值图大小与帧图像一致，静止目标包含的像素在图中的值为255，其余像素值为0。

进一步地，所述步骤S6过程如下：

对监控视频每一帧图像对应的双背景变化模型的前景二值图、人车检测二值图以及静止物***置二值图进行图像上的按位“与”的逻辑操作，生成抛洒物检测二值图。抛洒物检测二值图中横坐标为x、纵坐标为y位置处像素点的值D_r(x,y)由双背景变化模型的前景二值图、人车检测二值图以及静止物***置二值图中相同位置处的像素点的值决定，设双背景变化模型的前景二值图相同位置处像素点的值为D_d(x,y)，人车检测二值图相同位置处的像素点的值为D_y(x,y)，静止物***置二值图相同位置像素的值为D_s(x,y)，则D_r(x,y)的值为：

如图二所示，双背景变化模型的前景二值图中值为255的像素组成的区域为融入基背景视频中的静止物体在图像中的位置，人车检测二值图中值为255的像素组成的区域为图像中非人以及非车区域，静止物***置二值图中值为255的像素组成的区域为在监控视频中静止的前景目标在图像中的区域，因此进行按位“与”的逻辑操作后，抛洒物二值图中值为255的像素组成的区域为监控视频中抛洒物所在位置。记录抛洒物二值图中D_r(x,y)为255的像素组成的区域，并在监控视频的对应帧图像中用方框框出上述区域，即在视频中框出抛洒物。

本发明相对于现有技术具有如下的优点及效果：

(1)本发明实现了一种从视频到检测结果视频输出的端到端的方法框架，无需预处理，无需手工提取特征，方法较为简单。

(2)本发明利用了传统图像处理方法的优势，实现了一种轻量化的抛洒物检测方法，运算速度快，消耗资源较少。

(3)本发明不需要像神经网络模型一般进行数据集建立以及网络的训练，并能够检测到各种类型的抛洒物，鲁棒性强，更适合在实际场景中进行应用。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是本发明实施例公开的基于混合背景模型的高速公路监控视频抛洒物检测方法的流程图；

图2是本发明实施例公开的基于混合背景模型的高速公路监控视频抛洒物检测方法的示例处理步骤图；

图3是本发明实施例公开的基于混合背景模型的高速公路监控视频抛洒物检测方法的测试视频中的抛洒物样例图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例

本实施例公开了一种基于混合背景模型的高速公路监控视频抛洒物检测方法，具体包括下列步骤：

步骤S1、建立基背景模型，获取高速公路监控视频并输入基背景模型生成基背景视频。

由于国内外对抛洒物检测方法的研究很少，现时并未有用于测试抛洒物检测方法的效果的公开数据集。用于测试本发明方法的高速公路监控视频均由广东省内高速公路监控摄像头拍摄生成。用于测试的高速公路监控视频共有22个，视频的帧图像大小为1920像素×1080像素，帧率为25帧每秒。测试视频中的抛洒物包括箱子、轮胎、安全帽、水瓶、路锥等多种类型的物体，取自测试视频的部分图片样例如图三所示。

S101、建立基背景模型，使用GMM作为基背景模型，GMM在接收输入视频的帧图像后，生成对应的背景图像，背景图像只包含视频中的背景内容；GMM对背景图像中每个像素分别使用K个高斯分布进行背景建模，即对背景图像中每个像素建立一个由K个高斯分布混合组成的背景模型；假设在输入视频的第1帧图像到第t帧图像中，横坐标为x、纵坐标为y的像素点P(x,y)在连续帧图像中的值组成的序列为{X₁,X₂,...,X_i,...,X_t}，X_i为该像素点P(x,y)在第i帧图像中的值，由R、G、B三种颜色分量构成，则在视频输入第t帧时背景图像中位于相同位置的像素值为X_t的概率为：

设K的值为5，对于背景图像的像素点，ω_i,t为在第t帧时其混合高斯分布中第i个高斯分布的权值，μ_i,t是在第t帧时其混合高斯分布中第i个高斯分布的均值，∑_i,t为在第t帧时其混合高斯分布中第i个高斯分布的协方差矩阵，N(X_t,μ_i,t,∑_i,t)为在第t帧时像素点的,5个高斯分布中第i个高斯分布的概率密度函数，表达式如下：

将这5个高斯分布按优先级p_i,t进行排序，第t帧时第i个高斯分布的优先级p_i,t的计算公式为：

p_i,t＝ω_i,t/|∑_i,t| (公式3)

对于背景图像中的每一像素点，取像素点对应的混合高斯分布中按优先级p_i,t排序时的前K₀个高斯分布作为该像素点的背景模型，将K₀值设为3；在进行前景与背景区分时，对于输入视频的各帧图像的每一像素点，若该像素点的值与背景图像中相同位置像素的背景模型中的其中一个高斯分布的均值距离在该高斯分布标准差的2.5倍范围内，则将该像素点判定为背景，否则判定为前景，前景即运动目标；

S102、生成基背景视频，基背景模型接收高速公路监控视频的连续帧图像，不断更新背景图像中各个像素点的背景模型，同时生成连续的背景图像序列，将连续的背景图像序列组合成基背景视频。

S2、建立双背景变化模型，将基背景视频的帧图像输入双背景变化模型生成双背景变化模型的前景二值图。

S201、建立双背景变化模型，使用混合高斯模型作为双背景变化模型，将基背景视频输入双背景变化模型，生成双背景变化模型下的背景图像序列；

S202、生成双背景变化模型的前景二值图，对于基背景视频的每一帧图像，取一帧图像与双背景变化模型接收该帧图像时生成的背景图像，使用帧差法进行相减，得到差分图像，选择一个阈值T将差分图像二值化，T取值为150得到前景二值图，帧差法的计算过程如下：

D_m(x,y)＝|f_A(x,y)-f_B(x,y)| (公式4)

其中D_m(x,y)为差分图像中位于横坐标为x、纵坐标为y的位置处像素点的值，f_A(x,y)与f_B(x,y)为两张不同图像中位于横坐标为x、纵坐标为y的位置处像素点的值，图像二值化的数学描述为：

S3、对基背景视频的帧图像进行人车检测，生成人车检测二值图，将基背景视频帧图像输入到YOLOv5网络模型中进行人车检测，YOLOv5网络模型是YOLO的最新版本，在目标检测任务上精度更高，速度更快。通过YOLO网络模型得到基背景视频帧图像中行人与车辆的位置，生成人车检测二值图，图中行人与车辆区域中像素的值为0，其余区域的像素值为255。

S4、建立实时背景模型，记录高速公路监控视频的各帧图像中前景目标的中心点坐标。

S401、建立实时背景模型，使用混合高斯模型作为实时背景模型，将高速公路监控视频输入实时背景模型，生成实时背景模型下的背景图像序列；

S402、记录高速公路监控视频中各帧图像中前景目标中心点坐标，对于高速公路监控视频中的每一帧图像，取任一帧图像与实时背景模型接收该帧图像时生成的背景图像，使用帧差法进行相减，得到差分图像，将差分图像二值化，得到差分二值图，识别差分二值图中由值为255的像素组成的若干个区域，这些区域所在位置为该帧图像中的前景目标在图像中的位置，记录这些区域的中心点坐标，即前景目标的中心点坐标。

S5、对高速公路监控视频相邻帧中的实时前景目标进行匹配，生成静止物***置二值图。

S501、对高速公路监控视频的相邻帧中的实时前景目标进行匹配，对于视频的第t帧图像，假设当前第t帧中各前景目标组合成集合S_t，前一帧即第t-1帧中的前景目标组合成集合S_t-1，则S_t中的前景目标与S_t-1中的前景目标的匹配规则为：取S_t-1中的一个前景目标A，计算前景目标A的中心点坐标与S_t中各前景目标中心点坐标的距离，记录最小的距离值，将计算得到该最小的距离值的S_t中的前景目标B与A进行匹配，判定第t-1帧中的A与第t帧中的B为相邻两帧中的同一目标，若S_t中存在前景目标未成功匹配，则将未成功匹配的前景目标标记为视频中新出现的目标；

S502、生成静止目标位置二值图，经过连续帧之间的前景目标匹配后，得到视频中各目标在连续帧中的运动情况，若一目标在视频中经过25帧，即视频中的1秒，其中心点的移动距离小于30像素，则判定该目标为静止目标；根据静止目标在帧图像中的位置生成静止目标位置二值图，二值图大小与帧图像一致，静止目标包含的像素在图中的值为255，其余像素值为0。

S6、对双背景变化模型的前景二值图、人车检测二值图以及静止物***置二值图进行按位“与”的逻辑操作，得到抛洒物在监控视频帧图像中的位置，在帧图像中进行标示。

对监控视频每一帧图像对应的双背景变化模型的前景二值图、人车检测二值图以及静止物***置二值图进行图像上的按位“与”的逻辑操作，生成抛洒物检测二值图，抛洒物检测二值图中横坐标为x、纵坐标为y位置处像素点的值D_r(x,y)由双背景下变化模型前景二值图、人车检测二值图以及静止物***置二值图中相同位置处的像素点的值决定，设双背景下变化模型前景二值图相同位置处像素点的值为D_d(x,y)，人车检测二值图相同位置处的像素点的值为D_y(x,y)，静止物***置二值图相同位置像素的值为D_s(x,y)，则D_r(x,y)的值为：

记录抛洒物二值图中D_r(x,y)为255的像素组成的区域，并在监控视频的对应帧图像中用方框框出上述区域，即在视频中框出抛洒物。

使用本实施例公开的抛洒物检测方法对22个高速公路监控视频进行测试，其中总共出现了80个抛洒物，本发明方法共检测出78个抛洒物，其中包含75个正确检测以及3个错误检测，精确率为96.15％，召回率为93.75％，体现了本发明方法的有效性。本发明方法在测试视频中对各类型的抛洒物进行检测的召回率如表1所示。

表1.本发明方法在测试视频中对各类型抛洒物进行检测的召回率

	箱子	轮胎	路锥	水瓶	安全帽	其它类型物体	总计
								出现数量(个)	24	20	16	6	7	7	80
检测数量(个)	24	18	15	5	7	6	75
								召回率	100％	90％	93.75％	83.33％	100％	85.71％	93.75％

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (7)

1.一种基于混合背景模型的高速公路监控视频抛洒物检测方法，其特征在于，所述抛洒物检测方法包括下列步骤：

S1、建立基背景模型，获取高速公路监控视频并输入基背景模型生成基背景视频；

S2、建立双背景变化模型，将基背景视频的帧图像输入双背景变化模型生成前景二值图；

S3、将基背景视频的帧图像输入YOLO网络模型进行人车检测，生成人车检测二值图；

S4、建立实时背景模型，记录高速公路监控视频的各帧图像中前景目标的中心点坐标；

S5、对高速公路监控视频相邻帧中的实时前景目标进行匹配，生成静止物***置二值图；

S6、对前景二值图、人车检测二值图以及静止物***置二值图进行按位“与”的逻辑操作，得到抛洒物在监控视频帧图像中的位置，在帧图像中进行标示。

2.根据权利要求1所述的基于混合背景模型的高速公路监控视频抛洒物检测方法，其特征在于，所述步骤S1过程如下：

S101、建立基背景模型，使用混合高斯模型作为基背景模型，混合高斯模型简称GMM，GMM在接收输入视频的帧图像后，生成对应的背景图像，背景图像只包含视频中的背景内容；GMM对背景图像中每个像素分别使用K个高斯分布进行背景建模，即对背景图像中每个像素建立一个由K个高斯分布混合组成的背景模型；假设在输入视频的第1帧图像到第t帧图像中，横坐标为x、纵坐标为y的像素点P(x,y)在连续帧图像中的值组成的序列为{X₁,X₂,...,X_i,...,X_t}，X_i为该像素点P(x,y)在第i帧图像中的值，由R、G、B三种颜色分量构成，则在视频输入第t帧时背景图像中位于相同位置的像素值为X_t的概率为：

对于背景图像的像素点，ω_i,t为在第t帧时其混合高斯分布中第i个高斯分布的权值，μ_i,t是在第t帧时其混合高斯分布中第i个高斯分布的均值，∑_i,t为在第t帧时其混合高斯分布中第i个高斯分布的协方差矩阵，N(X_t,μ_i,t,∑_i,t)为在第t帧时像素点的K个高斯分布中第i个高斯分布的概率密度函数，表达式如下：

将这K个高斯分布按优先级p_i,t进行排序，第t帧时第i个高斯分布的优先级p_i,t的计算公式为：

p_i,t＝ω_i,t/|∑_i,t| (公式3)

对于背景图像中的每一像素点，取像素点对应的混合高斯分布中按优先级p_i,t排序时的前K₀个高斯分布作为该像素点的背景模型；在进行前景与背景区分时，对于输入视频的各帧图像的每一像素点，若该像素点的值与背景图像中相同位置像素的背景模型中的其中一个高斯分布的均值距离在事先指定的预设范围内，则将该像素点判定为背景，否则判定为前景，前景即运动目标；

S102、生成基背景视频，基背景模型接收高速公路监控视频的连续帧图像，不断更新背景图像中各个像素点的背景模型，同时生成连续的背景图像序列，将连续的背景图像序列组合成基背景视频。

3.根据权利要求2所述的基于混合背景模型的高速公路监控视频抛洒物检测方法，其特征在于，所述步骤S2过程如下：

S201、建立双背景变化模型，使用混合高斯模型作为双背景变化模型，将基背景视频输入双背景变化模型，生成双背景变化模型下的背景图像序列；

S202、生成双背景变化模型的前景二值图，对于基背景视频的每一帧图像，取一帧图像与双背景变化模型接收该帧图像时生成的背景图像，使用帧差法进行相减，得到差分图像，选择一个阈值T将差分图像二值化，得到前景二值图，帧差法的计算过程如下：

D_m(x,y)＝|f_A(x,y)-f_B(x,y)| (公式4)

其中D_m(x,y)为差分图像中位于横坐标为x、纵坐标为y的位置处像素点的值，f_A(x,y)与f_B(x,y)为两张不同图像中位于横坐标为x、纵坐标为y的位置处像素点的值，图像二值化的数学描述为：

4.根据权利要求2所述的基于混合背景模型的高速公路监控视频抛洒物检测方法，其特征在于，所述步骤S3过程如下：

将基背景视频的帧图像输入到YOLO网络模型中进行人车检测，通过YOLO网络模型得到基背景视频帧图像中行人与车辆的位置，生成人车检测二值图，人车检测二值图中行人与车辆区域中像素的值为0，其余区域的像素值为255。

5.根据权利要求2所述的基于混合背景模型的高速公路监控视频抛洒物检测方法，其特征在于，所述步骤S4过程如下：

S401、建立实时背景模型，使用混合高斯模型作为实时背景模型，将高速公路监控视频输入实时背景模型，生成实时背景模型下的背景图像序列；

S402、记录高速公路监控视频中各帧图像中前景目标中心点坐标，对于高速公路监控视频中的每一帧图像，取任一帧图像与实时背景模型接收该帧图像时生成的背景图像，使用帧差法进行相减，得到差分图像，将差分图像二值化，得到差分二值图，识别差分二值图中由值为255的像素组成的若干个区域，这些区域所在位置为该帧图像中的前景目标在图像中的位置，记录这些区域的中心点坐标，即前景目标的中心点坐标。

6.根据权利要求1所述的一种基于混合背景模型的高速公路监控视频抛洒物检测方法，其特征在于，所述步骤S5过程如下：

S501、对高速公路监控视频的相邻帧中的实时前景目标进行匹配，对于视频的第t帧图像，假设当前第t帧中各前景目标组合成集合S_t，前一帧即第t-1帧中的前景目标组合成集合S_t-1，则S_t中的前景目标与S_t-1中的前景目标的匹配规则为：取S_t-1中的一个前景目标A，计算前景目标A的中心点坐标与S_t中各前景目标中心点坐标的距离，记录最小的距离值，将计算得到该最小的距离值的S_t中的前景目标B与A进行匹配，判定第t-1帧中的A与第t帧中的B为相邻两帧中的同一目标，若S_t中存在前景目标未成功匹配，则将未成功匹配的前景目标标记为视频中新出现的目标；

S502、生成静止目标位置二值图，经过连续帧之间的前景目标匹配后，得到视频中各目标在连续帧中的运动情况，若一目标在视频中经过规定数量的帧数后中心点的移动距离小于设立的阈值，则判定该目标为静止目标；根据静止目标在帧图像中的位置生成静止目标位置二值图，二值图大小与帧图像一致，静止目标包含的像素在图中的值为255，其余像素值为0。

7.根据权利要求1所述的一种基于混合背景模型的高速公路监控视频抛洒物检测方法，其特征在于，所述步骤S6过程如下：

对监控视频每一帧图像对应的双背景变化模型的前景二值图、人车检测二值图以及静止物***置二值图进行图像上的按位“与”的逻辑操作，生成抛洒物检测二值图，抛洒物检测二值图中横坐标为x、纵坐标为y位置处像素点的值D_r(x,y)由双背景下变化模型前景二值图、人车检测二值图以及静止物***置二值图中相同位置处的像素点的值决定，设双背景下变化模型前景二值图相同位置处像素点的值为D_d(x,y)，人车检测二值图相同位置处的像素点的值为D_y(x,y)，静止物***置二值图相同位置像素的值为D_s(x,y)，则D_r(x,y)的值为：

记录抛洒物二值图中D_r(x,y)为255的像素组成的区域，并在监控视频的对应帧图像中用方框框出上述区域，即在视频中框出抛洒物。

Images