CN110619651B - 一种基于监控视频的行车道路分割方法 - Google Patents

Abstract

本发明公开了一种基于监控视频的行车道路分割方法，包括以下步骤：S1、通过监控摄像头获取道路监控视频；S2、使用运动目标检测方法对道路监控视频中的运动目标进行检测，得到运动目标掩码图像；S3、将道路监控视频以时间段序列长度分割为若干段分割结果掩码图，并将该时间段序列长度内的运动目标掩码图像输入到分割结果掩码图中；S4、检测每段分割结果掩码图最外层轮廓边界，统计轮廓边界内的像素数量，设置阈值剔除像素数量较小的连通域，得到形态学处理后的视频图像；S5、对视频图像设置长时间段的道路投票机制，剔除低频率的运动目标后输出行车道路掩码图。

Description

一种基于监控视频的行车道路分割方法

技术领域

本发明涉及图像处理领域，尤其涉及一种基于监控视频的行车道路分割方法。

背景技术

监控视频行车道路分割是图像处理、计算机视觉中一项重要的技术，它在智慧交通、智能监控领域都有广泛的应用价值。传统的道路分割常采用两类方法：基于双目视觉深度图的方法和基于运动的方法。近年来，深度学习的研究广泛应用于道路分割领域，目前的方法大多基于深度像素级图像语义分割网络，语义分割网络结构通常可以看作是，编码器-解码器网络。

以上道路分割方法都是基于像素分类的图像分割方法。由于深度学习语义分割模型非常依赖于训练数据，而目前的道路分割数据集大多是基于车前视角的自动驾驶数据集，城市高点道路监控场景、城市低点道路监控的数据集非常缺乏。根据实际应用场景来看，城市高点监控由于视角高，包含的城市场景非常复杂，而低点监控布设广泛，有很多道路不明显、场景不典型。道路情况的复杂性和多边性也成为该任务的巨大挑战，目前像素级语义分割模型由于实际分割精度受限，无法直接应用于城市监控道路场景，特别是非理想场景的老旧道路、城市高点的高空俯视道路；并且在视频监控中，局部遮挡、光照、视频画质、摄像头抖动等因素都会影响运动目标检测的精度，因此，急需一种可以提高准确度的行车道路分割方法来满足市场需求。

发明内容

本发明目的是针对上述问题，提供一种提高准确性的基于监控视频的行车道路分割方法。

为了实现上述目的，本发明的技术方案是：

一种基于监控视频的行车道路分割方法，包括以下步骤：

S1、通过监控摄像头获取道路监控视频；

S2、使用运动目标检测方法对道路监控视频中的运动目标进行检测，得到运动目标掩码图像；

S3、将道路监控视频以时间段序列长度分割为若干段分割结果掩码图，并将该时间段序列长度内的运动目标掩码图像输入到分割结果掩码图中；

S4、检测每段分割结果掩码图最外层轮廓边界，统计轮廓边界内的像素数量，设置阈值剔除像素数量较小的连通域，得到形态学处理后的视频图像；

S5、对视频图像设置长时间段的道路投票机制，剔除低频率的运动目标后输出行车道路掩码图。

进一步的，所述步骤S2中的运动目标检测方法为帧间差分法，其通过对道路监控视频中连续的两帧或三帧图像进行差分运算，得到不同帧图像中对应像素点灰度差的绝对值，当该绝对值超过阈值时，即判断其为运动目标。

进一步的，所述步骤S2中，设道路监控视频中第n帧和第n-1帧图像为fn和fn-1，两帧对应像素点的灰度值记为fn(x,y)和fn-1(x,y)，将两帧图像对应像素点的灰度值进行相减，取其绝对值，得到差分图像Dn；计算公式为：

Dn(x,y)＝|fn(x,y)-fn-1(x,y)|；

设定阈值为T，对道路监控视频中逐个对像素点进行差分计算，得到图像R′_n；对图像R′_n进行连通性分析即可得到含有完整运动目标的掩码图像Rn；所述图像R'_n的计算公式为：

进一步的，所述步骤S2中的运动目标检测方法为基于Vibe算法的运动目标检测方法，其包括以下步骤：

S201、首先为道路监控视频中每一个像素点建立样本集，该样本集中的灰度值为该像素点在上一帧中的灰度值或其邻域的灰度值；

S202、将当前像素点的灰度值与该像素点的样本集的灰度值进行比较，通过其灰度值的差值是否超过阈值来判断当前像素点是否属于背景点；

S203、将不属于背景点的像素点筛选出来，即得到含有运动目标的掩码图像。

与现有技术相比，本发明具有的优点和积极效果是：

本发明提出了一种利用监控视频进行行车道路分割的方法，其通过分析监控视频中连续图像序列检测出视频中的运动目标，然后采用形态学处理方法去除监控视频中的噪音如视频画质、摄像头抖动、树叶扰动，最后通过加入投票机制减少行人及路外汽车的干扰；得到高质量的行车道路掩码图。其有效避免了由于行人及路外汽车的干扰造成道路分割不够准确的状况发生，极大的提高了道路分割的准确性；另一方面，本发明无需构建训练模型，计算量较小，明显提高了检测速率，与传统方法相比，其在复杂场景中具有更强的泛化能力和更高的精确度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为帧间差分法的框架流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

本发明提出了一种利用监控视频进行行车道路分割的方法，其包括两个部分，即运动目标检测和行车道路形成部分；运动目标检测方法包括帧间差分、背景查分、Vibe、Vibe+等方法。这些方法可以通过分析视频连续图像序列，检测出视频中的运动目标，为了去除视频中的噪音如视频画质、摄像头抖动、树叶扰动，以及使运动目标在下面的步骤中有更好的表现，对检测出来的运动目标采用形态学处理方法，如腐蚀膨胀操作、去除较小连通域、孔洞填充。经过处理，运动目标主要包括行车道路上的运动汽车、路旁运动的行人、以及路外运动汽车。运动目标区域的积累可以将行车道路大致刻画出来，但由于行人及路外汽车的干扰，会造成道路分割不够准确。因此要进行时段上的腐蚀膨胀及连通域筛除，以及加入投票机制，以此减少行人及路外汽车的干扰。

实施例1、基于帧间差分检测运动目标的道路分割

该实施例中行车道路分割过程可分为两个部分，第一部分是基于帧间差分的运动目标检测，第二部分是合理地利用连续图像序列中的运动目标估计行车道路并生成掩码图。

摄像机采集的视频序列具有连续性的特点。如果场景内没有运动目标，则连续帧的变化很微弱，如果存在运动目标，则连续的帧和帧之间会有明显地变化。帧间差分法(Temporal Difference)就是借鉴了上述思想。由于场景中的目标在运动，目标的影像在不同图像帧中的位置不同。该类算法对时间上连续的两帧或三帧图像进行差分运算，不同帧对应的像素点相减，判断灰度差的绝对值，当绝对值超过一定阈值时，即可判断为运动目标，从而实现目标的检测功能。

两帧差分法的运算过程如图1所示，记视频序列中第n帧和第n-1帧图像为fn和fn-1，两帧对应像素点的灰度值记为fn(x,y)和fn-1(x,y)，按照下式将两帧图像对应像素点的灰度值进行相减，并取其绝对值，得到差分图像Dn：

Dn(x,y)＝|fn(x,y)-fn-1(x,y)|；

设定阈值T，按照式2.14逐个对像素点进行二值化处理，得到二值化图像Rn'。其中，灰度值为255的点即为前景(运动目标)点，灰度值为0的点即为背景点；对图像Rn'进行连通性分析，最终可得到含有完整运动目标的图像Rn。

以上帧间差分方法可以得到一帧图像中的运动目标掩码图。在实际场景中，运动目标不仅有行车道中的运动车辆，还有车道旁的运动行人、路外的运动车辆，以及树叶扰动和画质噪音。在由图像序列的运动目标掩码图得到道路分割图像的过程中，针对以上干扰情景，采用分短时间段的小连通域剔除和形态学处理和长时间段的道路投票机制。具体如下：

对于短时间段的小连通域剔除和形态学处理，首先，选取时间段序列长度为200帧，在第一个200帧序列内，每一帧的运动目标掩码图都贡献到分割结果掩码图中。接下来，对第一个序列得到的分割结果掩码图检测最外层轮廓边界，以此找到掩码中大大小小的连通域，统计各个边界所包含的像素数量，设置阈值剔除较小的连通域。通过此操作可以剔除此200帧中积累的较小的噪音、扰动等，随着帧数的增加，噪音扰动也会积累的越来越大，变得不容易去除。由于短时间段的运动目标有限，运动距离也较短，不能全面地刻画道路信息，因此连续进行多次200帧图像序列的上述操作，以此全面刻画道路细节。

对于长时间段的道路投票机制，是由于视频中会出现低频但强干扰的行人和行车道外的运动车辆，这些运动目标在上述操作中无法被剔除，但会直接影响结果的准确性。由于其低频出现的特点，设置长时间序列的投票机制。行车道路区域由于车高频运动，在投票中会被保留，而仅在某一小段时间出现的低频路外运动目标如行人和车辆，会在投票中被剔除。

通过上述基于帧间差分的运动目标检测、图像形态学处理、投票机制，最终输出质量较高的行车道路掩码图。

实施例2、基于Vibe算法检测运动目标的道路分割

该实施例中行车道路分割过程可分为两个部分，第一部分是基于Vibe算法的运动目标检测，第二部分是合理地利用连续图像序列中的运动目标估计行车道路并生成掩码图。

Visual Background Extractor(ViBe)，是一种像素级视频背景建模算法。其主要思想为一个像素点储存一个样本集，该样本集中的值为该像素点过去的值或其邻域的值，然后将当前像素点的值与样本集进行比较，来判断当前像素点是否属于背景点，如果是，则从背景模型中任意选择需要替换的值。该方法与很多方法不同的是，替换背景值不是直接替换最旧的，而是随机选择，其作用在于得到更长的时间窗。

ViBe的背景建模工作原理可以作为一个分类问题，根据样本集，对当前的每一个像素点判断是否属于背景点，因此样本集非常重要。在该方法中，对于每一个像素都设有一个样本集。记图像颜色空间中的x点的像素为v(x),则样本集中的值为v_i,样本个数为N。则样本集可表示为：M(x)＝{v₁,v₂,…,v_N,}。为了将像素点与样本集中的值进行比较，定义S_R(v(x))为以x为中心，半径为R的区域，若样本中的值与当前像素点的距离在该范围内的个数大于预先规定的阈值，则将该像素点分类为背景点。若记该阈值为min，则用公式表达为:

通常情况下将min设置为20。

背景模型初始化过程就是填充样本集的过程。但是由于在一帧图像中不包含时间信息，则利用相近像素点拥有相似的时间分布的特性，对于每一个像素点，随机选择其邻域的像素值作为它的模型样本值。记N_G(x)为点x的邻域，则有M⁰(x)＝{v₀(y|y∈N_G(x)}；其中的邻域选择很重要，因为不同位置的值之间的统计相关性随着邻域的增大而减小。视频画面为640*480时，可选择八连通域作为其邻域。

该初始化方法的有点在于对噪声的反应比较灵敏，计算量小且速度快，可以很快地进行运动目标检测，但缺点是容易引入Ghost区域，好在选择合适的背景耿新策略可以很快将Ghost区域消除。

背景模型更新是该算法的关键部分，它使得背景模型能够适应背景的变化而变化，比如光照度忽然变化与场景中的物体变更等。传统的更新策略有保守更新策略与Blind更新策略。

其中保守更新策略采用的是：当前像素点被判断为背景点的时候才能被加入到背景模型中，而前景点永远不被用于填充背景模型。该方法的优点是运动物体的检测非常灵敏，而缺点是易引起死锁与持续的Ghost区域。比如当背景被误判为前景或静止的物体忽然移动。而对应的解决方法是引入空间信息或采用前景点计数的方法。

Blind更新策略采用是是：不管像素点被判断为前景点还是背景点，都加入背景模型中。其优点是对死锁不敏感，但缺点是对缓慢移动的物体易融入背景模型中无法检测出来。其对应的解决方法是扩大背景模型样本，但这样会增加储存于计算负担。ViBe算法采用的是保守更新策略与空间信息结合的方法。还可添加前景点计数的策略。这样综合的更新策略又三个特性：第一，无记忆更新。在选择样本集中需要替换的样本值时，随机选择一个样本值进行更新，这样可以保证样本集中既有最近的历史像素点，也包含较旧的样本值，即样本集的时间窗更长。第二，时间取样。很多实际情况不需要更新每一帧数据的每一个背景像素模型，所以当像素点被分为背景点的时候，会按照一定概率1/Φ(Φ为时间采样因子，可取5)来确定该点是否被用于更新背景模型。这样可以使背景模型样本集中包含更长时间窗的数据。第三，空间传播。由前面提到的，选择保守更新策略必须要解决它的缺点，故需要引入空间信息。具体操作为：当一个像素点被选择去更新背景模型中的样本值时，也同时更新其邻域中的任意一个像素点的背景模型样本。

以上ViBe方法可以得到一帧图像中的运动目标掩码图。在实际场景中，运动目标不仅有行车道中的运动车辆，还有车道旁的运动行人、路外的运动车辆，以及树叶扰动和画质噪音。在由图像序列的运动目标掩码图得到道路分割图像的过程中，针对以上干扰情景，采用分短时间段的小连通域剔除和形态学处理和长时间段的道路投票机制。具体如下：

对于短时间段的小连通域剔除和形态学处理，首先，选取时间段序列长度为200帧，在第一个200帧序列内，每一帧的运动目标掩码图都贡献到分割结果掩码图中。接下来，对第一个序列得到的分割结果掩码图检测最外层轮廓边界，以此找到掩码中大大小小的连通域，统计各个边界所包含的像素数量，设置阈值剔除较小的连通域。通过此操作可以剔除此200帧中积累的较小的噪音、扰动等，随着帧数的增加，噪音扰动也会积累的越来越大，变得不容易去除。由于短时间段的运动目标有限，运动距离也较短，不能全面地刻画道路信息，因此连续进行多次200帧图像序列的上述操作，以此全面刻画道路细节。

对于长时间段的道路投票机制，是由于视频中会出现低频但强干扰的行人和行车道外的运动车辆，这些运动目标在上述操作中无法被剔除，但会直接影响结果的准确性。由于其低频出现的特点，设置长时间序列的投票机制。行车道路区域由于车高频运动，在投票中会被保留，而仅在某一小段时间出现的低频路外运动目标如行人和车辆，会在投票中被剔除。

通过上述基于Vibe算法的运动目标检测、图像形态学处理、图像序列分段处理、投票机制，最终输出质量较高的行车道路掩码图。

Claims (4)

1.一种基于监控视频的行车道路分割方法，其特征在于：包括以下步骤：

S1、通过监控摄像头获取道路监控视频；

S2、使用运动目标检测方法对道路监控视频中的运动目标进行检测，得到运动目标掩码图像；

S3、将道路监控视频以时间段序列长度分割为若干段分割结果掩码图，并将该时间段序列长度内的运动目标掩码图像输入到分割结果掩码图中；

S4、检测每段分割结果掩码图最外层轮廓边界，统计轮廓边界内的像素数量，设置阈值剔除像素数量较小的连通域，得到形态学处理后的视频图像；

S5、对视频图像设置长时间段的道路投票机制，剔除低频率的运动目标后输出行车道路掩码图。

2.如权利要求1所述的基于监控视频的行车道路分割方法，其特征在于：所述步骤S2中的运动目标检测方法为帧间差分法，其通过对道路监控视频中连续的两帧或三帧图像进行差分运算，得到不同帧图像中对应像素点灰度差的绝对值，当该绝对值超过阈值时，即判断其为运动目标。

3.如权利要求2所述的基于监控视频的行车道路分割方法，其特征在于：所述步骤S2中，设道路监控视频中第n帧和第n-1帧图像为fn和fn-1，两帧对应像素点的灰度值记为fn(x,y)和fn-1(x,y)，将两帧图像对应像素点的灰度值进行相减，取其绝对值，得到差分图像Dn；计算公式为：

Dn(x,y)＝|fn(x,y)-fn-1(x,y)|；

设定阈值为T，对道路监控视频中逐个对像素点进行差分计算，得到图像R′_n；对图像R′_n进行连通性分析即可得到含有完整运动目标的掩码图像Rn；所述图像R'_n的计算公式为：

4.如权利要求1所述的基于监控视频的行车道路分割方法，其特征在于：所述步骤S2中的运动目标检测方法为基于Vibe算法的运动目标检测方法，其包括以下步骤：

S201、首先为道路监控视频中每一个像素点建立样本集，该样本集中的灰度值为该像素点在上一帧中的灰度值或其邻域的灰度值；

S202、将当前像素点的灰度值与该像素点的样本集的灰度值进行比较，通过其灰度值的差值是否超过阈值来判断当前像素点是否属于背景点；

S203、将不属于背景点的像素点筛选出来，即得到含有运动目标的掩码图像。

Images