CN108805042B - 道路区域监控视频被树叶遮挡的检测方法 - Google Patents

Abstract

本发明属于计算机视觉领域，尤其涉及一种道路区域监控视频被树叶遮挡的检测方法。首先建立基于Mask R‑CNN的深度学***面上位置关系的展现理解，定义的遮挡规则，最终得到是否存在道路区域被树叶遮挡的判定结果。本发明可替代传统的、大量浏览视频进行逐一排查确认树叶遮挡的人工方式，摆脱了基于树叶面积大小、分布区域、距离远近等具有主观经验争议的特征依赖，在二维空间模拟实现三维空间的遮挡知觉应用。

Description

道路区域监控视频被树叶遮挡的检测方法

技术领域

本发明属于计算机视觉领域，可用于监控视频画面中道路区域被树叶遮挡情况的检测***。尤其涉及一种道路区域监控视频被树叶遮挡的检测方法。

背景技术

在以‘平安城市’、‘雪亮工程’为代表的社会公共安全防范视频监控***的普及应用中，大量城区范围内的监控点位建设，需要在各类公共交通道路两侧选址。由于季节的自然更替、某些人为摄像机使用不当情况或意外事件的发生，导致摄像机监控视野内出现了不可忽略的树叶，造成道路上的监控目标信息不同程度的缺失，对视频画面的正常观看和相关业务应用造成了明显干扰，甚至将造成不可挽回的后果。因此，视频画面的树叶遮挡检测是公共安全防范视频监控***中的一项重要内容。

传统的树叶遮挡检测方法，对于树叶目标识别一般采用人工特征抽取，因此对于工程人员来说，针对树叶目标特征的人工识别能力提出了较大挑战，且效率低下。而在遮挡判断上，因为视频监控场景的应用复杂性，对于树叶的存在是否产生视觉干扰会受到主观因素影响，缺乏统一的认知标准，先验知识的应用也受到限制，总体效果不理想。

发明内容

本发明所要解决的技术问题是利用深度学习训练得到的神经网络模型(也即智能检测知识库)，对视频监控画面中的道路区域和树叶目标进行定位和识别，结合视频监控应用场景中物***置关系理解，设计出符合实际需求的树叶遮挡检测方案，形成一种适合城区监控画面中道路区域被树叶遮挡的视频检测方法。

本发明的基本技术构思是，首先建立基于Mask R-CNN(带有高质量分割掩码的图像目标检测卷积神经网络框架)的深度学***面上位置关系的展现理解，定义遮挡规则，最终得到是否存在道路区域被树叶遮挡的判定结果。

为解决上述技术问题，本发明提出的道路区域监控视频被树叶遮挡的检测方法，其特征在于，包括以下步骤：

步骤i、对Mask R-CNN网络模型的道路区域输出控制部分代码进行优化；

步骤ii、对优化后网络模型预训练；使用预训练后网络模型检测输出道路区域凸包和树叶目标凸包，获得其中道路区域凸包的外接矩形；

步骤iii、根据道路区域凸包两边有无明显的截痕形态，分别拟合出完整梯形或带有一侧垂直截边的梯形，得到道路区域位置；

步骤iv、分别获取道路区域和树叶目标分别在整个图像中的面积占比，并计算两者的重叠区域在道路区域中的面积占比；

步骤v、根据统计经验规则，判定是否存在遮挡。

进一步的，所述步骤i，对Mask R-CNN网络模型的道路区域输出控制部分代码进行优化的具体步骤包括：

1-1)树叶模型输出控制部分代码不做变更；

1-2)将道路模型的颜色渲染饱和度增强到100％，将分割后的道路目标区域颜色定义为白色，非目标区域全部为黑色，并去掉目标区域边框线，排除潜在误差；

1-3)使用默认的树叶模型对输入图片进行检测；

1-4)使用经过上述优化后的道路模型对同一输入图片进行检测。

所述步骤ii，使用预训练后网络模型检测输出道路区域凸包和树叶目标凸包，获得其中道路区域凸包的外接矩形的具体步骤包括：

2-1)对树叶模型检测所得图片，图片面积设为S_pic，统计图片中的所有树叶目标凸包累计面积S2；

2-2)对道路模型检测所得图片进行二值化处理，选择面积最大的道路区域凸包，并将其面积记为S1；

2-3)以二值化图片左上角为原点，将最大道路区域凸包所包含全部像素点的横、纵坐标，存于矩阵Array[X,Y]，并筛选max(X)、min(X)以及max(Y)、min(Y)，根据此4个坐标位可得到道路区域凸包的外接矩形。

所述步骤iii，根据道路区域凸包两边有无明显的截痕形态，分别拟合出完整梯形或带有一侧垂直截边的梯形的具体步骤包括：

3-1)统计出左截边长L_left和右截边长L_right的值，具体做法是：

在像素点的矩阵[X,Y]中，获取当X＝min(X)时的min(Y)和max(Y)，则L_left＝max(Y)-min(Y)；同理获取当X＝max(X)时的min(Y)和max(Y)，则L_right＝max(Y)-min(Y)；

预设有效截边长度与道路区域凸包外接矩形高度H的相关参数为d，若L_left>L_right并且L_left>H/d，则判定为有截痕，截边在左侧，截边长为L_left；若L_right>L_left并且L_right>H/d,则判定有截痕，截边在右侧，截边长为L_right；否则判定为无截痕，截边长度L_left或L_right无效；参数d的经验值范围是2.6<＝d<＝4；

3-2)若L_left和L_right均无效，则将凸包调整为一个完整梯形，在保证面积不变，即拟合梯形面积S＝凸包面积S1的情况下，确定梯形的位置，具体做法是：

将A、B、C、D分别记为(m1,y1),(m2,y1),(n1,y3),(n2,y3)；

根据梯形计算公式

根据目标梯形与道路区域凸包外接矩形的位置关系，y1,y3,n1,n2已知，代入上式可计算出(m2-m1)的值，即梯形的上底边AB的长度；

在该坐标矩阵[X,Y]中寻找min(Y)，也就是道路区域凸包顶端相对应的max(X)与min(X)，计算其平均值作为拟合梯形的上底中心点横坐标X_mid，则X_mid＝(max(X)+min(X))/2，根据上底中心点的横坐标X_mid，则能够计算出m1,m2的值，确定目标梯形位置；

3-3)若L_left或L_right有效，则将凸包调整为一个带有一侧垂直截边的梯形，在保证面积不变，即拟合梯形面积S＝道路区域凸包面积S1的情况下，确定梯形的位置，具体做法是：

A、B、C、D、E分别记为(m1,y1),(m2,y1),(n1,y3),(n2,y3),(n1,y2)；

根据步骤3-1)中已获得的截边长度，计算y2＝y3-截边长；

面积S则为梯形ABCD和三角形ACE的面积之和，则根据公式

根据目标梯形与道路区域凸包外接矩形的位置关系，y1,y3,n1,n2已知，代入上式可计算出(m2-m1)的值，即梯形的上底边AB的长度；在该坐标矩阵[X,Y]中寻找min(Y)，也就是道路区域凸包顶端相对应的max(X)与min(X)，计算其平均值作为拟合梯形的上底中心点横坐标X_mid，则

X_mid＝(max(X)+min(X))/2，根据上底中心点的横坐标X_mid，则能够计算出m1,m2的值，确定目标梯形位置。

所述步骤iv，获取道路区域和树叶目标分别在整个图像中的面积占比，并计算两者的重叠区域在道路区域中的面积占比的具体步骤包括：

4-1)依据步骤2-1)中得到的树叶目标凸包的累计面积S2，计算树叶面积在整个监控场景中的占比，R_leaf＝S2/S_pic；

4-2)依据步骤2-2)中得到的道路区域凸包面积S1，计算道路面积在整个监控场景中的占比，R_road＝S1/S_pic；

4-3)统计树叶目标凸包与步骤3-2)或3-3)中拟合梯形的重叠区域面积S_com，并计算该部分在梯形中的占比，R_cover＝S_com/S。

进一步的，所述步骤v，根据以下经验规则判定是否存在遮挡：

5-1)以R_cover为核心指标，当R_cover大于遮挡阈值T1时，判定为存在遮挡；

5-2)当R_cover小于遮挡阈值T1时，若R_leaf/R_road>＝1，且R_road小于道路识别阈值T2时，判定为存在遮挡。

优选的，所述遮挡阈值T1的最小取值为0.12；道路识别阈值T2的最大取值为0.32。

有益效果：本发明基于深度神经网络的目标检测与识别结果，并结合二维图像中的物***置关系理解，这种技术相较于其它检测方案的突出意义在于：

(1)与已知常见的检测方法(比如基于颜色与纹理特征的支持向量机(SVM)、基于遮挡先验知识的传统机器学习)相比，本方案充分利用了最新的深度学习技术，并将二维图像的物***置关系理解作为另一个设计重点，提升了方法在相关领域的应用价值。

(2)本方法一个重要创新点在于，结合道路区域的检测结果，将遮挡的判定逻辑限定在与监控目标相关的明确范围之内，摆脱了基于树叶面积大小、分布区域、距离远近等具有主观经验争议的特征依赖，在二维空间模拟实现三维空间的遮挡知觉应用。

附图说明

下面结合附图和具体实施方式对本发明的技术方案作进一步具体说明。

图1为本发明方法的基本流程图。

图2(a)为无截边的凸包拟合梯形的处理模型图。

图2(b)为针对图4的处理模型图。

图3(a)为检测输出凸包并二值化处理后的图。

图3(b)为本发明的要处理的道路监控的原始图片。

图4为有截边的凸包二值化示意图。

图5(a)为具有树叶遮挡的一种道路区域监控视频图。

图5(b)为具有树叶遮挡的另一种道路区域监控视频图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

如图1所示，本发明提出的道路区域被树叶遮挡情况的视频检测方法的实施例，主要步骤如下：

步骤i、对Mask R-CNN网络模型的道路区域输出控制部分代码进行优化；

步骤ii、对优化后网络模型预训练；使用预训练后网络模型检测输出道路区域凸包和树叶目标凸包，获得其中道路区域凸包的外接矩形；

步骤iii、根据道路区域凸包两边有无明显的截痕形态，分别拟合出完整梯形或带有一侧垂直截边的梯形，得到道路区域位置；

步骤iv、分别获取道路区域和树叶目标分别在整个图像中的面积占比，并计算两者的重叠区域在道路区域中的面积占比；

步骤v、根据统计经验规则，判定是否存在遮挡。

所述步骤i，对Mask R-CNN网络模型的道路区域输出控制部分代码进行优化的具体步骤包括：

1-1)树叶模型输出控制部分代码不做变更；

1-2)将道路模型的颜色渲染饱和度增强到100％，将分割后的道路目标区域颜色定义为白色，非目标区域全部为黑色，并去掉目标区域边框线，排除潜在误差；

1-3)使用默认的树叶模型对输入图片进行检测，图3(b)是输入图片的一个实施例。图5(a)、图5(b)是另外两种分别带有树叶目标凸包的检测图。

1-4)使用经过上述优化后的道路模型对同一输入图片进行检测；

所述步骤ii，使用上述预训练的网络模型检测输出道路区域凸包和树叶目标凸包，获得其中道路区域凸包的外接矩形，具体步骤包括：

2-1)对树叶模型检测所得图片,设所得图片的面积为S_pic，统计图片中所有树叶目标凸包的累计面积S2；

2-2)对道路模型检测所得图片进行二值化处理后如图3(a)所示，图3(a)包含2个呈白色区域的道路区域凸包；选择面积最大的道路区域凸包，将其面积记为S1；

2-3)如图2(b)所示，以图2(b)左上角作为坐标系的原点，将最大道路区域凸包所包含全部像素点的横、纵坐标，存于矩阵Array[X,Y]，并筛选max(X)、min(X)以及max(Y)、min(Y)，根据此4个坐标位可得到道路区域凸包的外接矩形；

所述步骤iii，根据道路区域凸包两边有无明显的截痕形态，分别拟合出完整梯形或带有一侧垂直截边的梯形的具体步骤包括：

3-1)如图4所示，统计出左截边长L_left和右截边长L_right的值，具体做法是：

在像素点的矩阵[X,Y]中，获取当X＝min(X)时的min(Y)和max(Y)，则L_left＝max(Y)-min(Y)；同理获取当X＝max(X)时的min(Y)和max(Y)，则L_right＝max(Y)-min(Y)；

结合图2(b)，预设有效截边长度与道路区域凸包外接矩形高度H,H＝y3-y1，的相关参数为d，若L_left>L_right并且L_left>H/d，则判定为有截痕，截边在左侧，截边长为L_left；若L_right>L_left并且L_right>H/d,则判定有截痕，截边在右侧，截边长为L_right；否则判定为无截痕，截边长度L_left或L_right无效；

参数d的经验值范围是2.6<＝d<＝4，在本次实验中优先取d＝3。

若拟合梯形上底中点偏向外接矩形的右上点，则截边大概率出现在矩形的左侧；若拟合梯形上底中点偏向外接矩形的左上点，则截边大概率出现在矩形的右侧，此规则可作为强化判定条件，如果不满足，则依旧判定为拟合梯形无截痕。

3-2)若L_left和L_right均无效，则将道路区域凸包调整为一个完整梯形，如图2(a)所示，在保证面积不变，即拟合梯形面积S＝凸包面积S1的情况下，最终确定梯形的位置，具体做法是：

将A、B、C、D分别记为(m1,y1),(m2,y1),(n1,y3),(n2,y3)；

根据公式

根据目标梯形与道路区域凸包外接矩形的位置关系，y1,y3,n1,n2已知，代入上式可计算出(m2-m1)的值，即梯形的上底边AB的长度；

在该坐标矩阵[X,Y]中寻找min(Y)，也就是道路区域凸包顶端相对应的max(X)与min(X)，计算其平均值作为拟合梯形的上底中心点横坐标X_mid，则X_mid＝(max(X)+min(X))/2，根据上底中心点的横坐标X_mid，则能够计算出m1,m2的值，确定目标梯形位置；

3-3)若L_left或L_right有效，则将凸包调整为一个带有一侧垂直截边的梯形，在保证面积不变，即拟合梯形面积S＝道路区域凸包面积S1的情况下，确定梯形的位置，具体做法是：

A、B、C、D、E分别记为(m1,y1),(m2,y1),(n1,y3),(n2,y3),(n1,y2)；

根据步骤3-1)中已获得的截边长度，计算y2＝y3-截边长；

面积S则为梯形ABCD和三角形ACE的面积之和，则根据公式

根据目标梯形与道路区域凸包外接矩形的位置关系，y1,y3,n1,n2已知，代入上式可计算出(m2-m1)的值，即梯形的上底边AB的长度；在该坐标矩阵[X,Y]中寻找min(Y)，也就是道路区域凸包顶端相对应的max(X)与min(X)，计算其平均值作为拟合梯形的上底中心点横坐标X_mid，则X_mid＝(max(X)+min(X))/2，根据上底中心点的横坐标X_mid，则能够计算出m1,m2的值，确定目标梯形位置。

所述步骤iv，获取道路区域(两种梯形之一)和树叶目标分别在整个图像中的面积占比，并计算两者的重叠区域在道路区域中的面积占比的具体步骤包括：

4-1)依据步骤2-1)中得到的树叶目标凸包的累计面积S2，计算树叶面积在整个监控场景中的占比，R_leaf＝S2/S_pic；

4-2)依据步骤2-2)中得到的道路区域凸包面积S1，计算道路面积在整个监控场景中的占比，R_road＝S1/S_pic；

4-3)统计树叶目标凸包与步骤3-3)或3-4)中拟合梯形的重叠区域面积S_com，并计算该部分在梯形中的占比，R_cover＝S_com/S。

所述步骤v，根据应用规则，由上述3项数值判定遮挡的严重程度的具体步骤包括：

5-1)如图5(a)所示，这是最常见的典型树叶遮挡情况，在道路的视觉通道方向出现了树叶，由于三维空间中物***置的视觉深度差异，使得视频观察者可以在二维平面中直观感受到遮挡效果。以R_cover为核心指标，当其大于遮挡阈值T1时，可判定为存在遮挡；在本具体实施例中，两者重叠面积占道路(梯形)面积的约17％，达到阈值T1；且这例场景在本实验的样本分级中属于二级严重遮挡程度，算法检测结果符合主观认知，因此可判定为存在遮挡。

5-2)如图5(b)所示，这是另一种树叶遮挡情况，模型检测结果显示树叶并没有出现在道路的视觉通道方向上，但视频观察者仍然可以感受到遮挡效果的存在，却不适用步骤5-1)的规则来判定。当R_cover小于遮挡阈值T1时，若R_leaf/R_road>＝1，且R_road小于道路识别阈值T2时，可判定为存在遮挡；在此例中，树叶面积大于道路(梯形)面积，且道路(梯形)面积占整个场景面积的约19％，小于阈值T2，因此可判定为疑似遮挡。

本次实验中，根据对5级遮挡程度的269例样本图像库检测结果统计，遮挡阈值T1的推荐最小值为0.12；道路识别阈值T2的推荐最大值为0.32。

本领域技术人员清楚，上述阈值的具体数值可根据样本训练方法和监控应用需求进行调整，不构成对本发明的限定。

最后需要说明的是，以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管按照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.道路区域监控视频被树叶遮挡的检测方法，其特征在于，包括以下步骤：

步骤i、对Mask R-CNN网络模型的道路区域输出控制部分代码进行优化；

步骤ii、对优化后网络模型预训练；使用预训练后网络模型检测输出道路区域凸包和树叶目标凸包，获得其中道路区域凸包的外接矩形；

步骤iii、根据道路区域凸包两边有无明显的截痕形态，分别拟合出完整梯形或带有一侧垂直截边的梯形，得到道路区域位置；

步骤iv、分别获取道路区域和树叶目标分别在整个图像中的面积占比，并计算两者的重叠区域在道路区域中的面积占比；

步骤v、根据统计经验规则，判定是否存在遮挡。

2.根据权利要求1所述的道路区域监控视频被树叶遮挡的检测方法，其特征在于，所述步骤i，对Mask R-CNN网络模型的道路区域输出控制部分代码进行优化的具体步骤包括：

1-1)树叶模型输出控制部分代码不做变更；

1-2)将道路模型的颜色渲染饱和度增强到100％，将分割后的道路目标区域颜色定义为白色，非目标区域全部为黑色，并去掉目标区域边框线，排除潜在误差；

1-3)使用默认的树叶模型对输入图片进行检测；

1-4)使用经过上述优化后的道路模型对同一输入图片进行检测。

3.根据权利要求2所述的道路区域监控视频被树叶遮挡的检测方法，其特征在于，所述步骤ii，使用预训练后网络模型检测输出道路区域凸包和树叶目标凸包，获得其中道路区域凸包的外接矩形的具体步骤包括：

2-1)对树叶模型检测所得图片，图片面积设为S_pic，统计图片中的所有树叶目标凸包累计面积S2；

2-2)对道路模型检测所得图片进行二值化处理，选择面积最大的道路区域凸包，并将其面积记为S1；

2-3)以二值化图片左上角为原点，将最大道路区域凸包所包含全部像素点的横、纵坐标，存于矩阵[X,Y]，并筛选max(X)、min(X)以及max(Y)、min(Y)，根据此4个坐标位可得到道路区域凸包的外接矩形。

4.根据权利要求3所述的道路区域监控视频被树叶遮挡的检测方法，其特征在于，所述步骤iii，根据道路区域凸包两边有无明显的截痕形态，分别拟合出完整梯形或带有一侧垂直截边的梯形的具体步骤包括：

3-1)统计出左截边长L_left和右截边长L_right的值，具体做法是：

在像素点的矩阵[X,Y]中，获取当X＝min(X)时的min(Y)和max(Y)，则L_left＝max(Y)-min(Y)；同理获取当X＝max(X)时的min(Y)和max(Y)，则L_right＝max(Y)-min(Y)；

预设有效截边长度与道路区域凸包外接矩形高度H的相关参数为d，若L_left>L_right并且L_left>H/d，则判定为有截痕，截边在左侧，截边长为L_left；若L_right>L_left并且L_right>H/d,则判定有截痕，截边在右侧，截边长为L_right；否则判定为无截痕，截边长度L_left或L_right无效；参数d的经验值范围是2.6<＝d<＝4；

3-2)若L_left和L_right均无效，则将凸包调整为一个完整梯形，在保证面积不变，即拟合梯形面积S＝凸包面积S1的情况下，确定梯形的位置，具体做法是：

将A、B、C、D分别记为(m1,y1),(m2,y1),(n1,y3),(n2,y3)；

根据梯形计算公式

根据目标梯形与道路区域凸包外接矩形的位置关系，y1,y3,n1,n2已知，代入上式可计算出(m2-m1)的值，即梯形的上底边AB的长度；

在该坐标矩阵[X,Y]中寻找min(Y)，也就是道路区域凸包顶端相对应的max(X)与min(X)，计算其平均值作为拟合梯形的上底中心点横坐标X_mid，则X_mid＝(max(X)+min(X))/2，根据上底中心点的横坐标X_mid，则能够计算出m1,m2的值，确定目标梯形位置。

5.根据权利要求4所述的道路区域监控视频被树叶遮挡的检测方法，其特征在于，所述步骤iv，获取道路区域和树叶目标分别在整个图像中的面积占比，并计算两者的重叠区域在道路区域中的面积占比的具体步骤包括：

4-1)依据步骤2-1)中得到的树叶目标凸包的累计面积S2，计算树叶面积在整个监控场景中的占比，R_leaf＝S2/S_pic；

4-2)依据步骤2-2)中得到的道路区域凸包面积S1，计算道路面积在整个监控场景中的占比，R_road＝S1/S_pic；

4-3)统计树叶目标凸包与步骤3-2)或3-3)中拟合梯形的重叠区域面积S_com，并计算该部分在梯形中的占比，R_cover＝S_com/S。

6.根据权利要求5所述的道路区域监控视频被树叶遮挡的检测方法，其特征在于，所述步骤v，根据以下经验规则判定是否存在遮挡：

5-1)以R_cover为核心指标，当R_cover大于遮挡阈值T1时，判定为存在遮挡；

5-2)当R_cover小于遮挡阈值T1时，若R_leaf/R_road>＝1，且R_road小于道路识别阈值T2时，判定为存在遮挡。

7.根据权利要求6所述的道路区域监控视频被树叶遮挡的检测方法，其特征在于，所述遮挡阈值T1的最小取值为0.12；道路识别阈值T2的最大取值为0.32。

Images