CN103268468B - 机动车前排就坐者是否扣带安全带的自动检测方法 - Google Patents

Abstract

本发明公开了一种机动车前排就坐者是否扣带安全带的自动检测方法，选取道路监控图片基于haar‑like进行人脸检测，识别前排就坐者是司机还是乘客；再对司机与乘客分别进行安全带识别。发明能够对机动车前排乘坐人员进行快速准确的识别，分别检测他们是否扣带安全带；该自动检测方法能够方便应用于现实生活之中。

Description

机动车前排就坐者是否扣带安全带的自动检测方法

技术领域

本发明涉及交通安全技术领域，特别涉及一种机动车前排就坐者是否扣带安全带的自动检测方法。

背景技术

目前，在拍摄到的图像当中，交通机关通过人力资源一张张鉴别乘客、司机是否系上安全带。然而，由于图像数量巨大，在这方面的识别需要大量的人力、物力。因此，使用机器代替人类，提高效率，提高生产力，正是这个软件的意义所在。

现有的主流安全带识别方法是通过定位车辆车牌；然后估算出主司机的位置；再利用霍夫直线去检测检测安全带的存在。首先，这种方法不能准确地找出司机的位置，精确度不高；并且，这种方法仅能找出主驾座的安全带，而无法识别副驾驶座的安全带。

发明内容

本发明的发明目的是针对现有安全带自动检测方法的技术不足，提供一种能够准确检测机动车前排就坐者是否扣带安全带的自动检测方法。

为实现上述发明目的，本发明采用的技术方案为：

提供一种机动车前排就坐者是否扣带安全带的自动检测方法，基于道路监控图像，包括如下步骤：

(a)读取格式为JPG、BMP或PNG的监控图像；

(b)根据HSV颜色模型，对步骤(a)中读取的图像文件进行蓝色区域与黄色区域的颜色信息分析并结合车牌的多边形形状、宽高比等结构特征分析，然后定位车牌的位置；

(c)根据步骤(b)中定位的车牌位置及步骤(b)中处理过的图像，通过车窗位置与车牌位置的相对几何关系以及输入图像的尺寸参数来选取局部窗口，并作为定位的车窗位置；

(d)根据步骤(c)中车窗定位的结果，在车窗范围内基于haar-like进行人脸检测，并判断检测的人脸是司机还是乘客；

(e)根据步骤(d)中的判断结果，对司机与乘客的位置进行窗口划分，并对窗口先后使用canny边缘检测和霍夫直线检测，然后筛选指定角度范围内的直线并标记司机与乘客的区域，最后分别进行是否佩戴安全带的判别。

优选地，所述步骤(b)中包括如下步骤：

(b-1)将监控图像通过如下公式从RGB转成HSV颜色模型：

v＝max(r,g,b) (3)；

其中h表示色调，s表示饱和度，v表示明度，max表示取其中参数的最大值，min表示取其中参数的最小值。

(b-2)将经(b-1)转化后的到图像，执行下述其中一项步骤：

1)根据蓝色的颜色取值标准:

遍历图像每一个像素点，标记图像中蓝色区域；

2)根据黄色的颜色取值标准:

遍历图像每一个像素点，标记图像中黄色区域；

(b-3)对(b-2)得出的区域，先进行图像处理中的1次腐蚀处理，至少进行4次膨胀处理；

(b-4)利用步骤(b-3)得出的区域，用区域周长乘以0.04的精度逼近，产生多边形曲线；

(b-5)设车牌区域为R；候选车牌区域宽度为length、候选车牌区域高度为height，图像宽度为s.length，图像高度为s.height；候选车牌区域面积为area,图像面积为s.area；候选车牌区域边数为sides；从步骤(b-4)中根据多边形曲线的边数以及面积，并根据如下公式：

s.area*0.00176<area<s.area*0.00502 (11)

4<sides<10 (12)

找出车牌区域；

(b-6)若从(b-5)得到的结果中，找不到车牌区域，则返回(b-2)，执行其中另一步骤；如果根据上述1)和2)步骤都找不到车牌区域，该图像作为无法找到车牌图像I_无车牌且若找到车牌区域，该车牌区域记为R＝R^*。

优选地，所述步骤(c)包括以下步骤：

(c-1)如果求出车牌区域的矩m₁₀，m₀₀，m₀₁；进而得出车牌区域R的中心否则执行步骤(b-3)；

(c-2a)设输入图像的宽度为src.length，输入图像的高度为src.height；设局部窗口的宽度为winL，局部窗口的高度为winH；利用(c-1)得到的x_cR和y_cR，设车牌区域R的中心点水平坐标为centre.x，令centre.x＝x_cR，垂直坐标为centre.y，令centre.y＝y_cR；其中，x为该局部窗口左上角在输入图像中的水平坐标、y为该局部窗口左上角在输入图像中的垂直坐标；通过如下公式：

winL＝src.length*0.43 (14)

winH＝src.height*0.33 (15)

x＝centre.x-0.215*src.length (16)

y＝centre.y-0.45*src.height (17)；

找出局部窗口；

(c-2b)设局部窗口大小为输入图像的大小，即

winL＝src.length

winH＝src.height

x＝0

y＝0。

步骤(c)结束，进入步骤(d)。

优选地，所述步骤(d)包括以下步骤：

(d-1)在步骤c中所获得的窗口内，使用OpenCV开源库的Haar-like人脸分类器设定最小窗口的参数；其中，设最小检索窗口为10×10；

(d-2)设faces为(d-1)的执行结果，如果直接执行步骤(d-3)；否则，按照以下标准筛选人脸，设头像face∈faces，头像半径为face.radius，头像中心点的水平坐标为face.x，垂直坐标为face.y，车牌中心点的水平坐标为centre.x，垂直坐标为centre.y，其中：

face.radius<0.05*s.length (18)

height<|face.x-x_cR|<height*3 (19)；

设不满足上述条件的人脸为faces^-，从faces中剔除；而此时faces更新为faces＝faces-faces^-；然后执行步骤(c-3)；

(d-3)若则该图像为无法识别的图像；算法流程结束；否则，进行如下判断：

条件1：若该人脸的水平分量值大于车牌的水平分量值，则该人脸是属于司机的，否则属于前排乘客；

或条件2：若该人脸的右方区域D有车窗边框，则认为人脸是属于司机的，否则属于前排乘客；

设定区域D的窗口宽度为vWinL，区域D的窗口高度为vWinH；区域D的窗口左上角顶点坐标的水平分量为vWinX，垂直分量为头像坐标垂直分量为vWinY；则通过如下公式：

vWinL＝face.radius*6 (22)

vWinH＝face.radius*4 (23)

vWinX＝face.x+face.radius (24)

vWinY＝face.y-face.radius (25)；

标示出区域D；

(d-4)根据(d-3)的结果，乘客窗口记为P_(face)，司机窗口记为D_(face)。

优选地，所述步骤(e)包括以下步骤：

(e-1)对于人脸以下的局部窗口区域记为R₁，该窗口区域的宽度为sWinL，该窗口区域的高度为sWinH，该窗口区域左上角在原图像中的水平分量大小为sWinX，该窗口左上角在原图像中的垂直分量大小为sWinY；

sWinL＝face.radius*6 (26)

sWinH＝face.radius*4 (27)

sWinX＝face.x-face.radius*2 (28)

sWinY＝face.y (29)；

在该窗口区域进行以下操作：使用OpenCV开源库的函数进行直方图均衡化处理，以核为17×17进行高斯平滑处理；然后使用canny边缘检测，其中canny边缘检测的参数中，高的阈值为60，低的阈值为0；再进行霍夫直线检测，霍夫直线检测的参数中，最短线段阈值为5，投票累计数阈值为35。得到窗口区域R₁中的直线，记作lines；

(e-2)根据(e-1)的结果，按照以下规则，对直线lines进行筛选：

1)对于司机窗口D_(face)：将司机窗口D_(face)中与x轴正方向夹角不在40度与70度之间的直线删除，记为司机区域；

2)对于乘客窗口P_(face)，把乘客窗口P_(face)中与x轴正方向夹角不在110度与140度之间的直线删除，记为乘客区域；

根据上述1)和2)的结果，若在司机及乘客区域中同时找到直线，或在司机区域找到直线以及乘客不存在时，则该监控图像为合法通过的图像；否则，均为违规图像。

本发明相对于现有技术，具有以下有益效果：

1、本发明能够对机动车前排乘坐人员(包括司机与副驾驶乘客)进行快速准确的识别，分别检测他们是否扣带安全带，是否满足现实交通法所规定的审查要求；该自动检测方法能够方便应用于现实生活之中；

2、本发明能够处理海量图像，能对在各种道路、各种天气状况下的道路监控图像进行相关分析；

3、本发明利用人脸的位置检测安全带的位置，比其他方法更准确，进而提高安全带的识别精度；

4、本发明能准确区分前排乘坐人员是乘客还是司机，并对应地作出识别处理。

附图说明

图1为本发明机动车前排就坐者是否扣带安全带的自动检测方法。

具体实施方式

下面结合附图和具体实施例对本发明的发明目的作进一步详细地描述，实施例不能在此一一赘述，但本发明的实施方式并不因此限定于以下实施例。除非特别说明，本发明采用的材料和加工方法为本技术领域常规材料和加工方法。

如图1所示，一种机动车前排就坐者是否扣带安全带的自动检测方法，基于道路监控图像，包括如下步骤：

(a)读取格式为JPG、BMP或PNG的监控图像；

(b)根据HSV颜色模型，对步骤(a)中读取的图像文件进行蓝色区域与黄色区域的颜色信息分析并结合车牌的多边形形状、宽高比等结构特征分析，然后定位车牌的位置；

(c)根据步骤(b)中定位的车牌位置及步骤(b)中处理过的图像，通过车窗位置与车牌位置的相对几何关系以及输入图像的尺寸参数来选取局部窗口，并作为定位的车窗位置；

(d)根据步骤(c)中车窗定位的结果，在车窗范围内基于haar-like进行人脸检测，并判断检测的人脸是司机还是乘客；

(e)根据步骤(d)中的判断结果，对司机与乘客的位置进行窗口划分，并对窗口先后使用canny边缘检测和霍夫直线检测，然后筛选指定角度范围内的直线并标记司机与乘客的区域，最后分别进行是否佩戴安全带的判别。

上述步骤(b)中包括如下步骤：

(b-1)将监控图像通过如下公式从RGB转成HSV颜色模型：

v＝max(r,g,b) (3)；

其中h表示色调，s表示饱和度，v表示明度，max表示取其中参数的最大值，min表示取其中参数的最小值。

(b-2)将经(b-1)转化后的到图像，执行下述其中一项步骤：

1)根据蓝色的颜色取值标准:

遍历图像每一个像素点，标记图像中蓝色区域；

2)根据黄色的颜色取值标准:

遍历图像每一个像素点，标记图像中黄色区域；

(b-3)对(b-2)得出的区域，先进行图像处理中的1次腐蚀处理，至少进行4次膨胀处理；

(b-4)利用步骤(b-3)得出的区域，用区域周长乘以0.04的精度逼近，产生多边形曲线；

(b-5)设车牌区域为R；候选车牌区域宽度为length、候选车牌区域高度为height，图像宽度为s.length，图像高度为s.height；候选车牌区域面积为area,图像面积为s.area；候选车牌区域边数为sides；从步骤(b-4)中根据多边形曲线的边数以及面积，并根据如下公式：

s.area*0.00176<area<s.area*0.00502 (11)

4<sides<10 (12)

找出车牌区域；

(b-6)若从(b-5)得到的结果中，找不到车牌区域，则返回(b-2)，执行其中另一步骤；如果根据上述1)和2)步骤都找不到车牌区域，该图像作为无法找到车牌图像I_无车牌且若找到车牌区域，该车牌区域记为R＝R^*。

上述步骤(c)包括以下步骤：

(c-1)如果求出车牌区域的矩m₁₀，m₀₀，m₀₁；进而得出车牌区域R的中心否则执行步骤(b-3)；

(c-2a)设输入图像的宽度为src.length，输入图像的高度为src.height；设局部窗口的宽度为winL，局部窗口的高度为winH；利用(c-1)得到的x_cR和y_cR，设车牌区域R的中心点水平坐标为centre.x，令centre.x＝x_cR，垂直坐标为centre.y，令centre.y＝y_cR；其中，x为该局部窗口左上角在输入图像中的水平坐标、y为该局部窗口左上角在输入图像中的垂直坐标；通过如下公式：

winL＝src.length*0.43 (14)

winH＝src.height*0.33 (15)

x＝centre.x-0.215*src.length (16)

y＝centre.y-0.45*src.height (17)；

找出局部窗口；

(c-2b)设局部窗口大小为输入图像的大小，即

winL＝src.length

winH＝src.height

x＝0

y＝0。

步骤(c)结束，进入步骤(d)。

上述步骤(d)包括以下步骤：

(d-1)在步骤c中所获得的窗口内，使用OpenCV开源库的Haar-like人脸分类器设定最小窗口的参数；其中，设最小检索窗口为10×10；

(d-2)设faces为(d-1)的执行结果，如果直接执行步骤(d-3)；否则，按照以下标准筛选人脸，设头像face∈faces，头像半径为face.radius，头像中心点的水平坐标为face.x，垂直坐标为face.y，车牌中心点的水平坐标为centre.x，垂直坐标为centre.y，其中：

face.radius<0.05*s.length (18)

height<|face.x-x_cR|<height*3 (19)；

设不满足上述条件的人脸为faces^-，从faces中剔除；而此时faces更新为faces＝faces-faces^-；然后执行步骤(c-3)；

(d-3)若则该图像为无法识别的图像；算法流程结束；否则，进行如下判断，其中：

条件1：

如果该人脸的水平分量值大于车牌的水平分量值，则该人脸是属于司机的；否则属于前排乘客；

或条件2：

设定区域D的窗口宽度为vWinL，区域D的窗口高度为vWinH；区域D的窗口左上角顶点坐标的水平分量为vWinX，、垂直分量为头像坐标垂直分量为vWinY；则通过如下公式：

vWinL＝face.radius*6 (22)

vWinH＝face.radius*4 (23)

vWinX＝face.x+face.radius (24)

vWinY＝face.y-face.radius (25)；标示出区域D；

(d-4)根据(d-3)的结果，乘客窗口记为P_(face)，司机窗口记为D_(face)。

上述步骤(e)包括以下步骤：

(e-1)对于人脸以下的局部窗口区域记为R₁，该窗口区域的宽度为sWinL，该窗口区域的高度为sWinH，该窗口区域左上角在原图像中的水平分量大小为sWinX，该窗口左上角在原图像中的垂直分量大小为sWinY；

sWinL＝face.radius*6 (26)

sWinH＝face.radius*4 (27)

sWinX＝face.x-face.radius*2 (28)

sWinY＝face.y (29)；

在该窗口区域进行以下操作：使用OpenCV开源库的函数进行直方图均衡化处理，以核为17×17进行高斯平滑处理；然后使用canny边缘检测，其中canny边缘检测的参数中，高的阈值为60，低的阈值为0；再进行霍夫直线检测，霍夫直线检测的参数中，最短线段阈值为5，投票累计数阈值为35；经过以上4步，得到窗口区域R₁中的直线，记作lines；

(e-2)根据(e-1)的结果，按照以下规则，对直线lines进行筛选：

1)对于司机窗口D_(face)：将司机窗口D_(face)中与x轴正方向夹角不在40度与70度之间的直线删除，记为司机区域；

2)对于乘客窗口P_(face)，把乘客窗口P_(face)中与x轴正方向夹角不在110度与140度之间的直线删除，记为乘客区域；

根据上述1)和2)的结果，若在司机及乘客区域中同时找到直线，或在司机区域找到直线以及乘客不存在时，则该监控图像为合法通过的图像；否则，均为违规图像。

即：

其中，{l₁|l₁∈lines,l₁与x轴正方向夹角不在110度与140度之间}；

{l₂|l₂∈lines,l₂与x轴正方向夹角不在40度与70度之间}；

如果符合以下条件，则认为该监控图像文件为合法通过的图像：

条件1：若司机、乘客都有扣带安全带；

或条件2：若司机有扣带安全带，并且前排乘客不存在；

上述实施例仅为本发明的较佳实施例，并非用来限定本发明的实施范围。即凡依本发明内容所作的均等变化与修饰，都为本发明权利要求所要求保护的范围所涵盖。

Claims (5)

1.一种机动车前排就坐者是否扣带安全带的自动检测方法，基于道路监控图像，其特征在于包括如下步骤：

(a)读取格式为JPG、BMP或PNG的监控图像；

(b)根据HSV颜色模型，对步骤(a)中读取的图像文件进行蓝色区域与黄色区域的颜色信息分析并结合车牌的多边形形状、宽高比结构特征分析，然后定位车牌的位置；

(c)根据步骤(b)中定位的车牌位置及步骤(b)中处理过的图像，通过车窗位置与车牌位置的相对几何关系以及输入图像的尺寸参数来选取局部窗口，并作为定位的车窗位置；

(d)根据步骤(c)中车窗定位的结果，在车窗范围内基于haar-like进行人脸检测，并判断检测的人脸是司机还是乘客；

(e)根据步骤(d)中的判断结果，对司机与乘客的位置进行窗口划分，并对窗口先后使用canny边缘检测和霍夫直线检测，然后筛选指定角度范围内的直线并标记司机与乘客的区域，最后分别进行是否佩戴安全带的判别。

2.根据权利要求1所述的机动车前排就坐者是否扣带安全带的自动检测方法，其特征在于：所述步骤(b)中包括如下步骤：

(b-1)将监控图像通过如下公式从RGB转成HSV颜色模型：

$s=\left\{\begin{array}{c}0,ifmax(r,g,b)=0\\ \frac{max-min}{min}=1-\frac{min}{max},otherwise\end{array}\right.---\left(2\right)$

v＝max(r,g,b) (3)；

其中h表示色调，s表示饱和度，v表示明度，max表示取其中r,g,b参数的最大值，min表示取其中r,g,b参数的最小值；

(b-2)将经(b-1)转化后的图像，执行下述其中一项步骤：

1)根据蓝色的颜色取值标准:

遍历图像每一个像素点，标记图像中蓝色区域；

2)根据黄色的颜色取值标准:

遍历图像每一个像素点，标记图像中黄色区域；

(b-3)对(b-2)得出的区域，先进行图像处理中的1次腐蚀处理，至少进行4次膨胀处理；

(b-4)利用步骤(b-3)得出的区域，用区域周长乘以0.04的精度逼近，产生多边形曲线；

(b-5)设车牌区域为R；候选车牌区域宽度为length、候选车牌区域高度为height，图像宽度为s.length，图像高度为s.height；候选车牌区域面积为area,图像面积为s.area；候选车牌区域边数为sides；从步骤(b-4)中根据多边形曲线的边数以及面积，并根据如下公式：

$s.length*\frac{87}{1000}<length<s.length*\frac{93}{1000}---\left(9\right)$

$s.height*\frac{36}{1000}<height<s.height*\frac{45}{1000}---\left(10\right)$

s.area*0.00176<area<s.area*0.00502 (11)

4<sides<10 (12)

找出车牌区域；

(b-6)若从(b-5)得到的结果中，找不到车牌区域，则返回(b-2)，执行其中另一步骤；如果根据上述1)和2)步骤都找不到车牌区域，该图像作为无法找到车牌图像I_无车牌且若找到车牌区域，该车牌区域记为R＝R^*。

3.根据权利要求1所述的机动车前排就坐者是否扣带安全带的自动检测方法，其特征在于：所述步骤(c)包括以下步骤：

(c-1)如果求出车牌区域的矩m₁₀，m₀₀，m₀₁；进而得出车牌区域R的中心否则执行步骤(b-3)；

(c-2a)设输入图像的宽度为src.length，输入图像的高度为src.height；设局部窗口的宽度为winL，局部窗口的高度为winH；利用(c-1)得到的x_cR和y_cR，设车牌区域R的中心点水平坐标为centre.x，令centre.x＝x_cR，垂直坐标为centre.y，令centre.y＝y_cR；其中，x为该局部窗口左上角在输入图像中的水平坐标、y为该局部窗口左上角在输入图像中的垂直坐标；通过如下公式：

winL＝src.length*0.43 (14)

winH＝src.height*0.33 (15)

x＝centre.x-0.215*src.length (16)

y＝centre.y-0.45*src.height (17)；

找出局部窗口；

(c-2b)设局部窗口大小为输入图像的大小，即

winL＝src.length

winH＝src.height

x＝0

y＝0；

步骤(c)结束，进入步骤(d)。

4.根据权利要求3所述机动车前排就坐者是否扣带安全带的自动检测方法，其特征在于：所述步骤(d)包括以下步骤：

(d-1)在步骤c中所获得的窗口内，使用OpenCV开源库的Haar-like人脸分类器设定最小窗口的参数；其中，设最小检索窗口为10×10；

(d-2)设faces为(d-1)的执行结果，如果直接执行步骤(d-3)；否则，按照以下标准筛选人脸，设头像face∈faces，头像半径为face.radius，头像中心点的水平坐标为face.x，垂直坐标为face.y，车牌中心点的水平坐标为centre.x，垂直坐标为centre.y，其中：

face.radius<0.05*s.length (18)

height<|face.x-x_cR|＜height*3 (19)；

设不满足公式(18)和(19)条件的人脸为faces^-，从faces中剔除；而此时faces更新为faces＝faces-faces^-；然后执行步骤(d-3)；

(d-3)若则该图像为无法识别的图像；算法流程结束；否则，进行如下判断：

条件1：若该人脸的水平分量值大于车牌的水平分量值，则该人脸是属于司机的，否则属于前排乘客；

或条件2：若该人脸的右方区域D有车窗边框，则认为人脸是属于司机的，否则属于前排乘客；

设定区域D的窗口宽度为vWinL，区域D的窗口高度为vWinH；区域D的窗口左上角顶点坐标的水平分量为vWinX，垂直分量为头像坐标垂直分量为vWinY；则通过如下公式：

vWinL＝face.radius*6 (22)

vWinH＝face.radius*4 (23)

vWinX＝face.x+face.radius (24)

vWinY＝face.y-face.radius (25)；

标示出区域D；

(d-4)根据(d-3)的结果，乘客窗口记为P_(face)，司机窗口记为D_(face)。

5.根据权利要求4所述的机动车前排就坐者是否扣带安全带的自动检测方法，其特征在于：所述步骤(e)包括以下步骤：

(e-1)对于人脸以下的局部窗口区域记为R₁，该窗口区域的宽度为sWinL，该窗口区域的高度为sWinH，该窗口区域左上角在原图像中的水平分量大小为sWinX，该窗口左上角在原图像中的垂直分量大小为sWinY；

sWinL＝face.radius*6 (26)

sWinH＝face.radius*4 (27)

sWinX＝face.x-face.radius*2 (28)

sWinY＝face.y (29)；

在该窗口区域进行以下操作：使用OpenCV开源库的函数进行直方图均衡化处理，以核为17×17进行高斯平滑处理；然后使用canny边缘检测，其中canny边缘检测的参数中，高的阈值为60，低的阈值为0；再进行霍夫直线检测，霍夫直线检测的参数中，最短线段阈值为5，投票累计数阈值为35；得到窗口区域R₁中的直线，记作lines；

(e-2)根据(e-1)的结果，按照以下规则，对直线lines进行筛选：

1)对于司机窗口D_(face)，将司机窗口D_(face)中与x轴正方向夹角不在40度与70度之间的直线删除，记为司机区域；

2)对于乘客窗口P_(face)，把乘客窗口P_(face)中与x轴正方向夹角不在110度与140度之间的直线删除，记为乘客区域；

根据上述1)和2)的结果，若在司机及乘客区域中同时找到直线，或在司机区域找到直线以及乘客不存在时，则该监控图像为合法通过的图像；否则，均为违规图像。