CN105740837A - 一种基于无人机的违法占用应急车道检测方法 - Google Patents

Abstract

本发明提供一种基于无人机的违法占用应急车道检测方法，包括：放出无人机；定位道路右边缘位置；判断是否定位到道路右边缘位置；调整无人机方位；选择应急车道区域；检测车辆位置；判断是否成功检测到车辆位置；车牌字符识别；存储车辆信息；修正无人机的飞行角度；无人机自动前行；判断无人机是否飞行到指定距离；收回无人机。本发明实现了无人机的自动飞行控制，可以无视任何交通障碍，通过视频图像分析技术，实时精确定位应急车道区域，自动抓拍出现在应急车道区域内的车辆，本发明具有全路段抓拍、抓拍实时高效、抓拍精确、无障碍等特点。

Description

一种基于无人机的违法占用应急车道检测方法

技术领域

本发明涉及智能交通监控技术领域，具体是一种基于无人机的违法占用应急车道检测方法。

背景技术

高速公路应急车道是专门为公众设立的救援通道，在危急关头更是一条实施紧急救援的生命通道。按照《中华人民共和国道路交通安全法》及《中华人民共和国道路交通安全法实施条例》的有关规定：除执行紧急任务的警车、消防车、工程救险车、救护车外，其他机动车不得进入应急车道内行驶或者停车。然而，随着我国汽车保有量的快速增长，越来越多的驾驶员在高速公路出现拥堵时，喜欢非法占用应急车道行驶或等待，甚至一些驾驶员在交通畅通时也随意在应急车道内超车或临时停车，这是非常危险的行为，一旦前方出现交通事故，往往会导致警车和救援车辆无法快速到达现场，延长交通拥堵的时间，造成救援困难，加重了事故损害后果。

近年来，为了治理违法占用应急车道行为，交警部门开展了相应的整治行动，利用高速公路监控***和民警配备的摄录机、照相机对违法占用应急车道的违法行为进行抓拍取证，然而这种方式却有极大的局限性，首先高速公路监控***无法进行全路段监控，其次民警通过摄录机和照相机手动抓拍，虽然可以实现全路段抓拍，但是效率较低，碰见交通拥堵时，同样无法抓拍前方违法占道车辆，因此，迫切需要一种全路段的、高效的、无障碍的新型抓拍技术手段。

发明内容

本发明的目的在于提供一种基于无人机的违法占用应急车道检测方法，能够实现全路段、实时高效、精确、无障碍抓拍出现在应急车道内的车辆。

本发明的技术方案为：

一种基于无人机的违法占用应急车道检测方法，包括以下步骤：

(1)放出无人机，同时记录下无人机起飞时的GPS位置；

(2)无人机爬升到一定高度，无人机上的摄像机抓拍高速公路图像，定位道路右边缘直线位置；

(3)判断是否定位到道路右边缘直线位置，若是，则进入步骤(4)，若否，则表示无人机无法找到高速公路路面，跳转至步骤(13)；

(4)基于获得的道路右边缘直线的倾斜角度和其在图像中的位置，调整无人机方位，使得道路右边缘直线平行于图像的垂直方向，控制无人机沿着当前高度垂直下降到能够抓拍到车牌字符的高度，微调摄像机的拍摄角度以及无人机的左右位置，使得道路右边缘直线位于图像宽度的某一固定位置处；

(5)获得应急车道在图像上的宽度范围，再根据道路右边缘直线在图像宽度上的固定位置，确定图像上的应急车道区域位置；

(6)采用车牌分类器，在应急车道区域内进行车牌检测；

(7)判断是否检测到车牌，若是，则记录车牌中心点坐标，进入步骤(8)，若否，则跳转至步骤(11)；

(8)进行车牌字符识别；

(9)存储车牌字符信息和相应的车辆原始视频图像；

(10)根据记录的若干个车牌的中心点坐标位置，修正无人机的飞行角度；

(11)控制无人机沿着最新修正的飞行方向，向前飞行一个车位的距离；

(12)判断无人机是否飞行到指定距离，若是，则进入步骤(13)，若否，则返回步骤(6)；

(13)控制无人机返回到起飞时记录的GPS位置处，收回无人机。

所述的基于无人机的违法占用应急车道检测方法，步骤(2)中，所述定位道路右边缘直线位置，具体包括以下步骤：

a、无人机上的摄像机在当前角度下拍摄高速公路图像；

b、对拍摄的高速公路图像的灰度图像进行处理，获取道路垂直边缘图像；

c、获取道路二值垂直边缘图像；

d、基于Hough变换理论获取道路二值垂直边缘图像中所有的边缘线段；

e、依据线段之间的倾斜角度差值和最大间隔距离，将属于同一条边缘直线的线段进行合并；

f、去除干扰边缘直线；

g、统计保留下来的边缘直线的数目，判断是否小于2，若是，则不存在道路边缘直线，进入步骤h，若否，则将位于最右侧的边缘直线作为道路边缘直线，记录其倾斜角度及其在图像中的位置；

h、控制摄像机按照一定的角度进行旋转；

i、判断摄像机的累计旋转角度是否小于360度，若是，则返回步骤a，若否，则结束。

所述的基于无人机的违法占用应急车道检测方法，步骤(5)中，所述获得应急车道在图像上的宽度范围，具体通过以下公式实现：

$\frac{H}{f}=\frac{W}{w}$

其中，H表示无人机的高度，f表示无人机上的摄像机的焦距，W表示应急车道的标准宽度，w表示应急车道在图像上的宽度。

所述的基于无人机的违法占用应急车道检测方法，步骤(10)中，所述根据记录的若干个车牌的中心点坐标位置，修正无人机的飞行角度，具体包括以下步骤：

a、根据以下最小二乘法拟合直线原理公式，获取车牌中心点直线的倾斜角度：

$\mathrm{\α}=\arctan \left(\frac{{\mathrm{N\Σx}}_i{y}_i-{\mathrm{\Σx}}_i{\mathrm{\Σy}}_i}{{{\mathrm{N\Σx}}_i}^2-{\left({\mathrm{\Σx}}_i\right)}^2}\right)$

其中，α表示车牌中心点直线的倾斜角度，(x_i，y_i)表示车牌中心点坐标，N表示车牌中心点个数；

b、当所述倾斜角度与图像垂直方向的夹角超过10度时，则将无人机的飞行方向朝着应急车道的内侧或外侧修正5度。

所述的基于无人机的违法占用应急车道检测方法，步骤b中，所述对拍摄的高速公路图像的灰度图像进行处理，获取道路垂直边缘图像，具体基于以下边缘检测卷积模板公式实现：

$K=\left[\begin{array}{ccccc}0& 1& 0& -1& 0\\ 1& 2& 0& -2& -1\\ 2& 4& 0& -4& -2\\ 1& 2& 0& -2& -1\\ 0& 1& 0& -1& 0\end{array}\right]$

其中，K表示边缘检测卷积模板。

所述的基于无人机的违法占用应急车道检测方法，步骤c中，所述获取道路二值垂直边缘图像，具体基于以下局部二值化算法公式实现：

$g(x,y)=\left\{\begin{array}{cc}255& f(x,y)\&GreaterEqual;T\\ 0& f(x,y)<T\end{array}\right.$

$T=\frac{1}{M*N}\underset{m=1}{\overset{M}{\mathrm{\&Sigma;}}}\underset{n=1}{\overset{N}{\mathrm{\&Sigma;}}}f(x_m,y_n)+F$

其中，g(x，y)表示道路二值垂直边缘图像中像素(x，y)处的灰度值，f(x，y)表示道路垂直边缘图像中像素(x，y)处的灰度值，f(x_m，y_n)表示以道路垂直边缘图像中像素(x，y)为中心的M*N邻域内像素(x_m，y_n)处的灰度值，M、N分别表示邻域的宽度和高度，F表示均值偏移量。

所述的基于无人机的违法占用应急车道检测方法，步骤e中，所述线段之间的最大间隔距离，具体通过以下公式获得：

$\left\{\begin{array}{c}\max dis=\max \{dis\left(0\right),dis\left(1\right),dis\left(2\right)\}\\ dis\left(i\right)=\frac{\left|xi*k-yi+b\right|}{\sqrt{1+k^2}}\end{array}\right.$

其中，k表示第一个线段的斜率，b表示第一个线段的截距，max{}函数表示选择所有元素的最大值，dis(0)表示第二个线段的上部端点到第一个线段的距离，dis(1)表示第二个线段的中点到第一个线段的距离，dis(2)表示第二个线段的下部端点到第一个线段的距离，(x_i，y_i)表示坐标值，maxdis表示两个线段之间的最大间隔距离。

本发明的有益效果为：

由上述技术方案可知，本发明实现了无人机的自动飞行控制，可以无视任何交通障碍，通过视频图像分析技术，实时精确定位应急车道区域，自动抓拍出现在应急车道区域内的车辆，本发明具有全路段抓拍、抓拍实时高效、抓拍精确、无障碍等特点。

附图说明

图1是本发明的方法流程图；

图2是定位道路的右边缘位置流程图；

图3是高速公路航拍图像的灰度图；

图4是高速公路边缘直线检测效果图。

具体实施方式

下面结合附图和具体实施例进一步说明本发明。

本发明针对的是高速公路应急车道，其车道线符合国家的规范制式标准，且车道线区域和路面区域的亮度差别较大。

如图1所示，一种基于无人机的违法占用应急车道检测方法，包括以下顺序的步骤：

S1、放出无人机，主要是负责抓拍的民警调试好无人机的相关参数，放飞无人机，同时记录下起飞时的GPS位置，当无人机起飞稳定后，自动爬升到一定高度；

S2、定位道路的右边缘位置，如图3所示，根据在一定高度的航拍图像上，高速公路的路面会变成较窄的带状，与路边的草木丛存在明显的分界线。因此，本发明依据高速公路航拍图的特征，基于边缘直线检测特征，自动定位出道路的右边缘，如图2所示，具体包括以下步骤：

S21、无人机摄像机在当前角度下拍摄高速公路图像；

S22、获取道路垂直边缘图像，根据设计要求，道路边缘直线应该平行于图像的垂直方向，因此，本发明基于边缘检测卷积模板公式(1)对拍摄的高速公路图像的灰度图像进行处理，获取道路垂直边缘图像，完成道路垂直边缘检测：

$K=\left[\begin{array}{ccccc}0& 1& 0& -1& 0\\ 1& 2& 0& -2& -1\\ 2& 4& 0& -4& -2\\ 1& 2& 0& -2& -1\\ 0& 1& 0& -1& 0\end{array}\right]---\left(1\right)$

其中，K表示边缘检测卷积模板。

S23、获取道路二值垂直边缘图像，基于局部二值化算法公式(2)、公式(3)，完成道路垂直边缘图像的二值化：

$g(x,y)=\left\{\begin{array}{cc}255& f(x,y)\&GreaterEqual;T\\ 0& f(x,y)<T\end{array}\right.---\left(2\right)$

$T=\frac{1}{M*N}\underset{m=1}{\overset{M}{\mathrm{\&Sigma;}}}\underset{n=1}{\overset{N}{\mathrm{\&Sigma;}}}f(x_m,y_n)+F---\left(3\right)$

其中，g(x，y)是道路二值垂直边缘图像中像素(x，y)处的灰度值，f(x，y)是道路垂直边缘图像中像素(x，y)处的灰度值，f(x_m，y_n)是以道路垂直边缘图像中像素(x，y)为中心的M*N邻域内像素(x_m，y_n)处的灰度值，M、N分别是邻域的宽度和高度，F是均值偏移量。

S24、检测边缘直线，主要是基于Hough变换理论获取道路二值垂直边缘图像中所有的边缘直线。

S25、合并边缘直线，由于Hough变换获取的直线均是线段，可能存在一条边缘直线被检测为多个线段，因此，需要对线段进行合并，获取完整的直线。具体方法是对于不同的两个线段，依据二者的倾斜角度差值和最大间隔距离联合判断是否属于同一条直线，其中，最大间隔距离是基于公式(4)完成，将属于同一条直线的线段进行合并：

$\left\{\begin{array}{c}\max dis=\max \{dis\left(0\right),dis\left(1\right),dis\left(2\right)\}\\ dis\left(i\right)=\frac{\left|xi*k-yi+b\right|}{\sqrt{1+k^2}}\end{array}\right.---\left(4\right)$

其中，k表示第一个线段的斜率，b表示第一个线段的截距，max{}函数表示选择所有元素的最大值，dis(0)表示第二个线段的上部端点到第一个线段的距离，dis(1)表示第二个线段的中点到第一个线段的距离，dis(2)表示第二个线段的下部端点到第一个线段的距离。

S26、去除干扰直线，主要是去除长度较短的直线、倾斜角度与90度相差较大的直线，效果如图4所示。

S27、判断是否存在道路边缘直线，首先统计保留下来的边缘直线的数目，如果数目小于2，说明当前航拍图像拍摄角度偏离较大，不存在道路边缘直线，进入步骤S28，如果数目大于或等于2，说明当前航拍图像拍摄角度在允许范围之内，存在道路边缘直线，记录下最右侧道路边缘直线的倾斜角度及其在图像中的位置，退出当前步骤。

S28、旋转无人机摄像机，主要是按照一定的固定角度，对无人机摄像机进行旋转；

S29、判断无人机摄像机状态是否有效，如果累计旋转角度大于360度，说明当前无人机摄像机已经旋转了一周，无需继续重复旋转，退出当前步骤，如果累计旋转角度小于360度，说明当前无人机摄像机属于正常的旋转角度范围，继续执行步骤S21至步骤S29。

S3、判断是否定位到道路的右边缘位置，如果成功定位，进入步骤S4，如果没有定位到道路的右边缘位置，说明当前无人机位置无法找到高速公路路面，进入步骤S13；

S4、调整无人机方位，主要是基于步骤S2中获得的道路右边缘直线的倾斜角度和其在图像中的位置，对无人机进行方位调整，使得道路右边缘直线平行于图像的垂直方向，然后，沿着当前位置垂直下降到一定高度，该高度以能看清车牌字符为准，最后，微调无人机摄像机的拍摄角度以及无人机的左右位置，使得道路右边缘直线位于图像宽度的3/4位置处。

S5、选择应急车道区域，由于无人机的高度和无人机摄像机的焦距是已知的，同时应急车道的宽度也是有固定标准的，因此，基于摄像机的成像原理公式(5)，可以获得应急车道在图像上的宽度范围，进而确定应急车道区域位置：

$\frac{H}{f}=\frac{W}{w}---\left(5\right)$

其中，H表示无人机的高度，f表示无人机摄像机的焦距，W表示应急车道的标准宽度，w表示应急车道在图像上的宽度。

S6、检测车辆位置，主要是在应急车道区域内，检测是否存在车辆，而车牌是车辆的唯一标识，因此，本发明采用车牌分类器，在应急车道区域内进行车牌检测，进而确定有无车辆出现，其中，车牌分类器是基于harr特征和adaboost理论训练得到的。

S7、判断是否成功检测到车辆位置，如果成功检测到车辆位置，记录当前车牌中心点坐标，进入步骤S8，如果没有检测到车辆位置，进入步骤S11。

S8、车牌字符识别。

S9、存储车辆信息，主要是车牌字符信息和车辆原始视频图像，或者远程传输车辆信息。

S10、修正无人机的飞行角度，根据记录的若干个车牌中心点坐标位置，基于最小二乘法拟合直线原理公式(6)，获取车牌中心点直线的倾斜角度，如果该倾斜角度与图像垂直方向的夹角超过10度，则无人机的飞行方向需要向应急车道内侧或外侧修正5度：

$\mathrm{\&alpha;}=\arctan \left(\frac{{\mathrm{N\&Sigma;x}}_i{y}_i-{\mathrm{\&Sigma;x}}_i{\mathrm{\&Sigma;y}}_i}{{{\mathrm{N\&Sigma;x}}_i}^2-{\left({\mathrm{\&Sigma;x}}_i\right)}^2}\right)---\left(6\right)$

其中，α表示车牌中心点直线的倾斜角度，(x_i，y_i)表示车牌中心点坐标，N表示车牌中心点个数。

S11、无人机自动前行，主要是沿着最新修正的飞行方向，向前飞行一个车位的距离，该距离基于现实环境中典型车位的长度来确定。

S12、判断无人机是否飞行到指定距离，如果没有飞行到，继续执行步骤S6，如果已经飞行到，执行步骤S13。

S13、收回无人机，主要是无人机到达指定距离后或者无法找到高速公路路面时，自动返回到起飞时记录的GPS位置处，由工作民警予以收回。

以上所述实施方式仅仅是对本发明的优选实施方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案作出的各种变形和改进，均应落入本发明的权利要求书确定的保护范围内。

Claims (7)

1.一种基于无人机的违法占用应急车道检测方法，其特征在于，包括以下步骤：

(1)放出无人机，同时记录下无人机起飞时的GPS位置；

(2)无人机爬升到一定高度，无人机上的摄像机抓拍高速公路图像，定位道路右边缘直线位置；

(3)判断是否定位到道路右边缘直线位置，若是，则进入步骤(4)，若否，则表示无人机无法找到高速公路路面，跳转至步骤(13)；

(4)基于获得的道路右边缘直线的倾斜角度和其在图像中的位置，调整无人机方位，使得道路右边缘直线平行于图像的垂直方向，控制无人机沿着当前高度垂直下降到能够抓拍到车牌字符的高度，微调摄像机的拍摄角度以及无人机的左右位置，使得道路右边缘直线位于图像宽度的某一固定位置处；

(5)获得应急车道在图像上的宽度范围，再根据道路右边缘直线在图像宽度上的固定位置，确定图像上的应急车道区域位置；

(6)采用车牌分类器，在应急车道区域内进行车牌检测；

(7)判断是否检测到车牌，若是，则记录车牌中心点坐标，进入步骤(8)，若否，则跳转至步骤(11)；

(8)进行车牌字符识别；

(9)存储车牌字符信息和相应的车辆原始视频图像；

(10)根据记录的若干个车牌的中心点坐标位置，修正无人机的飞行角度；

(11)控制无人机沿着最新修正的飞行方向，向前飞行一个车位的距离；

(12)判断无人机是否飞行到指定距离，若是，则进入步骤(13)，若否，则返回步骤(6)；

(13)控制无人机返回到起飞时记录的GPS位置处，收回无人机。

2.根据权利要求1所述的基于无人机的违法占用应急车道检测方法，其特征在于，步骤(2)中，所述定位道路右边缘直线位置，具体包括以下步骤：

a、无人机上的摄像机在当前角度下拍摄高速公路图像；

b、对拍摄的高速公路图像的灰度图像进行处理，获取道路垂直边缘图像；

c、获取道路二值垂直边缘图像；

d、基于Hough变换理论获取道路二值垂直边缘图像中所有的边缘线段；

e、依据线段之间的倾斜角度差值和最大间隔距离，将属于同一条边缘直线的线段进行合并；

f、去除干扰边缘直线；

g、统计保留下来的边缘直线的数目，判断是否小于2，若是，则不存在道路边缘直线，进入步骤h，若否，则将位于最右侧的边缘直线作为道路边缘直线，记录其倾斜角度及其在图像中的位置；

h、控制摄像机按照一定的角度进行旋转；

i、判断摄像机的累计旋转角度是否小于360度，若是，则返回步骤a，若否，则结束。

3.根据权利要求1所述的基于无人机的违法占用应急车道检测方法，其特征在于，步骤(5)中，所述获得应急车道在图像上的宽度范围，具体通过以下公式实现：

$\frac{H}{f}=\frac{W}{w}$

其中，H表示无人机的高度，f表示无人机上的摄像机的焦距，W表示应急车道的标准宽度，w表示应急车道在图像上的宽度。

4.根据权利要求1所述的基于无人机的违法占用应急车道检测方法，其特征在于，步骤(10)中，所述根据记录的若干个车牌的中心点坐标位置，修正无人机的飞行角度，具体包括以下步骤：

a、根据以下最小二乘法拟合直线原理公式，获取车牌中心点直线的倾斜角度：

$\mathrm{\&alpha;}=\arctan \left(\frac{{\mathrm{N\&Sigma;x}}_i{y}_i-{\mathrm{\&Sigma;x}}_i{\mathrm{\&Sigma;y}}_i}{{{\mathrm{N\&Sigma;x}}_i}^2-{\left({\mathrm{\&Sigma;x}}_i\right)}^2}\right)$

其中，α表示车牌中心点直线的倾斜角度，(x_i，y_i)表示车牌中心点坐标，N表示车牌中心点个数；

b、当所述倾斜角度与图像垂直方向的夹角超过10度时，则将无人机的飞行方向朝着应急车道的内侧或外侧修正5度。

5.根据权利要求2所述的基于无人机的违法占用应急车道检测方法，其特征在于，步骤b中，所述对拍摄的高速公路图像的灰度图像进行处理，获取道路垂直边缘图像，具体基于以下边缘检测卷积模板公式实现：

$K=\left[\begin{array}{ccccc}0& 1& 0& -1& 0\\ 1& 2& 0& -2& -1\\ 2& 4& 0& -4& -2\\ 1& 2& 0& -2& -1\\ 0& 1& 0& -1& 0\end{array}\right]$

其中，K表示边缘检测卷积模板。

6.根据权利要求2所述的基于无人机的违法占用应急车道检测方法，其特征在于，步骤c中，所述获取道路二值垂直边缘图像，具体基于以下局部二值化算法公式实现：

$g(x,y)=\left\{\begin{array}{cc}255& f(x,y)\&GreaterEqual;T\\ 0& f(x,y)<T\end{array}\right.$

$T=\frac{1}{M*N}\underset{m=1}{\overset{M}{\&Sigma;}}\underset{n=1}{\overset{N}{\&Sigma;}}f(x_m,y_n)+F$

其中，g(x，y)表示道路二值垂直边缘图像中像素(x，y)处的灰度值，f(x，y)表示道路垂直边缘图像中像素(x，y)处的灰度值，f(x_m，y_n)表示以道路垂直边缘图像中像素(x，y)为中心的M*N邻域内像素(x_m，y_n）处的灰度值，M、N分别表示淋域的宽度和高度，F表示均值偏移量。

7.根据权利要求2所述的基于无人机的违法占用应急车道检测方法，其特征在于，步骤e中，所述线段之间的最大间隔距离，具体通过以下公式获得：

$\left\{\begin{array}{c}\max dis=\max \{dis\left(0\right),dis\left(1\right),dis\left(2\right)\}\\ dis\left(i\right)=\frac{|xi*k-yi+b|}{\sqrt{1+k^2}}\end{array}\right.$

其中，k表示第一个线段的斜率，b表示第一个线段的截距，max{}函数表示选择所有元素的最大值，dis(0)表示第二个线段的上部端点到第一个线段的距离，dis(1)表示第二个线段的中点到第一个线段的距离，dis(2)表示第二个线段的下部端点到第一个线段的距离，(x_i，y_i)表示坐标值，maxdid表示两个线段之间的最大间隔距离。