CN110532896A - 一种基于路侧毫米波雷达和机器视觉融合的道路车辆检测方法 - Google Patents

Abstract

本发明公开了一种基于路侧毫米波雷达和机器视觉融合的道路车辆检测方法，属于智能交通车路协同领域。首先将毫米波雷达和视觉传感器组成的融合设备进行标定获取投影矩阵。视觉传感器采集图像信息,输出目标车辆中心点的像素坐标和目标车辆的类别；毫米波雷达将采集的数据进行筛选和过滤。然后将毫米波雷达检测目标通过投影矩阵转换到视觉传感器所在的图像坐标系中,并与图像检测目标进行观测值匹配，匹配成功后将两个目标车辆的信息进行检测融合。最后根据图像亮度中值的变化判断实际环境的光线状况并切换不同目标输出策略。获取目标车辆全局行驶状态信息，并进一步提取交通流参数信息。本发明减少车载端数据处理量，检测精度更高。

Description

一种基于路侧毫米波雷达和机器视觉融合的道路车辆检测 方法

技术领域

本发明属于智能交通车路协同领域，适用于获取各种道路状况下的交通流信息及全局环境感知信息，具体涉及一种基于路侧毫米波雷达和机器视觉融合的道路车辆检测方法。

背景技术

随着汽车保有量的迅猛增长，城市交通问题日益凸显，而传统的交通管理***已经难以满足现代化的运输需求，因此，越来越多的智能交通控制***被应用在城市交通管理中。

交通信息采集技术能够提供基础数据，获取精确、全天候的交通流参数是了解城市交通运行状况、解决城市交通问题的基础和关键。除此之外随着智能网联车的发展，如何提高智能网联车环境感知能力成为研究的热点和难点。

现在的研究大部分集中在：通过车载端的多传感器融合来提高智能网联车的环境感知能力，但由于车载传感器安装高度的限制以及车辆行驶过程中出现颠簸或者在坡道行驶时，对传感器的识别精度以及识别范围具有很大的影响，路侧交通信息采集装置则可以弥补这一空白，从整体路网角度为智能网联车提供更加丰富的感知信息，并且由于传感器价格较高，通过路侧信息采集装置向智能网联车提供感知信息可以有效降低智能网联车成本。

现有的交通信息采集方法主要依赖单一的传感器，但在实际的车辆检测中单一传感器都存在各自的局限性，很难满足全天候、高精度的交通信息采集要求，因此研究重点转向了基于多传感器融合的车辆检测技术。多传感器融合是指按照一定的算法将多个传感器在时间空间上融合，从而完成对目标某些特征的检测，多传感器融合可以更好的解决单一传感器在信息获取时存在冗余和错误的情况，提高***的鲁棒性和精确性。

目前常见的传感器中，毫米波雷达和视觉传感器已经成为国内外车辆检测领域研究的重点，但主要还是集中应用在车载端。如Chavez-Garcia等利用HOG和Boosting分类器进行车辆检测，但是这些方式需要人工提取特征，所以检测的精度很大程度上依赖于训练样本特征的提取质量，并且很容易出现过拟合现象。又如Tao Wang等采用三级融合策略完成毫米波雷达和视觉传感器融合，包括点对齐、区域搜索和目标检测识别，这种方法加速了视觉信息处理进程，有效减少了误检。文献1：专利CN109212521A提出了一种基于车载毫米波雷达和视频融合的车辆跟踪算法，弥补了单个传感器漏检、误检的情况，利用冗余信息的增加提高了车辆的行车安全性。文献2：专利CN106951879A提出了一种基于摄像头与毫米波雷达的多特征融合车辆检测方法，该方法先通过毫米波雷达检测结果在图像建立感兴趣区域，然后在感兴趣区域利用车辆水平直线特征、车辆底部阴影特征和灰度熵特征进行车辆特征识别。

以上融合***主要用于车载端环境感知***，针对路侧的交通信息采集装置则主要集中在单一视觉传感器和毫米波雷达，已经很难满足高精度、全天候的应用场景。毫米波雷达可以穿透烟雾等，在夜间以及极端天气下检测几乎不受影响，但是获取的目标信息较少。与毫米波雷达传感器相比，视觉传感器成本较低，技术相对成熟，采集的信息更加丰富，但是易受光线等环境的影响，在夜间以及雨雪雾天气基本失效。因此毫米波雷达和机器视觉融合可以实现优势互补，提高***的环境适应能力以及检测***的鲁棒性和准确性。

发明内容

为了获取全天候、更加精确、更加丰富的交通流信息以及为智能网联车提供全局环境感知信息，本发明提供了一种基于路侧毫米波雷达和机器视觉融合的道路车辆检测方法，具有准确率高、鲁棒性强等优点。

具体包括以下步骤：

步骤一、将毫米波雷达和视觉传感器作为一套融合设备，安装在路侧龙门架、路灯及其他杆状设施的位置进行标定；

每两套融合设备之间的间隔距离根据环境人为设定。

步骤二、视觉传感器采集图像信息，并将图像划分为测试样本和训练样本，对样本中的车辆类别和位置信息进行标注，对标注后的数据进行训练获得SSD模型，利用检测模型对路侧视频流进行检测，输出目标车辆中心点的像素坐标、目标车辆的类别和车牌信息。

类别为汽车、公交车、卡车、货车、自行车、摩托车以及行人等，

步骤三、同时，毫米波雷达采集目标车辆的相关信息，筛选和过滤空信号和无效信号，同时利用卡尔曼滤波算法消除干扰和噪声。

当毫米波雷达检测到目标车辆时反馈目标车辆的数据，每帧数据包含若干目标车辆的信息，每个目标车辆的信息包括目标车辆的ID，目标车辆相对于毫米波雷达的纵向距离和横向距离，目标车辆相对于毫米波雷达的速度，目标车辆的移动标记movingflag，目标车辆的跟踪标记newflag，两个标记的取值均为0和1。

步骤四、将毫米波雷达检测得到的横纵向距离通过投影变换转换为图像坐标系中的图像像素坐标，在同一坐标系下实现毫米波雷达和视觉传感器空间统一；针对不同传感器采样帧率不同的问题，采用以速度慢的传感器为基准向下兼容的原则，实现毫米波雷达和视觉传感器的时间统一；

坐标转换通过标定矩阵完成，标定矩阵公式如下：

其中，(u,v)为目标车辆在图像坐标系下的坐标，dx和dy表示一个像素单位的物理长度，u₀表示图像的主点与像素坐标系原点之间相差的横向像素数，v₀表示图像的主点与像素坐标系原点之间相差的纵向像素数。f表示视觉传感器的焦距，R表示旋转矩阵，t表示平移矩阵，z_c为图像坐标系的坐标，(X_w,Y_w,Z_w)为世界坐标系的坐标。

步骤五、针对同一时刻，将转换后的毫米波雷达检测目标车辆相关信息与视觉传感器得到的原始目标车辆信息进行观测值匹配，判断是否匹配成功，如果匹配成功，将两个目标车辆的信息进行检测融合；否则，分别将两个目标车辆的信息输入到目标序列库进行存储。

首先，在同一个坐标系的同一时刻下，计算每一帧转换的目标车辆与原始的图像目标车辆之间的欧氏距离。

然后，判断欧式距离是否小于阈值，如果是，采用最近邻算法进行观测值匹配，将与转换后的毫米波雷达检测目标相距最近的原始图像目标作为匹配目标。否则，将未成功匹配的目标车辆输入到目标序列中等待下一步处理。

具体融合过程如下：

首先，设毫米波雷达和视觉传感器的决策值u_i为二元值，定义为：

根据毫米波雷达和视觉传感器的决策结果u_i，i＝1,2做出最后判决：

将目标车辆相对于毫米波雷达的横纵向距离信息、坐标转换后得到的像素坐标、速度信息和跟踪标记，与视觉传感器输出的像素坐标和类别信息融合，并将图像检测得到的车牌信息替换毫米波雷达获取的ID。其中经过试验验证，毫米波雷达在目标检测结果中对于横向测距精度较差，纵向测距精度较高，图像检测则与之相反，因此采用将两者测距结果加权平均后的位置信息作为最终融合检测结果，将融合后的位置信息输入到GPS坐标转换模型中得到目标车辆的GPS坐标信息。

步骤六、根据图像亮度中值的变化判断实际环境的光线状况，如果光线良好，则将匹配成功目标与未匹配成功目标输出；否则，输出匹配成功目标，对于匹配不成功的目标车辆，再次进行判断并结束；

再次判断具体过程为：

如果毫米波雷达转换后的目标车辆未匹配成功，则将该目标车辆的信息输入到目标序列库并输出；

如果是视觉传感器的原始目标车辆未匹配成功，则将该目标车辆的信息进行删除。

步骤七、针对输出目标，结合该目标车辆的车牌信息或ID对车辆实现全局跟踪，获取车辆的行驶状态信息，并进一步提取交通流信息。

本发明的优点在于：

(1)一种基于路侧毫米波雷达和机器视觉融合的道路车辆检测方法，将毫米波雷达和机器视觉融合应用在路侧车辆检测领域，相比于传统的微波检测雷达，能够有效区分各种类型车辆及非机动车从而获取更加精确的分类结果，将融合位置信息作为目标的位置信息，提高了对目标横向测距的精度，并且价格更加低廉。相比于视频检测器，融合检测***能够获得目标车辆精确的行驶速度信息，在雨雪夜晚等环境较差的情况依然能够完成交通流检测的功能，解决了视觉传感器抗环境干扰能力较差的问题，提高了路侧检测装置的环境适应能力和准确性。

(2)一种基于路侧毫米波雷达和机器视觉融合的道路车辆检测方法，采用路侧的毫米波雷达和机器视觉融合的方法除了获取传统的交通信息外，利用融合位置信息可以得到检测目标的高精度GPS坐标信息。

(3)一种基于路侧毫米波雷达和机器视觉融合的道路车辆检测方法，利用光线评估模块，实现在不同光照条件下检测方式的切换，提高了感知***的自适应能力。

(4)一种基于路侧毫米波雷达和机器视觉融合的道路车辆检测方法，在融合过程中的图像处理部分采用了深度学习算法，相比于传统图像处理，实时性更好，检测精度更高。

(5)一种基于路侧毫米波雷达和机器视觉融合的道路车辆检测方法，相对于车载端数据融合，利用路侧端的感知***可以解放部分车载端感知***计算能力，为行驶车辆提供更加精确和全面的环境信息。

附图说明

图1为本发明一种基于路侧毫米波雷达和机器视觉融合的道路车辆检测方法的原理框架示意图；

图2为本发明一种基于路侧毫米波雷达和机器视觉融合的道路车辆检测方法的流程图；

图3为本发明一种基于路侧毫米波雷达和机器视觉融合的道路车辆检测方法传感器安装示意图；

图4为本发明一种基于路侧毫米波雷达和机器视觉融合的道路车辆检测方法的时间融合示意图；

图5为本发明一种基于路侧毫米波雷达和机器视觉融合的道路车辆检测方法在良好光线条件下的检测流程图；

图6为本发明一种基于路侧毫米波雷达和机器视觉融合的道路车辆检测方法在光线较差条件下的检测流程图。

具体实施方式

下面结合实施例和附图，对本发明的实施方式做详细、清楚的描述。

本发明提出一种基于路侧毫米波雷达和机器视觉融合的道路车辆检测方法，包括基于机器视觉的车辆检测，基于毫米波雷达的车辆信息获取和处理，基于毫米波雷达和机器视觉融合的道路车辆检测，以及光线评估；

(1)基于机器视觉的车辆检测是指：视觉传感器安装标定后采集图像信息，对部分图像进行标注以及SSD模型的训练，利用训练好的SSD模型进行检测，并输出目标信息如：目标中心点的像素坐标和目标类型等信息。

(2)基于毫米波雷达的车辆信息获取和处理是指：毫米波雷达安装标定后采集信息，对毫米波雷达目标进行筛选和过滤，保留运动目标，并利用卡尔曼滤波对毫米波雷达信息进行处理，然后输出目标的速度，跟踪标记以及相对毫米波雷达的横纵向距离。

(3)光线评估是指：利用图像亮度中值的变化情况来判断实际环境的光线状况，并将此作为检测方法切换的依据，光线良好的条件下采用毫米波雷达和机器视觉融合的道路车辆检测方法，光线较差时采用以毫米波雷达为主的检测方法。

(4)基于毫米波雷达和机器视觉融合的道路车辆检测是指：将毫米波雷达目标通过投影变换转换到图像坐标系中，使得两种传感器的检测信息统一到同一坐标系下。然后将毫米波雷达目标信息与视觉目标信息进行观测值匹配，得到不同传感器对于同一目标的检测信息，将同一目标的检测信息利用融合算法进行检测融合处理，最终输出融合目标信息。

原理框架如图1所示，视觉传感器与毫米波雷达各自获取信息后进行信息预处理，对于雷达信息过滤空信号、无效信号后保留运动目标信息，利用卡尔曼滤波获得运动状态的最优估计。对于图像信息，利用训练好的模型，采用SSD算法进行目标检测，并输出目标的中心点坐标和类别信息。将毫米波雷达坐标输入到搭建好的时空融合模型中，实现雷达和视觉传感器的时空统一，然后计算同一时刻对应的毫米波雷达目标和图像目标的欧式距离，一旦小于阈值，采用最近邻算法进行观测值匹配，将转换后的毫米波雷达目标车辆与原始的图像目标车辆中相距最近的目标作为匹配目标。否则，将未成功匹配的目标车辆输入到目标序列中等待下一步处理，根据光线情况选择不同的目标输出方式，最终利用输出结果进行全局环境感知和交通流信息的获取。

如图2所示，具体步骤如下：

步骤一、将毫米波雷达和视觉传感器作为一套融合设备，安装在路侧龙门架、路灯及其他杆状设施的位置进行标定；

如图3所示，每两套融合设备之间的间隔距离根据环境人为设定。用于检测车辆、行人等移动目标，由于毫米波雷达和视觉传感器的检测范围限制，本实施例选取间隔100米布设一套融合设备(视觉传感器+毫米波雷达)的方案。

步骤二、视觉传感器采集图像信息，并将图像划分为测试样本和训练样本，对样本中的车辆类别和位置信息进行标注，将标注后的样本输入SSD算法，输出目标车辆中心点的像素坐标和目标车辆的类别。

本实施例中的摄像头要求最远探测距离大于50米，采集的图像大小为640*480。

首先，收集大量的正负样本数据进行目标的标注，具体区分汽车、公交车、卡车、货车、自行车、摩托车以及行人等，标注完成后利用标注文件及原始图片进行模型的训练，获取车辆检测所需模型以及相关的文件；本发明采用SSD算法对视频进行检测，输出目标的检测框中心点像素坐标(u，v)以及目标类型信息(type)。除此之外进行车辆的车牌信息检测，作为ID_new输出。

步骤三、同时，毫米波雷达采集目标车辆的相关信息，筛选和过滤空信号和无效信号，同时利用卡尔曼滤波消除干扰和噪声。

本方法采用的毫米波雷达要求最远探测距离达到100米，能同时探测多个目标车辆。当毫米波雷达检测到目标车辆时，会反馈目标车辆信息，但是接收的原始数据是一列数组，从中无法直接得到有效的目标车辆信息，因此需要根据协议进行解算。

毫米波雷达每帧数据包含多个目标的信息，每个目标的信息包括ID，纵向距离，横向距离，相对速度。其中ID是为每一个目标分配的，当毫米波雷达扫描到目标车辆时能对其进行跟踪，并且在跟踪过程中ID保持不变。在检测过程中一旦检测到一个新的目标车辆并开始跟踪时，Newflag输出为1，否则输出为0。同时会根据目标车辆的速度，分为静止目标和移动目标，移动目标车辆Movingflag标记输出1，静止目标车辆输出为0。

在检测过程中，由于存在各种电磁波的干扰，毫米波雷达返回的数据存在空信号，即毫米波雷达返回的数据为默认值。另外，由于车辆经过时引起的震动会导致毫米波雷达检测到一些无效信号，这些信号在检测过程中没有意义，在进行融合之前将毫米波雷达信息进行筛选，滤掉空目标和无效目标。

由于毫米波雷达受到震动以及其他环境的干扰，在观测数据中含有噪声和干扰的影响，这些噪声和干扰会导致雷达进行目标车辆的跟踪时出现一定的误差，为了获得运动目标最优状态预测值，可以使用卡尔曼滤波，利用动态目标信息来消除干扰和噪声的影响。

假设车辆目标的***状态是k，根据***的模型，可以基于***的上一周期的状态而预测出本周期的状态：

X(k|k-1)＝AX(k-1|k-1)+BU(k)

上式中，A和B为***参数矩阵，X(k|k-1)是利用上一周期状态预测的结果，X(k-1|k-1)是k-1状态最优估计的结果，U(k)为控制量，若没有控制输入，可以设U(k)为0。

借助协方差矩阵P表示***中每一个时刻的不确定性，另外由于预测模型本身并不是绝对准确，所以引入协方差矩阵Q来预测模型本身的噪声。

P(k|k-1)＝AP(k-1|k-1)A'+Q

上式中P(k|k-1)是X(k|k-1)对应的协方差，A'表示A的转置矩阵，Q是***过程的协方差。另外还需要对观测值进行预测：

Z(k)＝HX(k)

其中H为观测矩阵。通过上式实现对***的预测，当得到本周期状态的预测值后，可以得到状态k的最优化估计值X(k|k):

X(k|k)＝X(k|k-1)+Kg(k)[Z(k)-HX(k|k-1)]

其中Kg为卡尔曼滤波增益：

Kg(k)＝P(k|k-1)H'/(HP(k|k-1)H'+R)

R表示观测过程中不确定性的协方差矩阵。通过上式可以得到状态k下最优的估计值X(k|k)。但为了使滤波器能够持续进行直到结束，k状态下X(k|k)的协方差需要持续更新：

P(k|k)＝(I-K_g(k)H)P(k|k-1)

步骤四、将毫米波雷达检测得到的横纵向距离通过投影变换转换为视觉传感器所在的图像坐标系中的图像像素坐标，实现毫米波雷达和视觉传感器空间统一。

由于要将雷达检测结果与视觉传感器检测结果进行融合，首先需要进行传感器间的空间联合标定。在固定好视觉传感器雷达位置后，进行空间联合标定所得到的矩阵为：

其中，(u,v)为目标车辆在图像坐标系下的坐标，dx和dy表示一个像素单位的物理长度，u₀表示图像的主点与像素坐标系原点之间相差的横向像素数，v₀表示图像的主点与像素坐标系原点之间相差的纵向像素数。f表示视觉传感器的焦距，R表示旋转矩阵，t表示平移矩阵，z_c为图像坐标系的坐标，(X_w,Y_w,Z_w)为世界坐标系的坐标。

通过标定矩阵将雷达坐标转换成图像坐标完成空间统一。

不同传感器的数据帧率一般不同，考虑雷达获取数据频率一般低于机器视觉信息处理频率，采用以雷达数据为基准向下兼容进行时间统一，具体过程如图4所示。

步骤五、针对同一时刻，将转换后的目标车辆相关信息与视觉传感器得到的原始目标车辆信息进行观测值匹配，并判断是否匹配成功，如果是，将两个目标车辆的信息进行检测融合；否则，分别将两个目标车辆的信息输入到目标序列库进行存储。

首先，在同一个坐标系的同一时刻下，计算每一帧转换的目标车辆与原始的图像目标车辆之间的欧氏距离。

经过空间融合和时间融合已经能够确保毫米波雷达和视觉传感器检测的目标处于同一坐标系，并且能够保证每一帧毫米波雷达信息和视觉传感器的信息对应同一时刻，接下来就需要确定两种传感器探测的目标是否属于同一个目标，本文通过计算两种传感器的目标坐标的欧式距离来进行观测值的匹配。

欧式距离又称欧几里得度量，通常用来进行距离的度量，指空间中任意两点的实际距离。二维空间欧氏距离公式：

其中，ρ为点(x₁,y₁)与点(x₂,y₂)之间的欧氏距离。

然后，判断欧式距离是否小于阈值，如果是，采用最近邻算法进行观测值匹配，将转换的目标车辆与原始的图像目标车辆中欧式距离相距最近的序列作为匹配目标。否则，将未成功匹配的目标车辆输入到目标序列中等待下一步处理。

毫米波雷达能够提供目标的横纵向距离、速度等信息，毫米波雷达信息的横纵向距离经过投影矩阵，转换为图像像素坐标。图像经过检测之后能够输出目标的像素坐标信息和类别信息，通过计算每一帧毫米波雷达目标与对应图像目标的欧氏距离，一旦小于一定阈值，采用最近邻算法进行观测值匹配，将欧式距离最近的毫米波雷达检测目标和图像检测目标作为匹配目标，若没有匹配成功则将信息输入到目标序列中等待下一步处理。

经过观测值匹配后，已经得到两种传感器对于同一目标的检测结果，然后按照融合规则，将检测结果融合，来获得目标最终的判断。

本次研究属于二元假设检验问题：

首先，设毫米波雷达和视觉传感器的决策值u_i为二元值，定义为：

根据毫米波雷达和视觉传感器的决策结果u_i，i＝1,2做出最后判决：

将目标车辆相对于毫米波雷达的横纵向距离信息、坐标转换后得到的像素坐标、速度信息和跟踪标记；与视觉传感器输出的像素坐标和类别信息融合，并将车牌信息替换毫米波雷达获取的ID。其中经过试验验证，毫米波雷达在目标检测结果中对于横向测距精度较差，纵向测距精度较高，图像检测则与之相反，采用将两者测距结果加权平均后的位置信息作为最终融合检测结果，将融合后的位置信息输入到GPS坐标转换模型中得到目标车辆的GPS坐标信息。

步骤六、根据图像亮度中值的变化判断实际环境的光线状况，如果光线良好，则将匹配成功目标与未匹配成功目标输出；否则，输出匹配成功目标，对于匹配不成功的目标车辆，再次进行判断并结束；

再次判断具体过程为：

如果毫米波雷达转换后的目标车辆未匹配成功，则将该目标车辆的信息输入到目标序列库并输出；

如果是视觉传感器的原始目标车辆未匹配成功，则将该目标车辆的信息进行删除。

昼间光线良好的条件下，图像检测能够正常工作，将融合成功的目标和未匹配的目标序列包括毫米波雷达检测目标和视觉传感器检测目标共同进行分析及处理，如图5所示。采用融合***可以获得更加丰富、精确的信息，提高检测***的鲁棒性和准确性。

但是在夜间，光线较差的情况下，视觉传感器检测精度降低，图像检测基本失效，为了提高***检测的准确性，***在夜间切换为以毫米波雷达检测为主，将未匹配的目标序列中删除视觉传感器检测目标，结合融合目标作为输出结果，如图6所示。

本发明方法以图像亮度中值变化为依据，通过设置了光线评估模块检测环境亮度的变化来进行检测算法的切换，从而实现全天候的道路车辆检测。

步骤七、针对观测值匹配成功的目标车辆，结合该目标车辆的车牌信息对车辆实现全局跟踪，获取车辆的行驶状态信息。

将融合后的结果进行处理，按照目标坐标与车道线的关系区分车道，利用融合后的类别信息区分车辆类型，最后利用跟踪标记Newflag进行流量统计，检测到Newflag为1则相应类型车辆的流量增加1，从而完成计数，同时获得各车道的车速信息等交通流信息，同时结合车辆的车牌信息可以对车辆实现全局跟踪，获取车辆在不同传感器的行驶状态信息。

Claims (5)

1.一种基于路侧毫米波雷达和机器视觉融合的道路车辆检测方法，其特征在于，具体包括以下步骤：

步骤一、将毫米波雷达和视觉传感器作为一套融合设备，安装在路侧龙门架、路灯及其他杆状设施的位置进行标定；

步骤二、视觉传感器采集图像信息，并将图像划分为测试样本和训练样本，对样本中的车辆类别和位置信息进行标注，将标注后的样本输入SSD算法，输出目标车辆中心点的像素坐标和目标车辆的类别；

步骤三、同时，毫米波雷达采集目标车辆的相关信息，筛选和过滤空信号和无效信号，同时利用卡尔曼滤波消除干扰和噪声；

步骤四、将毫米波雷达检测得到的横纵向距离通过投影变换转换到视觉传感器所在的图像坐标系中转换为图像像素坐标，在同一坐标系下实现毫米波雷达和视觉传感器在时间和空间的统一；

坐标转换通过标定矩阵完成，标定矩阵公式如下：

其中，(u,v)为目标车辆在图像坐标系下的坐标，dx和dy表示一个像素单位的物理长度，u₀表示图像的主点与像素坐标系原点之间相差的横向像素数，v₀表示图像的主点与像素坐标系原点之间相差的纵向像素数；f表示视觉传感器的焦距，R表示旋转矩阵，t表示平移矩阵，z_c为图像坐标系的坐标，(X_w,Y_w,Z_w)为世界坐标系的坐标；

步骤五、针对同一时刻，将转换后的目标车辆相关信息与视觉传感器得到的原始目标车辆信息进行观测值匹配，并判断是否匹配成功，如果是，将两个目标车辆的信息进行检测融合；否则，分别将两个目标车辆的信息输入到目标序列库进行存储；

首先，在同一个坐标系的同一时刻下，计算每一帧转换的目标车辆与原始的图像目标车辆之间的欧氏距离；

然后，判断欧式距离是否小于阈值，如果是，采用最近邻算法进行观测值匹配，将转换的目标车辆与原始的图像目标车辆中欧式距离相距最近的序列作为匹配目标；否则，将未成功匹配的目标车辆输入到目标序列中等待下一步处理；

步骤六、根据图像亮度中值的变化判断实际环境的光线状况，如果光线良好，则按照观测值匹配结果进行处理；否则，将按照观测值匹配成功的结果进行处理，对于匹配不成功的目标车辆，再次进行判断并结束；

步骤七、针对观测值匹配成功的目标车辆，结合该目标车辆的车牌信息对车辆实现全局跟踪，获取车辆该目标车辆在不同传感器的行驶状态信息。

2.如权利要求1所述的一种基于路侧毫米波雷达和机器视觉融合的道路车辆检测方法，其特征在于，步骤二中所述的目标车辆的类别为汽车、公交车、卡车、货车、自行车、摩托车以及行人。

3.如权利要求1所述的一种基于路侧毫米波雷达和机器视觉融合的道路车辆检测方法，其特征在于，所述的步骤三具体为：

当毫米波雷达检测到目标车辆时反馈目标车辆的数据，每帧数据包含若干目标车辆的信息，每个目标车辆的信息包括目标车辆的ID，目标车辆相对于毫米波雷达的纵向距离和横向距离，目标车辆相对于毫米波雷达的速度，目标车辆的移动标记movingflag，新目标车辆的跟踪标记newflag，两个标记的取值均为0和1。

4.如权利要求1所述的一种基于路侧毫米波雷达和机器视觉融合的道路车辆检测方法，其特征在于，步骤五中所述的融合具体过程如下：

首先，设毫米波雷达和视觉传感器的决策值u_i为二元值，定义为：

根据毫米波雷达和视觉传感器的决策结果u_i，i＝1,2做出最后判决：

将目标车辆相对于毫米波雷达的横纵向距离信息、坐标转换后得到的像素坐标、速度信息和跟踪标记；与视觉传感器输出的像素坐标和类别信息融合，并将车牌信息替换毫米波雷达获取的ID；其中经过试验验证，毫米波雷达在目标检测结果中对于横向测距精度较差，纵向测距精度较高，图像检测则与之相反，采用将两者测距结果加权平均后的位置信息作为最终融合检测结果，将融合后的位置信息输入到GPS坐标转换模型中得到目标车辆的GPS坐标信息。

5.如权利要求1所述的一种基于路侧毫米波雷达和机器视觉融合的道路车辆检测方法，其特征在于，步骤六中所述的再次判断具体过程为：

如果毫米波雷达转换后的目标车辆未匹配成功，则将该目标车辆的信息输入到目标序列库进行存储；

如果是视觉传感器的原始目标车辆未匹配成功，则将该目标车辆的信息进行删除。