CN110068818A - 通过雷达和图像采集设备进行交通路口车辆及行人检测的工作方法 - Google Patents

Abstract

本发明提出一种通过雷达和图像采集设备进行交通路口车辆及行人检测的工作方法，包括：S1，设置第一路口检测***，第一毫米波雷达信号输出端连接第一单片机雷达信号接收端，第一高清摄像头信号输出端连接第一嵌入式GPU摄像信号接收端，S2，数据库服务器收集路口的车辆和行人数据，收集全部毫米波雷达采集的数据，并通过毫米波雷达输出被测目标的类型，将被测目标的类型进行判断，S3，利用已经训练的深度神经网络对高清摄像头采集的图像连续图像帧进行目标识别，同时结合高清摄像头的标定参数，计算被测目标位置及速度参数；通过基于卡尔曼滤波方法，对运动状态下的被测目标状态进行跟踪和滤波；再根据卡尔曼滤波的估计结果进行目标生命周期管理。

Description

通过雷达和图像采集设备进行交通路口车辆及行人检测的工 作方法

技术领域

本发明涉及计算机图像识别领域，尤其涉及一种通过雷达和图像采集设备进行交通路口车辆及行人检测的工作方法。

背景技术

目前，目前路侧端主要利用24GHz雷达(通称“微波检测器”)或车辆图像检测器(通称“卡口”)来检测交通路口的目标物，然而一方面，无论是所使用24GHz雷达还是车辆图像检测器，由于其软硬瓶颈，其本身测距和测速精度都相对较低；而另一方面，单一传感器的目标辨识率及环境适应性也相对不足。因此总体来看，现有的检测技术并不足以支撑未来自动驾驶汽车的车路协同感知。

发明内容

本发明旨在至少解决现有技术中存在的技术问题，特别创新地提出了一种通过雷达和图像采集设备进行交通路口车辆及行人检测的工作方法。

为了实现本发明的上述目的，本发明提供了一种通过雷达和图像采集设备进行交通路口车辆及行人检测的工作方法，包括：

S1，设置第一路口检测***，第一毫米波雷达信号输出端连接第一单片机雷达信号接收端，第一高清摄像头信号输出端连接第一嵌入式GPU摄像信号接收端，第一单片机信号输出端连接第一交换机雷达信号接收端，第一嵌入式GPU信号输出端连接第一交换机摄像信号接收端；设置第二路口检测***，第二毫米波雷达信号输出端连接第二单片机雷达信号接收端，第二高清摄像头信号输出端连接第二嵌入式GPU摄像信号接收端，第二单片机信号输出端连接第二交换机雷达信号接收端，第二嵌入式GPU信号输出端连接第二交换机摄像信号接收端；设置第N路口检测***，第N毫米波雷达信号输出端连接第N单片机雷达信号接收端，第N高清摄像头信号输出端连接第N嵌入式GPU摄像信号接收端，第N单片机信号输出端连接第N交换机雷达信号接收端，第N嵌入式GPU信号输出端连接第N交换机摄像信号接收端；第一交换机信号输出端连接总交换机第一信号接收端，第二交换机信号输出端连接总交换机第二信号接收端，第N交换机信号输出端连接总交换机第N信号接收端，总交换机信号输出端连接数据库服务器信号接收端；

S2，数据库服务器收集路口的车辆和行人数据，收集全部毫米波雷达采集的数据，并通过毫米波雷达输出被测目标的类型，将被测目标的类型进行判断，确定被测目标的类型，根据该类型扫描被测目标的宽度和长度，在相应路口出现的概率，并且通过高清摄像头和毫米波雷达融合方法计算被测目标距路面原点相对位置，根据被测目标在路面坐标系内的移动时间计算相对速度，通过高清摄像头输出被测路口的图像信息；

S3，利用已经训练的深度神经网络对高清摄像头采集的图像连续图像帧进行目标识别，同时结合高清摄像头的标定参数，计算被测目标位置及速度参数；通过基于卡尔曼滤波方法，对运动状态下的被测目标状态进行跟踪和滤波；再根据卡尔曼滤波的估计结果进行目标生命周期管理。

优选的，所述S2包括：

S2-1，根据被测目标实际运动情况对毫米波雷达输出的被测目标信息进行实时筛选；

S2-2，毫米波雷达发射的雷达信号伴随着虚假目标，其中虚假目标通过毫米波雷达和高清摄像头采集的树木信息、围栏信息和电线杆信息，通过实时采集的雷达数据和图像数据，筛选剔除固定不变的树木信息、围栏信息和电线杆信息；

S2-3，根据毫米波雷达检测的固定不变的树木信息、围栏信息和电线杆信息被测目标宽度、长度、位置及置信度信息对检测的被测目标进行第一轮筛选；接着利用卡尔曼滤波算法，对连续检出的目标进行跟踪和滤波；根据卡尔曼滤波的估计结果进行目标生命周期管理；

S2-4在得到第一路口第一毫米波雷达和第一高清摄像头和第二路口第二毫米波雷达和第二高清摄像头的被测目标相互之间没有关联并且相互独立状态下得到相应检测结果后，利用Elman神经网络对两个没有关联的被测目标信息进行融合，不匹配状态下则剔除该被测目标。

优选的，所述S3包括：

对于相互之间具备关联的被测目标，通过如下方法进行检测，

S3-1，将每个高清摄像头中采集的一帧图像，输入到其对应嵌入式GPU的深度学习SSD模型中，该模型的核心为修改且已经训练的检测网络VGG16；

S3-2，抽取检测网络中卷积层Conv4_3、Conv7、Conv8_2、Conv9_2、Conv10_2、Conv11_2层的特征映射feature map，然后分别在这些卷积层特征映射feature map的每一个特征点构造6个不同尺度大小的边界框Boundingbox，然后分别对特征点构造的边界框进行检测和分类，生成多个边界框Boundingbox；

S3-3，将不同特征映射feature map所生成的边界框Boundingbox进行结合操作，经过非极大值抑制方法NMS来抑制一部分重叠的边界框Boundingbox被测目标或者匹配后不正确的边界框Boundingbox，得到最终车辆和行人数据被测目标的检测结果。

优选的，所述S3-1包括：

S3-A，将检测网络VGG16的全链接层FC6和FC7转换为卷积层Conv6和Conv7；

S3-B，去掉检测网络VGG16的防止过拟合Droprout层和全链接层FC8；

S3-C，采用扩展卷积或带孔卷积Atrous算法；

S3-D，将检测网络VGG16的池化层Pool5的卷积核步长Stride由2*2-S2变为3*3-S1，其中S2为第二卷积核步长，S1为第一卷积核步长。

优选的，所述S2-3还包括：

当同时捕获到一帧图像和一帧雷达报文时，基于深度学***面坐标，再根据连续图像中被测目标的位置变化，计算得到每个被测目标的速率；采用卡尔曼滤波方法，基于被测目标上一帧图像的预测值和当前帧图像的检测值进行被测目标状态参数的最优估计，对于预测值和检测值差值大于某一阈值的被测目标，则认为当前检测结果不可靠，直接以预测值作为结果输出，并使被测目标的生命周期减1。

优选的，所述S2-3还包括：

从毫米波雷达给出的多个被测目标信息中，首先剔除宽度、长度、位置明显不符合被测目标客观参数范围，以及置信值低于某设定阈值的目标；接着采用卡尔曼滤波方法，计算被测目标上一帧报文参数的预测值，并将被测目标和当前帧报文的检测值进行对比，若两者相差小于某一阈值，则直接将毫米波雷达当前帧报文参数作为结果输出，若预测值和检测值大于某一阈值，则认为毫米波雷达当前检测结果不可靠，结合预测值和检测值得到最优估计值，并使被测目标的生命周期减1。

优选的，所述S2-3还包括：

将全部毫米波雷达和高清摄像头得到的被测目标级状态信息通过有线或无线网络传回数据库服务器，首先对全部毫米波雷达和高清摄像头中，位置和速度参数接近的目标进行关联匹配，对于被测目标类别，以图像检测结果作为最终输出，同时将图像检测和雷达检测得到的目标物状态参数输入Elman神经网络输入层，将神经网络输出层结果当做目标的最终状态参数。

综上所述，由于采用了上述技术方案，本发明的有益效果是：

本发明提供交通路口车辆及行人检测方法，采用77GHz毫米波雷达和工业级高清摄像头向融合的方案，极大地提升了现有检测方案对于目标类别、距离及速度的检测精度，可有效支撑智能汽车车路协同感知技术的实现。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1是本发明图像检测工作流程图；

图2是本发明工作流程图；

图3是本发明***原理图；

图4是本发明总体工作流程图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

检测交通路口车辆及行人通行情况，为自动驾驶汽车提供路口盲区信息，保证自动驾驶车辆的通行安全。

如图1所示，本发明专利公开一种交通路口车辆及行人检测方法，该方法利用77GHz毫米波雷达和工业级高清摄像头对路***通情况进行检测。其中，毫米波雷达输出被测目标的类型、宽度、长度、存在概率、距路面原点相对位置及相对速度，摄像头则输出被测路口的图像信息。

S1，设置第一路口检测***，第一毫米波雷达信号输出端连接第一单片机雷达信号接收端，第一高清摄像头信号输出端连接第一嵌入式GPU摄像信号接收端，第一单片机信号输出端连接第一交换机雷达信号接收端，第一嵌入式GPU信号输出端连接第一交换机摄像信号接收端；设置第二路口检测***，第二毫米波雷达信号输出端连接第二单片机雷达信号接收端，第二高清摄像头信号输出端连接第二嵌入式GPU摄像信号接收端，第二单片机信号输出端连接第二交换机雷达信号接收端，第二嵌入式GPU信号输出端连接第二交换机摄像信号接收端；设置第N路口检测***，第N毫米波雷达信号输出端连接第N单片机雷达信号接收端，第N高清摄像头信号输出端连接第N嵌入式GPU摄像信号接收端，第N单片机信号输出端连接第N交换机雷达信号接收端，第N嵌入式GPU信号输出端连接第N交换机摄像信号接收端；第一交换机信号输出端连接总交换机第一信号接收端，第二交换机信号输出端连接总交换机第二信号接收端，第N交换机信号输出端连接总交换机第N信号接收端，总交换机信号输出端连接数据库服务器信号接收端；设置N个路口检测***，对路口车辆和行人数据进行汇总收集，通过数据库服务器存储并进行深度学习；

S2，数据库服务器收集路口的车辆和行人数据，收集全部毫米波雷达采集的数据，并通过毫米波雷达输出被测目标的类型，将被测目标的类型进行判断，确定被测目标的类型，根据该类型扫描被测目标的宽度和长度，在相应路口出现的概率，并且通过高清摄像头和毫米波雷达融合方法计算被测目标距路面原点相对位置，根据被测目标在路面坐标系内的移动时间计算相对速度，通过高清摄像头输出被测路口的图像信息；

S2-1，根据被测目标实际运动情况对毫米波雷达输出的被测目标信息进行实时筛选；

S2-2，毫米波雷达发射的雷达信号伴随着虚假目标，其中虚假目标通过毫米波雷达和高清摄像头采集的树木信息、围栏信息和电线杆信息，通过实时采集的雷达数据和图像数据，筛选剔除固定不变的树木信息、围栏信息和电线杆信息；

S2-3，根据毫米波雷达检测的固定不变的树木信息、围栏信息和电线杆信息被测目标宽度、长度、位置及置信度信息对检测的被测目标进行第一轮筛选；接着利用卡尔曼滤波算法，对连续检出的目标进行跟踪和滤波；根据卡尔曼滤波的估计结果进行目标生命周期管理；

S2-4在得到第一路口第一毫米波雷达和第一高清摄像头和第二路口第二毫米波雷达和第二高清摄像头的被测目标相互之间没有关联并且相互独立状态下得到相应检测结果后，利用Elman神经网络对两个没有关联的被测目标信息进行融合，不匹配状态下则剔除该被测目标。

S3，利用已经训练的深度神经网络对高清摄像头采集的图像连续图像帧进行目标识别，同时结合高清摄像头的标定参数，计算被测目标位置及速度参数；通过基于卡尔曼滤波方法，对运动状态下的被测目标状态进行跟踪和滤波；再根据卡尔曼滤波的估计结果进行目标生命周期管理。利用深度学习方法，实现基于视觉图像的目标物类型识别及目标物测速及测距功能:首先利用已经训练的深度神经网络对图像连续图像帧进行目标识别，同时结合摄像头的标定参数，计算被测目标物位置及速度参数；接着基于卡尔曼滤波方法，对运动目标状态进行跟踪和滤波；最后再根据卡尔曼滤波的估计结果进行目标生命周期管理。

所述目标生命周期管理是采用生命周期的形式，对视频和毫米波雷达检测中的漏检(或误检)状态进行修正，以此削弱目标状态值在检测结果中的跳变。在目标的预设生命周期内，若目标漏检(或误检)，则认为原目标仍然存在，并利用卡尔曼滤波预测(或修正)其状态值；若超出目标的生命周期，则认为原目标已消失，对目标重新赋予一个ID。值得一提的是，以上当卡尔曼滤波的估计值与传感器检测值的差值超过某一特定阈值时，则将被测目标的生命周期减1。

该方法根据实际情况对毫米波雷达输出的目标信息进行筛选。需要说明的是，雷达给出的信号往往伴随着一些虚假目标，一般包括树木、围栏、电杆等，因此首先根据雷达给出的目标宽度、长度、位置及置信度信息对检出目标进行第一轮筛选；接着利用卡尔曼滤波算法，对连续检出的目标进行跟踪和滤波；最后再根据卡尔曼滤波的估计结果进行目标生命周期管理。

在得到两类传感器的目标级检测结果后，再利用Elman神经网络对两个目标信息进行融合。

如图2和3所示，基于Vgg16的SSD网络(图像识别)：

S3-1，将每个高清摄像头中采集的一帧图像，将一帧图片(300*300)，输入到其对应嵌入式GPU的深度学习SSD模型中，该模型的核心为修改且已经训练的检测网络VGG16；(1.此处检测模型是放置在每个摄像头对应的嵌入式GPU里的，并不是在后台；2.检测模型是SSD，VGG16是SSD的一部分)

所述S3-1包括：

S3-A，将检测网络VGG16的全链接层FC6和FC7转换为卷积层Conv6和Conv7；

S3-B，去掉检测网络VGG16的防止过拟合Droprout层和全链接层FC8；

S3-C，采用扩展卷积或带孔卷积Atrous算法；

S3-D，将检测网络VGG16的池化层Pool5的卷积核步长Stride由2*2-S2变为3*3-S1，其中S2为第二卷积核步长，S1为第一卷积核步长。

(2*2-S2，是指用一个2*2的卷积核，每次平移步长为2；3*3-S1,是指用一个3*3的卷积核，每次平移步长为1)

S3-2，抽取检测网络中卷积层Conv4_3、Conv7、Conv8_2、Conv9_2、Conv10_2、Conv11_2层的特征映射feature map，然后分别在这些卷积层特征映射feature map的每一个特征点构造6个不同尺度大小的边界框Boundingbox，然后分别对特征点构造的边界框进行检测和分类，生成多个边界框Boundingbox；

S3-3，将不同特征映射feature map所生成的边界框Boundingbox进行结合操作，经过非极大值抑制方法NMS来抑制一部分重叠的边界框Boundingbox被测目标或者匹配后不正确的边界框Boundingbox，得到最终车辆和行人数据被测目标的检测结果。

Elman神经网络(目标融合)：

如图4所示，图中，输入层为由不同传感器得到的目标的状态参数(横、纵坐标及速度)，输出层为目标最终的状态参数。

进行***架构设计，实现路口车辆和行人的检测分析，

当同时捕获到一帧图像图像和一帧雷达报文时，一方面，基于深度学***面坐标，再根据连续图像中目标的位置变化，计算得到各目标物的速率；采用卡尔曼滤波方法，基于目标上一帧图像的预测值和当前帧图像的检测值进行目标状态参数的最优估计，对于预测值和检测值差值大于某一阈值的目标，则认为当前检测结果不可靠，直接以预测值作为结果输出，并使目标物的生命周期减1。

另一方面，从雷达给出的多个目标信息中，首先剔除宽度、长度、位置明显不符合被测目标客观参数范围，以及置信值低于某设定阈值的目标；接着采用卡尔曼滤波方法，计算目标上一帧报文参数的预测值，并将之和当前帧报文的检测值进行对比，若两者相差小于某一阈值，则直接将雷达当前帧报文参数作为结果输出，若预测值和检测值大于某一阈值，则认为雷达当前检测结果不可靠，结合预测值和检测值得到最优估计值，并使目标物的生命周期减1。

将以上传感器得到的目标级状态信息通过有线或无线网络传回后台终端，首先对不同传感器中，位置和速度参数接近的目标进行关联匹配(认为是同一目标)。对于目标物类别，以图像图像检测结果作为最终输出，同时将图像检测和雷达检测得到的目标物状态参数输入Elman神经网络输入层，将神经网络输出层结果当做目标的最终状态参数。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims (7)

1.一种通过雷达和图像采集设备进行交通路口车辆及行人检测的工作方法，其特征在于，包括：

S1，设置第一路口检测***，第一毫米波雷达信号输出端连接第一单片机雷达信号接收端，第一高清摄像头信号输出端连接第一嵌入式GPU摄像信号接收端，第一单片机信号输出端连接第一交换机雷达信号接收端，第一嵌入式GPU信号输出端连接第一交换机摄像信号接收端；设置第二路口检测***，第二毫米波雷达信号输出端连接第二单片机雷达信号接收端，第二高清摄像头信号输出端连接第二嵌入式GPU摄像信号接收端，第二单片机信号输出端连接第二交换机雷达信号接收端，第二嵌入式GPU信号输出端连接第二交换机摄像信号接收端；设置第N路口检测***，第N毫米波雷达信号输出端连接第N单片机雷达信号接收端，第N高清摄像头信号输出端连接第N嵌入式GPU摄像信号接收端，第N单片机信号输出端连接第N交换机雷达信号接收端，第N嵌入式GPU信号输出端连接第N交换机摄像信号接收端；第一交换机信号输出端连接总交换机第一信号接收端，第二交换机信号输出端连接总交换机第二信号接收端，第N交换机信号输出端连接总交换机第N信号接收端，总交换机信号输出端连接数据库服务器信号接收端；

S2，数据库服务器收集路口的车辆和行人数据，收集全部毫米波雷达采集的数据，并通过毫米波雷达输出被测目标的类型，将被测目标的类型进行判断，确定被测目标的类型，根据该类型扫描被测目标的宽度和长度，在相应路口出现的概率，并且通过高清摄像头和毫米波雷达融合方法计算被测目标距路面原点相对位置，根据被测目标在路面坐标系内的移动时间计算相对速度，通过高清摄像头输出被测路口的图像信息；

S3，利用已经训练的深度神经网络对高清摄像头采集的图像连续图像帧进行目标识别，同时结合高清摄像头的标定参数，计算被测目标位置及速度参数；通过基于卡尔曼滤波方法，对运动状态下的被测目标状态进行跟踪和滤波；再根据卡尔曼滤波的估计结果进行目标生命周期管理。

2.根据权利要求1所述的通过雷达和图像采集设备进行交通路口车辆及行人检测的工作方法，其特征在于，所述S2包括：

S2-1，根据被测目标实际运动情况对毫米波雷达输出的被测目标信息进行实时筛选；

S2-2，毫米波雷达发射的雷达信号伴随着虚假目标，其中虚假目标通过毫米波雷达和高清摄像头采集的树木信息、围栏信息和电线杆信息，通过实时采集的雷达数据和图像数据，筛选剔除固定不变的树木信息、围栏信息和电线杆信息；

S2-3，根据毫米波雷达检测的固定不变的树木信息、围栏信息和电线杆信息被测目标宽度、长度、位置及置信度信息对检测的被测目标进行第一轮筛选；接着利用卡尔曼滤波算法，对连续检出的目标进行跟踪和滤波；根据卡尔曼滤波的估计结果进行目标生命周期管理；

S2-4在得到第一路口第一毫米波雷达和第一高清摄像头和第二路口第二毫米波雷达和第二高清摄像头的被测目标相互之间没有关联并且相互独立状态下得到相应检测结果后，利用Elman神经网络对两个没有关联的被测目标信息进行融合，不匹配状态下则剔除该被测目标。

3.根据权利要求1所述的通过雷达和图像采集设备进行交通路口车辆及行人检测的工作方法，其特征在于，所述S3包括：

对于相互之间具备关联的被测目标，通过如下方法进行检测，

S3-1，将每个高清摄像头中采集的一帧图像，输入到其对应嵌入式GPU的深度学习SSD模型中，该模型的核心为修改且已经训练的检测网络VGG16；

S3-2，抽取检测网络中卷积层Conv4_3、Conv7、Conv8_2、Conv9_2、Conv10_2、Conv11_2层的特征映射feature map，然后分别在这些卷积层特征映射feature map的每一个特征点构造6个不同尺度大小的边界框Boundingbox，然后分别对特征点构造的边界框进行检测和分类，生成多个边界框Boundingbox；

S3-3，将不同特征映射feature map所生成的边界框Boundingbox进行结合操作，经过非极大值抑制方法NMS来抑制一部分重叠的边界框Boundingbox被测目标或者匹配后不正确的边界框Boundingbox，得到最终车辆和行人数据被测目标的检测结果。

4.根据权利要求1所述的通过雷达和图像采集设备进行交通路口车辆及行人检测的工作方法，其特征在于，所述S3-1包括：

S3-A，将检测网络VGG16的全链接层FC6和FC7转换为卷积层Conv6和Conv7；

S3-B，去掉检测网络VGG16的防止过拟合Droprout层和全链接层FC8；

S3-C，采用扩展卷积或带孔卷积Atrous算法；

S3-D，将检测网络VGG16的池化层Pool5的卷积核步长Stride由2*2-S2变为3*3-S1，其中S2为第二卷积核步长，S1为第一卷积核步长。

5.根据权利要求1所述的通过雷达和图像采集设备进行交通路口车辆及行人检测的工作方法，其特征在于，所述S2-3还包括：

当同时捕获到一帧图像和一帧雷达报文时，基于深度学***面坐标，再根据连续图像中被测目标的位置变化，计算得到每个被测目标的速率；采用卡尔曼滤波方法，基于被测目标上一帧图像的预测值和当前帧图像的检测值进行被测目标状态参数的最优估计，对于预测值和检测值差值大于某一阈值的被测目标，则认为当前检测结果不可靠，直接以预测值作为结果输出，并使被测目标的生命周期减1。

6.根据权利要求5所述的通过雷达和图像采集设备进行交通路口车辆及行人检测的工作方法，其特征在于，所述S2-3还包括：

从毫米波雷达给出的多个被测目标信息中，首先剔除宽度、长度、位置明显不符合被测目标客观参数范围，以及置信值低于某设定阈值的目标；接着采用卡尔曼滤波方法，计算被测目标上一帧报文参数的预测值，并将被测目标和当前帧报文的检测值进行对比，若两者相差小于某一阈值，则直接将毫米波雷达当前帧报文参数作为结果输出，若预测值和检测值大于某一阈值，则认为毫米波雷达当前检测结果不可靠，结合预测值和检测值得到最优估计值，并使被测目标的生命周期减1。

7.根据权利要求6所述的通过雷达和图像采集设备进行交通路口车辆及行人检测的工作方法，其特征在于，所述S2-3还包括：

将全部毫米波雷达和高清摄像头得到的被测目标级状态信息通过有线或无线网络传回数据库服务器，首先对全部毫米波雷达和高清摄像头中，位置和速度参数接近的目标进行关联匹配，对于被测目标类别，以图像检测结果作为最终输出，同时将图像检测和雷达检测得到的目标物状态参数输入Elman神经网络输入层，将神经网络输出层结果当做目标的最终状态参数。