CN110175576A - 一种结合激光点云数据的行驶车辆视觉检测方法 - Google Patents

Abstract

本发明公开了一种结合激光点云数据的行驶车辆视觉检测方法，属于无人驾驶领域，解决现有以激光雷达为核心的车辆检测中的问题。本发明首先完成激光雷达与摄像机的联合标定，再进行时间对准；计算标定后的视频数据中相邻两帧间的光流灰度图，并基于光流灰度图进行运动分割，得到运动区域，即候选区域；基于各帧图像对应的时间对准后的点云数据，在候选区域对应的锥形空间内搜索车辆对应的点云数据，得到运动目标的三维包围框；基于候选区域，在各帧图像上提取方向梯度直方图特征；提取三维包围框中的点云数据的特征；基于遗传算法，将得到的特征进行特征级融合，融合后对运动区域分类，获得最后的行驶车辆检测结果。本发明用于行驶车辆的视觉检测。

Description

一种结合激光点云数据的行驶车辆视觉检测方法

技术领域

一种结合激光点云数据的行驶车辆视觉检测方法，用于行驶车辆的视觉检测，属于无人驾驶领域。

背景技术

无人车对周围环境的感知是无人驾驶与辅助驾驶任务的关键问题，针对道路上运动的车辆进行检测将为无人车行为决策提供重要依据，获取可靠的相关信息对驾驶安全尤为必要。道路上的运动车辆检测对于实时性、可靠性均有较高的要求，为检测任务增添了难度。

激光雷达与摄像机是无人车中极为重要的传感器件。激光雷达凭借着其在空间信息获取上的优势获得广泛关注，但由于点云数据获取细节能力有限，障碍物检测精度受到极大限制，***获得可靠障碍物信息的难度增大；摄像机难以获取空间几何信息，虽然近年来单目深度估计等相关方向发展迅速，但始终难以达到实际的精度要求，因此，传感器融合是解决相关问题的有效方法。

目前，车辆感知***采用的目标检测方式多以激光雷达为核心，视觉、毫米波雷达等作为辅助。Chen等人在2016年提出一种将激光雷达数据与彩色图像作为输入的MV3D架构，构建三维候选区域生成网络以及多视角特征融合网络，在三维检测与定位等实际应用中均有较好的效果；Qi等人在2017年提出了通过融合RGB图像与激光雷达点云数据获取RGB-D图像的Frustum PointNets，将二维目标检测的成果推广到三维，估计目标物体的中心与几何尺寸；Zhou等人在2017年提出了一种基于激光点云的新型端到端可训练深度架构VoxelNet，仅凭点云数据便获得相当高的检测精度。目前的无人车平台车辆检测大多以激光雷达为核心，训练深度网络以提高检测精度，但实际上，缺乏对图像序列信息的挖掘，并且由于运算相当复杂，实验对硬件有极高的要求。另外，这种检测是在全局进行的，因此前期要求有大量不同场景下的车辆标注，否则，深度网络在小样本中将出现严重的过拟合，如：对比文件CN201811512935-一种基于激光雷达与摄像机融合的交通灯检测与识别方法。

发明内容

针对上述研究的问题，本发明的目的在于提供一种结合激光点云数据的行驶车辆视觉检测方法，解决现有以激光雷达为核心的车辆检测中，缺乏对图像序列信息的挖掘、运算复杂且对硬件有极高的要求的问题。

为了达到上述目的，本发明采用如下技术方案：

一种结合激光点云数据的行驶车辆视觉检测方法，包括以下步骤：

步骤1：首先完成激光雷达与摄像机的联合标定，然后将摄像机获取的视频数据离散为单帧图像后，与激光雷达扫描的点云数据进行时间对准；

步骤2：计算标定后的视频数据中相邻两帧间的光流灰度图，并基于光流灰度图进行运动分割，得到运动区域，即候选区域；

步骤3：基于各帧图像对应的时间对准后的点云数据，在候选区域对应的锥形空间内搜索车辆对应的点云数据，得到运动目标的三维包围框；

步骤4：基于候选区域，在各帧图像上提取方向梯度直方图特征；

步骤5：提取三维包围框中的点云数据的特征；

步骤6：基于遗传算法，将步骤4和步骤5得到的特征进行特征级融合，融合后对运动区域分类，获得最后的行驶车辆检测结果。

进一步，所述步骤1中激光雷达与摄像机的联合标定的具体步骤如下：

步骤1.1：利用棋盘格标定板完成摄像机的标定，估算摄像机的内参矩阵；

步骤1.2：同时从摄像机与激光雷达分别获取视频数据和点云数据，根据棋盘格标定板的几何特征在各帧的点云数据上拟合平面，并在各帧点云数据对应的图像中检测棋盘格特征点，获得激光雷达坐标系下各帧的点云数据与其对应的图像的对应坐标；

步骤1.3：基于对应坐标，估计激光雷达与摄像机矩阵间的变换关系，即外参矩阵；

步骤1.4：组合内参矩阵与外参矩阵获得点云数据到像平面的投影变换关系，对任意点云数据，根据变换关系计算其在像平面上的坐标。

进一步，所述步骤2的具体步骤为：

步骤2.1：根据视频数据中每帧图像的尺度不变特征，对相邻两帧图像进行匹配，得到匹配特征，再基于匹配特征计算损失函数，计算公式为：

其中，是像素对应的位移矢量，是像素对应的位移矢量，与分别为像素水平方向与竖直方向上的像素位移分量，是图像i在像素处提取的尺度不变特征描述子，ε为像素的空间邻域，σ为保证优先考虑较小的运动场，取值范围在200～500之间，α衡量了像素邻域内的光流场差异对损失函数的影响，取值范围在0～1之间，d为将像素邻域的光流场差异对损失函数的影响控制在一定区间内，取值范围在2～5之间；

步骤2.2：基于损失函数在光流约束下求最小值，获得光流场(u，v)；

步骤2.3：将光流场(u，v)的两通道融合，并将之转化为单通道的光流灰度图，对光流灰度图做形态学运算后，再计算其最大值，获得运动区域，即候选区域。

进一步，所述步骤3的具体步骤为：

步骤3.1：基于各帧图像对应的时间对准后的点云数据，将点云数据的范围固定，即仅保留车辆周围确定检测范围内的点云；

步骤3.2：基于步骤3.1得到的点云数据，计算垂直于地面方向的所有点云数据坐标均值，作为地面的近似高度，若点云数据距离地面的距离低于阈值，去除对应的点云数据，否则，用保留的点云数据构建K-D树，构建后并根据点间距离滤除离群点；

步骤3.3：基于步骤3.2得到的点云数据，在候选区域对应的锥形空间内搜索点云数据，根据联合标定所得激光雷达坐标与像素坐标间的变换关系确定搜索范围，得到局部点云数据，在二维俯视图中，计算运动目标对应局部点云数据的包围框，基于得到的斜率为自变量的包围框、运动目标的所有点云数据在包围框内为约束条件，计算运动目标的所有点云数据到包围框距离之和，计算公式为：

其中，d_ij表示包围框区域内第i个点云数据到第j条包围线的距离，N为包围框区域内运动目标的所有点云数据点数；

步骤3.4：选择距离之和最小值，得到俯视图上的二维包围框，再根据二维包围框内点云数据高度的最值，得到三维包围框，即获得运动目标的空间几何信息。

进一步，所述步骤4的具体步骤为：

步骤4.1：对候选区域保留一定的上下文信息，即保留候选区域周围的一小部分像素点，再保留后的候选区域对应的左上角与右下角像素坐标分别为：

(min(x_i)-c₀，min(y_i)-c₀)，(max(x_i)+c₀，max(y_i)+c₀) (3)

其中，(x_i，y_i)为像素点i对应坐标，c₀为设定的边界宽度，min与max分别表示求最小值与求最大值；

步骤4.2：对视频数据中的各帧图像，将其从RGB彩色图像转换到HSV彩色空间下，对应保留后的候选区域，在HSV彩色空间的各通道内提取方向梯度直方图特征，提取后计算各像素点的梯度，将各像素的梯度分布作为图像特征。

进一步，所述步骤5中，所提取的特征包括曲率特征，反射强度特征和几何尺寸特征；具体步骤为：

提取曲率特征的具体步骤为：

步骤5.1：对三维包围框内的点云数据p构建协方差矩阵，有

其中，为点云数据最近邻居的质心，p_i为距离点云数据最近的第i个点，k为距离点云数据阈值范围内的点数；

步骤5.2：基于协方差矩阵，计算法向量，有：

C·v_l＝λ_l·v_l，l∈{0，1，2} (5)

其中，v_l为第l个特征向量，λ_l为第l个特征值；

步骤5.3：利用协方差矩阵的特征值λ_l估计各点云数据的曲率值，公式为：

步骤5.4：根据各点云数据的曲率分布构建分布直方图，将曲率归一化至[0，1]之间，将曲率划分为N个组，将各组内点云数据点数与区域内点云数据总点数之比作为曲率特征；

提取反射强度特征的具体步骤为：

S5.1：对三维包围框内的反射强度分布构建分布直方图，反射强度在[0，1]之间；

S5.2：将分布直方图划分为M个组，各组内的点云数据的点数与区域内总点云数据点数之比作为点云反射强度特征；

提取几何尺寸特征的具体步骤为：

计算候选区域内的点云数据对应三维包围的长、宽、高之比，作为几何尺寸特征。

进一步，所述步骤6的具体步骤为：

步骤6.1：随机初始化种群，即若选择某特征，则将此特征定义为1，反之为0，初始化后，随机生成第一组个体的编码，定义遗传算法的适应度函数为：

其中，Ac(i)为个体i对应的分类准确率，L(i)为个体i对应的子特征基数，L为特征向量基数，N为用于特征选择的样本数，其中，个体指特征，某特征为步骤4和步骤5中提取的任意一特征；

步骤6.2：根据适应度函数评估同一代中各种特征组合方式的好坏，确定遗传到下一代的个体，并将其作为父代，其中，个体i被选择的概率为：

步骤6.3：基于用于遗传的父代和其遗传得到的父代，随机设定交叉点，生成新个体，并随机确定变异，即取反点，设定交叉与变异概率分别为P_c与P_m，满足收敛条件时结束迭代，转到步骤6.4，否则转到步骤6.2；

步骤6.4：根据迭代结果选择特征输入训练好支持向量机对候选区域进行分类，获得最后的行驶车辆检测结果。

本发明同现有技术相比，其有益效果表现在：

一、本发明融合激光雷达与视觉信息，避免了传统视觉方法获取空间几何信息困难的问题，实现了在较低硬件要求下的行驶车辆三维检测，提取视觉图像与点云数据的特征并将特征向量基于遗传算法降维处理，完成了特征级融合，平衡了精度与速度的关系。

二、本发明基于运动分割完成检测任务，仅需较小的前期标注样本即可完成检测，减少了前期繁杂的标注与训练，基于遗传算法的特征级融合较之简单的组合特征有更好的分类效果，提高了检测的召回率与精度；

三、在不使用GPU加速的前提下，以速度著称的深度学习架构YOLOv3检测单帧375×1242图像中的车辆需要数秒，而发明根据运动确定候选区域后，提取图像特征并分类所需时间在数十毫秒量级；而且现今的深度学习架构大多需要数百万的标注样本，当训练样本仅有数万甚至数千时，过于复杂的深度神经网络模型可能面临严重的过拟合，过多依赖于训练数据，在测试集中效果不佳，而本发明只需要少量的样本，也就避免了过拟合造成的分类效果不佳的问题。

附图说明

图1为本发明的流程图；

图2为本发明中待处理的视频数据中的某帧图像，及与某帧图像对应的光流灰度图与运动区域，其中，(a)表示视频数据中的某帧图像、(b)表示与(a)图对应的光流灰度图、(c)与(a)图和(b)图对应的运动区域；

图3为本发明中，点云数据俯视图、去除地面与离群点后搜索运动区域对应锥形空间所得的点云数据包围框，其中，(a)表示点云数据俯视图、(b)表示去除地面与离群点后搜索运动区域对应锥形空间所得的点云数据包围框；

图4为本发明中最终的检测结果。

具体实施方式

下面将结合附图及具体实施方式对本发明作进一步的描述。

本发明挖掘图像序列关系，选择对硬件要求更低的点云分割算法与适当的特征描述子，能够有效平衡精度与速度间的关系。具体方案如下：

一种结合激光点云数据的行驶车辆视觉检测方法，包括以下步骤：

步骤1：首先完成激光雷达与摄像机的联合标定，然后将摄像机获取的视频数据离散为单帧图像后，与激光雷达扫描的点云数据进行时间对准；

激光雷达与摄像机的联合标定的具体步骤如下：

步骤1.1：利用棋盘格标定板完成摄像机的标定，估算摄像机的内参矩阵；

步骤1.2：同时从摄像机与激光雷达分别获取视频数据和点云数据，根据棋盘格标定板的几何特征在各帧的点云数据上拟合平面，并在各帧点云数据对应的图像中检测棋盘格特征点，获得激光雷达坐标系下各帧的点云数据与其对应的图像的对应坐标；

步骤1.3：基于对应坐标，估计激光雷达与摄像机矩阵间的变换关系，即外参矩阵；

步骤1.4：组合内参矩阵与外参矩阵获得点云数据到像平面的投影变换关系，对任意点云数据，根据变换关系计算其在像平面上的坐标。

步骤2：计算标定后的视频数据中相邻两帧间的光流灰度图，并基于光流灰度图进行运动分割，得到运动区域，即候选区域；

具体步骤为：

步骤2.1：根据视频数据中每帧图像的尺度不变特征，对相邻两帧图像进行匹配，得到匹配特征，再基于匹配特征计算损失函数，计算公式为：

其中，是像素对应的位移矢量，是像素对应的位移矢量，与分别为像素水平方向与竖直方向上的像素位移分量，是图像i在像素处提取的尺度不变特征描述子，ε为像素的空间邻域，σ为保证优先考虑较小的运动场，取值范围在200～500之间，α衡量了像素邻域内的光流场差异对损失函数的影响，取值范围在0～1之间，d为将像素邻域的光流场差异对损失函数的影响控制在一定区间内，取值范围在2～5之间；

步骤2.2：基于损失函数在光流约束下求最小值，获得光流场(u，v)；

步骤2.3：将光流场(u，v)的两通道融合，并将之转化为单通道的光流灰度图，对光流灰度图做形态学运算后，再计算其最大值，获得运动区域，即候选区域。

步骤3：基于各帧图像对应的时间对准后的点云数据，在候选区域对应的锥形空间内搜索车辆对应的点云数据，得到运动目标的三维包围框；

具体步骤为：

步骤3.1：基于各帧图像对应的时间对准后的点云数据，将点云数据的范围固定，即仅保留车辆周围确定检测范围内的点云；

步骤3.2：基于步骤3.1得到的点云数据，计算垂直于地面方向的所有点云数据坐标均值，作为地面的近似高度，若点云数据距离地面的距离低于阈值，去除对应的点云数据，否则，用保留的点云数据构建K-D树，构建后并根据点间距离滤除离群点；

步骤3.3：基于步骤3.2得到的点云数据，在候选区域对应的锥形空间内搜索点云数据，根据联合标定所得激光雷达坐标与像素坐标间的变换关系确定搜索范围，得到局部点云数据，在二维俯视图中，计算运动目标对应局部点云数据的包围框，基于得到的斜率为自变量的包围框、运动目标的所有点云数据在包围框内为约束条件，计算运动目标的所有点云数据到包围框距离之和，计算公式为：

其中，d_ij表示包围框区域内第i个点云数据到第j条包围线的距离，N为包围框区域内运动目标的所有点云数据点数；

步骤3.4：选择距离之和最小值，得到俯视图上的二维包围框，再根据二维包围框内点云数据高度的最值，得到三维包围框，即获得运动目标的空间几何信息。

步骤4：基于候选区域，在各帧图像上提取方向梯度直方图特征；

具体步骤为：

步骤4.1：对候选区域保留一定的上下文信息，即保留候选区域周围的一小部分像素点，再保留后的候选区域对应的左上角与右下角像素坐标分别为：

(min(x_i)-c₀，min(y_i)-c₀)，(max(x_i)+c₀，max(y_i)+c₀) (3)

其中，(x_i，y_i)为像素点i对应坐标，c₀为设定的边界宽度，min与max分别表示求最小值与求最大值；

步骤4.2：对视频数据中的各帧图像，将其从RGB彩色图像转换到HSV彩色空间下，对应保留后的候选区域，在HSV彩色空间的各通道内提取方向梯度直方图特征，提取后计算各像素点的梯度，将各像素的梯度分布作为图像特征。

步骤5：提取三维包围框中的点云数据的特征；所提取的特征包括曲率特征，反射强度特征和几何尺寸特征；具体步骤为：

提取曲率特征的具体步骤为：

步骤5.1：对三维包围框内的点云数据p构建协方差矩阵，有

其中，为点云数据最近邻居的质心，p_i为距离点云数据最近的第i个点，k为距离点云数据阈值范围内的点数；

步骤5.2：基于协方差矩阵，计算法向量，有：

C·v_l＝λ_l·v_l，l∈{0，1，2} (5)

其中，v_l为第l个特征向量，λ_l为第l个特征值；

步骤5.3：利用协方差矩阵的特征值λ_l估计各点云数据的曲率值，公式为：

步骤5.4：根据各点云数据的曲率分布构建分布直方图，将曲率归一化至[0，1]之间，将曲率划分为N个组，将各组内点云数据点数与区域内点云数据总点数之比作为曲率特征；

提取反射强度特征的具体步骤为：

S5.1：对三维包围框内的反射强度分布构建分布直方图，反射强度在[0，1]之间；

S5.2：将分布直方图划分为M个组，各组内的点云数据的点数与区域内总点云数据点数之比作为点云反射强度特征；

提取几何尺寸特征的具体步骤为：

计算候选区域内的点云数据对应三维包围的长、宽、高之比，作为几何尺寸特征。

步骤6：基于遗传算法，将步骤4和步骤5得到的特征进行特征级融合，融合后对运动区域分类，获得最后的行驶车辆检测结果。

具体步骤为：

步骤6.1：随机初始化种群，即若选择某特征，则将此特征定义为1，反之为0，初始化后，随机生成第一组个体的编码，定义遗传算法的适应度函数为：

其中，Ac(i)为个体i对应的分类准确率，L(i)为个体i对应的子特征基数，L为特征向量基数，N为用于特征选择的样本数，其中，个体指特征，某特征为步骤4和步骤5中提取的任意一特征；

步骤6.2：根据适应度函数评估同一代中各种特征组合方式的好坏，确定遗传到下一代的个体，并将其作为父代，其中，个体i被选择的概率为：

步骤6.3：基于用于遗传的父代和其遗传得到的父代，随机设定交叉点，生成新个体，并随机确定变异，即取反点，设定交叉与变异概率分别为P_c与P_m，满足收敛条件时结束迭代，转到步骤6.4，否则转到步骤6.2；

步骤6.4：根据迭代结果选择特征输入训练好支持向量机对候选区域进行分类，获得最后的行驶车辆检测结果。

实施例

首先进行激光雷达与摄像机的联合标定。具体为：将激光雷达与摄像机安装于移动平台上，在车辆前方的不同位置摆放棋盘格标定板，估计摄相机的内参矩阵；同时触发激光雷达与摄像机得到单帧的点云数据与其对应的单帧的图像，根据棋盘格标定板的几何特征在单帧的点云数据上拟合平面，拟合后并在各帧点云数据对应的图像中检测棋盘格特征点，获得激光雷达坐标系下单帧的点云数据与其对应的图像的对应坐标，根据对应坐标估计外参矩阵。

由于激光雷达与摄像机频率不同，从激光雷达获取1帧数据的同时，从摄像机获取约8帧视频图像。从8帧视频图像中选择时间戳与激光雷达数据帧最为接近的图像，作为时间对准的结果。即用激光雷达与摄像机获取数据，选取与单帧点云数据时间戳最为接近的视频帧作为时间对准结果。对与激光雷达点云数据对应的某帧视频图像，在视频中选取下一帧与当前帧计算光流场，损失函数中的参数σ取200，α取0.5，d取2。将光流场进行颜色编码，转化到颜色空间内，获得光流灰度图。

对光流灰度图计算局部最值，完成运动分割。所得的运动区域即为候选区域。根据外参矩阵与内参矩阵得到的点云数据点与像素点间的对应关系，在图像对应的锥形空间内搜索点云数据，计算这些点云数据的二维包围框。在俯视图上，以包围框边界线斜率为自变量，求候选区域内的目标点云数据到各边界线的距离之和，距离之和最小的边界线确定最佳包围框。计算包围框内的点云数据点高度变化，得到目标的高度分布。

对候选区域内的局部图像以及局部点云数据，分别提取遗传算法所选择的特征，输入训练好的分类器中，确定该运动区域是否包含车辆，即完成运动车辆的检测。

训练好的分类器的训练过程为：

而后在收集到的小规模样本上训练分类器。具体为：正样本为车辆，负样本为行人与骑行者等可能存在于道路上的运动物，针对样本图像数据与点云数据提取特征，包括彩色图像对应HSV色彩空间三通道内的方向梯度直方图特征，对应的候选区域内提取光流灰度图梯度直方图特征，以及点云数据的曲率特征、反射强度特征与几何特征特征；将各个特征编码，根据遗传算法融合多特征，随机生成第一组个体的编码，例如，某个体101011代表选择第一、三、五、六个特征，计算各个个体的适应度，当适应度大于0.8时将之遗传到下一代，作为下一代的父本，对两个父本两两交叉，生成0至5间的随机数确定父本交叉发生的位置，将随机数右侧的两父本编码互换，变异概率为0.01，随机指定某位做变异运算，即得到子代。而后对子代计算适应度，淘汰适应度低于0.8的个体，将其余个体作为父代，继续迭代，直至连续迭代十次每代中的最高适应度个体相同，或达到最高迭代次数1000时，终止迭代，选择适应度最高的个体，例如，获得个体为100101，选择HSV色彩空间的第一通道，点云数据的曲率特征与几何尺寸特征。之后，对选择的特征训练支持向量机。

以上仅是本发明众多具体应用范围中的代表性实施例，对本发明的保护范围不构成任何限制。凡采用变换或是等效替换而形成的技术方案，均落在本发明权利保护范围之内。

Claims (7)

1.一种结合激光点云数据的行驶车辆视觉检测方法，其特征在于：包括以下步骤：

步骤1：首先完成激光雷达与摄像机的联合标定，然后将摄像机获取的视频数据离散为单帧图像后，与激光雷达扫描的点云数据进行时间对准；

步骤2：计算标定后的视频数据中相邻两帧间的光流灰度图，并基于光流灰度图进行运动分割，得到运动区域，即候选区域；

步骤3：基于各帧图像对应的时间对准后的点云数据，在候选区域对应的锥形空间内搜索车辆对应的点云数据，得到运动目标的三维包围框；

步骤4：基于候选区域，在各帧图像上提取方向梯度直方图特征；

步骤5：提取三维包围框中的点云数据的特征；

步骤6：基于遗传算法，将步骤4和步骤5得到的特征进行特征级融合，融合后对运动区域分类，获得最后的行驶车辆检测结果。

2.根据权利要求1所述的一种结合激光点云数据的行驶车辆视觉检测方法，其特征在于：所述步骤1中激光雷达与摄像机的联合标定的具体步骤如下：

步骤1.1：利用棋盘格标定板完成摄像机的标定，估算摄像机的内参矩阵；

步骤1.2：同时从摄像机与激光雷达分别获取视频数据和点云数据，根据棋盘格标定板的几何特征在各帧的点云数据上拟合平面，并在各帧点云数据对应的图像中检测棋盘格特征点，获得激光雷达坐标系下各帧的点云数据与其对应的图像的对应坐标；

步骤1.3：基于对应坐标，估计激光雷达与摄像机矩阵间的变换关系，即外参矩阵；

步骤1.4：组合内参矩阵与外参矩阵获得点云数据到像平面的投影变换关系，对任意点云数据，根据变换关系计算其在像平面上的坐标。

3.根据权利要求2所述的一种结合激光点云数据的行驶车辆视觉检测方法，其特征在于：所述步骤2的具体步骤为：

步骤2.1：根据视频数据中每帧图像的尺度不变特征，对相邻两帧图像进行匹配，得到匹配特征，再基于匹配特征计算损失函数，计算公式为：

其中，是像素对应的位移矢量，是像素对应的位移矢量，与分别为像素水平方向与竖直方向上的像素位移分量，是图像i在像素处提取的尺度不变特征描述子，ε为像素的空间邻域，σ为保证优先考虑较小的运动场，取值范围在200～500之间，α衡量了像素邻域内的光流场差异对损失函数的影响，取值范围在0～1之间，d为将像素邻域的光流场差异对损失函数的影响控制在一定区间内，取值范围在2～5之间；

步骤2.2：基于损失函数在光流约束下求最小值，获得光流场(u，v)；

步骤2.3：将光流场(u，v)的两通道融合，并将之转化为单通道的光流灰度图，对光流灰度图做形态学运算后，再计算其最大值，获得运动区域，即候选区域。

4.根据权利要求3所述的一种结合激光点云数据的行驶车辆视觉检测方法，其特征在于：所述步骤3的具体步骤为：

步骤3.1：基于各帧图像对应的时间对准后的点云数据，将点云数据的范围固定，即仅保留车辆周围确定检测范围内的点云；

步骤3.2：基于步骤3.1得到的点云数据，计算垂直于地面方向的所有点云数据坐标均值，作为地面的近似高度，若点云数据距离地面的距离低于阈值，去除对应的点云数据，否则，用保留的点云数据构建K-D树，构建后并根据点间距离滤除离群点；

步骤3.3：基于步骤3.2得到的点云数据，在候选区域对应的锥形空间内搜索点云数据，根据联合标定所得激光雷达坐标与像素坐标间的变换关系确定搜索范围，得到局部点云数据，在二维俯视图中，计算运动目标对应局部点云数据的包围框，基于得到的斜率为自变量的包围框、运动目标的所有点云数据在包围框内为约束条件，计算运动目标的所有点云数据到包围框距离之和，计算公式为：

其中，d_ij表示包围框区域内第i个点云数据到第j条包围线的距离，N为包围框区域内运动目标的所有点云数据点数；

步骤3.4：选择距离之和最小值，得到俯视图上的二维包围框，再根据二维包围框内点云数据高度的最值，得到三维包围框，即获得运动目标的空间几何信息。

5.根据权利要求4所述的一种结合激光点云数据的行驶车辆视觉检测方法，其特征在于：所述步骤4的具体步骤为：

步骤4.1：对候选区域保留一定的上下文信息，即保留候选区域周围的一小部分像素点，再保留后的候选区域对应的左上角与右下角像素坐标分别为：

(min(x_i)-c₀，min(y_i)-c₀)，(max(x_i)+c₀，max(y_i)+c₀) (3)

其中，(x_i，y_i)为像素点i对应坐标，c₀为设定的边界宽度，min与max分别表示求最小值与求最大值；

步骤4.2：对视频数据中的各帧图像，将其从RGB彩色图像转换到HSV彩色空间下，对应保留后的候选区域，在HSV彩色空间的各通道内提取方向梯度直方图特征，提取后计算各像素点的梯度，将各像素的梯度分布作为图像特征。

6.根据权利要求5所述的一种结合激光点云数据的行驶车辆视觉检测方法，其特征在于：所述步骤5中，所提取的特征包括曲率特征，反射强度特征和几何尺寸特征；具体步骤为：

提取曲率特征的具体步骤为：

步骤5.1：对三维包围框内的点云数据p构建协方差矩阵，有

其中，为点云数据最近邻居的质心，p_i为距离点云数据最近的第i个点，k为距离点云数据阈值范围内的点数；

步骤5.2：基于协方差矩阵，计算法向量，有：

C·v_l＝λ_l·v_l，l∈{0，1，2} (5)

其中，v_l为第l个特征向量，λ_l为第l个特征值；

步骤5.3：利用协方差矩阵的特征值λ_l估计各点云数据的曲率值，公式为：

步骤5.4：根据各点云数据的曲率分布构建分布直方图，将曲率归一化至[0，1]之间，将曲率划分为N个组，将各组内点云数据点数与区域内点云数据总点数之比作为曲率特征；

提取反射强度特征的具体步骤为：

S5.1：对三维包围框内的反射强度分布构建分布直方图，反射强度在[0，1]之间；

S5.2：将分布直方图划分为M个组，各组内的点云数据的点数与区域内总点云数据点数之比作为点云反射强度特征；

提取几何尺寸特征的具体步骤为：

计算候选区域内的点云数据对应三维包围的长、宽、高之比，作为几何尺寸特征。

7.根据权利要求6所述的一种结合激光点云数据的行驶车辆视觉检测方法，其特征在于：

所述步骤6的具体步骤为：

步骤6.1：随机初始化种群，即若选择某特征，则将此特征定义为1，反之为0，初始化后，随机生成第一组个体的编码，定义遗传算法的适应度函数为：

其中，Ac(i)为个体i对应的分类准确率，L(i)为个体i对应的子特征基数，L为特征向量基数，N为用于特征选择的样本数，其中，个体指特征，某特征为步骤4和步骤5中提取的任意一特征；

步骤6.2：根据适应度函数评估同一代中各种特征组合方式的好坏，确定遗传到下一代的个体，并将其作为父代，其中，个体i被选择的概率为：

步骤6.3：基于用于遗传的父代和其遗传得到的父代，随机设定交叉点，生成新个体，并随机确定变异，即取反点，设定交叉与变异概率分别为P_c与P_m，满足收敛条件时结束迭代，转到步骤6.4，否则转到步骤6.2；

步骤6.4：根据迭代结果选择特征输入训练好支持向量机对候选区域进行分类，获得最后的行驶车辆检测结果。