CN103324936B - 一种基于多传感器融合的车辆下边界检测方法 - Google Patents

Abstract

本发明提供了一种基于多传感器融合的车辆下边界检测方法，通过采用毫米波雷达和摄像机的测量信息，得到空间对准点，再根据空间对准点信息在摄像机图像中选择包括目标车辆的感兴趣区域，通过确定感兴趣区域的k个峰值，再确定感兴趣区域的k-1个阈值，再得到最小阈值，从而得到该最小阈值划分出的灰度级区域对应的车辆下边界阴影区，最后从阴影区中获得车辆下边界阴影线，实现车辆下边界检测；通过采用一定的搜索策略，确定目标感兴趣区域，既可以使得目标感兴趣区域包括目标车辆，又能使得该区域大小适中，方便后续计算；通过采用粒子群优化算法确定k-1个阈值，简化运算步骤，提高运算速度，同时提高区域划分的精度。

Description

一种基于多传感器融合的车辆下边界检测方法

技术领域

本发明涉及无人车环境感知技术领域，具体涉及一种基于多传感器融合的车辆检测方法。

背景技术

无人车又称室外智能移动机器人，是一种集环境感知、动态决策与规划、行为控制与执行等多功能为一体的智能化程度很高的装置，其对环境感知的快速性、准确性与多传感器信息融合技术密不可分。环境感知技术是无人车进行自主行驶的前提，是一项最基础、最关键和最具挑战性的课题，其主要功能是在动态场景下，确定车辆等目标位置及无人车的可安全行驶区域。因此，车辆检测是无人车环境感知的重要研究内容，对无人车的自主导航具有重要意义。根据传感器的种类，车辆检测方法主要分为基于视觉的检测方法和基于雷达的检测方法，其中，基于视觉的检测方法目前研究最为广泛，可以获得目标的尺寸和轮廓信息，但不能获得目标的位置和相对速度信息。基于雷达的检测方法可以获得准确的目标位置和相对速度信息，但不能识别目标的形状和大小。其中，基于视觉的检测方法最关键的是车辆下边界检测，直接影响车辆检测的准确性，如果车辆下边界检测不准确，在后续的车辆检测过程中，其它非车辆目标会影响检测算法的有效性。由于车辆底部阴影区域的灰度比沥青铺设的路面要暗，因此，目前的车辆下边界检测主要通过图像分割方法(如最多类间方差法和区域统计法)获取车辆底部阴影，然后通过提取阴影线的方法来实现，但由于自然环境的复杂性，现有的分割方法不能自适应场景的变化，进而影响车辆下边界检测。为克服这两种方法的局限性及充分利用各传感器信息，得到较单一传感器更全面、更可靠的目标信息，提出了一种多传感器融合的车辆下边界检测方法。

发明内容

有鉴于此，本发明提供了一种基于多传感器融合的车辆检测方法，能够充分利用毫米波雷达和摄像机同时对目标车辆进行探测，再根据两者提供的互补信息，实现车辆下边界检测。

本发明的一种基于多传感器融合的车辆下边界检测方法，包括如下步骤：

步骤1、在同一场景下，针对目标车辆，采用毫米波雷达对其位置进行测量，采用摄像机对目标车辆进行图像采集，然后将毫米波雷达量测的位置信息通过基于单应性变换矩阵的空间对准方法投影到摄像机采集的图像中，把雷达在车辆上扫描点坐标转换成摄像机图像坐标系下的坐标，作为空间对准点(u_c,v_c)；

步骤2、利用空间对准点(u_c,v_c)信息，在实时获得的每一帧摄像机图像中提取包含目标车辆的目标感兴趣区域；

步骤3、绘制步骤2中的目标感兴趣区域，得到灰度直方图，确定灰度直方图中的峰值个数k；

步骤4、根据步骤3得到的峰值个数k，确定目标感兴趣区域的k-1个阈值，根据k-1个阈值把目标感兴趣区域分成k个不同区域，以k-1个阈值中的最小值作为二值化阈值，将已分区的目标感兴趣区域的图像进行二值化处理，得到目标感兴趣区域的二值图；

步骤5、根据目标感兴趣区域的二值图，提取车辆底部阴影线，确定车辆下边界，具体方法如下：

S500、以目标感兴趣区域图像的左上角顶点为原点o″′，令目标感兴趣区域图像的坐标系为o″′u′v′，根据步骤2中确定的摄像机图像坐标与目标感兴趣区域坐标的关系，得到步骤1中的空间对准点坐标(u_c,v_c)在目标感兴趣区域的二值图中的坐标(u′_c,v′_c)；

S501、在目标感兴趣区域的二值图中，以空间对准点为参考点，其下方左侧区域作为起始点的可能范围，其下方右侧区域作为终止点的可能范围；

S502、在起始点可能范围与终止点可能范围组成的区域内，针对每一行像素点，分别在起始点和终止点可能范围内寻找该行的起始点和终止点：

如果某一像素点与其前一像素点的像素值之差为1，且该像素点与其后一像素点的像素值之差为0，则该像素点为所在行的起始点；

同时，如果某一像素点与其前一像素点的像素值之差为0，且该像素点与其后一像素点的像素值之差为1，则该像素点为所在行的终止点；

如果在该行像素点上同时找到起始点和终止点，连接两点形成一条阴影线；如果只找到一个点或者没找到符合条件的点，则该行没有阴影线；

遍历起始点可能范围与终止点可能范围组成的区域内所有行，连接所有符合条件的阴影线，形成阴影区；

S503、找到S502中阴影区中所有阴影线中最长的一条，即为车辆底部的下边界。

进一步的，在所述步骤3中，利用峰值自适应方法确定目标感兴趣区域灰度直方图中的峰值个数k，具体方法为：

S301、在所述灰度直方图上，针对每一个灰度级对应的峰值，如果该灰度级的峰值大于其左、右相邻灰度级的峰值，则将此灰度级和其对应的峰值添加到第一局部最大峰值集合hist_s1中；

S302、在所述第一局部最大峰值集合hist_s1中，遵照S301的方法寻找第二局部最大峰值集合hist_s2；

S303、在所述第二局部最大峰值集合hist_s2中，移除峰值小于阈值th1的元素，组成第三局部最大峰值集合hist_s3；其中，阈值th1的取值范围为：th1∈[0.025max(hist),0.05max(hist)]，其中max(hist)表示灰度直方图hist中的最大峰值；

S304、在所述第三局部最大峰值集合hist_s3中，移除两相邻灰度级距离小于阈值th2的元素，组成第四局部最大峰值集合hist_s4；其中，阈值th2为15；

所述第四局部最大峰值集合hist_s4中元素的个数就是目标感兴趣区域图像灰度直方图中峰值的个数k。

进一步的，在所述步骤3的S304中，针对第四局部最大峰值集合hist_s4中每两相邻峰值元素，如果该两相邻峰值间的距离小于阈值th3，并且两峰值和的四分之一小于两相邻峰值之间区域的平均峰值，则剔除两峰值中较小的元素，组成剔除后的第四局部最大峰值集合hist_s5，其中阈值th3取40。

进一步的，所述步骤1中计算空间对准点(u_c,v_c)的具体方法为：

令OX_rY_rZ_r表示毫米波雷达直角坐标系，O为毫米波雷达表面的中心；Y_r轴垂直于毫米波雷达表面，指向正前方；X_r轴与Y_r轴垂直，指向右侧；Z_r轴垂直于X_r、Y_r确定的平面，指向正上方；Oρθ表示毫米波雷达极坐标系，原点O与坐标系OX_rY_rZ_r的原点重合；ρ表示目标的直线距离；θ表示目标偏离Y_r轴的角度，逆时针方向为正，顺时针方向为负；O'X_cY_cZ_c表示摄像机坐标系，原点O'位于摄像机的光心；X_c轴平行于摄像机扫描行方向，指向扫描像素增大的方向；Y_c轴垂直于摄像机扫描行方向，指向扫描行减小的方向；Z_c轴垂直于成像平面，指向摄像头视线方向；O″uv表示以像素为单位的图像坐标系，O″位于成像平面的左上角；u轴与X_c平行，指向扫描像素增大的方向；v轴与Y_c平行，指向扫描行增大的方向；

当摄像机和毫米波雷达观测同一目标车辆时，通过式(1)把毫米波雷达采集的目标信息投影到摄像头采集的图像中，形成空间对准点：

$\left[\begin{array}{c}{u}_c\\ v_c\\ 1\end{array}\right]=N\left[\begin{array}{c}\mathrm{\ρ}sin\mathrm{\θ}\\ \mathrm{\ρ}\cos \mathrm{\θ}\\ 1\end{array}\right]---\left(1\right)$

其中，(ρ,θ)为毫米波雷达极坐标系的坐标；(u_c,v_c)为摄像头图像坐标系下的质心坐标，即空间对准点坐标； $N=\left[\begin{array}{ccc}{n}_{11}& n_{12}& n_{13}\\ n_{21}& n_{22}& n_{23}\\ n_{31}& n_{32}& n_{33}\end{array}\right],$ 称为单应性变换矩阵，其结果通过建立(ρ,θ)和(u_c,v_c)的空间对应点集并带入式(1)，利用最小二乘法求解得到；得到单应性变换矩阵N后，通过步骤1中毫米波雷达测得的位置坐标，通过式(1)得到空间对准点坐标。

进一步的，在所述步骤2中获得所述目标感兴趣区域的具体方法为：

以空间对准点(u_c,v_c)为参考点，沿摄像机图像水平方向，在参考点的左、右各取W/4的宽度，分别作为目标感兴趣区域的左、右边界；沿摄像机图像的垂直方向，在参考点上、下方各取感兴趣区域左右宽度的40％作为目标感兴趣区域的上、下边界；如果左、右、上或下边界中超过摄像机图像边界，则以摄像机图像的左、右、上或下边界作为目标感兴趣区域的左、右、上或下边界，其中W分别为摄像机采集图像的宽度。

进一步的，所述步骤4中采用最大类间差分割方法计算k-1个阈值，具体为：

通过式(2)计算第m个区域的概率w_m和第m个区域的灰度均值u_m：

$\left\{\begin{array}{ccc}{w}_m=\underset{i=0}{\overset{t_m}{\Σ}}{p}_i,u_m=\underset{i=0}{\overset{t_m}{\Σ}}(i\·p_i)/w_m,& if& m=1;\\ w_m=\underset{i=t_{m-1}+1}{\overset{t_m}{\Σ}}{p}_i,u_m=\underset{i=t_{m-1}+1}{\overset{t_m}{\Σ}}(i\·p_i)/w_m,& if& 2\≤m\≤k-1;\\ w_m=\underset{i=t_{k-1}+1}{\overset{255}{\Σ}}{p}_i,u_m=\underset{i=t_{k-1}}{\overset{255}{\Σ}}(i\·p_i)/w_m,& if& m=k;\end{array}\right.---\left(2\right)$

其中，{t₁,t₂,...,t_k-1}表示k-1个阈值，1≤m≤k，表示灰度级i出现的概率，n_i表示目标感兴趣区域图像中像素点的灰度级为i的个数，n表示目标感兴趣区域图像中像素的总数；

令表示k个区域的类间方差，遍历整幅目标感兴趣区域的灰度图像，找到使类间方差达到最大的一组阈值，即为k-1个阈值，其中表示目标感兴趣区域的灰度均值，L表示目标感兴趣区域内的灰度级个数。

进一步的，在所述步骤5的S503中，针对每一条阴影线，在目标感兴趣区域二值图的空间对准点所在列，即在列为时像素点的像素值如果为1，在阴影区中剔除该像素点所在的阴影线。

进一步的，在所述步骤5的S501中，阴影线的起始点和终止点的各自可能区域范围为：

起始点在行范围为v′∈[v′_c,H′]以及列范围为u′∈[2,u′_c]的区域内；

终止点在行范围为v′∈[v′_c,H′]以及列范围为u′∈[u′_c,W′-1]的区域内；

其中H′和W′分别为目标感兴趣区域的高和宽。

进一步的，所述步骤4中采用粒子群优化方法计算k-1个阈值，具体包括如下步骤：

S600、定义变量：定义表示阈值组数的粒子群的规模为N；第j组阈值为其中，1≤j≤N；第j组阈值速度为第j组阈值的适应度为fit^j；第j组阈值的最优适应度为fit_pbest^j；第j组阈值的最优阈值为 $t\_{\mathrm{pbest}}^j=\[t\_{\mathrm{pbest}}_1^j,t\_{\mathrm{pbest}}_2^j,\mathrm{...},t\_{\mathrm{pbest}}_{k-1}^j\];$ N组阈值群的最优适应度为fit_gbest；阈值群的最优阈值为t_gbest；最优阈值索引号为jbest；

S601、初始化第j组阈值t^j和第j组阈值速度v^j，并用第j组阈值t^j初始化第j组阈值的最优阈值t_pbest^j；根据式(4)计算第j组阈值的适应度fit^j，并用第j组阈值的适应度fit^j初始化第j组阈值的最优适应度fit_pbest^j；选取第j组阈值的最优适应度fit_pbest^j中最大值初始化fit_gbest，并用最大值对应的索引行初始化最优阈值索引号jbest；利用第j组阈值的最优阈值t_pbest^jbest初始化阈值群的最优阈值t_gbest；

${\mathrm{fit}}^j=\underset{m=1}{\overset{k}{\Σ}}{w}_m{({\mathrm{\μ}}_m-{\mathrm{\μ}}_T)}^2---\left(4\right)$

其中，w_m表示第m个区域的概率，u_m表示第m个区域的灰度均值：

$\left\{\begin{array}{ccc}{w}_m=\underset{i=0}{\overset{t_m}{\Σ}}{p}_i,u_m=\underset{i=0}{\overset{t_m}{\Σ}}(i\·p_i)/w_m,& if& m=1;\\ w_m=\underset{i=t_{m-1}+1}{\overset{t_m}{\Σ}}{p}_i,u_m=\underset{i=t_{m-1}+1}{\overset{t_m}{\Σ}}(i\·p_i)/w_m,& if& 2\≤m\≤k-1;\\ w_m=\underset{i=t_{k-1}+1}{\overset{255}{\Σ}}{p}_i,u_m=\underset{i=t_{k-1}}{\overset{255}{\Σ}}(i\·p_i)/w_m,& if& m=k;\end{array}\right.$

其中，{t₁,t₂,...,t_k-1}表示k-1个阈值，1≤m≤k，表示灰度级i出现的概率，n_i表示目标感兴趣区域图像中像素点的灰度级为i的个数，n表示目标感兴趣区域图像中像素的总数；表示目标感兴趣区域的灰度均值，L表示目标感兴趣区域内的灰度级个数；

S602、设置最大迭代次数iter_max，令迭代次数iter＝0；

S603、判断迭代次数iter是否小于iter_max，如果是，执行S604至S607，如果否，执行S608；

S604、根据式(5)和式(6)更新第j组阈值t^j和速度v^j：

v^j＝w·v^j+c₁×rand(1,k-1)×(t_pbest^j-t^j)+c₂×rand(1,k-1)×(t_gbest-t^j)(5)

t^j＝t^j+v^j(6)

其中，w为惯性权重系数，其取值范围为w∈[0.4,0.9]；c₁、c₂为学习因子c₁＝c₂＝2.05；rand(1,k-1)为含有k-1个元素的行向量，其元素的值为[0,1]之间的随机数；

S605、根据更新后的N组阈值，分别更新各组阈值的适应度fit^j： ${\mathrm{fit}}^j=\underset{m=1}{\overset{k}{\Σ}}{w}_m{({\mathrm{\μ}}_m-{\mathrm{\μ}}_T)}^2;$

S606、判断第j组阈值的当前适应度fit^j是否大于第j组阈值的最优适应度fit_pbest^j，如果是，用第j组阈值的当前适应度fit^j更新第j组阈值的最优适应度fit_pbest^j，同时，用第j组阈值更新的第j组最优阈值t_pbest^j；

S607、在N组当前阈值的N个最优适应度中，找到最大的一个最优适应度，判断该最大的最优适应度是否大于当前阈值群的最优适应度fit_gbest，如果是，用前者更新后者，并用最大的最优适应度组号更新最优阈值索引号jbest，用最大的最优适应度对应的该组阈值更新阈值群的最优阈值t_gbest；迭代次数iter累计一次：iter＝iter+1，执行S603至S607；

S608、输出阈值群的最优阈值t_gbest。

进一步的，所述粒子群的规模N取20。

进一步的，所述最大迭代次数iter_max取100。

本发明具有如下有益效果：

1)、本发明通过采用毫米波雷达和摄像机的测量信息，得到空间对准点，再根据空间对准点信息在摄像机图像中选择包括目标车辆的感兴趣区域，通过确定感兴趣区域的k个峰值，再确定感兴趣区域的k-1个阈值，再得到最小阈值，从而得到该最小阈值划分出的灰度级区域对应的车辆下边界阴影区，最后从阴影区中获得车辆下边界阴影线，实现车辆下边界检测。

2)通过采用一定的搜索策略，确定目标感兴趣区域，既可以使得目标感兴趣区域包括目标车辆，又能使得该区域大小适中，方便后续计算。

3)本发明通过采用粒子群优化算法确定k-1个阈值，简化运算步骤，提高运算速度，同时提高区域划分的精度。

4)针对第四局部最大峰值集合hist_s4中元素，再次判断该两相邻峰值间是否存在明显的波谷，如果不存在，剔除两峰值中较小的元素，组成剔除后的第四局部最大峰值集合，完成对最大峰值集合的进一步剔除，降低后续运算的发杂程度，同时提高区域划分精度。

附图说明

图1为毫米波雷达和摄像头空间对准示意图。

具体实施方式

下面结合附图并举实施例，对本发明进行详细描述。

本发明提供了一种基于多传感器融合的车辆下边界检测方法，包括如下步骤：

步骤1、在同一场景下，针对目标车辆，采用毫米波雷达对其位置进行测量，采用摄像机对目标车辆进行图像采集，然后将毫米波雷达量测的位置信息通过基于单应性变换矩阵的空间对准方法投影到摄像机采集的图像中，把雷达在车辆上扫描点坐标转换成摄像机图像坐标系下的坐标，作为空间对准点(u_c,v_c)，具体方法如下：

如图1所示，OX_rY_rZ_r表示毫米波雷达直角坐标系，原点O为毫米波雷达表面的中心；Y_r轴垂直于毫米波雷达表面，指向正前方；X_r轴与Y_r轴垂直，指向右侧；Z_r轴垂直于X_r、Y_r确定的平面，指向正上方。Oρθ表示毫米波雷达极坐标系，原点O与坐标系OX_rY_rZ_r的原点重合；ρ表示目标的直线距离；θ表示目标偏离Y_r轴的角度，逆时针方向为正，顺时针方向为负。O'X_cY_cZ_c表示摄像机坐标系，原点O'位于摄像机的光心；X_c轴平行于摄像机扫描行方向，指向扫描像素增大的方向；Y_c轴垂直于摄像机扫描行方向，指向扫描行减小的方向；Z_c轴垂直于成像平面，指向摄像头视线方向。O″uv表示以像素为单位的图像坐标系，O″位于成像平面的左上角；u轴与X_c平行，指向扫描像素增大的方向；v轴与Y_c平行，指向扫描行增大的方向。

当摄像头和毫米波雷达观测同一目标时，可通过式(1)把毫米波雷达采集的目标信息投影到摄像头采集的图像中，形成空间对准点。

$\left[\begin{array}{c}{u}_c\\ v_c\\ 1\end{array}\right]=N\left[\begin{array}{c}\mathrm{\ρ}sin\mathrm{\θ}\\ \mathrm{\ρ}\cos \mathrm{\θ}\\ 1\end{array}\right]---\left(1\right)$

其中，(ρ,θ)为毫米波雷达极坐标系的坐标；(u_c,v_c)为摄像头图像坐标系下的质心坐标； $N=\left[\begin{array}{ccc}{n}_{11}& n_{12}& n_{13}\\ n_{21}& n_{22}& n_{23}\\ n_{31}& n_{32}& n_{33}\end{array}\right],$ 称为单应性变换矩阵，其结果可以通过建立(ρ,θ)和(u_c,v_c)的空间对应点集并代入式(1)，利用最小二乘法求解得到。得到空间变换矩阵N后，通过步骤1中毫米波雷达测得的位置坐标，通过式(1)得到空间对准点坐标。

上述步骤1的方法在中国专利申请“一种基于单应性变换矩阵的分段空间对准方法”(申请号为：201310013045.8，申请日为：2013年1月14日)中有详细介绍，本发明不再赘述。

步骤2、利用空间对准点(u_c,v_c)信息，在实时获得的每一帧摄像机图像中提取包含目标车辆的目标感兴趣区域：

为减少后续图像处理时间，根据步骤1求解得到的空间对准点信息，采取一定的搜索策略，获取包含目标车辆的子图像即提取目标感兴趣区域ROI。试验中，摄像头采集的图像大小为W×H，例如1600×1200像素，空间对准点坐标为(u_c,v_c)。由于雷达和摄像机之间的空间对准可能会存在一定偏差，因此，ROI应该选择一个左右边界相距较长的宽度，通过大量实验分析，选择W/2，即600个像素为ROI的左右边界相距的宽度，ROI的高度为ROI左右边界相距宽度的80％，ROI的底部位于空间对准点坐标(u_c,v_c)下ROI高度的50％处。如果左、右、上或下边界中超过摄像机图像边界，则以摄像机图像的左、右、上或下边界作为目标感兴趣区域的左、右、上或下边界，其中W分别为摄像机采集图像的宽度。

步骤3、采用步骤2中的所述目标感兴趣区域图像的灰度直方图中峰值表示图像中的不同区域，利用峰值自适应方法确定目标感兴趣区域灰度直方图中的峰值个数k，具体方法为：

S300、绘制目标感兴趣区域图像的灰度直方图hist；

S301、在所述灰度直方图hist上，针对每一个灰度级对应的峰值，如果该灰度级的峰值大于其左、右相邻灰度级的峰值，则将此灰度级和其对应的峰值添加到第一局部最大峰值集合hist_s1中；

S302、在所述第一局部最大峰值集合hist_s1中，遵照S301的方法寻找第二局部最大峰值集合hist_s2；

S303、在第二局部最大峰值集合hist_s2中，可能存在一些峰值较小的元素，因此，设置峰值阈值th1，移除峰值小于阈值th1的元素，组成第三局部最大峰值集合hist_s3；其中，阈值th1的取值范围为：th1∈[0.025max(hist),0.05max(hist)]，其中max(hist)表示灰度直方图hist中的最大峰值；

S304、由分割区域间的阈值一般出现在两峰值之间波谷处可知，在集合hist_s3中，在灰度级上，可能存在一些距离相距较小的元素，相邻峰值间并没有明显的波谷，因此，设置灰度级距离阈值th2，移除灰度级相距太近且峰值小的元素，组成集合hist_s4。通过对百幅由简单或复杂背景构成的图像进行分析，可以得出，阈值th2为15。

在集合hist_s4中，设置相邻峰值的距离阈值th3，如果相邻峰值之间的距离小于th3，并且计算两峰值灰度级组成的区域内的平均峰值，如果该平均峰值大于两峰值和的四分之一，则它们之间不存在明显的波谷，剔除两峰值中较小的元素，组成集合hist_s5。通过对百幅由简单或复杂背景构成的图像进行分析，可以得出，阈值th3为40。

第四局部最大峰值集合hist_s4中元素的个数就是目标感兴趣区域图像灰度直方图中峰值的个数k；

步骤4、根据步骤3得到的峰值个数k，确定目标感兴趣区域的k-1个阈值，该k-1个阈值可根据经验进行确定，也可将0-255的灰度级按照均分方法进行确定，然后再根据k-1个阈值把目标感兴趣区域分成k个不同区域，由于车辆底部阴影对应的灰度级较小，因此以k-1个阈值中的最小值作为二值化阈值，将已分区的目标感兴趣区域的图像进行二值化处理，得到目标感兴趣区域的二值图。

在本发明中，可以采用最大类间差分割方法计算k-1个阈值，具体为：

通过式(2)计算第m个区域的概率w_m和第m个区域的灰度均值u_m：

$\left\{\begin{array}{ccc}{w}_m=\underset{i=0}{\overset{t_m}{\Σ}}{p}_i,u_m=\underset{i=0}{\overset{t_m}{\Σ}}(i\·p_i)/w_m,& if& m=1;\\ w_m=\underset{i=t_{m-1}+1}{\overset{t_m}{\Σ}}{p}_i,u_m=\underset{i=t_{m-1}+1}{\overset{t_m}{\Σ}}(i\·p_i)/w_m,& if& 2\≤m\≤k-1;\\ w_m=\underset{i=t_{k-1}+1}{\overset{255}{\Σ}}{p}_i,u_m=\underset{i=t_{k-1}}{\overset{255}{\Σ}}(i\·p_i)/w_m,& if& m=k;\end{array}\right.---\left(2\right)$

其中，{t₁,t₂,...,t_k-1}表示k-1个阈值，1≤m≤k，表示灰度级i出现的概率，n_i表示目标感兴趣区域图像中像素点的灰度级为i的个数，n表示目标感兴趣区域图像中像素的总数；

令表示k个区域的类间方差，遍历整幅目标感兴趣区域的灰度图像，找到使类间方差达到最大的一组阈值，即为k-1个阈值，其中表示目标感兴趣区域的灰度均值，L表示目标感兴趣区域内的灰度级个数。

鉴于上述最大类间差分割方法计算负载，计算时间较长，因此，本发明还可以采用粒子群优化方法计算k-1个阈值，具体包括如下步骤：

S600、定义变量：定义表示阈值组数的粒子群的规模为N；第j组阈值为其中，1≤j≤N；第j组阈值速度为第j组阈值的适应度为fit^j；第j组阈值的最优适应度fit_pbest^j；第j组阈值的最优阈值N组阈值群的最优适应度为fit_gbest；阈值群的最优阈值为t_gbest；最优阈值索引号为jbest；通过对百幅由简单或复杂背景构成的图像进行计算分析可以得出，当N＝20时，算法性能和计算时间有一个很好的折中。

S601、初始化第j组阈值t^j和第j组阈值速度v^j，并用第j组阈值t^j初始化第j组阈值的最优阈值t_pbest^j；根据式(4)计算第j组阈值的适应度fit^j，并用第j组阈值的适应度fit^j初始化第j组阈值的最优适应度fit_pbest^j；选取第j组阈值的最优适应度fit_pbest^j中最大值初始化fit_gbest，并用最大值对应的索引行初始化最优阈值索引号jbest；利用第j组阈值的最优阈值t_pbest^jbest初始化阈值群的最优阈值t_gbest；

${\mathrm{fit}}^j=\underset{m=1}{\overset{k}{\Σ}}{w}_m{({\mathrm{\μ}}_m-{\mathrm{\μ}}_T)}^2---\left(4\right)$

其中，w_m表示第m个区域的概率，u_m表示第m个区域的灰度均值：

$\left\{\begin{array}{ccc}{w}_m=\underset{i=0}{\overset{t_m}{\Σ}}{p}_i,u_m=\underset{i=0}{\overset{t_m}{\Σ}}(i\·p_i)/w_m,& if& m=1;\\ w_m=\underset{i=t_{m-1}+1}{\overset{t_m}{\Σ}}{p}_i,u_m=\underset{i=t_{m-1}+1}{\overset{t_m}{\Σ}}(i\·p_i)/w_m,& if& 2\≤m\≤k-1;\\ w_m=\underset{i=t_{k-1}+1}{\overset{255}{\Σ}}{p}_i,u_m=\underset{i=t_{k-1}}{\overset{255}{\Σ}}(i\·p_i)/w_m,& if& m=k;\end{array}\right.$

其中，{t₁,t₂,...,t_k-1}表示k-1个阈值，1≤m≤k，表示灰度级i出现的概率，n_i表示目标感兴趣区域图像中像素点的灰度级为i的个数，n表示目标感兴趣区域图像中像素的总数；表示目标感兴趣区域的灰度均值，L表示目标感兴趣区域内的灰度级个数；

S602、设置最大迭代次数iter_max(根据计算时间的要求，一般取100)，令迭代次数iter＝0；

S603、判断迭代次数iter是否小于iter_max，如果是，执行S604至S607，如果否，执行S608；

S604、根据式(5)和式(6)更新第j组阈值t^j和速度v^j：

v^j＝w·v^j+c₁×rand(1,k-1)×(t_pbest^j-t^j)+c₂×rand(1,k-1)×(t_gbest-t^j)(5)

t^j＝t^j+v^j(6)

其中，w为惯性权重系数，体现了优化算法在全局搜索和局部搜索上的协调性，其取值范围为w∈[0.4,0.9]。c₁、c₂为学习因子，c₁反映了粒子飞行过程中所记忆的最好位置对飞行速度的影响，c₂反映了粒子全所记忆的最好位置对粒子飞行速度的影响，实验证明，c₁与c₂之和最好接近于4，通常取c₁＝c₂＝2.05。rand(1,k-1)为含有k-1个元素的行向量，其元素的值为[0,1]之间的随机数。

S605、根据更新后的N组阈值，分别更新各组阈值的适应度fit^j： ${\mathrm{fit}}^j=\underset{m=1}{\overset{k}{\Σ}}{w}_m{({\mathrm{\μ}}_m-{\mathrm{\μ}}_T)}^2;$

S606、判断第j组阈值的当前适应度fit^j是否大于第j组阈值的最优适应度fit_pbest^j，如果是，用第j组阈值的当前适应度fit^j更新第j组阈值的最优适应度fit_pbest^j，同时，用第j组阈值更新的第j组最优阈值t_pbest^j，即：

iffit^j＞fit_pbest^jfit_pbest^j＝fit^jt_pbest^j＝t^j(7)

S607、在N组当前阈值的N个最优适应度中，找到最大的一个最优适应度，判断该最大的最优适应度是否大于当前阈值群的最优适应度fit_gbest，如果是，用前者更新后者，并用最大的最优适应度组号更新最优阈值索引号jbest，用最大的最优适应度对应的该组阈值更新阈值群的最优阈值t_gbest，即：

迭代次数iter累计一次：iter＝iter+1，执行S603至S607；

S608、输出阈值群的最优阈值t_gbest；

步骤5、根据目标感兴趣区域的二值图，提取车辆底部阴影线，确定车辆下边界，具体方法如下：

S500、以目标感兴趣区域图像的左上角顶点为原点o″′，令目标感兴趣区域图像的坐标系为o″′u′v′，根据步骤2中确定的摄像机图像坐标与目标感兴趣区域坐标的关系，得到步骤1中的空间对准点坐标(u_c,v_c)在目标感兴趣区域的二值图中的坐标(u′_c,v′_c)；

S501、由于车辆的下边界一定是在空间对准点(车辆质心)的下部，而下边界的起始点应当在空间对准点的左下方区域，下边界的终止点应当在空间对准点的右下方区域，因此，在本发明的目标感兴趣区域的二值图中，以空间对准点为参考点，选择其下方左侧区域作为起始点的可能范围，其下方右侧区域作为终止点的可能范围；

S502、在起始点可能范围与终止点可能范围组成的区域内，针对每一行像素点，分别在起始点和终止点可能范围内寻找该行的起始点和终止点：

如果某一像素点与其前一像素点的像素值之差为1，且该像素点与其后一像素点的像素值之差为0，则该像素点为所在行的起始点；

同时，如果某一像素点与其前一像素点的像素值之差为0，且该像素点与其后一像素点的像素值之差为1，则该像素点为所在行的终止点；

如果在该行像素点上同时找到起始点和终止点，连接两点形成一条阴影线；如果只找到一个点或者没找到符合条件的点，则该行没有阴影线；

遍历起始点可能范围与终止点可能范围组成的区域内所有行，连接所有符合条件的阴影线，形成阴影区；

S503、找到S502中阴影区中所有阴影线中最长的一条，即为车辆底部的下边界。

在上述步骤5的S503中，针对每一条阴影线，在目标感兴趣区域二值图的空间对准点所在列，即在列为时像素点的像素值如果为1，在阴影区中剔除该像素点所在的阴影线。

为了进一步缩小起始点和终止点的搜索范围，缩短搜索时间，根据实际经验可知，在上述步骤5的S501中，阴影线的起始点和终止点的各自可能区域范围为：

起始点在行范围为v′∈[v′_c,H′]以及列范围为u′∈[2,u′_c]的区域内；

终止点在行范围为v′∈[v′_c,H′]以及列范围为u′∈[u′_c,W′-1]的区域内；

其中H′和W′分别为目标感兴趣区域的高和宽。

综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (11)

1.一种基于多传感器融合的车辆下边界检测方法，其特征在于，包括如下步骤：

步骤1、在同一场景下，针对目标车辆，采用毫米波雷达对其位置进行测量，采用摄像机对目标车辆进行图像采集，然后将毫米波雷达量测的位置信息通过基于单应性变换矩阵的空间对准方法投影到摄像机采集的图像中，把雷达在车辆上扫描点坐标转换成摄像机图像坐标系下的坐标，作为空间对准点(u_c,v_c)；

步骤2、利用空间对准点(u_c,v_c)信息，在实时获得的每一帧摄像机图像中提取包含目标车辆的目标感兴趣区域；

步骤3、绘制步骤2中的目标感兴趣区域，得到灰度直方图，确定灰度直方图中的峰值个数k；

步骤4、根据步骤3得到的峰值个数k，确定目标感兴趣区域的k-1个阈值根据k-1个阈值把目标感兴趣区域分成k个不同区域，以k-1个阈值中的最小值作为二值化阈值，将已分区的目标感兴趣区域的图像进行二值化处理，得到目标感兴趣区域的二值图；

步骤5、根据目标感兴趣区域的二值图，提取车辆底部阴影线，确定车辆下边界，具体方法如下：

S500、以目标感兴趣区域图像的左上角顶点为原点o″′，令目标感兴趣区域图像的坐标系为o″′u′v′，根据步骤2中确定的摄像机图像坐标与目标感兴趣区域坐标的关系，得到步骤1中的空间对准点坐标(u_c,v_c)在目标感兴趣区域的二值图中的坐标(u′_c,v′_c)；

S501、在目标感兴趣区域的二值图中，以空间对准点为参考点，其下方左侧区域作为起始点的可能范围，其下方右侧区域作为终止点的可能范围；

S502、在起始点可能范围与终止点可能范围组成的区域内，针对每一行像素点，分别在起始点和终止点可能范围内寻找该行的起始点和终止点：

如果某一像素点与其前一像素点的像素值之差为1，且该像素点与其后一像素点的像素值之差为0，则该像素点为所在行的起始点；

同时，如果某一像素点与其前一像素点的像素值之差为0，且该像素点与其后一像素点的像素值之差为1，则该像素点为所在行的终止点；

如果在该行像素点上同时找到起始点和终止点，连接两点形成一条阴影线；如果只找到一个点或者没找到符合条件的点，则该行没有阴影线；

遍历起始点可能范围与终止点可能范围组成的区域内所有行，连接所有符合条件的阴影线，形成阴影区；

S503、找到S502中阴影区中所有阴影线中最长的一条，即为车辆底部的下边界。

2.如权利要求1所述的一种基于多传感器融合的车辆下边界检测方法，其特征在于，在所述步骤3中，利用峰值自适应方法确定目标感兴趣区域灰度直方图中的峰值个数k，具体方法为：

S301、在所述灰度直方图上，针对每一个灰度级对应的峰值，如果该灰度级的峰值大于其左、右相邻灰度级的峰值，则将此灰度级和其对应的峰值添加到第一局部最大峰值集合hist_s1中；

S302、在所述第一局部最大峰值集合hist_s1中，遵照S301的方法寻找第二局部最大峰值集合hist_s2；

S303、在所述第二局部最大峰值集合hist_s2中，移除峰值小于阈值th1的元素，组成第三局部最大峰值集合hist_s3；其中，阈值th1的取值范围为：th1∈[0.025max(hist),0.05max(hist)]，其中max(hist)表示灰度直方图hist中的最大峰值；

S304、在所述第三局部最大峰值集合hist_s3中，移除两相邻灰度级距离小于阈值th2的元素，组成第四局部最大峰值集合hist_s4；其中，阈值th2为15；

所述第四局部最大峰值集合hist_s4中元素的个数就是目标感兴趣区域图像灰度直方图中峰值的个数k。

3.如权利要求2所述的一种基于多传感器融合的车辆下边界检测方法，其特征在于，在所述步骤3的S304中，针对第四局部最大峰值集合hist_s4中每两相邻峰值元素，如果该两相邻峰值间的距离小于阈值th3，并且两峰值和的四分之一小于两相邻峰值之间区域的平均峰值，则剔除两峰值中较小的元素，组成剔除后的第四局部最大峰值集合hist_s5，其中阈值th3取40。

4.如权利要求1或2所述的一种基于多传感器融合的车辆下边界检测方法，其特征在于，所述步骤1中计算空间对准点(u_c,v_c)的具体方法为：

令OX_rY_rZ_r表示毫米波雷达直角坐标系，O为毫米波雷达表面的中心；Y_r轴垂直于毫米波雷达表面，指向正前方；X_r轴与Y_r轴垂直，指向右侧；Z_r轴垂直于X_r、Y_r确定的平面，指向正上方；Oρθ表示毫米波雷达极坐标系，原点O与坐标系OX_rY_rZ_r的原点重合；ρ表示目标的直线距离；θ表示目标偏离Y_r轴的角度，逆时针方向为正，顺时针方向为负；O'X_cY_cZ_c表示摄像机坐标系，原点O'位于摄像机的光心；X_c轴平行于摄像机扫描行方向，指向扫描像素增大的方向；Y_c轴垂直于摄像机扫描行方向，指向扫描行减小的方向；Z_c轴垂直于成像平面，指向摄像头视线方向；O″uv表示以像素为单位的图像坐标系，O″位于成像平面的左上角；u轴与X_c平行，指向扫描像素增大的方向；v轴与Y_c平行，指向扫描行增大的方向；

当摄像机和毫米波雷达观测同一目标车辆时，通过式(1)把毫米波雷达采集的目标信息投影到摄像头采集的图像中，形成空间对准点：

$\left[\begin{array}{c}{u}_c\\ v_c\\ 1\end{array}\right]=N\left[\begin{array}{c}\mathrm{\ρ}sin\mathrm{\θ}\\ \mathrm{\ρ}\cos \mathrm{\θ}\\ 1\end{array}\right]---\left(1\right)$

其中，(ρ,θ)为毫米波雷达极坐标系的坐标；(u_c,v_c)为摄像头图像坐标系下的质心坐标，即空间对准点坐标； $N=\left[\begin{array}{ccc}{n}_{11}& n_{12}& n_{13}\\ n_{21}& n_{22}& n_{23}\\ n_{31}& n_{32}& n_{33}\end{array}\right],$ 称为单应性变换矩阵，其结果通过建立(ρ,θ)和(u_c,v_c)的空间对应点集并代入式(1)，利用最小二乘法求解得到；得到单应性变换矩阵N后，通过步骤1中毫米波雷达测得的位置坐标，通过式(1)得到空间对准点坐标。

5.如权利要求1或2所述的一种基于多传感器融合的车辆下边界检测方法，其特征在于，在所述步骤2中获得所述目标感兴趣区域的具体方法为：

以空间对准点(u_c,v_c)为参考点，沿摄像机图像水平方向，在参考点的左、右各取W/4的宽度，分别作为目标感兴趣区域的左、右边界；沿摄像机图像的垂直方向，在参考点上、下方各取感兴趣区域左右宽度的40％作为目标感兴趣区域的上、下边界；如果左、右、上或下边界中超过摄像机图像边界，则以摄像机图像的左、右、上或下边界作为目标感兴趣区域的左、右、上或下边界，其中W分别为摄像机采集图像的宽度。

6.如权利要求1或2所述的一种基于多传感器融合的车辆下边界检测方法，其特征在于，所述步骤4中采用最大类间差分割方法计算k-1个阈值，具体为：

通过式(2)计算第m个区域的概率w_m和第m个区域的灰度均值u_m：

$\left\{\begin{array}{ccc}{w}_m=\underset{i=0}{\overset{t_m}{\mathrm{\Σ}}}{p}_i,u_m=\underset{i=0}{\overset{t_m}{\mathrm{\Σ}}}(i\·p_i)/w_m,& if& m=1;\\ w_m=\underset{i=t_{m-1}+1}{\overset{t_m}{\mathrm{\Σ}}}{p}_i,u_m=\underset{i=t_{m-1}+1}{\overset{t_m}{\mathrm{\Σ}}}(i\·p_i)/w_m,& if& 2\≤m\≤k-1;\\ w_m=\underset{i=t_{k-1}+1}{\overset{255}{\mathrm{\Σ}}}{p}_i,u_m=\underset{i=t_{k-1}}{\overset{255}{\mathrm{\Σ}}}(i\·p_i)/w_m,& if& m=k;\end{array}\right.---\left(2\right)$

其中，{t₁,t₂,...,t_k-1}表示k-1个阈值，1≤m≤k，表示灰度级i出现的概率，n_i表示目标感兴趣区域图像中像素点的灰度级为i的个数，n表示目标感兴趣区域图像中像素的总数；

令表示k个区域的类间方差，遍历整幅目标感兴趣区域的灰度图像，找到使类间方差达到最大的一组阈值，即为k-1个阈值，其中表示目标感兴趣区域的灰度均值，L表示目标感兴趣区域内的灰度级个数。

7.如权利要求1或2所述的一种基于多传感器融合的车辆下边界检测方法，其特征在于，在所述步骤5的S503中，针对每一条阴影线，在目标感兴趣区域二值图的空间对准点所在列，即在列为时像素点的像素值如果为1，在阴影区中剔除该像素点所在的阴影线。

8.如权利要求1或2所述的一种基于多传感器融合的车辆下边界检测方法，其特征在于，在所述步骤5的S501中，阴影线的起始点和终止点的各自可能区域范围为：

起始点在行范围为v′∈[v′_c,H′]以及列范围为u′∈[2,u′_c]的区域内；

终止点在行范围为v′∈[v′_c,H′]以及列范围为u′∈[u′_c,W′-1]的区域内；

其中H′和W′分别为目标感兴趣区域的高和宽。

9.如权利要求1或2所述的一种基于多传感器融合的车辆下边界检测方法，其特征在于，所述步骤4中采用粒子群优化方法计算k-1个阈值，具体包括如下步骤：

S600、定义变量：定义表示阈值组数的粒子群的规模为N；第j组阈值为其中，1≤j≤N；第j组阈值速度为第j组阈值的适应度为fit^j；第j组阈值的最优适应度fit_pbest^j；第j组阈值的最优阈值 $t\_{\mathrm{pbest}}^j=\[t\_{\mathrm{pbest}}_1^j,t\_{\mathrm{pbest}}_2^j,...,t\_{\mathrm{pbest}}_{k-1}^j\];$ N组阈值群的最优适应度为fit_gbest；阈值群的最优阈值为t_gbest；最优阈值索引号为jbest；

S601、初始化第j组阈值t^j和第j组阈值速度v^j，并用第j组阈值t^j初始化第j组阈值的最优阈值t_pbest^j；根据式(4)计算第j组阈值的适应度fit^j，并用第j组阈值的适应度fit^j初始化第j组阈值的最优适应度fit_pbest^j；选取第j组阈值的最优适应度fit_pbest^j中最大值初始化fit_gbest，并用最大值对应的索引行初始化最优阈值索引号jbest；利用第j组阈值的最优阈值t_pbest^jbest初始化阈值群的最优阈值t_gbest；

${\mathrm{fit}}^j=\underset{m=1}{\overset{k}{\Σ}}{w}_m{({\mathrm{\μ}}_m-{\mathrm{\μ}}_T)}^2---\left(4\right)$

其中，w_m表示第m个区域的概率，u_m表示第m个区域的灰度均值：

$\left\{\begin{array}{ccc}{w}_m=\underset{i=0}{\overset{t_m}{\mathrm{\Σ}}}{p}_i,u_m=\underset{i=0}{\overset{t_m}{\mathrm{\Σ}}}(i\·p_i)/w_m,& if& m=1;\\ w_m=\underset{i=t_{m-1}+1}{\overset{t_m}{\mathrm{\Σ}}}{p}_i,u_m=\underset{i=t_{m-1}+1}{\overset{t_m}{\mathrm{\Σ}}}(i\·p_i)/w_m,& if& 2\≤m\≤k-1;\\ w_m=\underset{i=t_{k-1}+1}{\overset{255}{\mathrm{\Σ}}}{p}_i,u_m=\underset{i=t_{k-1}}{\overset{255}{\mathrm{\Σ}}}(i\·p_i)/w_m,& if& m=k;\end{array}\right.$

其中，{t₁,t₂,...,t_k-1}表示k-1个阈值，1≤m≤k，表示灰度级i出现的概率，n_i表示目标感兴趣区域图像中像素点的灰度级为i的个数，n表示目标感兴趣区域图像中像素的总数；表示目标感兴趣区域的灰度均值，L表示目标感兴趣区域内的灰度级个数；

S602、设置最大迭代次数iter_max，令迭代次数iter＝0；

S603、判断迭代次数iter是否小于iter_max，如果是，执行S604至S607，如果否，执行S608；

S604、根据式(5)和式(6)更新第j组阈值t^j和速度v^j：

v^j＝w·v^j+c₁×rand(1,k-1)×(t_pbest^j-t^j)+c₂×rand(1,k-1)×(t_gbest-t^j)(5)

t^j＝t^j+v^j(6)

其中，w为惯性权重系数，其取值范围为w∈[0.4,0.9]；c₁、c₂为学习因子c₁＝c₂＝2.05；rand(1,k-1)为含有k-1个元素的行向量，其元素的值为[0,1]之间的随机数；

S605、根据更新后的N组阈值，分别更新各组阈值的适应度fit^j： ${\mathrm{fit}}^j=\underset{m=1}{\overset{k}{\Σ}}{w}_m{({\mathrm{\μ}}_m-{\mathrm{\μ}}_T)}^2;$

S606、判断第j组阈值的当前适应度fit^j是否大于第j组阈值的最优适应度fit_pbest^j，如果是，用第j组阈值的当前适应度fit^j更新第j组阈值的最优适应度fit_pbest^j，同时，用第j组阈值更新的第j组最优阈值t_pbest^j；

S607、在N组当前阈值的N个最优适应度中，找到最大的一个最优适应度，判断该最大的最优适应度是否大于当前阈值群的最优适应度fit_gbest，如果是，用前者更新后者，并用最大的最优适应度组号更新最优阈值索引号jbest，用最大的最优适应度对应的该组阈值更新阈值群的最优阈值t_gbest；迭代次数iter累计一次：iter＝iter+1，执行S603至S607；

S608、输出阈值群的最优阈值t_gbest。

10.如权利要求9所述的一种基于多传感器融合的车辆下边界检测方法，其特征在于，所述粒子群的规模N取20。

11.如权利要求9所述的一种基于多传感器融合的车辆下边界检测方法，其特征在于，所述最大迭代次数iter_max取100。