CN110344621A - 一种面向智能车库的车轮点云检测方法 - Google Patents

Abstract

本发明提供一种面向智能车库的车轮点云检测方法，包括：利用二维单线激光雷达采集停车区域场景三维点云；数据集标注；基于非结构化点云的三维目标检测网络模型定位车轮位置；基于设定的空间候选框确定目标点云范围，提取感兴趣区域的车轮目标点云；基于预测六自由度的空间最小外接包围框表示车轮目标，同时包含车轮的位置和姿态信息。本发明面向智能车库场景提出了车轮目标检测的深度学习算法，该方法与传统的目标检测方法相比，具有效率高、定位能力强，姿态识别准确，可移植性强等特点，并在城市智能车库中得到了初步应用。

Description

一种面向智能车库的车轮点云检测方法

技术领域

本发明涉及计算机视觉和人工智能领域，特别涉及一种基于二维单线激光采集的面向智能车库的车轮点云检测方法，能够准确定位车轮位置和识别车轮姿态。

背景技术

自动化车库大多通过智能机器人将车辆移动至指定的停车位。目前市面上很多停车机器人都可以在一定程度上利用有限的土地面积，获得成倍的停车位。但这些车库采用的存取车方法基本上属于被动式。如托盘式机器人需要司机将车停在载车板上，再通过搬运机器人移动车辆至相应停车位，但载车板空间狭小，要求驾驶员具有良好的停车技巧，将车辆必须以正确角度停放于专门的载车托盘或区域内。

智能车库的泊车方法放弃了压电传感器等接触式传感器，不借助载车板，利用布局在停车区域上方和机械手上的激光雷达采集的数据，在空间中识别以任意位姿停放的车辆，将其抓取到悬空位置再放置于空间中任意停车位，可以大大降低对场地和驾驶员停车技巧的要求。在停车过程中，***准确定位待停车辆的位置是实现智能泊车的关键，其中对车轮位置信息的获取决定抓取车辆成功与否，更是其中一个重要的内容。因此，需要通过激光雷达扫描得到的车辆点云准确检测出四个车轮的中心位置，安全抓取车辆至指定停车位的问题即被转化为对车轮的目标检测问题。

目前在智能车库场景下还没有利用激光点云检测车轮目标的方法。与本方案较接近的包括：专利文献公开的一种激光雷达设置方法和停车场(公开号：CN109581414A、申请公布)，在车辆经过目标车道时，通过分布在车道两侧的激光雷达扫描车轮内侧，获取具有厚度特征的车轮信息，进而进行车辆定位，但该方法需要布置多个激光雷达，成本较高。一种基于点云数据的3D目标检测方法(公开号：CN109581414A、申请公布)设计了基于点云数据的3D目标检测网络模型主体结构，用以检测出相关道路场景中的感兴趣目标，但这种方法需要结合点云和相机采集的图像进行场景感知。文献(王海.基于激光雷达的自动泊车环境感知技术研究.大连理工大学，2013)应用激光扫描仪获得前方范围的车辆、墙体、行人等障碍,分析出可行的泊车车位，但该方法基于传统算法提取车辆特征，鲁棒性差。专利文献公开的一种车辆定位方法、自动驾驶控制方法及相关***(公开号：CN109596140A、申请公布)，通过向行进中车辆的车轮发射探测信号，并利用激光雷达接收所述车轮反射回的信号的方式，获得所述车轮相对于所述激光雷达的距离和方向，这种方法同样要求车辆沿固定车道运动，并且无法识别车轮姿态。

发明内容

针对现有技术的问题，本发明的目的是提供一种智能车库场景下的车轮点云检测方法。为实现上述目的，本发明的技术方案提供一种基于深度学习的车轮目标检测技术，包括以下步骤：

步骤1，利用二维单线激光雷达采集停车区域场景三维点云，制作相应数据集；

步骤2，基于非结构化点云的三维目标检测模型确定目标位姿信息；

步骤3，基于非结构化点云的三维目标检测模型确定预测到的目标类别；

步骤4，分析由三维目标检测模型预测得到的车轮位姿信息，判断车轮是否会回正、车轮在机械手坐标系中的位置，进而反馈给智能车库上方安装的机械手以是否进行抓取和抓取点位置的信号。

进一步的，步骤1的具体实现方式包括以下子步骤，

步骤1.1，取车机械手固定连接在垂直机械架上，机械手上固定有用于夹取车辆的取车罩，取车罩包括取车罩壳体，壳体底部与车辆的四个轮胎对应位置处分别设有一个用于夹取轮胎的夹取机构，四个激光雷达分别安装在夹取机构上，当取车罩壳体随机械手下落至车轮附近时，激光雷达开始工作，采集四个车轮原始的三维点云数据；

步骤1.2，建立激光三维坐标系，以激光下降前的初始位置为坐标系原点，激光垂直下降时的运动方向为z轴正方向，二维激光扫描时的0°方向为x轴正方向，90°方向为y轴正方向，激光每次下落过程将扫描得到的距离值信息转化至激光三维坐标系，得到一个含车轮目标的点云样本；

步骤1.3，由步骤1.1，1.2得到以三维坐标表示的车库场景点云样本，逐点标记样本中属于车轮部分的点云，利用主成分分析法计算得到每个车轮目标点云的最小外接立方体八个顶点和立方体形心的坐标，取其中固定的三个共面顶点和形心的三维坐标共12个参数作为每个目标的位置标签；对每个车轮目标设置(1，0)向量作为类别标签，将点云数据集按合适比例分为训练集和测试集。

进一步的，步骤1.3中利用主成分分析法计算得到每个车轮目标点云的最小外接立方体八个顶点和立方体形心的坐标，取其中固定的三个共面顶点和形心的三维坐标共12个参数作为每个目标的位置标签的具体实现方式如下，

(1)计算输入点云的质心p_centeroid；

(2)根据输入点云和p_centeroid获取点云的协方差矩阵M_cloud，并计算点云协方差矩阵特征值和特征向量，特征向量方向即为点云的主方向；

(3)校正主方向间垂直后，沿三个主方向找到点云的最小外接立方体，得到标记点云的最小包围框，对每个标记的车轮最小包围框，取其中固定的三个共面顶点p₀，p₁，p₂和形心p_ctr的三维坐标共12个参数，即p_ctr(x_ctr，y_ctr，z_ctr)，p₀(x₀，y₀，z₀)，p₁(x₁，y₁，z₁)，p₂(x₂，y₂，z₂)作为每个目标的位置标签。

进一步的，步骤2的具体实现包括如下子步骤，

步骤2.1，对大小不一的点云样本进行采样，使进入三维目标检测模型的每个样本的大小统一，所述三维目标检测网络基于PointNet网络，并加入了目标定位模块；

步骤2.2，对一帧点云Cloud，包含最大目标数为n_obj，将Cloud中的车轮目标部分点云等效复制，直到Cloud包含的目标数为n_obj，保证输入至三维目标检测模型的点云大小固定；

步骤2.3，确定所有点云样本在三维空间xyz方向的范围，沿xyz方向将三维空间等分为n个候选区域；将Cloud输入三维目标检测模型的定位模块进行特征提取，输出预测的车轮位置信息；

步骤2.4，在n个候选区域中心中找到与标记的车轮目标中心最近的候选区域中心从而确定车轮所在候选框C_chs，根据共筛选出n_obj个候选区域，将其对应的n_obj组预测标志点与标记的车轮目标标志点共同输入损失层计算回归损失L_reg，通过不断迭代训练优化损失函数，使L_reg收敛。

进一步的，步骤2.1中对大小不一的点云样本进行采样，使进入三维目标检测模型的每个样本的大小统一的具体实现方式如下，

设N为每个样本的大小，待采样原始点云C_ori大小为N_input，标记为目标的点云C_tgt点的个数为N_tgt，相应地背景点云C_bgd点的个数为N_bgd＝N_input-N_tgt，若原始点云大小比N小，则对原始点云C_ori随机采样加入原始点云，直到点云大小被扩展至N；若原始点云大小比N大，则仍需进一步判断N_tgt和N的大小，N>N_tgt时，从C_bgd中随机采样加入C_ori直到点云大小为N；N<N_tgt时，不再考虑背景点，只从C_tgt中采样N个点作为采样点云C_smp。

进一步的，步骤2.3的具体实现方式为：根据所有输入的点云数据，确定点云的坐标范围(x_min，x_max，y_min，y_max，z_min，z_max)并建立大的点云空间立方体C，将C沿x，y，z方向以某种设定比例等分，生成n个立方体候选框C₀，C₁，…C_n；将Cloud输入三维目标检测模型的定位模块进行特征提取，输出预测的车轮位置信息，具体操作为：大小为i×3的Cloud输入三维目标检测模型定位模块，经过空间变换网络进行校正，再经过两层3×3的卷积层生成n×64的特征向量，特征向量进入第二次空间变换网络进行特征对齐，再经过三层3×3的卷积层生成n×1024的特征向量，由全连接层提取隐性特征后，输出n×4×3的向量，表示为n个候选区域各自回归一组标志点偏移量△_ctr，△₀，△₁，△₂；每个候选区域输出回归点的位置为候选区域三个共面顶点及中心点坐标C_ctr，C₀，C₁，C₂与△_ctr，△₀，△₁，△₂的和；回归点位置p为候选框的四个标志点与偏移量的和：

进一步的，步骤2.3的具体实现方式为：步骤2.4中的损失函数如下，

其中p_pred，p_gt分别为预测的标志点坐标和标记的标志点坐标，p_pred由网络回归得到，p_gt由步骤1.3获取的最小包围框得到；在求得中心点偏移量△p_ctr及顶点偏移量△p_i的情况下，对车轮目标定位模型，总的定位损失L_reg为：

通过多次迭代，L_reg收敛，表明车轮目标定位模型已近似达到最优。

进一步的，步骤3的具体实现包括如下子步骤，

步骤3.1，根据步骤2中预测到的车轮目标所在候选框C_chs截取筛选候选框中包含的点云，得到新的目标点云Cloud_ROI，非目标部分候选框全部分类为(0，1)；

步骤3.2，将Cloud_ROI输入三维目标检测模型的分类模块，对每个包含目标的候选区域计算分类得分，最终所有包含和不包含车轮目标的候选区域分类得分合并为长度为n的一维向量，与标记类别共同计算Softmax交叉熵损失L_cls，并采用Adams优化器使L_cls最小；

步骤3.3，将测试集中的点云样本输入训练好的三维目标检测模型，得到测试点云样本中的预测车轮目标的最小外接包围框位置及预测得分，若前景得分高于背景得分，则判断该包围框为车轮目标的最小外接包围框，若前景得分低于背景得分，则判断该包围框中包含的点云属于背景。

进一步的，步骤4的具体实现包括如下子步骤，

步骤4.1，计算预测到每个车轮目标最小外接包围框与激光三维坐标系yz平面的夹角，具体实现方式为：根据预测得到的标志点坐标得到向量yz平面的法向量为求得向量与yz平面的法向量夹角为

向量与yz平面的夹角分别为θ₁’＝90°-θ₁，θ₂’＝90°-θ₂，比较θ₁’和θ₂’，较小的角度作为预测得到的车轮目标与yz平面的夹角θ_pred，在已知车身整体朝向与激光三维坐标系yz平面的夹角θ_car的情况下，得到车身和车轮点云在激光三维坐标系yz平面上的夹角△θ＝|θ_pred-θ_car|；

步骤4.2，比较车轮车身夹角与预先设定的阈值，若夹角小于阈值，则***反馈给机械手“允许抓取”的信号，机械手根据预测车轮最小包围框信息计算抓取点并完成抓取车辆上升的过程；若△θ>阈值，则***反馈给机械手“车轮未回正，不允许抓取”的信号，机械手直接上升回到激光三维坐标系原点处，并发出信息提醒驾驶员进一步操作，调整车轮姿态。

本发明提供的技术方案的有益效果为：(1)提出了一种基于深度学习，面向智能车库的车轮点云检测方法，实现了对静态车轮目标高度自动化的实时在线检测；(2)通过两次特征提取分别对目标进行定位和分类，并引入3DRPN接口对回归目标位置，形成完整的多目标识别流程；(3)对识别结果的表示方式，放弃现有的基于点云体素化的方法，用最小外接立方体取代3D网格，使预测包围框内车轮目标体积占比尽量达到最大，达到最优表示效果。

附图说明

图1为本发明的车轮点云检测流程图。

图2为激光雷达扫描距离值-二维坐标转换示意图。

图3为利用主成分分析法标记的车轮目标最小包围框效果图，(a)(b)(c)分别表示沿三个主方向找到点云的最小外接立方体。

图4为车轮目标检测网络通过预测标志点表征目标的示意图。

图5输入点云采样流程图。

图6为车轮目标检测网络定位模块结构图。

图7为车轮目标检测网络定位模块筛选候选框过程示意图。

图8为车轮目标检测网络整体结构图。

图9为模型定位评判标准三维IoU示意图(a)及离散式判断点的内外性方法示意图(b)。

图10为模型姿态准确度评判方式示意图。

具体实施方式

为了更好地理解本发明的技术方案，下面结合附图对本发明做进一步的详细说明。实施例中的流程主要步骤如图1，具体实施过程如下：

步骤1，利用二维单线激光雷达采集停车区域场景三维点云，制作智能车库场景下的点云数据集。在制作数据集之前，首先需要将扫描得到的原始距离信息转换至以三维坐标表示的点云数据形式。方法如下：

步骤1.1，取车机械手固定连接在垂直机械架上，机械手上固定有用于夹取车辆的取车罩。取车罩包括取车罩壳体，壳体底部与车辆的四个轮胎对应位置处分别设有一个用于夹取轮胎的夹取机构，四个激光雷达分别安装在夹取机构上。当取车罩壳体随机械手下落至车轮附近时，激光雷达开始工作，采集四个车轮原始的三维点云数据。

步骤1.2，建立激光三维坐标系。以激光下降前的初始位置为坐标系原点，激光垂直下降时的运动方向为z轴正方向，z方向坐标由控制机械手的PLC提供，以高于地面1.8m处为z轴零点，z轴正方向垂直指向地面。激光获取的距离信息被解析为xy平面坐标，如图2，O为激光原点，激光扫描时的0°方向为x轴正方向，90°方向为y轴正方向。d为第i个扫描点p_i到O的直线距离，激光雷达的扫描分辨率为φ＝0.25°，p_i与O之间的连线同y轴正方向间的夹角为θ，则由三角关系，

p_x，p_y即为p_i在x轴、y轴上的坐标。激光每次下落过程将扫描得到的距离值信息转化至激光三维坐标系，得到一个含车轮目标的点云样本。

步骤1.3，由步骤1.1，1.2得到以三维坐标表示的车库场景点云样本。逐点标记样本中属于车轮部分的点云。利用主成分分析法计算得到每个车轮目标点云的最小外接立方体八个顶点和立方体形心的坐标。主成分分析法实现如下：

(4)计算输入点云的质心p_centeroid；

(5)根据输入点云和p_centeroid获取点云的协方差矩阵M_cloud，并计算点云协方差矩阵特征值和特征向量，特征向量方向即为点云的主方向；

(6)校正主方向间垂直后，沿三个主方向找到点云的最小外接立方体。

以该方法标记的点云最小包围框如图3。

对每个标记的车轮最小包围框，取其中固定的三个共面顶点p₀，p₁，p₂和形心p_ctr的三维坐标共12个参数，即p_ctr(x_ctr，y_ctr，z_ctr)，p₀(x₀，y₀，z₀)，p₁(x₁，y₁，z₁)，p₂(x₂，y₂，z₂)作为每个目标的位置标签，如图4；对每个车轮目标设置(1，0)向量作为类别标签。按上述方法得到的点云数据集共有1260个单目标样本。将两个不同的单车轮目标样本拼接在一起即得到多目标样本；为进一步扩展数据集，引入随机偏移量，将每片点云沿xyz方向随机平移△L(1m<△L<2m)。得到衍生的样本和原始样本共660个，每个样本中点的数目从8192到32768不等。从1920个样本中随机选取900个样本作为训练集，1020个样本作为测试集。

步骤2，将训练集输入基于非结构化点云的三维目标检测网络，该网络基于PointNet网络，并加入了目标定位模块，进行训练后确定车轮目标位姿信息，其中PointNet网络为现有技术，具体结构可参见文献Qi C R,Su H,Mo K,et al.Pointnet:DeepLearning on Point Sets for 3d Classification and Segmentation[J].Proc.Computer Vision and Pattern Recognition(CVPR),IEEE,2017,1(2):4.

步骤2的具体实现方法如下：

步骤2.1，对大小不一的点云样本进行采样，使进入网络的每个样本大小都统一为N＝16384，实现过程如图5，待采样原始点云C_ori大小为N_input，标记为目标的点云C_tgt点的个数为N_tgt，相应地背景点云C_bgd点的个数为N_bgd＝N_input-N_tgt，若原始点云大小比N小，则对原始点云C_ori随机采样加入原始点云，直到点云大小被扩展至N；若原始点云大小比N大，则仍需进一步判断N_tgt和N的大小。N>N_tgt时，从C_bgd中随机采样加入C_ori直到点云大小为N；N<N_tgt时，不再考虑背景点，只从C_tgt中采样N个点作为采样点云C_smp。

步骤2.2，对一帧点云Cloud，包含最大目标数为n_obj＝2。由于目标检测网络要求每次迭代训练时网络输入点云大小固定，先将Cloud中的标记的车轮目标等效复制(可以对一个目标复制也可以随机复制)，直到Cloud包含的目标数为n_obj，保证输入至步骤3中分类网络的点云大小固定。

步骤2.3，根据所有输入的点云数据，确定点云的坐标范围(x_min，x_max，y_min，y_max，z_min，z_max)并建立大的点云空间立方体C，将C沿x，y，z方向以某种设定比例等分，生成n个立方体候选框C₀，C₁，…C_n；将Cloud输入三维目标检测模型的定位模块进行特征提取，输出预测的车轮位置信息。模型的定位模块如图6，具体操作为：大小为i×3的Cloud输入模型定位模块，经过空间变换网络进行校正，再经过两层3×3的卷积层生成n×64的特征向量，特征向量进入第二次空间变换网络进行特征对齐，再经过三层3×3的卷积层生成n×1024的特征向量，由全连接层提取隐性特征后，输出n×4×3的向量，表示为n个候选区域各自回归一组标志点偏移量△_ctr，△₀，△₁，△₂。每个候选区域输出回归点的位置为候选区域三个共面顶点及中心点坐标C_ctr，C₀，C₁，C₂与△_ctr，△₀，△₁，△₂的和。回归点位置p为候选框的四个标志点与偏移量的和：

步骤2.4，判断每个标记车轮目标落在哪个候选框内。通过找到与标记车轮目标中心最近的候选框中心，从而确定车轮所在候选框C_chs；共筛选出n_obj个候选框，筛选候选框过程如图7；计算n_obj×4个标志点和标记目标的标志点之间的欧氏距离平方和，通过防止优化算法陷入局部最小的L2范数作为四个点的回归损失函数，进而求得回归损失：

其中p_pred，p_gt分别为预测的标志点坐标和标记的标志点坐标，p_pred由网络回归得到，p_gt由步骤1.3获取的最小包围框得到。在求得中心点偏移量△p_ctr及顶点偏移量△p_i的情况下，对车轮目标定位模型，总的定位损失L_reg为：

通过1000次迭代，L_reg收敛，表明车轮目标定位模型已近似达到最优。

步骤3，基于非结构化点云的三维目标检测模型确定预测到的目标类别，实现方式包括以下步骤：

步骤3.1，根据步骤2中预测到的车轮目标所在候选框C_chs截取筛选候选框中包含的点云，得到新的目标点云，

Cloud_ROI＝∑C_chs

具体实现方式为：C_chs中的点坐标不变，其余候选框C_elm中的点坐标置为(0,0,0)，且C_elm全部分类为(0，1)向量，表示为背景。

步骤3.2，Cloud_ROI被送入目标分类网络，定位与分类网络构成整个车轮目标检测网络，如图8，分类模块与定位模块在网络结构上完全相同，但分类模块输入的是截取后的点云Cloud_ROI，经全连接层输出的是n_obj×1024的特征向量，经softmax分类器得到n_obj×2的向量，表示对每个C_chs中目标的分类得分。将所有C_chs和C_elm的分类得分合并为长度为n的一维向量h_pred，与标签h共同计算Softmax交叉熵损失L_cls，采用Adams优化器使L_cls最小。通过1000次迭代，L_cls收敛，表明车轮目标分类模型已近似达到最优。

步骤3.3，保存1000次迭代训练后的模型至model.ckpt。测试阶段，程序从model.ckpt读取训练好的模型，将测试集中的点云样本输入车轮目标检测模型中，分别经定位和分类模块，得到测试点云样本中的预测车轮目标的最小外接包围框位置及分类得分(s_fg，s_bg)，若前景得分s_fg高于背景得分s_bg，则判断该包围框为车轮目标的最小外接包围框；若前景s_fg低于背景得分s_bg，则判断该包围框中包含的点云属于背景。

步骤4，分析由三维目标检测模型预测得到的车轮位姿信息，判断车轮是否回正、车轮在机械手坐标系中的位置，进而反馈给智能车库上方安装的机械手以是否进行抓取和抓取点位置的信号，实现方式包括以下步骤：

步骤4.1，计算预测到每个车轮目标最小外接包围框与激光三维坐标系yz平面的夹角θ_pred，具体实现方式为：根据预测得到的标志点坐标得到向量yz平面的法向量为求得向量与yz平面的法向量夹角为

向量与yz平面的夹角分别为θ₁’＝90°-θ₁，θ₂’＝90°-θ₂，比较θ₁’和θ₂’，较小的角度作为预测得到的车轮目标与yz平面的夹角θ_pred。在已知车身整体朝向与激光三维坐标系yz平面的夹角θ_car的情况下，得到车身和车轮点云在激光三维坐标系yz平面上的夹角△θ＝|θ_pred-θ_car|。

步骤4.2，比较△θ与预先设定的阈值θ_threshold＝5°，若△θ<θ_threshold，则***反馈给机械手“允许抓取”的信号，机械手根据预测车轮最小包围框信息计算抓取点并完成抓取车辆上升的过程。若△θ>θ_threshold，则***反馈给机械手“车轮未回正，不允许抓取”的信号，机械手直接上升回到激光三维坐标系原点处，并发出信息提醒驾驶员进一步操作，调整车轮姿态。至此，程序结束，一次完整的车辆抓取流程执行完毕。

以下通过实验来验证本发明的有效性。

实验：样本类别只有前景和背景两类，因此对车轮目标检测模型性能的评价主要集中在预测车轮的定位和姿态结果两方面。对预测定位部分，模型测试时以预测框与标记框在三维空间的交并比IoU作为评价指标。预测框体积为V_pred，标记框体积为V_gt，则有

如图9(a)为立方体IoU示意图，在空间范围内，两个立方体可能在任何面的任何一点处相交，并集部分是完全不规则的，现有的数学方法也不可能求得并集体积的确定值。在无法获得准确解的情况下，本实验采用离散式计算，将包围框沿长宽高三个方向各等分m份，使每个立方体以包含m³个点的点集形式表示。通过判断在立方体中离散点的比例近似表示IoU。如图9(b)，只要被检测点在包围框任意两个平行面的同一侧，则被判断为外部点(如点B)，反之，被检测点在包围框任意两个平行面的异侧则被判断为内部点(如点A)。具体判断方法是观察被测点与任意一边顶点连线同该边方向向量的夹角。对内部点A，θ_a，θ_b必然一个为锐角一个为钝角；而对外部点B，必存在一条边或一个面的法向量，使θ_c，θ_d同为锐角或同为钝角；即

若求得同时属于标记框和预测框中的内部点有n_IoU个，则IoU可近似表示为

对预测姿态部分，根据标记与预测的顶点间连线的方向向量间夹角作为评判标准。如图10，回归的标志点p₀，p₀和p₁连线的方向向量为预测点p₀’和标志中心p₁’连线的方向向量为则预测与标记方向向量间夹角为

同理得到其余两个点对应的姿态角θ₁，θ₂。θ₀，θ₁，θ₂代表着预测最小外接包围框长宽高朝向的准确度，姿态角越小说明预测框的姿态与标记框越接近。

本实验在GTX1080Ti显卡上运行，***环境为Ubuntu16.04，软件环境为Python2.7+Tensorflow1.2+CUDA8.0+CUDNN6.0，所有点云样本被保存为txt格式，网络训练学习率为0.001，每次迭代向网络输入8个点云样本训练。实验结果如表1：

表1实验检测指标及结果

从表中实验数据易得，预测包围框与标记包围框的姿态平均偏差4.26°，三维交并比IoU为75.67％，对单个点云测试样本的检测速度达到21fps。

综上所述，针对智能车库中自动泊车实时获取待停车辆车轮位置和姿态信息的需求，本文结合点云数据中车轮目标的特性，基于深度卷积神经网络提出并实现了一种满足自动泊车要求的三维点云车轮目标检测方法，具有一定的车轮目标定位能力，且对车轮姿态识别比较准确；整个检测过程用时少，效率高，能够在智能立体车库场景中推广应用。

Claims (9)

1.一种面向智能车库的车轮点云检测方法，其特征在于，包括以下步骤：

步骤1，利用二维单线激光雷达采集停车区域场景三维点云，制作相应数据集；

步骤2，基于非结构化点云的三维目标检测模型确定目标位姿信息；

步骤3，基于非结构化点云的三维目标检测模型确定预测到的目标类别；

步骤4，分析由三维目标检测模型预测得到的车轮位姿信息，判断车轮是否会回正、车轮在机械手坐标系中的位置，进而反馈给智能车库上方安装的机械手以是否进行抓取和抓取点位置的信号。

2.根据权利要求1所述的一种面向智能车库的车轮点云检测方法，其特征在于：步骤1的具体实现方式包括以下子步骤，

步骤1.1，取车机械手固定连接在垂直机械架上，机械手上固定有用于夹取车辆的取车罩，取车罩包括取车罩壳体，壳体底部与车辆的四个轮胎对应位置处分别设有一个用于夹取轮胎的夹取机构，四个激光雷达分别安装在夹取机构上，当取车罩壳体随机械手下落至车轮附近时，激光雷达开始工作，采集四个车轮原始的三维点云数据；

步骤1.2，建立激光三维坐标系，以激光下降前的初始位置为坐标系原点，激光垂直下降时的运动方向为z轴正方向，二维激光扫描时的0°方向为x轴正方向，90°方向为y轴正方向，激光每次下落过程将扫描得到的距离值信息转化至激光三维坐标系，得到一个含车轮目标的点云样本；

步骤1.3，由步骤1.1，1.2得到以三维坐标表示的车库场景点云样本，逐点标记样本中属于车轮部分的点云，利用主成分分析法计算得到每个车轮目标点云的最小外接立方体八个顶点和立方体形心的坐标，取其中固定的三个共面顶点和形心的三维坐标共12个参数作为每个目标的位置标签；对每个车轮目标设置(1，0)向量作为类别标签，将点云数据集按合适比例分为训练集和测试集。

3.根据权利要求2所述的一种面向智能车库的车轮点云检测方法，其特征在于：步骤1.3中利用主成分分析法计算得到每个车轮目标点云的最小外接立方体八个顶点和立方体形心的坐标，取其中固定的三个共面顶点和形心的三维坐标共12个参数作为每个目标的位置标签的具体实现方式如下，

(1)计算输入点云的质心p_centeroid；

(2)根据输入点云和p_centeroid获取点云的协方差矩阵M_cloud，并计算点云协方差矩阵特征值和特征向量，特征向量方向即为点云的主方向；

(3)校正主方向间垂直后，沿三个主方向找到点云的最小外接立方体，得到标记点云的最小包围框，对每个标记的车轮最小包围框，取其中固定的三个共面顶点p₀，p₁，p₂和形心p_ctr的三维坐标共12个参数，即p_ctr(x_ctr，y_ctr，z_ctr)，p₀(x₀，y₀，z₀)，p₁(x₁，y₁，z₁)，p₂(x₂，y₂，z₂)作为每个目标的位置标签。

4.根据权利要求3所述的一种面向智能车库的车轮点云检测方法，其特征在于：步骤2的具体实现包括如下子步骤，

步骤2.1，对大小不一的点云样本进行采样，使进入三维目标检测模型的每个样本的大小统一，所述三维目标检测网络基于PointNet网络，并加入了目标定位模块；

步骤2.2，对一帧点云Cloud，包含最大目标数为n_obj，将Cloud中的车轮目标部分点云等效复制，直到Cloud包含的目标数为n_obj，保证输入至三维目标检测模型的点云大小固定；

步骤2.3，确定所有点云样本在三维空间xyz方向的范围，沿xyz方向将三维空间等分为n个候选区域；将Cloud输入三维目标检测模型的定位模块进行特征提取，输出预测的车轮位置信息；

步骤2.4，在n个候选区域中心中找到与标记的车轮目标中心最近的候选区域中心从而确定车轮所在候选框C_chs，根据共筛选出n_obj个候选区域，将其对应的n_obj组预测标志点与标记的车轮目标标志点共同输入损失层计算回归损失L_reg，通过不断迭代训练优化损失函数，使L_reg收敛。

5.根据权利要求4所述的一种面向智能车库的车轮点云检测方法，其特征在于：步骤2.1中对大小不一的点云样本进行采样，使进入三维目标检测模型的每个样本的大小统一的具体实现方式如下，

设N为每个样本的大小，待采样原始点云C_ori大小为N_input，标记为目标的点云C_tgt点的个数为N_tgt，相应地背景点云C_bgd点的个数为N_bgd＝N_input-N_tgt，若原始点云大小比N小，则对原始点云C_ori随机采样加入原始点云，直到点云大小被扩展至N；若原始点云大小比N大，则仍需进一步判断N_tgt和N的大小，N>N_tgt时，从C_bgd中随机采样加入C_ori直到点云大小为N；N<N_tgt时，不再考虑背景点，只从C_tgt中采样N个点作为采样点云C_smp。

6.根据权利要求4所述的一种面向智能车库的车轮点云检测方法，其特征在于：步骤2.3的具体实现方式为：根据所有输入的点云数据，确定点云的坐标范围(x_min，x_max，y_min，y_max，z_min，z_max)并建立大的点云空间立方体C，将C沿x，y，z方向以某种设定比例等分，生成n个立方体候选框C₀，C₁，…C_n；将Cloud输入三维目标检测模型的定位模块进行特征提取，输出预测的车轮位置信息，具体操作为：大小为i×3的Cloud输入三维目标检测模型定位模块，经过空间变换网络进行校正，再经过两层3×3的卷积层生成n×64的特征向量，特征向量进入第二次空间变换网络进行特征对齐，再经过三层3×3的卷积层生成n×1024的特征向量，由全连接层提取隐性特征后，输出n×4×3的向量，表示为n个候选区域各自回归一组标志点偏移量△_ctr，△₀，△₁，△₂；每个候选区域输出回归点的位置为候选区域三个共面顶点及中心点坐标C_ctr，C₀，C₁，C₂与△_ctr，△₀，△₁，△₂的和；回归点位置p为候选框的四个标志点与偏移量的和：

7.根据权利要求4所述的一种面向智能车库的车轮点云检测方法，其特征在于：步骤2.3的具体实现方式为：步骤2.4中的损失函数如下，

其中p_pred，p_gt分别为预测的标志点坐标和标记的标志点坐标，p_pred由网络回归得到，p_gt由步骤1.3获取的最小包围框得到；在求得中心点偏移量△p_ctr及顶点偏移量△p_i的情况下，对车轮目标定位模型，总的定位损失L_reg为：

通过多次迭代，L_reg收敛，表明车轮目标定位模型已近似达到最优。

8.根据权利要求4所述的一种面向智能车库的车轮点云检测方法，其特征在于：步骤3的具体实现包括如下子步骤，

步骤3.1，根据步骤2中预测到的车轮目标所在候选框C_chs截取筛选候选框中包含的点云，得到新的目标点云Cloud_ROI，非目标部分候选框全部分类为(0，1)；

步骤3.2，将Cloud_ROI输入三维目标检测模型的分类模块，对每个包含目标的候选区域计算分类得分，最终所有包含和不包含车轮目标的候选区域分类得分合并为长度为n的一维向量，与标记类别共同计算Softmax交叉熵损失L_cls，并采用Adams优化器使L_cls最小；

步骤3.3，将测试集中的点云样本输入训练好的三维目标检测模型，得到测试点云样本中的预测车轮目标的最小外接包围框位置及预测得分，若前景得分高于背景得分，则判断该包围框为车轮目标的最小外接包围框，若前景得分低于背景得分，则判断该包围框中包含的点云属于背景。

9.根据权利要求8所述的一种面向智能车库的车轮点云检测方法，其特征在于：步骤4的具体实现包括如下子步骤，

步骤4.1，计算预测到每个车轮目标最小外接包围框与激光三维坐标系yz平面的夹角，具体实现方式为：根据预测得到的标志点坐标得到向量yz平面的法向量为求得向量与yz平面的法向量夹角为

向量与yz平面的夹角分别为θ₁’＝90°-θ₁，θ₂’＝90°-θ₂，比较θ₁’和θ₂’，较小的角度作为预测得到的车轮目标与yz平面的夹角θ_pred，在已知车身整体朝向与激光三维坐标系yz平面的夹角θ_car的情况下，得到车身和车轮点云在激光三维坐标系yz平面上的夹角△θ＝|θ_pred-θ_car|；

步骤4.2，比较车轮车身夹角与预先设定的阈值，若夹角小于阈值，则***反馈给机械手“允许抓取”的信号，机械手根据预测车轮最小包围框信息计算抓取点并完成抓取车辆上升的过程；若△θ>阈值，则***反馈给机械手“车轮未回正，不允许抓取”的信号，机械手直接上升回到激光三维坐标系原点处，并发出信息提醒驾驶员进一步操作，调整车轮姿态。