CN112489123B - 一种钢厂库区卡车表面目标三维定位方法 - Google Patents

Abstract

本发明公开了一种钢厂库区卡车表面目标三维定位方法，属于机械自动化领域，具体步骤：得到不规则目标和规则目标的点云；得到每个不规则目标的主方向向量和中心坐标；得到规范的不规则目标的中心坐标；得到排序后不规则目标的中心坐标；得到不规则目标的位置坐标；得到规则目标点云的中心坐标；得到地面坐标系下的目标位置坐标。本发明应用于钢铁库区装卸车作业中，能提高对卡车上不规则目标和规则目标的分割和定位准确度。采用PointCNN分割网络对卡车表面的目标点云块进行识别和分割，最后由特定的定位算法计算出不规则目标和规则目标的位置；本发明解决了现有定位技术中的不规则目标分割和定位问题，提高了定位***的适用性和识别效率。

Description

一种钢厂库区卡车表面目标三维定位方法

技术领域

本发明属于机械自动化领域，涉及一种钢厂库区卡车表面目标三维定位方法；特别是涉及一种基于深度学习算法的钢铁厂无人化行车***的定位方法。

背景技术

随着自动化技术的发展，钢铁厂库区的全自动化装卸已成为重要趋势。为了实现装卸自动化，核心任务是要能准确定位卡车上的物料和垛位的位置。

传统的基于三维激光的自动定位方法是当前装卸定位的研究热点，然而该方法只能识别规则的钢卷和垛位，或者只能定位特定形状规格的卡车车厢，不具备不规则类型目标的识别能力，因此定位效率受目标类型限制，效率较低。

本发明在传统的三维识别定位***上，发明了一种钢厂库区卡车表面目标三维定位方法。以钢厂常见的不规则木条垛位为例，由于长时间使用，木条垛位往往磨损严重，没有规则的几何模型与之对应，而常规的特征识别算法难以准确分割木条垛位。本方法通过制作现场规则钢卷、规则垛位和不规则木条垛位的数据集来训练PointCNN分割网络，使网络能够识别并分割形状差异较大的三种目标点云，再设计相应的目标定位算法，有效解决了现有定位技术中的不规则目标识别定位问题，提高了***在不同场景下的适用性和识别效率。

发明内容

针对上述问题，本发明提供了一种钢厂库区卡车表面目标三维定位方法。

本发明的技术方案是：一种钢厂库区卡车表面目标三维定位方法，具体步骤包括如下：

步骤(1.1)、采用PointCNN网络分割卡车表面的点云，得到不规则目标的点云H₁,H₂...H_m和规则目标的点云P₁,P₂...P_s；

步骤(1.2)、对分割出的不规则目标的点云H₁,H₂...H_m，采用定向包围盒算法，得到每个不规则目标的主方向向量w_h1,w_h2...w_hm和中心坐标c_h1,c_h2...c_hm；

步骤(1.3)、对不规则目标的主方向向量w_h1,w_h2...w_hm进行校验，剔除放置倾斜、偏离卡车车厢中心的不规则目标，得到规范的不规则目标的中心坐标c_h1,c_h2...c_hl，其中l≤m；

步骤(1.4)、根据卡车停放方向，对定向包围盒计算出的不规则目标中心坐标c_h1,c_h2...c_hl进行排序，得到排序后的中心坐标c_h1',c_h2'...c_hl'；

步骤(1.5)、成对求取相邻不规则目标的中点，得到不规则目标的位置坐标h₁,h₂...h_l/2；

步骤(1.6)、采用规则目标定位算法，得到规则目标点云P₁,P₂...P_s的中心坐标p₁,p₂...p_f，其中f≤s；

步骤(1.7)、对得到的所有不规则目标和规则目标的位置坐标进行转换，得到地面坐标系下的目标位置坐标。

进一步的，所述的三维定位方法是通过对钢厂库区卡车表面的三维激光点云进行分割和定位，并设计目标定位算法计算不规则目标和规则目标的位置。

进一步的，在步骤(1.1)中，所述的不规则目标为木条垛位，规则目标为规则钢卷和规则垛位。

进一步的，在步骤(1.1)中，所述的PointCNN网络分割由库区现场数据集训练得到，其现场数据集的制作步骤具体如下：

(1.1.1)、采集现场定位目标的三维激光数据，分割成只包含单个目标的点云块；

(1.1.2)、通过上采样和下采样，将每个目标点云的数量增加或减少到设定的点云数，同时对点云进行均值化和归一化；

(1.1.3)、重复(1.1.1)-(1.1.2)，制作类别数据集，并标注类别标签；

(1.1.4)、将制作的类别数据和标签随机分为训练集和测试集两组，利用HDF5工具合成PointCNN训练所需的.hdf5文件；

(1.1.5)、将训练集和测试集输入PointCNN网络中进行训练和测试，得到一个可分割不同类别目标点云的PointCNN分割网络。

进一步的，在步骤(1.6)中，所述规则目标定位算法包含规则钢卷的定位算法和规则垛位的定位算法，其中，所述规则钢卷的定位算法的具体步骤如下：

(1.6.1)、对于PointCNN分割的规则钢卷点云，采用RANSAC圆柱体拟合算法得到钢卷点云的模型参数，圆柱体几何模型如下：

式中，(x₀,y₀,z₀)为圆柱轴上一点，(m,n,l)为钢卷轴线上的单位方向向量，r为圆柱体半径；

(1.6.2)、将钢卷点云投影到得到的模型中心轴向量(m,n,l)上，投影公式为：

其中，k(m,n,l)是轴向单位向量，P₀(x₀,y₀,z₀)是圆柱轴上的一点，P_i(x_i,y_i,z_i)(i＝1,2,...,n)是圆弧上的点云，n为点云个数，Q_i(x_i,y_i,z_i)是P_i在圆柱轴上的投影点；

(1.6.3)、计算所有投影点均值，得到钢卷中心坐标p：

(1.6.4)、计算钢卷点云的定向包围盒，得到钢卷宽度信息；

(1.6.5)、依据z坐标对钢卷进行校验，当中心坐标z小于包围盒中心z'，则为有效钢卷的中心坐标，否则舍弃。

本发明的有益效果是：本发明公开了一种钢厂库区卡车表面目标定位方法。通过训练PointCNN分割网络，本发明有效解决了现有定位技术中的不规则目标定位问题，提高了定位***的适用性和识别效率。

附图说明

图1是本发明的结构流程图；

图2是本发明中入库作业流程示意图；

图3是本发明中PointCNN分割网络示意图；

图4是本发明中的钢卷示意图；

图5是本发明中的标准垛位示意图；

图6是本发明中的木条垛位示意图；

图7是本发明中钢卷识别效果示意图；

图8是本发明中木条垛位识别效果示意图。

具体实施方式

为了更清楚地说明本发明的技术方案，下面结合附图对本发明的技术方案做进一步的详细说明：

本发明提出了一种钢厂库区卡车表面目标三维定位方法，使用PointCNN分割网络分割并识别规则和不规则目标的点云，再采用设计的各个类别定位算法计算该目标的中心位置；其中，含有目标的车厢点云由三维激光原始数据经还原和滤波得到。

所述方法以某钢厂冷轧原料库为研究对象，三维激光采集装置安装在库区停车位上方，硬件设备有地面操作站、PLC电气控制柜和手持遥控器；该方法具体实施流程见图1；其中，软件开发工具为Visual Studio2015、Qt5.8.0、Point Cloud Library开源库和MySQL数据库，PointCNN运行平台为PyCharm、Tensorflow和Anaconda2；该方法在钢厂中的入库作业流程见图2，PointCNN分割网络见图3，现场三维扫描装置安装高度为13米；采集到卡车表面点云数据后，具体处理方式如下：

步骤(1.1)：采用PointCNN网络分割卡车表面的点云，得到不规则目标的点云H₁,H₂...H_m和规则目标的点云P₁,P₂...P_s；其中，不规则目标为木条垛位，规则目标为规则钢卷和规则垛位；

其中，PointCNN网络是以点云为输入的三维分割网络，核心在于现场数据集的制作和PointCNN分割网络的训练，数据集的制作步骤如下：

(1.1.1)、采集现场多个目标的三维激光数据，分割成只包含单个目标的点云块；

(1.1.2)、通过上采样和下采样，将每个目标点云的数量增加或减少到设定的点云数，同时对点云进行均值化和归一化；

(1.1.3)、重复(1.1.1)-(1.1.2)，制作一定数量的类别数据集，并标注类别标签；

(1.1.4)、将制作的类别数据和标签随机分为训练集和测试集两组，利用HDF5工具合成PointCNN训练所需的.hdf5文件；

(1.1.5)、将训练集和测试集输入PointCNN网络中进行训练和测试，得到一个可分割不同类别目标点云的PointCNN分割网络。

经调研，库区内主要有三种定位目标：规则钢卷、规则垛位和木条垛位，其中规则钢卷类似于圆柱体(见图4)、规则垛位是成对的具有一定倾斜角的三角柱(见图5)，木条垛位是成对的长条形木块(见图6)，由于长时间使用，木条垛位往往磨损严重，常规的特征识别算法难以准确分割木条垛位；在现场数据集制作上，本方法选取了现场采集的486幅三维数据，设置网络的输入点云数为1024，表1是制作的标签和类比列表。

表1：标签和类别列表

步骤(1.2)、对分割出的不规则目标的点云H₁,H₂...H_m，采用定向包围盒算法，得到每个不规则目标(木条垛位)的主方向向量w_h1,w_h2...w_hm和中心坐标c_h1,c_h2...c_hm；

步骤(1.3)、对不规则目标(木条垛位)的主方向向量w_h1,w_h2...w_hm进行校验，剔除放置倾斜、偏离卡车车厢中心的不规则目标(木条垛位)，得到规范的不规则目标的中心坐标c_h1,c_h2...c_hl，其中l≤m；

步骤(1.4)、根据卡车停放方向，对定向包围盒计算出的不规则目标(木条垛位)中心坐标c_h1,c_h2...c_hl进行排序，得到排序后的中心坐标c_h1',c_h2'...c_hl'

步骤(1.5)、成对求取相邻木条垛位的中点，得到不规则目标(木条垛位)的位置坐标h₁,h₂...h_l/2；

步骤(1.6)、采用规则目标定位算法，得到规则目标点云P₁,P₂...P_s的中心坐标p₁,p₂...p_f，f≤s，其中，所述规则钢卷定位算法包含规则钢卷的定位算法和规则垛位的定位算法，其中，所述规则钢卷的定位算法的具体步骤如下：

(1.6.1)、对于PointCNN分割的规则钢卷点云，采用RANSAC圆柱体拟合算法得到钢卷点云的模型参数，其中圆柱体几何模型如下：

其中，(x₀,y₀,z₀)为圆柱轴上一点，(m,n,l)为钢卷轴线上的单位方向向量，r为圆柱体半径；

(1.6.2)、将钢卷点云投影到得到的模型中心轴向量(m,n,l)上，投影公式为：

其中，k(m,n,l)是轴向单位向量，P₀(x₀,y₀,z₀)是圆柱轴上的一点，P_i(x_i,y_i,z_i)(i＝1,2,...,n)是圆弧上的点云，n为点云个数，Q_i(x_i,y_i,z_i)是P_i在圆柱轴上的投影点；

(1.6.3)、计算所有投影点均值，得到钢卷中心坐标p：

(1.6.4)、计算钢卷点云的定向包围盒，得到钢卷宽度信息；

(1.6.5)、依据z坐标对钢卷进行校验，如果中心坐标z小于包围盒中心z'，则为有效钢卷的中心坐标，否则舍弃。

(1.6.6)、对得到的所有不规则目标和规则目标的位置坐标进行转换，得到地面坐标系下的目标位置坐标。

为验证该方法的有效性，本方法应用制作的现场数据集对PointCNN网络进行训练，经测试，训练后的神经网络能够区分形状差异较大的三种类别，使设计的识别定位算法能达到较高的定位精度；表2对非神经网络算法和基于PointCNN的分割网络算法的分割效果进行了比较，经实验对比，本发明能有效提升目标的定位准确度，定位效果见图7和图8。

表2：分割准确度

	非神经网络算法	基于PointCNN网络
			规则钢卷	94.5％	98.9％
规则垛位	92.8％	97.3％
			不规则木条垛位	85.6％	96.2％

上述只是本发明的较佳实施例，并非对本发明做任何形式上的限定。因此，凡是未脱离被技术方案的内容，依据本发明技术实质对以上实例所做的任何简单修改，等同变化和修饰，均应落在本发明方案保护范围内。

Claims (1)

1.一种钢厂库区卡车表面目标三维定位方法，其特征在于，具体步骤包括如下：

步骤(1.1)、采用PointCNN网络分割卡车表面的点云，得到不规则目标的点云H₁,H₂...H_m和规则目标的点云P₁,P₂...P_s；

步骤(1.2)、对分割出的不规则目标的点云H₁,H₂...H_m，采用定向包围盒算法，得到每个不规则目标的主方向向量w_h1,w_h2...w_hm和中心坐标c_h1,c_h2...c_hm；

步骤(1.3)、对不规则目标的主方向向量w_h1,w_h2...w_hm进行校验，剔除放置倾斜、偏离卡车车厢中心的不规则目标，得到规范的不规则目标的中心坐标c_h1,c_h2...c_hl，其中l≤m；

步骤(1.4)、根据卡车停放方向，对定向包围盒计算出的不规则目标中心坐标c_h1,c_h2...c_hl进行排序，得到排序后的中心坐标c_h1',c_h2'...c_hl'；

步骤(1.5)、成对求取相邻不规则目标的中点，得到不规则目标的位置坐标h₁,h₂...h_l/2；

步骤(1.6)、采用规则目标定位算法，得到规则目标点云P₁,P₂...P_s的中心坐标p₁,p₂...p_f，其中f≤s；

步骤(1.7)、对得到的所有不规则目标和规则目标的位置坐标进行转换，得到地面坐标系下的目标位置坐标；

具体的，所述的三维定位方法是通过对钢厂库区卡车表面的三维激光点云进行分割和定位，并设计目标定位算法计算不规则目标和规则目标的位置；

在步骤(1.1)中，所述的不规则目标为木条垛位，规则目标为规则钢卷和规则垛位；

在步骤(1.1)中，所述的PointCNN网络分割由库区现场数据集训练得到，其现场数据集的制作步骤具体如下：

(1.1.1)、采集现场定位目标的三维激光数据，分割成只包含单个目标的点云块；

(1.1.2)、通过上采样和下采样，将每个目标点云的数量增加或减少到设定的点云数，同时对点云进行均值化和归一化；

(1.1.3)、重复(1.1.1)-(1.1.2)，制作类别数据集，并标注类别标签；

(1.1.4)、将制作的类别数据和标签随机分为训练集和测试集两组，利用HDF5工具合成PointCNN训练所需的.hdf5文件；

(1.1.5)、将训练集和测试集输入PointCNN网络中进行训练和测试，得到一个可分割不同类别目标点云的PointCNN分割网络；

在步骤(1.6)中，所述规则目标定位算法包含规则钢卷的定位算法和规则垛位的定位算法，其中，所述规则钢卷的定位算法的具体步骤如下：

(1.6.1)、对于PointCNN分割的规则钢卷点云，采用RANSAC圆柱体拟合算法得到钢卷点云的模型参数，圆柱体几何模型如下：

式中，(x₀,y₀,z₀)为圆柱轴上一点，(m,n,l)为钢卷轴线上的单位方向向量，r为圆柱体半径；

(1.6.2)、将钢卷点云投影到得到的模型中心轴向量(m,n,l)上，投影公式为：

其中，k(m,n,l)是轴向单位向量，P₀(x₀,y₀,z₀)是圆柱轴上的一点，P_i(x_i,y_i,z_i)(i＝1,2,...,n)是圆弧上的点云，n为点云个数，Q_i(x_i,y_i,z_i)是P_i在圆柱轴上的投影点；

(1.6.3)、计算所有投影点均值，得到钢卷中心坐标p：

(1.6.4)、计算钢卷点云的定向包围盒，得到钢卷宽度信息；

(1.6.5)、依据z坐标对钢卷进行校验，当中心坐标z小于包围盒中心z'，则为有效钢卷的中心坐标，否则舍弃。

Images