CN116692522A - 一种基于单目视觉识别的装车站溜槽自动装车方法 - Google Patents

Abstract

本发明涉及一种基于单目视觉识别的装车站溜槽自动装车方法，包括：识别车厢高度；溜槽摆动至初始位；识别溜槽口距离和高度；溜槽摆动伸出至压煤位；溜槽摆动缩回至平煤位；判断溜槽口是否刮碰车帮；判断是否整列装车结束。本发明通过采用单目视觉采集图像信息，无需相机校准的先验知识，无需相机和环境的明确关系，从图像中确定仿射场景结构，完成图像识别，具备识别车厢高度、溜槽口与车厢前后帮的相对距离及与车顶平面的相对高度的功能，从而代替人完成一定的工作，且机器不会疲劳，工作效率较高。通过逻辑顺序完成自动的装车流程，可以解放更多的人力，为实现“有人监视、无人操作”的自动化装车提供了一种新的解决思路。

Description

一种基于单目视觉识别的装车站溜槽自动装车方法

技术领域

本发明涉及一种基于单目视觉识别的装车站溜槽自动装车方法，是一种装载机械的自动获取信号并进行装载的方法，是一种铁路装车站运输大宗散料的自动检测和控制的方法。

背景技术

快速定量装车站在散料运输中起到至关重要的作用，其装载效率关乎装车站的装车能力。目前我国的装载自动化程度尚有待提高，对于溜槽的控制多数都是通过人工完成装车；少数采用光栅、激光雷达检测获取动作信号完成自动装车。对于人工装车，操作员通过观察车厢是否到位来开启卸料闸门并启动溜槽摆动进行装车，当过程中出现装载的物料不均匀时，操作员手动操作溜槽控制手柄调整溜槽高度，使物料装载的较为均匀。重要的是操作员需要仔细观察车皮行进位置和车皮高度，装载效果也会因操作人员不同而有所差异，装车效率低。对于光栅、激光雷达检测装车，主要检测车厢的位置，并通过拉线传感器检测油缸位置，判断其是否到达设定的位置。可以看出，目前装载自动化流程较为单一，且仅能够检测出车厢自身的位置，尚未有将车帮口与溜槽口位置进行共同识别的方案，因此有必要研发一种新型的自动化装车解决方案。随着计算机技术的不断发展，并融合铁路装车场提出的“自动装载”和“快速装载”的要求，机器视觉技术不断得到应用，其可以代替人完成一定的工作，且机器不会疲劳，工作效率较高。因此，如何将机器视觉、图像处理识别技术和装车站自动装车结合起来，实现对于车帮口和溜槽口相互关系的识别，是一个亟需解决的问题。

发明内容

为了克服现有技术的问题，本发明提出了一种基于单目视觉识别的装车站溜槽自动装车方法。所述的方法通过单目视觉采集图像信息，对规划的参量进行识别，并通过逻辑顺序完成自动的装车流程。基于此，不仅可以提高装车的效率，而且可以解放更多的人力，为实现“有人监视、无人操作”的自动化装车提供了一种新的解决思路。

本发明的目的是这样实现的：一种基于单目视觉识别的装车站溜槽自动装车方法，所述方法所使用的***包括：装车站的溜槽、溜槽控制子***、视觉子***，包括两部分：车厢高度识别模块和溜槽口与车厢帮相对位置识别模块，及图像识别子***，所述方法的步骤如下：

步骤1，识别车厢高度：车厢尚未开始装车之前，识别出车厢高度，得到溜槽初始摆角信号及平煤位高度；

步骤2，溜槽摆动至初始位：根据步骤1识别得到的动作信号，溜槽控制***驱动溜槽运动，使溜槽运动至初始待装车位后等待下一指令；

步骤3，识别溜槽口距离和高度：采用轻量化单视图三维重建融合直线检测算法，识别溜槽口与车厢前后帮的相对距离及与车顶平面的相对高度，对车帮进行三维重建，构建车帮口平面与范围；采用基于运动学约束的轨迹跟踪算法，融合卡尔曼滤波对溜槽口底部位置与姿态进行准确估计，计算二者相对位置关系；

步骤4，溜槽摆动伸出至压煤位：通过步骤3实时检测溜槽前沿与前车帮的距离，将检测数据与伸出位时溜槽口前沿与前车帮的距离S进行实时比较，满足条件S＞L/cosβ－V₀·L/V后，溜槽控制装置驱动溜槽运动，先使溜槽摆动设定角度，再使溜槽伸缩段按照设定速度、设定长度运动至压煤位；式中：V₀为车速；L为溜槽伸出长度；V为溜槽伸出速度；β为溜槽摆动角度；

步骤5，溜槽摆动缩回至平煤位：通过步骤3的实时检测，溜槽口底沿高度位于平煤位高度时，图像处理装置发信使溜槽伸缩段停止运动；

步骤6，判断溜槽口是否刮碰车帮：溜槽后沿与后车帮的距离达到设定指令后，即一节车厢装车结束，如果下平煤位低于车顶，需控制溜槽缩回至初始位；

步骤7，判断是否整列装车结束：如果检测到还有下一节车厢，则完成步骤7后开始下一个装车循环，重复步骤3-7；如果未检测到还有下一节车厢，则结束装车。

进一步的，所述的步骤3，识别溜槽口距离和高度，包括以下子步骤：

子步骤1，对溜槽口进行目标追踪：对运动的溜槽口进行目标追踪采用KCF算法：首先对所要跟踪的目标图像转换到傅里叶域中，并训练一个非线性分类器；KCF训练的目标是找到一个函数f(z)＝ω^Tz，使样本x_i和其回归目标y_i之间的平方误差最小；式中：ω为模型权重；T为矩阵转置；z为剪出来的图像块；

子步骤2：对目标追踪进行优化：采用卡尔曼滤波器进一步优化物体的追踪，在第t-1帧到第t帧中利用卡尔曼滤波进行预测；式中：t为视频流的第t帧；

子步骤3：求解溜槽口底沿距离火车厢顶平面的垂直距离：选取四个参照点计算辅助直线方程，分别选取溜槽口侧平面内已知的两点和车厢上表面边缘上的两点；通过两点确定一条直线得到直线方程，考虑到溜槽口最低端会***火车车厢造成遮挡，因此目标追踪中心点的选取尤为重要，依据几何关系计算出目标追踪中心与车厢上平面的距离，最后对计算的距离进行修正。

本发明的优点和有益效果是：本发明通过采用单目视觉采集图像信息，无需相机校准的先验知识，无需相机和环境的明确关系，从图像中确定仿射场景结构，完成图像识别，具备识别车厢高度、溜槽口与车厢前后帮的相对距离及与车顶平面的相对高度的功能，从而代替人完成一定的工作，且机器不会疲劳，工作效率较高。通过逻辑顺序完成自动的装车流程，可以解放更多的人力，为实现“有人监视、无人操作”的自动化装车提供了一种新的解决思路。

附图说明

下面结合附图和实施例对本发明作进一步说明。

图1是本发明实施例一所述方法所使用的***结构原理图；

图2是本发明实施例一所述方法所使用的***结构原理图，是图1的A向视图；

图3是本发明实施例一所述方法的方形桩识别原理图；

图4是本发明实施例一所述方法的流程图；

图5是本发明实施例一所述的溜槽伸出位计算原理；

图6是本发明实施例二所述的对料口识别的计算原理图。

具体实施方式

实施例一：

本实施例是一种基于单目视觉识别的装车站溜槽自动装车方法，所述方法所使用的***包括：装车站的溜槽1、溜槽控制子***、视觉子***，包括两部分：车厢高度识别模块2和溜槽口与车厢帮相对位置识别模块3，及图像识别子***，如图1、2、3所示。

所述方法的步骤如下，流程如图4所示：

步骤1，识别车厢高度：车厢尚未开始装车之前，识别出车厢高度，得到溜槽初始摆角信号及平煤位高度，根据操作经验确定信号数据库。

用单目视觉识别车厢的高度首先要解决单目视图度量衡问题：在车厢高度识别模块的视觉检测场景内设置两个实际尺寸已知的方形桩4，这两个方形桩的侧边与车厢侧面不平行，有一定夹角(夹角的大小一般大于10度，小于80度，用肉眼观察车厢侧面与方形桩侧面有较明显的不平行即可)，如图1、2、3所示，用于确定两组独立的平行线。

识别的具体操作细节如下：

(1)需要在图像上点击8个点来选取两组独立的平行线。每组平行线由两条线段组成，包含4个点，且两组平行线确定的两个平面不能平行，同时都垂直于公共参考面(轨面5，见图1、2，以及图3中用双点划线表示的平面)。如3图所示选择的8个点分别为A、B、C、D、E、F、G、H，则分别构成AB和CD(两条竖向的粗实线)，EF和GH(两条接近横向的粗实线)两组平行线，其中AB和CD在图像外交于一点v₁，EF和GH在图像外交于一点v₂，然后可以求得经过点v₁和v₂的直线方程l_v。

(2)参照物(方形桩)和目标(车厢)都必须垂直于公共参考面，且高度值都是相对于轨面作为参考面而言。需要依次确定参照物(方形桩)顶点t_r与末端点b_r，同时顶点与末端点不能具有相同的x坐标，否则无法计算斜率。然后再依次选取目标(车厢)的顶点t_x与末端点b_x。

(3)所求高度由计算得出：

其中：α为放缩因子。

同理可以计算得到Z_y。

车厢高度Z为：

平煤高度根据车厢高度以及待装物料在经验数据库中对应得到。

步骤2，溜槽摆动至初始位：根据步骤1识别得到的动作信号，溜槽控制***驱动溜槽运动，使溜槽运动至初始待装车位后等待下一指令。

初始位需满足不与车头干涉，便于开始卸料后溜槽下一阶段的动作，实施过程中利用所述步骤1获得车厢高度，得到溜槽初始摆角信号及平煤位高度经验值。

步骤3，识别溜槽口距离和高度：采用轻量化单视图三维重建融合直线检测算法，识别溜槽口与车厢前后帮的相对距离及与车顶平面的相对高度：对车帮进行三维重建，构建车帮口平面与范围；采用基于运动学约束的轨迹跟踪算法，融合卡尔曼滤波对溜槽口底部位置与姿态进行准确估计；计算二者相对位置关系。

溜槽到达初始位后，随着车厢匀速运动，视觉实时采集图像，通过算法设计实时识别出溜槽口前后沿与前后车帮间的距离以及溜槽口底沿相对车顶平面的高度。具体实施方法如下：(1)由于火车车厢口在画面中语义信息相对丰富，且火车始终向前运动，采用轻量化单视图三维重建融合直线检测算法，对车帮进行三维重建，构建车帮口平面与范围；(2)溜槽口颜色单一，颜色变化幅度小，且轨迹相对固定，采用基于运动学约束的轨迹跟踪算法，融合卡尔曼滤波对溜槽口底部位置与姿态进行准确估计；(3)根据车帮口平面与范围信息，以及溜槽口位置与姿态信息，计算二者相对位置关系，从而实现后续溜槽口的控制优化。

步骤4，溜槽摆动伸出至压煤位：通过步骤3实时检测溜槽前沿与前车帮的距离，将检测数据与伸出位时溜槽口前沿与前车帮的距离S进行实时比较，满足条件S＞L/cosβ－V₀·L/V后，溜槽控制装置驱动溜槽运动，先使溜槽摆动设定角度，再使溜槽伸缩段按照设定速度、设定长度运动至压煤位。

为避免卸料过程中物料粉尘较大污染环境，装载每节车厢前端部分时溜槽需伸入到车厢内部一段时间，理想伸出位可按照不与车帮干涉的最近位置计算得到，前提为已知车速V₀、溜槽伸出长度L、溜槽伸出速度V和溜槽摆动角度β，其中溜槽伸出位计算原理如图5所示。通过步骤3实时检测溜槽前沿与前车帮的距离，将检测数据与某一设定指令(伸出位时溜槽口前沿与前车帮的距离S)进行实时比较，满足条件后(S＞L/cosβ－V₀·L/V)，溜槽控制***驱动溜槽运动，先使溜槽摆动设定角度，再使溜槽伸缩段按照设定速度、设定长度运动至压煤位，所述的设定角度、设定速度和设定长度均根据操作经验获取。

步骤5，溜槽摆动缩回至平煤位：通过步骤3的实时检测，溜槽口底沿高度位于平煤位高度时，图像处理装置发信使溜槽伸缩段停止运动。

执行完步骤4后，物料不断堆满车厢前端部分，而后溜槽先摆回初始位角度再缩回至平煤位，所述平煤位高度根据步骤1识别结果获取。通过步骤3的实时检测，溜槽口底沿高度位于平煤位高度时，图像处理***发信使溜槽伸缩段停止运动。

步骤6，判断溜槽口是否刮碰车帮：溜槽后沿与后车帮的距离达到设定指令后，即一节车厢装车结束，如果下平煤位低于车顶，需控制溜槽缩回至初始位。

随着车厢匀速运动，视觉实时采集图像，当通过步骤3的实时检测，溜槽后沿与后车帮的距离达到设定指令后，即一节车厢装车结束，如果下平煤位低于车顶，需控制溜槽运动，使溜槽缩回至初始位后停止。

步骤7，判断是否整列装车结束：如果检测到还有下一节车厢，则完成步骤7后开始下一个装车循环，重复步骤3-7；如果检测到没有下一节车厢则溜槽控制装置驱动溜槽摆动缩回至零位，列车装车完毕。

(1)检测装车未结束：完成步骤7后开始下一个装车循环，重复步骤3-7；(2)检测装车已结束：完成步骤7后，溜槽控制装置驱动溜槽摆动缩回至零位，所述的零位为摆角角度为0度，伸缩位移为0mm的位置。至此，一列车厢装车完毕。

实施例二：

本实施例是上述实施例的改进，是上述实施例关于步骤3，识别溜槽口距离和高度的细化。

本实施例采用Kernelized Correlation Filter(KCF)算法保证追踪的准确度和实时性；采用卡尔曼滤波器对物体的追踪进行优化；选取四个参照点计算辅助直线方程，利用直线方程计算得到溜槽口底沿距离火车厢顶平面的垂直距离。该垂直距离的实时检测实现了溜槽口底沿与车厢顶面间相对高度的可视化，是一种测量溜槽口与车厢在高度方向是否干涉的测量方法，解决了没有测量运动中两物体间相对距离的传感器的问题，可以用来指导对于溜槽口运动机构的控制，对落料装备智能化的实现具有重要的意义。

本实施例所述方法所使用的算法包括核化相关滤波器(KCF)、傅里叶变换、正则化、映射处理、高斯核计算、高斯过程的线性动态***、卡尔曼滤波、计算目标追踪中心点距离车厢上平面的距离。所述的目标追踪中心点的选取需要考虑溜槽口最低端会***火车车厢造成遮挡的情况，因此选取落料机构的偏上h₀部分作为目标追踪的区域。

本实施例所述的步骤3，识别溜槽口距离和高度，包括以下子步骤：

子步骤1，对溜槽口进行目标追踪：对运动的溜槽口进行目标追踪采用KCF算法：首先对所要跟踪的目标图像转换到傅里叶域中，并训练一个非线性分类器；KCF训练的目标是找到一个函数f(z)＝ω^Tz，使样本x_i和其回归目标y_i之间的平方误差最小；式中：ω为模型权重；T为矩阵转置；z为剪出来的图像块；

为了保证追踪的准确度和实时性，所采用的算法为Kernelized CorrelationFilter(KCF)。该算法的过程为如下内容：首先对所要跟踪的目标图像转换到傅里叶域中x_i(w,h)∈{0,…,W-1}×{0,…,H-1}，并训练一个非线性分类器。由目标图像的循环移动来获取x与尺寸W×H内部的像素值，其中在目标中心周围进行裁剪获取。每个样本x_i的预期标签y_i(w,h)由一个高斯函数表示，其范围为0～1。y_i对于居中的目标来说是1，而对于远离目标中心的其他区域来说则降为0。KCF训练的目标是找到一个函数f(z)＝ω^Tz，使样本x_i和其回归目标y_i之间的平方误差最小。如下所示：

式中：λ为用于控制过拟合的正则化参数。

通过核函数将x_i映射到希尔伯特空间(Hilbert space)。优化目标变为：

min_ω∑_i|<φ(x_i,ω)>-y_i|²+λ‖ω‖²。

其中：φ是具有内核κ的映射函数，经过映射处理之后，ω可以表示为ω＝∑a_siφ(x_i)。问题变为等价求解问题，即转向解决分类器系数a_s。根据循环矩阵结构和卷积定理，系数a_s的求解方式为：

其中：F为傅里叶变换，y＝{y_i(w,h)|(w,h)∈{0,…,W-1}×{0,…,H-1}}。

k^x＝κ(x,x′)在傅里叶变换域中采用高斯核计算。

对于第t+1帧中尺寸为W×H的图像块z，其中z被裁剪在物***置周围的搜索窗口中，其中z在物***置周围的搜索窗口中被裁剪，置信度响应被计算为：

其中：⊙是元素乘积，k^z＝κ(z,xⁱ)是回归样本z和学习对象外观xⁱ之间的核距离。最终目标位置由最大响应R出现的位置确定，并且响应R被表示为：

子步骤2：对目标追踪进行优化：采用卡尔曼滤波器进一步优化物体的追踪，在第t-1帧到第t帧中利用卡尔曼滤波进行预测；式中：t为视频流的第t帧；

由于溜槽口的运动轨迹相对固定，且图像的追踪噪声符合高斯分布，符合高斯过程的线性动态***(Linear Dynamic System,LDS)。因此采用卡尔曼滤波器进一步优化物体的追踪。在第t-1帧到第t帧中利用卡尔曼滤波进行预测。状态变量域状态变量的协方差矩阵可以计算为：

其中：为状态变量，具体为(x_t,y_t,dx_t,dy_t)，/>为状态变量的协方差矩阵，F_k为状态转移矩阵，B_k为控制矩阵，/>为控制向量，w_k为状态变量的噪声矩阵，Q_k为协方差矩阵的噪声矩阵。预测值和测量值混合步骤为：

其中：H_k为状态空间到测量空间的映射矩阵；为卡尔曼增益；R_k为观测矩阵的噪声矩阵；/>为观测矩阵。

子步骤3：求解溜槽口底沿距离火车厢顶平面的垂直距离：选取四个参照点计算辅助直线方程，分别选取溜槽口侧平面内已知的两点和车厢上表面边缘上的两点；通过两点确定一条直线得到直线方程，考虑到溜槽口最低端会***火车车厢造成遮挡，因此目标追踪中心点的选取尤为重要，依据几何关系计算出目标追踪中心与车厢上平面的距离，最后对计算的距离进行修正。

选取四个参照点计算辅助直线方程，分别选取溜槽口侧平面内已知的两点和车厢上表面边缘上的两点。由于在相机平面内，溜槽口侧平面垂直于地面且相机平面也垂直于地面，因此比例缩放系数可以被简化为：

其中(x₁,y₁)，(x₀,y₀)分别为溜槽口侧平面内已知的两点；Z_r为参照物参数(溜槽口宽度)。车厢上表面边缘平行于平面，通过已知的两点(x₂,y₂)，(x₃,y₃)可以计算直线方程为：

如图6所示设目标追踪中心点为(cx,cy)，通过直线方程可以计算出目标追踪中心点垂直地面方向落在直线方程上的点为(cx,py)。因此可以计算出由于铁轨与上方落料机构的相对位置是确定的，因此可以最终计算出目标追踪中心与车厢上平面的距离/>

由于溜槽口最低端会***火车车厢造成遮挡，因此选取落料机构的偏上h₀部分作为目标追踪的区域。最终修正的距离为：

最后应说明的是，以上仅用以说明本发明的技术方案而非限制，尽管参照较佳布置方案对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案(比如装车站的形式、溜槽的形式、各种公式的运用、步骤的先后顺序等)进行修改或者等同替换，而不脱离本发明技术方案的精神和范围。

Claims (2)

1.一种基于单目视觉识别的装车站溜槽自动装车方法，所述方法所使用的***包括：装车站的溜槽、溜槽控制子***、视觉子***，包括两部分：车厢高度识别模块和溜槽口与车厢帮相对位置识别模块，及图像识别子***，其特征在于，所述方法的步骤如下：

步骤1，识别车厢高度：车厢尚未开始装车之前，识别出车厢高度，得到溜槽初始摆角信号及平煤位高度；

步骤2，溜槽摆动至初始位：根据步骤1识别得到的动作信号，溜槽控制***驱动溜槽运动，使溜槽运动至初始待装车位后等待下一指令；

步骤3，识别溜槽口距离和高度：采用轻量化单视图三维重建融合直线检测算法，识别溜槽口与车厢前后帮的相对距离及与车顶平面的相对高度，对车帮进行三维重建，构建车帮口平面与范围；采用基于运动学约束的轨迹跟踪算法，融合卡尔曼滤波对溜槽口底部位置与姿态进行准确估计，计算二者相对位置关系；

步骤4，溜槽摆动伸出至压煤位：通过步骤3实时检测溜槽前沿与前车帮的距离，将检测数据与伸出位时溜槽口前沿与前车帮的距离S进行实时比较，满足条件S＞L/cosβ－V₀·L/V后，溜槽控制装置驱动溜槽运动，先使溜槽摆动设定角度，再使溜槽伸缩段按照设定速度、设定长度运动至压煤位；其中：V₀为车速；L为溜槽伸出长度；V为溜槽伸出速度；β为溜槽摆动角度；

步骤5，溜槽摆动缩回至平煤位：通过步骤3的实时检测，溜槽口底沿高度位于平煤位高度时，图像处理装置发信使溜槽伸缩段停止运动；

步骤6，判断溜槽口是否刮碰车帮：溜槽后沿与后车帮的距离达到设定指令后，即一节车厢装车结束，如果下平煤位低于车顶，需控制溜槽缩回至初始位；

步骤7，判断是否整列装车结束：如果检测到还有下一节车厢，则完成步骤7后开始下一个装车循环，重复步骤3-7；如果未检测到还有下一节车厢，则结束装车。

2.根据权利要1所示的装车方法，其特征在于，所述的步骤3，识别溜槽口距离和高度，包括以下子步骤：

子步骤1，对溜槽口进行目标追踪：对运动的溜槽口进行目标追踪采用KCF算法：首先对所要跟踪的目标图像转换到傅里叶域中，并训练一个非线性分类器；KCF训练的目标是找到一个函数f(z)＝ω^Tz，使样本x_i和其回归目标y_i之间的平方误差最小；式中：ω为模型权重；T为矩阵转置；z为剪出来的图像块；

子步骤2：对目标追踪进行优化：采用卡尔曼滤波器进一步优化物体的追踪，在第t-1帧到第t帧中利用卡尔曼滤波进行预测；式中：t为视频流的第t帧；

子步骤3：求解溜槽口底沿距离火车厢顶平面的垂直距离：选取四个参照点计算辅助直线方程，分别选取溜槽口侧平面内已知的两点和车厢上表面边缘上的两点；通过两点确定一条直线得到直线方程，考虑到溜槽口最低端会***火车车厢造成遮挡，因此目标追踪中心点的选取尤为重要，依据几何关系计算出目标追踪中心与车厢上平面的距离，最后对计算的距离进行修正。