CN106052645A - 一种悬臂式掘进机空间位姿实时检测***及方法 - Google Patents

Abstract

本发明提出一种悬臂式掘进机空间位姿实时检测***及方法，包括两台十字激光发射器、工控计算机、两台网络摄像机、两个激光标靶。使用机器视觉技术作为位姿参数的采集方式，通过建立掘进机位姿解算数学模型，得到掘进机行进过程中的偏航角、俯仰角、横滚角以及机身上固定一点在巷道截面上的偏移量，即掘进机的空间位姿，可用于掘进机自动行进中的纠偏控制。实验结果表明该***所检测角度的精度在0.5°范围内，位移的精度优于20mm，且每帧图像的处理与显示速度约为5s，满足巷道施工过程中自动、精确、实时定位的要求。

Description

一种悬臂式掘进机空间位姿实时检测***及方法

技术领域

本发明涉及一种矿用悬臂式掘进机的空间位姿实时检测***及方法，属采掘设备应用和机器视觉应用领域。

背景技术

悬臂式掘进机是一种常见的采掘机械，被广泛应用于煤矿巷道和隧道的挖掘中。

当前，掘进机的掘进过程主要依靠激光标靶导向以及人工目测实现，易受到现场光线和人为等因素干扰，从而造成对巷道的超挖、欠挖现象，导致企业采煤效率低下甚至引发安全问题。因此，实现掘进机掘进过程的自动化和智能化就显得尤为迫切，而要解决掘进机的自动精确掘进就必须完成对其机身空间位姿参数的自动实时检测。基于立体计算机视觉的掘进机机身位姿检测技术，其技术实质就是利用机器视觉技术代替人眼来检测和分析空间刚体的位姿，采用该技术方案具有硬件成本低、操作简便、测量精度高等特点。

已有发明专利如公开号为CN101819036A和公开号CN102878976A，均采用立体计算机视觉的原理测量掘进机的机身位姿参数，但由于此类发明专利建立模型时，采用点激光源作为指向单元，故均存在激光指向单元发射的点光源易受遮挡，从而造成测量***准确性差、不稳定，甚至导致无法检测出掘进机位姿参数。所以，此类发明具有局限性，不能进一步推广。

发明内容

本发明专利针对背景技术的不足，提出一种悬臂式掘进机空间位姿实时检测***及方法，可实时准确地检测出掘进机机身的空间位姿参数，且具有抗干扰性强、稳定性高等特点。

为了实现上述目的，本发明是通过以下技术方案实现的：

本发明专利是一种悬臂式掘进机空间位姿实时检测***及方法，可实时获取掘进机的位姿参数，包括偏航角α、俯仰角β、横滚角γ、以及机身中心点D(dx,dy,dz)的坐标，由于在实际操作中车前距L(即dy)对于掘进机的纠偏用处不大，故所述检测***及方法只计算了掘进机机身上固定一点得dx与dz的值。

进一步的，所述***包括两台十字激光发射器、一台工控计算机、两台网络摄像机、两个激光标靶。

进一步的，所述两台十字激光发射器为矿用防爆十字激光发射器，铅直悬挂固定于巷道顶板，分别向所述两个激光标靶发射十字激光信号。

进一步的，所述两个激光标靶分别固定在掘进机机身水平面的左前方与右后方，用于接收所述十字激光发射器发射的十字激光的投影。

进一步的，所述两台网络摄像机为矿用防爆网络摄像机，分别安装于所述两个激光标靶的正后方，用于采集掘进机运行时刻在所述激光标靶的十字激光成像。

进一步的，所述工控计算机可以实时处理大量图形化数据，通过与所述两台网络摄像机连接，分别提取所述网络摄像机采集的左右激光标靶上的成像并进行图像处理和特征参数提取。

进一步的，经所述工控计算机对所述网络摄像机采集图像进行处理并提取特征参数之后，从所述激光标靶靶面上可解算出激光图像的光学特征点的坐标，包括所述十字激光发射器发射出的十字激光和所述激光标靶靶面交点的坐标，所述十字激光发射器发射出的十字激光在所述激光标靶靶面投影的中心点坐标。

进一步的，根据巷道坐标系和机身坐标系双坐标系模型和上述解算出的特征点的坐标，进行位姿解算，最终得到掘进机在巷道坐标系下的空间位姿参数，即偏航角α、俯仰角β、横滚角γ、左右偏距dx与上下偏距dz的值。

与已有技术相比，本发明有益效果是：

本发明将机器视觉技术应用于悬臂式掘进机机身位姿检测***，将硬件软件化，具有成本低、操作简便、测量精度高等特点。此外，本发明还采用双十字激光发射器，有效解决了点光源易受遮挡造成的测量***不稳定、测量结果不精确的问题，具有抗干扰性强、成本可控等特点，具备一定市场推广价值。

附图说明

附图1为本发明掘进机与测量设备相互位置图；

附图2为本发明巷道坐标系与掘进机机身坐标系模型图；

附图3为本发明掘进机空间位姿检测流程图；

附图4为本发明双坐标系机身位姿数学模型向量与角度转换示意图；

附图5为本发明激光标靶成像特征点解算示意图；

附图6为本发明掘进机空间位姿解算示意图；

附图7为本发明机身坐标系与巷道坐标系坐标转换示意图。

具体实施方式

为了能够更清楚地理解本发明的上述目的、特征、优点，下面结合附图和具体实施方式对本发明进一步详细阐述。

设备安装及模型的建立：

参考附图1所示，本发明专利是一种悬臂式掘进机空间位姿实时检测***及方法，包括两台十字激光发射器1、2，两个激光标靶4、6，两台网络摄像机5、7和一台工控计算机。

所述两台十字激光发射器1、2分别铅直悬挂固定于巷道顶板，安装时，保证两束水平激光重叠并平行于掘进机预设行进方向，所述两台十字激光发射器1、2发射的十字激光平面分别与所述激光标靶平面4、6垂直，所述两台激光发射器中心与巷道中轴线距离相等，所述两台激光发射器间距为l；所述两个激光标靶4、6分别固定在掘进机机身水平面的左前方与右后方，安装时保证所述两个激光标靶平行于掘进机机身的铅直面且两束十字激光分别在所述两个激光标靶上的初始成像位于中心位置；所述两台网络摄像机5、7安装于标靶的正后方，并调整相互之间距离，以保证成像的完整性。

参考附图2和附图4所示，建立巷道坐标系和机身坐标系双坐标系机身位姿数学模型，所述模型要求巷道断面坐标系为O_hX_hY_hZ_h，初始位置时刻所述掘进机机身中线与巷道中线重合，所述巷道坐标系原点O_h位于巷道断面的几何中心，X_h轴指向巷道右侧，Y_h轴与巷道中轴线平行并指向掘进机前进方向，Z_h轴垂直与上两轴构成右手关系并取向上为正方向。

所述机身坐标系为O_bX_bY_bZ_b建立在掘进机机身上，原点O_b位于机身中轴线上，在初始位置时X_b、Y_b、Z_b三轴分别与X_h、Y_h、Z_h三轴平行。

所述模型可简化为巷道坐标系下长方体刚***姿的确定，即机身坐标系的X_b、Y_b、Z_b在巷道坐标系下的向量以及刚体上任意一点在该坐标系下的坐标。

其中，机身坐标系下的机身三个平面的法向量与α、β、γ的转换关系为：

$\left(\begin{array}{c}{\stackrel{\→}{X}}_b\\ {\stackrel{\→}{Y}}_b\\ {\stackrel{\→}{Z}}_b\end{array}\right)=\left(\begin{array}{ccc}{X}_{bx}& X_{by}& X_{bz}\\ Y_{bx}& Y_{by}& Y_{bz}\\ Z_{bx}& Z_{by}& Z_{bz}\end{array}\right)---\left(1\right)$

进而可得，

$\left(\begin{array}{c}\mathrm{\α}\\ \mathrm{\β}\\ \mathrm{\γ}\end{array}\right)=arctan\left(\begin{array}{c}{Y}_{bx}{\left(Y_{by}\right)}^{-1}\\ Y_{bz}{\left(Y_{by}\right)}^{-1}\\ X_{bz}{\left(X_{bx}\right)}^{-1}\end{array}\right)---\left(2\right)$

掘进机机身位姿检测整体流程：

参考附图3所示，首先使用所述工控计算机对所述两台网络摄像机中提取的所述两个激光标靶上的成像进行取样，可定时对采集到的视频流取样一帧图像。

进一步的，使用所述工控计算机处理图像并提取特征参数，先用Retinex图像增强算法对图像进行自适应亮度调节，由于采集到的图像产生了较大的桶行畸变，故需对图像进行畸变校正，再通过对色彩的处理过滤掉两个靶面图像中不需要的激光线，使用直线边缘检测的方法并根据标靶安装的实际尺寸，解算出机身坐标系下所述十字激光发射器发射出的十字激光分别与所述激光成像标靶靶面交点的坐标及所述十字激光发射器发射出的十字激光中心点在所述激光靶面成像的坐标。

所述解算过程参考附图4，以所述激光标靶γ₁为例，分别在极坐标下计算出直线l₁、l₂与四个参考点(P₁-P₄)连线的交点A、B、E、F、M在图像坐标系下的坐标，再按式(1)转换到机身坐标系下：

$\left(\begin{array}{ccc}X& Y& Z\end{array}\right)=\left(\begin{array}{ccc}\frac{x-x_1}{x_3-x_1}w& \frac{y-y_4}{y_1-y_4}h& 0\end{array}\right)---\left(3\right)$

其中，(x,y)为五点在图像坐标系中的坐标，h为P₁、P₄间的实际距离，w为P₁、P₃间的实际距离，(X,Y,Z)为5点在机身坐标系中的坐标。

进一步的，根据上述两个激光标靶γ₁、γ₁中10个点的坐标，解算出巷道截面坐标系下掘进机的偏航角、俯仰角、横滚角以及机身上固定一点在巷道截面上的偏移量，即掘进机的空间位姿(α,β,γ,dx,dz)。

机身相对巷道坐标系下的偏航角α、俯仰角β与横滚角γ解算过程参考附图6，将所述两台十字激光发射器产生的重叠水平面视为面α，左十字激光竖直面为β₁，右十字激光竖直面为β₂，右十字激光(α、β₂)在靶面γ₁上投影的两条相交直线为AB、EF并交于点M，左十字激光(α、β₁)在靶面γ₂上投影的两条相交直线为CD、GH并交于点N。因面γ₁与面γ₂平行，故水平激光面α在所述激光标靶靶面上形成的两条直线AB与CD相互平行，通过上一步的图像处理与所述激光标靶的实际尺寸与安装位置可以得到γ₁与γ₂上十个点的具体坐标，从而得到平面α在坐标系O_bX_bY_bZ_b下的法向量与平面方程。

特殊情况下，向量平行于向量此时掘进机的俯仰角β为零，横滚角γ为直线CD与轴X_b间的夹角，偏航角α为与初始位置时的间的夹角；若向量不平行于向量则即为平面β₁的法向量分别于巷道截面坐标系X_h、Z_h的方向相同，Y_h的方向即为易求得，线段CD延长线上的一点N’满足即右十字激光的中心轴线，从而将平面β₁右移到平面β₂的位置，模拟了理想状态下的十字激光投影效果，为点坐标的精确解算提供条件。

参考附图7，上述所得的为机身坐标系O_bX_bY_bZ_b下的机身方向向量，须再进行坐标转换，得到巷道坐标系O_hX_hY_hZ_h下机身的方向向量。具体解算过程如下：对矩阵(Nx,Ny,Nz)^T做矩阵变换，与转换矩阵R相乘转换为单位矩阵，即可得到O_hX_hY_hZ_h坐标系下三个轴的单位向量。

N·R＝E (4)

向量在O_hX_hY_hZ_h坐标系下为单位矩阵E，对单位矩阵做相同变换得到的矩阵，即为O_hX_hY_hZ_h坐标系下的机身位姿。

B＝E·R (5)

即B＝N^-1，可得到

$\left(\begin{array}{ccc}{X}_{bx}& Y_{bx}& Z_{bx}\\ X_{by}& Y_{by}& Z_{by}\\ X_{bz}& Y_{bz}& Z_{bz}\end{array}\right)={\left(\begin{array}{ccc}Nxx& Nxy& Nxz\\ Nyx& Nyy& Nyz\\ Nzx& Nzy& Nzz\end{array}\right)}^{-1}---\left(6\right)$

再由(2)式即可得到机身相对巷道坐标系下的偏航角α、俯仰角β与横滚角γ。

机身相对巷道坐标系下的点坐标解算过程如下：

进一步的，为确定空间内一刚体的位姿，只知道机体坐标系三个轴的方向角并不能精确定位，还需得到刚体上任意一点O₁在空间内的具体坐标，即(O_1x，O_1y，O_1z)。在掘进机定位***中，掘进机在巷道截面上左右、上下的偏移距离比沿巷道中心轴走过的距离更为有效的帮助矿井工作人员发现掘进机的行走偏差并及时纠偏。且由于所述检测***采用视觉定位的方法，无法确切知晓掘进机与巷道坐标系坐标原点间的轴向距离O_1y，故所述检测***针对点坐标的解算只计算了(O_1x，O_1z)，即在巷道截面上O₁点相对于断面中心点的偏移距离。

参考附图6，直线MN’为右十字激光中心轴线，平行于巷道截面坐标系的Y_h轴。所述检测***选择O_b点为机身定位点，求点O_b在面Z_hO_hX_h上相对巷道中轴线的偏移，可先简化为求点O_b在平行于Z_hO_hX_h一平面上的投影相对MN’投影点的偏移，即在直线MN’上找一点O₀，满足

点O_b在坐标平面Z_hO_hX_h上投影点的坐标(dx,dz)计算方法如下，

$\left(\begin{array}{c}dx\\ dz\end{array}\right)=\left(\begin{array}{c}{O}_{bx}+l/2\\ O_{bz}\end{array}\right)=\left(\begin{array}{c}-O_{0x}+l/2\\ -O_{0z}\end{array}\right)---\left(8\right)$

本发明中涉及的未说明部分与现有技术相同或采用现有技术加以实现。

Claims (6)

1.一种悬臂式掘进机空间位姿实时检测***及方法，其特征在于，包括：两台十字激光发射器、一台工控计算机、两台网络摄像机、两个激光标靶，其中，

所述两台十字激光发射器为矿用防爆十字激光发射器，分别铅直悬挂固定于巷道顶板，发射十字激光束；

所述两个激光标靶为磨砂面半透明PC板，固定在掘进机机身水平面板的左前方与右后方，分别用于接收所述十字激光发射器发射的十字激光的投影；

所述两台网络摄像机为矿用防爆网络摄像机，分别安装于所述两个激光标靶的正后方，采集掘进机运行时刻在所述激光成像标靶的十字激光成像；

所述工控计算机通过与所述两台网络摄像机连接，分别提取所述网络摄像机采集的左右激光标靶上的图像，并进行处理和特征参数提取，最终得到掘进机在巷道坐标系下的空间位姿参数。

2.根据权利要求1所述的一种悬臂式掘进机空间位姿实时检测***及方法，其特征在于，所述两台十字激光器的安装需保证两束水平激光重叠并平行于掘进机预设行进方向，所述两台十字激光发射器发射的十字激光平面分别与所述激光标靶平面垂直，所述两台激光发射器中心与巷道中轴线距离相等，所述两台激光发射器间距为l。

3.根据权利要求1所述的一种悬臂式掘进机空间位姿实时检测***及方法，其特征在于，所述两个激光标靶安装时需保证平行于掘进机机身的尾部平面且两束十字激光分别在所述两个激光标靶上的初始成像位于中心位置。

4.根据权利要求1所述的一种悬臂式掘进机空间位姿实时检测***及方法，其特征在于，所述两台网络摄像机安装时需保证分别位于所述激光标靶的正后方，并调整相互之间距离保证成像的完整性。

5.根据权利要求1所述的一种悬臂式掘进机空间位姿实时检测***及方法，其特征在于，所述工控计算机能够即时处理各类数据，安装在掘进机内部，与掘进机刚性连接，通过网络连接线分别与所述两台网络摄像机连接，获取所述两个激光标靶的成像，并进行图像处理和特征参数提取，最终计算出掘进机在巷道坐标系下的空间位姿参数。

6.根据权利要求1至5所述的一种悬臂式掘进机空间位姿实时检测***及方法，其特征在于，所述悬臂式掘进机空间位姿实时检测***检测方法为：使用两台固定在巷道上的所述十字激光器向对应的所述激光标靶进行投影，然后通过两个固定在掘进机机身上的所述网络摄像机实时采集掘进机工作时所述激光标靶上的成像，随后使用Retinex图像增强算法、图像畸变校正和直线检测等图像处理方法对采集到的视频信号进行处理，最终利用建立好的位姿解算模型得到掘进机行进过程中的偏航角、俯仰角、横滚角以及机身上固定一点在巷道截面上的偏移量。