CN115096178A

CN115096178A - 基于机器视觉的提升容器定位方法

Info

Publication number: CN115096178A
Application number: CN202210513387.5A
Authority: CN
Inventors: 曹国华; ***; 朱真才; 郭学军; 黄强; 曹建猛; 郭健
Original assignee: China University of Mining and Technology CUMT
Current assignee: China University of Mining and Technology CUMT
Priority date: 2022-05-11
Filing date: 2022-05-11
Publication date: 2022-09-23
Anticipated expiration: 2042-05-11
Also published as: CN115096178B

Abstract

本发明公开了一种基于机器视觉的提升容器定位方法，当提升机启动时，容器端相机会识别到提升容器平衡装置上的容器端标记物，触发滚筒端相机开始工作，通过滚筒端相机实时的滚筒端标记物随着滚筒的转动所出现的次数及位置信息，并将所采集的信息传输给信号接收器，信号接收器将信息传递给终端服务器进行灰度处理和二值化处理，并经过计算后，实时的得出提升容器在井筒内的位置，并将其位置信息显示在终端显示器上，给出机房操作人员相关信号，进而控制整个提升***的开车与停车的相关操作。本发明具有不受矿井深度、钢丝绳弹性伸长、钢丝绳打滑等情况的影响，没有机械性磨损，具有定位精度高，可靠性强的优点。

Description

基于机器视觉的提升容器定位方法

技术领域

本发明涉及矿井提升技术领域，具体地说是一种基于机器视觉的提升容器定位方法。

背景技术

矿井提升机的主要任务是提升矿物、下放物料、运送设备和人员，在整个采矿过程中承担着重要的角色。矿井提升机的角色决定了提升机必须具有安全可靠、经济高效等的特点。而提升容器是提升机重要的负载部件，对提升容器的位置测定是矿井提升机开车、停车和减速等操作的重要依据，提升容器位置的测量不准确，会降低生产效率，给进出容器的人员和矿车带来很大的不便，严重时提升机会发生卡罐、超速、过卷状况，从而导致矿井生产中断、设备损坏、人员伤害等事故，给煤矿生产带来极大的经济损失。

目前，矿井提升机对提升容器的测定主要是通过与主轴连接的旋转编码器来测定的。主轴旋转一周带动编码器发出固定的脉冲信号，该信号进入控制***后，通过间接换算得到提升容器运行的位置，操作人员依据这个位置控制提升机的开车、停车和减速等的操作。但是，编码器和主轴的连接要靠多个齿轮啮合，齿侧间隙的存在会使编码器产生较大的误差，同时提升钢丝绳在其自重和重载荷的作用下，会发生弹性伸长、打滑等问题，从而导致定位精度差，使得提升***不能安全高效的运行。

针对现有技术存在的缺陷，急需一种实时监测提升容器位置的基于机器视觉的提升容器定位方法。

发明内容

本发明要解决的技术问题是针对上述现有技术的不足，而提供一种基于机器视觉的提升容器定位方法，该方法通过容器端相机采集提升容器平衡装置上的标记物图像信息，滚筒端相机采集滚筒轮毂上的标记物图像信息，并通过图像处理和相关计算得出提升容器在井筒中的精确位置，具有不受矿井深度、钢丝绳弹性伸长、钢丝绳打滑等情况的影响，没有机械性磨损，具有定位精度高，可靠性强的优点。

为解决上述技术问题，本发明采用的技术方案是：基于机器视觉的提升容器定位方法，具体包括以下步骤：

步骤1、矿井提升装置正常工作时，缠绕在滚筒上的钢丝绳牵引提升容器在井筒内做升降移动；钢丝绳和提升容器之间通过平衡装置连接固定；提升容器设置两个，钢丝绳连接其中一个后，绕过滚筒再连接第二个；

将一个提升容器提升到井筒顶部，在平衡装置上的固定若干容器端标记物；布设容器端相机，并通过容器端相机识别平衡装置和容器端标记物的位置，记录此时为提升容器的停车位置坐标；

步骤2、将标定好的提升容器随钢丝绳下降，另一个提升容器即随钢丝绳上升，重复步骤1，将两个提升容器标定完成；标定完成的两个提升容器一个位于井筒的井口位置，一个位于井筒的底部位置；

步骤3、在滚筒的轮毂上固定若干滚筒端标记物，并设置滚筒端相机，通过滚筒端相机识别出滚筒和滚筒端标记物的位置；

步骤4、启动提升容器，容器端相机识别到平衡装置上的容器端标记物，触发容器端相机与滚筒端相机的连锁，滚筒端相机开始工作；

提升容器随着钢丝绳不断下降，同时另一个提升容器相应的上升；下降的提升容器运行到井筒底部，另一个提升容器上升到井口位置，容器端相机再次识别到平衡装置上的容器端标记物，此时提升容器到位，控制提升装置的停车；

步骤5、在滚筒的不断旋转的过程中，通过滚筒端相机识别滚筒端标记物的位置和数量，同时将信息反馈给容器端相机来调节误差；滚筒端相机和容器端相机将识别的信息传递给信号接收器；

步骤6、信号接收器将收到的信息传到终端服务器进行图像处理，通过对容器端相机的图像灰度处理和二值化处理，并进行计算，得出提升容器在井筒内的位置以及停车位置，在终端显示器上实时显示。

进一步优选地，在容器端相机和滚筒端相机旁分别安装补光灯，提高图像采集的亮度和精度。

进一步优选地，步骤3中，在滚筒的轮毂上以角度θ为间隔固定若干滚筒端标记物，其中10°≤θ≤20°。

进一步优选地，信号接收器通过光纤线或者视频线与终端服务器相连。

进一步优选地，步骤4中，判断提升容器到位的方法为：提升容器在初始位置时，选取容器端相机采集的的五处图像作为模板图像，五处图像分别为提升容器的四角和中心位置图像；当提升容器即将到达停车位置时，容器端相机采集同位置的五处图像并通过信号接收器传输至终端服务器，终端服务器会将接收到的图像与模板图像进行比对；当所接收的图像与模板图像相似度大于95％时，此时的位置即为提升容器到位的位置。

进一步优选地，终端服务器将接收到的图像与模板图像进行比对的过程如下：

设置模板图像的大小为a*a，需要对比的输入图像的大小为b*b，其中b＞a；

第一，从输入的图像的一个角(0，0)开始，切割一块(0，0)至(a，a)的临时图像；

第二，用临时图像和模板图像进行对比，将对比的结果记为c，对比结果c即为输入图像(0，0)处的像素值；

第三、切割一块(0，1)至(10，11)的临时图像，对比之后记录到结果图像；

第四，重复上述步骤，直到切割到输入到图像的对角为止。

进一步优选地，步骤6中的标记物的图像处理方法如下：

步骤6-1、终端服务器对所接收的图像进行灰度处理；将灰度处理过的图像进行二值化处理，取阈值λ，当灰度值大于阈值λ时，取为1；当灰度值小于阈值λ时，取为0，从而得到经二值化处理的灰度值图像；

步骤6-2、在滚筒轮毂的圆形侧面，选取一个角度为α的扇形区域，使这个区域只能包含一个滚筒端标记物，且确保滚筒端相机每一帧扫过的区域只出现两种情况：一种为扇形区域里有滚筒端标记物，另一种为扇形区域中无滚筒端标记物；

步骤6-3、在滚筒旋转时，通过分析前、后帧的灰度值的变化来识别移动的距离：t1帧数像有滚筒端标记物出现，t2，t3，…tn-1帧没有滚筒端标记物出现，tn帧数再次出现滚筒端标记物，从而得出经过n-1帧数滚筒转过了θ角度，此时滚筒转过的弧长为：

式中：r为滚筒中心到标记物中心的长度；

步骤6-4、滚筒端相机不停的采集图像，经历识别滚筒端标记物和识别不到滚筒端标记物循环的过程，得到相隔若干帧数的弧长s1，s2，s3……sn，此时钢丝绳运动的距离L＝s1+s2+s3+……+sn，从而得出提升容器在设定的时间段内上升或下降的距离。

进一步优选地，判断提升容器上升或下降的方法为：在滚筒轮毂的圆形侧面，选取一个角度为β的扇形区域，其中β＞θ；确保滚筒端相机的每一帧都会有滚筒端标记物出现在扇形区域；通过对比相邻的前后两帧图像中的滚筒端标记物位置，来得出滚筒旋转的方向，即若后一帧的滚筒端标记物位置在前一帧的逆时针方向上，说明滚筒是逆时针旋转；若后一帧的滚筒端标记物位置在前一帧的顺时针方向上，则说明滚筒是顺时针旋转。

本发明具有如下有益效果：

1.本发明与现有的定位方法相比，监测时不受矿井深度、钢丝绳弹性伸长、钢丝绳打滑等情况的影响，没有机械性磨损，具有定位精度高，可靠性强的优点。

2.本发明通过提升容器端和滚筒端的相机进行视觉识别，可以达到不间断的工作，且抗干扰能力强，适用于恶劣的工作环境。

3.本发明基于机器视觉来对提升容器的位置进行实时的监测，与现有的技术相比，采用无接触的工作方式进行测量监测，不会影响整个提升机的运输生产。

附图说明

图1是本发明基于机器视觉的提升容器定位方法的原理框图。

图2是本发明基于机器视觉的提升容器定位方法的结构示意图。

图3是本发明基于机器视觉的提升容器定位方法的容器端标记物示意图。

图4是本发明基于机器视觉的提升容器定位方法的滚筒端标记物示意图。

图5是本发明基于机器视觉的提升容器定位方法的滚筒端标记物图像处理图。

图6是本发明基于机器视觉的提升容器定位方法的经阈值处理后的灰度值图像。

图7是本发明基于机器视觉的提升容器定位方法的测量滚筒转向时对滚筒端标记物图像处理示意图。

图8A是第一种扇形区域标记位置图的前一帧。

图8B是第一种扇形区域标记位置图前一帧对应的经阈值处理后的灰度值图像。

图8C是第一种扇形区域标记位置图的后一帧。

图8D是第一种扇形区域标记位置图后一帧对应的经阈值处理后的灰度值图像。

图9A是第二种扇形区域标记位置图的前一帧。

图9B是第二种扇形区域标记位置图前一帧对应的经阈值处理后的灰度值图像。

图9C是第二种扇形区域标记位置图的后一帧。

图9D是第二种扇形区域标记位置图后一帧对应的经阈值处理后的灰度值图像。

其中有：1.滚筒；2.提升容器；3.平衡装置；4.容器端标记物；5.容器端相机；6.滚筒端标记物；7.滚筒端相机；8.信号接收器；9.终端服务器；10.终端显示器；11.补光灯；12.容器端信号箱；13.滚筒端信号箱。

具体实施方式

本发明的描述中，需要理解的是，术语“左侧”、“右侧”、“上部”、“下部”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，“第一”、“第二”等并不表示零部件的重要程度，因此不能理解为对本发明的限制。本实施例中采用的具体尺寸只是为了举例说明技术方案，并不限制本发明的保护范围。

一种基于机器视觉的提升容器定位方法，整体原理如图1所示，当提升机启动时，容器端相机会识别到提升容器平衡装置上的容器端标记物，通过信号传输线触发滚筒端相机开始工作，通过滚筒端相机实时的记录滚筒轮毂上滚筒端标记物随着滚筒的转动所出现的次数及位置信息，然后容器端信号箱和滚筒端信号箱将所采集的信息通过信号传输线传输给信号接收器，其中，信号传输线优选光纤线或者视频线；信号接收器收到信号后进行中值滤波操作后，将信息传递给终端服务器进行处理，实时的得出提升容器在井筒内的位置，并将其位置信息显示在终端显示器上，接着根据滚筒的实时位置信息，通过控制***来给出机房操作人员相关信号，进而控制整个提升***的开车与停车的相关操作。

提升容器端的相机和滚筒端的相机识别到标记物的信息后，在终端服务器经过处理之后，并反馈给两处的相机，进行误差调节。

本发明与现有的定位方法相比，监测时不受矿井深度、钢丝绳弹性伸长、钢丝绳打滑等情况的影响，没有机械性磨损，具有定位精度高，可靠性强的优点；通过提升容器端和滚筒端的相机进行视觉识别，可以达到不间断的工作，且抗干扰能力强，适用于恶劣的工作环境。

下面结合优选实施方式介绍本发明的具体步骤

步骤1、如图2所示，矿井提升装置正常工作时，缠绕在滚筒1上的钢丝绳牵引提升容器2在井筒内做升降移动；钢丝绳和提升容器2之间通过平衡装置3连接固定；提升容器2设置两个，钢丝绳连接其中一个后，绕过滚筒再连接第二个；两个提升容器连接在同一根钢丝绳上，但由于经过滚筒后，运行方向发生改变，因此正常工作时两个提升容器移动方向相反。

如图3所示，将一个提升容器2提升到井筒顶部，在平衡装置3上的固定若干容器端标记物4；布设容器端相机5，容器端相机5可固定在井架上，且容器端相机5可将提升容器2和所有的容器端标记物4囊括在视野内；根据工作环境的实际光线情况，在容器端相机5旁边安装补光灯，若容器端相机5采用红外相机，则需要选择红外灯进行补光，以便后续更好的进行图像识别和处理。

通过容器端相机5识别平衡装置3和容器端标记物4的位置，容器端相机5将信息通过配套的容器端信号箱12输送至信号接收器8，并记录此时为提升容器2的停车位置坐标。

步骤2、将标定好的提升容器2随钢丝绳下降，另一个提升容器2即随钢丝绳上升，重复步骤1，将两个提升容器2标定完成；标定完成的两个提升容器2一个位于井筒的井口位置，一个位于井筒的底部位置。

步骤3、如图4所示，在滚筒1的轮毂上固定若干滚筒端标记物6，若干滚筒端标记物6间隔角度θ固定，其中优选的间隔角度为10°≤θ≤20°。

设置滚筒端相机7，滚筒端相机7同样可固定在井架上，且滚筒端相机7可将滚筒1和所有的滚筒端标记物6囊括在视野内；根据工作环境的实际光线情况，在滚筒端相机7旁边安装补光灯，若滚筒端相机7采用红外相机，则需要选择红外灯进行补光，以便后续更好的进行图像识别和处理。

通过滚筒端相机7识别出滚筒1和滚筒端标记物6的位置，滚筒端相机7将信号通过配套的滚筒端信号箱13输送至信号接收器8。

步骤4、启动提升容器2，容器端相机5识别到平衡装置3上的容器端标记物4，触发容器端相机5与滚筒端相机7的连锁，滚筒端相机7开始工作。

提升容器2随着钢丝绳不断下降，同时另一个提升容器2相应的上升；下降的提升容器2运行到井筒底部，另一个提升容器2上升到井口位置，容器端相机5再次识别到平衡装置3上的容器端标记物4，提升容器2到位，控制提升装置的停车。

判断提升容器2到位的方法为：提升容器2在初始位置时，选取容器端相机5采集的五处图像作为模板图像，五处图像分别为提升容器2的四角和中心位置图像；当提升容器2即将到达停车位置时，容器端相机5采集同位置的五处图像并通过信号接收器8传输至终端服务器9，终端服务器9会将接收到的图像与模板图像进行比对，对比过程为：

设置模板图像的大小为a*a，需要对比的输入图像的大小为b*b，其中b＞a，优选a可以整除b；

第四，重复上述步骤，直到切割到输入到图像的对角为止。

当所接收的图像与模板图像相似度大于95％时，此时的位置即为提升容器2到位的位置。

步骤5、在滚筒的不断旋转的过程中，通过滚筒端相机7识别滚筒端标记物6的位置和数量，同时将信息反馈给容器端相机5来调节误差；容器端信号箱12和滚筒端信号箱13将识别的信息传递给信号接收器8。

步骤6、信号接收器8通过光纤线或者视频线将收到的信息传到终端服务器9进行图像处理，通过对容器端相机5的图像灰度处理和二值化处理并进行计算，处理计算过程如下：

步骤6-1、终端服务器9对所接收的图像进行灰度处理；将灰度处理过的图像进行二值化处理，取阈值λ，当灰度值大于阈值λ时，取为1；当灰度值小于阈值λ时，取为0，从而得到经二值化处理的灰度值图像；

步骤6-2、如图5所示，在滚筒1轮毂的圆形侧面，选取一个角度为α的扇形区域，使这个区域只能包含一个滚筒端标记物6，且确保滚筒端相机7每一帧扫过的区域只出现两种情况：一种为扇形区域里有滚筒端标记物6，另一种为扇形区域中无滚筒端标记物6；

步骤6-3、在滚筒1旋转时，通过分析前、后帧的灰度值的变化来识别移动的距离：如图6所示，t1帧数像有滚筒端标记物6出现，t2，t3，…tn-1帧没有滚筒端标记物6出现，tn帧数再次出现滚筒端标记物6，从而得出经过n-1帧数滚筒转过了θ角度，此时滚筒转过的弧长为：

式中：r为滚筒中心到标记物中心的长度；

步骤6-4、滚筒端相机7不停的采集图像，经历识别滚筒端标记物6和识别不到滚筒端标记物6循环的过程，得到相隔若干帧数的弧长s1，s2，s3……sn，此时钢丝绳运动的距离L＝s1+s2+s3+……+sn，从而得出提升容器2在设定的时间段内上升或下降的距离，换算得提升容器2在井筒内的位置以及停车位置，在终端显示器10上实时显示。

其中，判断提升容器2上升或下降的方法为：如图7所示，在滚筒1轮毂的圆形侧面，选取一个角度为β的扇形区域，其中β＞θ；确保滚筒端相机7的每一帧都会有滚筒端标记物6出现在扇形区域；通过对比相邻的前后两帧图像中的滚筒端标记物6位置，来得出滚筒1旋转的方向；如图8A、图8B、图8C、图8D所示，若后一帧的滚筒端标记物6位置在前一帧的逆时针方向上，说明滚筒1是逆时针旋转；如图9A、图9B、图9C、图9D所示，若后一帧的滚筒端标记物6位置在前一帧的顺时针方向上，则说明滚筒1是顺时针旋转。

以上详细描述了本发明的优选实施方式，但是，本发明并不限于上述实施方式中的具体细节，在本发明的技术构思范围内，可以对本发明的技术方案进行多种等同变换，这些等同变换均属于本发明的保护范围。

Claims

1.基于机器视觉的提升容器定位方法，其特征在于：具体包括以下步骤：

步骤1、矿井提升装置正常工作时，缠绕在滚筒(1)上的钢丝绳牵引提升容器(2)在井筒内做升降移动；钢丝绳和提升容器(2)之间通过平衡装置(3)连接固定；提升容器(2)设置两个，钢丝绳连接其中一个后，绕过滚筒再连接第二个；

将一个提升容器(2)提升到井筒顶部，在平衡装置(3)上的固定若干容器端标记物(4)；布设容器端相机(5)，并通过容器端相机(5)识别平衡装置(3)和容器端标记物(4)的位置，记录此时为提升容器(2)的停车位置坐标；

步骤2、将标定好的提升容器(2)随钢丝绳下降，另一个提升容器(2)即随钢丝绳上升，重复步骤1，将两个提升容器(2)标定完成；标定完成的两个提升容器(2)一个位于井筒的井口位置，一个位于井筒的底部位置；

步骤3、在滚筒(1)的轮毂上固定若干滚筒端标记物(6)，并设置滚筒端相机(7)，通过滚筒端相机(7)识别出滚筒(1)和滚筒端标记物(6)的位置；

步骤4、启动提升容器(2)，容器端相机(5)识别到平衡装置(3)上的容器端标记物(4)，触发容器端相机(5)与滚筒端相机(7)的连锁，滚筒端相机(7)开始工作；

提升容器(2)随着钢丝绳不断下降，同时另一个提升容器(2)相应的上升；下降的提升容器(2)运行到井筒底部，另一个提升容器(2)上升到井口位置，容器端相机(5)再次识别到平衡装置(3)上的容器端标记物(4)，此时提升容器(2)到位，控制提升装置的停车；

步骤5、在滚筒的不断旋转的过程中，通过滚筒端相机(7)识别滚筒端标记物(6)的位置和数量，同时将信息反馈给容器端相机(5)来调节误差；滚筒端相机(7)和容器端相机(5)将识别的信息传递给信号接收器(8)；

步骤6、信号接收器(8)将收到的信息传到终端服务器(9)进行图像处理，通过对容器端相机(5)的图像灰度处理和二值化处理，并进行计算，得出提升容器(2)在井筒内的位置以及停车位置，在终端显示器(10)上实时显示。

2.根据权利要求1所述的基于机器视觉的提升容器定位方法，其特征在于：在容器端相机(5)和滚筒端相机(7)旁分别安装补光灯(11)，提高图像采集的亮度和精度。

3.根据权利要求1所述的基于机器视觉的提升容器定位方法，其特征在于：步骤3中，在滚筒(1)的轮毂上以角度θ为间隔固定若干滚筒端标记物(6)，其中10°≤θ≤20°。

4.根据权利要求1所述的基于机器视觉的提升容器定位方法，其特征在于：信号接收器(8)通过光纤线或者视频线与终端服务器(9)相连。

5.根据权利要求1所述的基于机器视觉的提升容器定位方法，其特征在于：步骤4中，判断提升容器(2)到位的方法为：提升容器(2)在初始位置时，选取容器端相机(5)采集的五处图像作为模板图像，五处图像分别为提升容器(2)的四角和中心位置图像；当提升容器(2)即将到达停车位置时，容器端相机(5)采集同位置的五处图像并通过信号接收器(8)传输至终端服务器(9)，终端服务器(9)会将接收到的图像与模板图像进行比对；当所接收的图像与模板图像相似度大于95％时，此时的位置即为提升容器(2)到位的位置。

6.根据权利要求5所述的基于机器视觉的提升容器定位方法，其特征在于：终端服务器(9)将接收到的图像与模板图像进行比对的过程如下：

第四，重复上述步骤，直到切割到输入到图像的对角为止。

7.根据权利要求3所述的基于机器视觉的提升容器定位方法，其特征在于：步骤6中的标记物的图像处理方法如下：

步骤6-1、终端服务器(9)对所接收的图像进行灰度处理；将灰度处理过的图像进行二值化处理，取阈值λ，当灰度值大于阈值λ时，取为1；当灰度值小于阈值λ时，取为0，从而得到经二值化处理的灰度值图像；

步骤6-2、在滚筒(1)轮毂的圆形侧面，选取一个角度为α的扇形区域，使这个区域只能包含一个滚筒端标记物(6)，且确保滚筒端相机(7)每一帧扫过的区域只出现两种情况：一种为扇形区域里有滚筒端标记物(6)，另一种为扇形区域中无滚筒端标记物(6)；

步骤6-3、在滚筒(1)旋转时，通过分析前、后帧的灰度值的变化来识别移动的距离：t1帧数像有滚筒端标记物(6)出现，t2，t3，…tn-1帧没有滚筒端标记物(6)出现，tn帧数再次出现滚筒端标记物(6)，从而得出经过n-1帧数滚筒转过了θ角度，此时滚筒转过的弧长为：

式中：r为滚筒中心到标记物中心的长度；

步骤6-4、滚筒端相机(7)不停的采集图像，经历识别滚筒端标记物(6)和识别不到滚筒端标记物(6)循环的过程，得到相隔若干帧数的弧长s1，s2，s3……sn，此时钢丝绳运动的距离L＝s1+s2+s3+……+sn，从而得出提升容器(2)在设定的时间段内上升或下降的距离。

8.根据权利要求7所述的基于机器视觉的提升容器定位方法，其特征在于：判断提升容器(2)上升或下降的方法为：在滚筒(1)轮毂的圆形侧面，选取一个角度为β的扇形区域，其中β＞θ；确保滚筒端相机(7)的每一帧都会有滚筒端标记物(6)出现在扇形区域；通过对比相邻的前后两帧图像中的滚筒端标记物(6)位置，来得出滚筒(1)旋转的方向，即若后一帧的滚筒端标记物(6)位置在前一帧的逆时针方向上，说明滚筒(1)是逆时针旋转；若后一帧的滚筒端标记物(6)位置在前一帧的顺时针方向上，则说明滚筒(1)是顺时针旋转。