CN112942459B - 一种智能电铲无人卸料装车***和方法 - Google Patents

Abstract

本发明公开了一种智能电铲无人卸料装车***和方法，在起重臂上分别安装第一摄像机和第二摄像机，在斗杆上安装激光测距仪并在自卸车上设置标志物。电铲回转卸料装车时，通过激光测距仪读取的距离值，判断是否需要停止下降铲斗；控制器提取第一摄像机图像中的特征点，并与自卸车模板图像进行匹配，检测图像中是否出现自卸车，并对第一摄像机采集图像中的标志物进行识别，获取标志物个数、大小和中心位置；同时控制器利用第二摄像机识别自卸车的车厢边缘，当车厢的两侧边缘同时被识别时，推压电机停止推压斗杆；结合已完成的装车次数，输出装车作业控制信号，实现自主智能卸料和装车，识别率高、控制精确、智能化程度高、工作效率高和安全可靠。

Description

一种智能电铲无人卸料装车***和方法

技术领域

本发明涉及智能挖掘机技术领域，更具体的说是涉及一种智能电铲无人卸料装车***和方法。

背景技术

电铲体型巨大、工作装置结构复杂、工作环境恶劣且能见度低，导致处于司机室内的操作员视野有限且容易受到干扰。在实际装车作业过程中，操作员需要反复观察周围环境及挖掘机与自卸车的相对位置，才能完成装车作业。此过程中加大了操作员操纵挖掘机的难度，对其操纵水平提出了更高的要求。如果铲斗不能对准自卸车车厢的话，那么装车的矿石极易散落出车厢外，更有可能对自卸车其他部位造成损害，不仅影响作业效率，还埋下了安全隐患。

目前还未公开或报道过任何一种专门用于电铲的智能装车***和方法，以解决电铲因操作员视野受限而不能快速精准装车作业的问题。

因此，如何提供一种智能电铲无人卸料装车***和方法是本领域技术人员亟需解决的问题。

发明内容

有鉴于此，本发明提供了一种智能电铲无人卸料装车***和方法，具有识别率高、控制精确、智能化程度高、工作效率高和安全可靠等优点。

为了实现上述目的，本发明采用如下技术方案：

一种智能电铲无人卸料装车***，包括电铲和自卸车，所述电铲包括铲斗、斗杆、起重臂、推压电机、提升电机、回转电机和控制器，还包括：第一摄像机、第二摄像机和激光测距仪，且所述第一摄像机、所述第二摄像机和所述激光测距仪均与所述控制器连接；

所述第一摄像机安装在所述起重臂上，安装高度为所述自卸车的车顶高度，用于检测自卸车和识别标志物，以确定在X轴方向上所述铲斗和所述自卸车车厢的相对位置；

所述第二摄像机安装在所述起重臂顶部，用于识别所述自卸车车厢边缘，以确定在Y轴方向上所述铲斗与所述自卸车车厢的相对位置；

所述激光测距仪设置在所述斗杆上，用于确定在Z轴方向上所述铲斗与所述自卸车车厢的相对距离；

所述自卸车车厢顶部设置有三个所述标志物。

优选的，三个所述标志物布置方式为中间较两端的标志物长度短，且两端所述标志物对称设置。

一种智能电铲无人卸料装车方法，包括：

S1：以自卸车通过倒车的方式停靠在电铲的左侧进行装车作业为例，挖掘完成后，所述电铲通过回转电机开始向左回转，同时通过提升电机下降铲斗，控制器实时读取激光测距仪读取的距离，在Z轴方向判断是否需要停止下降所述铲斗，达到预设值时即停止；

S2：同时所述控制器提取第一摄像机获取的图像中的特征点，并与自卸车模板图像进行匹配，检测图像中是否出现了自卸车，若所述第一摄像机没有检测到所述自卸车时，所述控制器向回转电机输出驱动信号，使所述电铲继续向左回转；

在所述第一摄像机捕捉到所述自卸车后，所述控制器对第一摄像机采集图像中的标志物进行识别，并获取所述标志物个数、大小、中心位置，以确定在X轴方向上所述铲斗与自卸车车厢的相对位置；

S3：所述控制器读取第二摄像机采集的图像，通过提取所述自卸车的直线特征，利用特征选择算法，从所有的直线特征中筛选出目标特征，完成所述自卸车车厢边缘的标定：当所述自卸车车厢仅右侧边缘被识别时，推压电机继续推压斗杆，当所述自卸车车厢两侧的边缘仅左侧被识别时，所述推压电机反转，收回所述斗杆至合适位置，当所述自卸车车厢两侧的边缘同时被识别时，所述推压电机停止推压所述斗杆，使所述铲斗在Y轴方向上停留在合适位置；

S4：当确定所述自卸车对准电铲后完成卸料工作，此时所述控制器判断是否装车n-1次，其中n表示自卸车车厢装满时对应的电铲数，如果没有达到上述装车次数，则重复上述步骤S1～S3，使得在X轴方向对准自卸车车厢中部，若装车次数达到n-1次，则重复上述步骤，并使得在X轴方向对准自卸车车厢尾部，完成卸料，结束装车。

优选的，所述标志物识别算法包括但不限于图像颜色识别技术，所述自卸车识别算法包括但不限于SIFT特征点提取算法。

优选的，所述图像颜色识别技术包括HSV颜色空间的选择以及铲斗与自卸车车厢的位置感知。

优选的，铲斗与自卸车车厢的位置感知，具体步骤为：

(1)使用连通域分割算法检索标志物图像，控制器处理后获得图像中标志物的个数；

(2)计算出每个标志物区域内像素点个数和标志物的面积，并根据像素点坐标值求得区域中心坐标值；

(3)判断铲斗与自卸车车厢相对位置，若控制器没有在图中检索到标志物区域或者检索到图中只有一块标志物区域，说明铲斗未对准自卸车，则控制回转电机驱动所述电铲左转；若检索到图中有两块标志物区域，其中所述区域中心坐标值的横坐标值小的区域，像素点个数多，说明标志物面积大，则说明此时所述铲斗偏左，即铲斗偏向自卸车车头，则控制所述回转电机驱动所述电铲右转；若检索到图中有两块标志物区域，其中所述区域中心坐标值的横坐标值小的区域，像素点个数少，说明标志物面积小，则说明此时所述铲斗偏右，铲斗偏向自卸车尾部，若此时装载次数小于n-1次，则控制所述回转电机驱动所述电铲左转；若控制器检索到第一摄像机中的图像存在三个标志物，说明铲斗对准自卸车中间。

(4)考虑到自卸车车厢的结构为斜坡状，并结合操作员的装载习惯，若已装载次数少于n-1次时，控制器控制所述回转电机驱动所述电铲回转，对准中部进行装载作业，若已装载次数等于n-1次，即对准自卸车车厢尾部进行装载作业。

本发明的一种智能电铲无人卸料装车***和方法与现有技术相比，具有以下优点：

(1)本发明采用智能电铲无人卸料装车***与方法，采用计算机视觉技术对自卸车及其标志物识别率高，智能化程度高；

(2)本发明采用智能电铲无人卸料装车***与方法，装车作业过程中控制器可通过简单的逻辑判断结合标志物个数、大小、中心位置和装车次数等关键信息，输出正确的装车作业控制信号，具体实现方式简单、装车效率高；

(3)本发明采用智能电铲无人卸料装车***与方法，降低了操作员操纵电铲的难度，装车作业过程安全可靠。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1是本发明智能电铲结构图；

图2是本发明智能电铲与自卸车卸料装车局部俯视图；

图3是本发明自卸车及其标志物结构图；

图4是本发明智能电铲无人卸料装车方法流程图；

图5是本发明采用4邻接的连通域分割算法原理图。

图中，1-电铲，2-第一摄像机，3-自卸车，4-铲斗，5-激光测距仪，6-斗杆，7-起重臂，8-提升绳，9-推压电机，10-控制器，11-提升电机，12-回转电机，13-A字架，14-天轮，15-绷绳，16-车厢，17-标志物，18-第二摄像机。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例公开了一种智能电铲无人卸料装车***，如图1-3所示，包括电铲1和自卸车3，电铲1还包括第一摄像机2、铲斗4、激光测距仪5、斗杆6、起重臂7、提升绳8、推压电机9、控制器10、提升电机11、回转电机12、A字架13、天轮14、绷绳15和第二摄像机18；所述的自卸车16车厢顶部安装有三个标志物17，布置方式为中间短、两头长，两头对称设置；所述的第一摄像机2水平安装在起重臂上，安装高度为自卸车的车顶高度，用来检测自卸车和识别标志物，以确定在X轴方向上铲斗与自卸车车厢的相对位置；所述的第二摄像机18竖直安装在起重臂的顶部，用来识别自卸车的车厢边缘，以确定在Y轴方向上铲斗与自卸车车厢的相对位置；所述的激光测距仪5竖直安装在斗杆上，以确定在Z轴方向上铲斗与自卸车车厢的距离。

本实施例中，自卸车车厢的容量与电铲相匹配，大致3-5斗将自卸车装满。本实施例中设置为4斗装满，考虑到自卸车车厢结构为斜坡状，装车方式为铲斗对准自卸车车厢中部，装载3斗，最后对准车厢尾部，装载一斗，如图4所示，其具体步骤为：

(1)当电铲回转卸料装车时，自卸车会以倒车的方式停靠在电铲的左侧，电铲开始边向左回转，边下降铲斗，控制器实时读取激光测距仪读取的距离，在Z轴方向判断是否需要停止下降所述铲斗，达到预设值时即停止；

(2)同时控制器通过SIFT特征点提取算法提取第一摄像机获取的图像中的特征点，并与自卸车模板图像进行匹配，检测图像中是否出现了自卸车，若第一摄像机没有检测到自卸车时，控制器持续向回转电机输出驱动信号，使电铲继续向左回转；

在第一摄像机捕捉到自卸车后，利用图像颜色识别技术对第一摄像机采集图像中的标志物进行识别，并获取标志物个数、大小、中心位置等关键信息，以确定电铲的铲斗与自卸车车厢的相对位置，这里需要说明的是，在第一次至n-1次卸料过程中对准的是自卸车车厢的中部，在第n次卸料过程中对准的是自卸车车厢的尾部；

(3)控制器采集第二摄像机的图像，通过累积概率Hough变换提取自卸车的直线特征，利用特征选择算法，从所有的直线特征中筛选出目标特征，完成自卸车车厢边缘的标定，当自卸车车厢仅右侧边缘被识别时，推压电机继续推压斗杆，当自卸车车厢两侧的边缘仅左侧被识别时，推压电机反转，收回斗杆至合适位置，当自卸车车厢两侧的边缘同时被识别时，推压电机停止推压斗杆，在Y轴方向上使铲斗停留在合适位置；

(4)当确定所述自卸车对准电铲后完成卸料工作，此时控制器判断是否装车3次，如果装车次数没有达到3次，重复上述步骤，即在X轴方向对准车厢中部，Y轴和Z轴方向达到合适距离，打开斗底，完成卸料装车作业；

(5)如果装车次数达到3次，则对准自卸车车厢的尾部重复上述操作，装车次数达到4次后，自卸车车厢被装满，结束装车。

所述的控制器的功能包括接收电铲自身状态的传感器信息，发送提升电机、回转电机和推压电机的驱动信号功能，还包括图像处理功能。

所述的图像处理功能包括自卸车识别和标志物识别，其中自卸车识别的算法包括但不限于SIFT特征点提取算法，标志物识别的算法包括但不限于图像颜色识别技术。

所述的图像颜色识别技术包括HSV颜色空间的选择，铲斗与自卸车车厢的位置感知。

所述的铲斗与自卸车车厢的位置感知，具体步骤为：如图5所示，首先优选后使用4邻接的连通域分割算法检索标志物图像，控制器处理后获得图像中标志物的个数；接着计算出每个标志物区域内像素点个数和标志物的面积，并根据像素点坐标值求得区域中心坐标值；判断铲斗与自卸车车厢相对位置，若控制器没有在图中检索到标志物区域或者检索到图中只有一块标志物区域，说明铲斗未对准自卸车，则控制回转电机驱动电铲左转；若检索到图中有两块标志物区域，其中区域中心坐标值的横坐标值小的区域，像素点个数多，说明标志物面积大，则说明此时铲斗偏左，即铲斗偏向自卸车车头，则控制回转电机驱动电铲右转；若检索到图中有两块标志物区域，其中区域中心坐标值的横坐标值小的区域，像素点个数少，说明标志物面积小，则说明此时铲斗偏右，铲斗偏向自卸车尾部，若此时装载次数小于n-1次，则控制回转电机驱动电铲左转；若控制器检索到第一摄像机中的图像存在三个标志物，说明铲斗对准自卸车中间。考虑到自卸车车厢的结构为斜坡状，并结合操作员的装载习惯，若已装载次数少于n-1次时，控制器控制回转电机驱动电铲回转，对准中部进行装载作业，若已装载次数等于n-1次，即对准自卸车车厢尾部进行装载作业。

同理，需要说明的是，如果自卸车会以倒车的方式停靠在电铲的右侧，相应步骤进行调整时将向左调整的步骤改为向右调整，向右调整的步骤向左调整即可，其余步骤相同。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (4)

1.一种智能电铲无人卸料装车方法，该方法基于智能电铲无人卸料装车***实现，该***包括电铲和自卸车，所述电铲包括铲斗、斗杆、起重臂、推压电机、提升电机、回转电机和控制器，其特征在于，还包括：第一摄像机、第二摄像机和激光测距仪，且所述第一摄像机、所述第二摄像机和所述激光测距仪均与所述控制器连接；

所述第一摄像机安装在所述起重臂上，安装高度为所述自卸车的车顶高度，用于检测自卸车和识别标志物，以确定在X轴方向上所述铲斗和所述自卸车车厢的相对位置；

所述第二摄像机安装在所述起重臂顶部，用于识别所述自卸车车厢边缘，以确定在Y轴方向上所述铲斗与所述自卸车车厢的相对位置；

所述激光测距仪设置在所述斗杆上，用于确定在Z轴方向上所述铲斗与所述自卸车车厢的相对距离；

所述自卸车车厢顶部设置有三个所述标志物；其特征在于，方法包括：

S1：以自卸车通过倒车的方式停靠在电铲的左侧进行装车作业为例，挖掘完成后，所述电铲通过回转电机开始向左回转，同时通过提升电机下降铲斗，控制器实时读取激光测距仪读取的距离，在Z轴方向判断是否需要停止下降所述铲斗，达到预设值时即可停止；

S2：同时所述控制器提取第一摄像机获取的图像中的特征点，并与自卸车模板图像进行匹配，检测图像中是否出现了自卸车，若所述第一摄像机没有检测到所述自卸车时，所述控制器向回转电机输出驱动信号，使所述电铲继续向左回转；

在所述第一摄像机捕捉到所述自卸车后，所述控制器对第一摄像机采集图像中的标志物进行识别，并获取所述标志物个数、大小、中心位置，以确定在X轴方向上所述铲斗与自卸车车厢的相对位置；

S3：所述控制器读取第二摄像机采集的图像，通过提取所述自卸车的直线特征，利用特征选择算法，从所有的直线特征中筛选出目标特征，完成所述自卸车车厢边缘的标定：当所述自卸车车厢仅右侧边缘被识别时，推压电机继续推压斗杆，当所述自卸车车厢两侧的边缘仅左侧被识别时，所述推压电机反转，收回所述斗杆至合适位置，当所述自卸车车厢两侧的边缘同时被识别时，所述推压电机停止推压所述斗杆，使所述铲斗在Y轴方向上停留在合适位置；

S4：当确定所述自卸车对准电铲后完成卸料工作，此时所述控制器判断是否装车n-1次，其中n表示自卸车车厢装满时对应的电铲数，如果没有达到上述装车次数，则重复上述步骤S1～S3，使得在X轴方向对准自卸车车厢中部，若装车次数达到n-1次，则重复上述步骤，并使得在X轴方向对准自卸车车厢尾部，完成卸料，结束装车。

2.根据权利要求1所述的一种智能电铲无人卸料装车方法，其特征在于，控制器的功能包括接收电铲自身状态的传感器信息，发送提升电机、回转电机和推压电机的驱动信号功能，还包括图像处理功能，所述图像处理功能包括自卸车识别和标志物识别，其中自卸车识别的算法包括但不限于SIFT特征点提取算法，标志物识别的算法包括但不限于图像颜色识别技术。

3.根据权利要求2所述的一种智能电铲无人卸料装车方法，其特征在于，所述图像颜色识别技术包括HSV颜色空间的选择以及铲斗与自卸车车厢的位置感知。

4.根据权利要求3所述的一种智能电铲无人卸料装车方法，其特征在于，铲斗与自卸车车厢的位置感知，具体步骤为：

(1)使用连通域分割算法检索标志物图像，控制器处理后获得图像中标志物的个数；

(2)计算出每个标志物区域内像素点个数和标志物的面积，并根据像素点坐标值求得区域中心坐标值；

(3)判断铲斗与自卸车车厢相对位置，若控制器没有在图中检索到标志物区域或者检索到图中只有一块标志物区域，说明铲斗未对准自卸车，则控制回转电机驱动所述电铲左转；若检索到图中有两块标志物区域，其中所述区域中心坐标值的横坐标值小的区域，像素点个数多，说明标志物面积大，则说明此时所述铲斗偏左，即铲斗偏向自卸车车头，则控制所述回转电机驱动所述电铲右转；若检索到图中有两块标志物区域，其中所述区域中心坐标值的横坐标值小的区域，像素点个数少，说明标志物面积小，则说明此时所述铲斗偏右，铲斗偏向自卸车尾部，若此时装载次数小于n-1次，则控制所述回转电机驱动所述电铲左转；若控制器检索到第一摄像机中的图像存在三个标志物，说明铲斗对准自卸车中间；

(4)考虑到自卸车车厢的结构为斜坡状，并结合操作员的装载习惯，若已装载次数少于n-1次时，控制器控制所述回转电机驱动所述电铲回转，对准中部进行装载作业，若已装载次数等于n-1次，即对准自卸车车厢尾部进行装载作业。

Images