CN113240739B - 一种挖掘机、属具的位姿检测方法、装置及存储介质 - Google Patents

Abstract

本发明公开了一种挖掘机、属具的位姿检测方法、装置及存储介质，其中属具的位姿检测方法包括：获取属具的视频图像，根据所述视频图像确定所述属具的内外部分界线位置，根据所述属具的内外部分界线位置确定所述属具的位姿。这是因为在属具的视频图像中，当属具的位姿不同时，其内外部分界线位置所在的位置并不相同，因此利用上述方案可以确定属具的位姿；同时，由于视频图像拍摄装置的可靠性较高，可以使得属具位姿的检测方法不受工作环境的限制，适用性较高；而且拍摄装置相较于IMU与倾角传感器的配合的方式，成本较低；同时本发明还可以为无法安装倾角传感器的设备提供一种可选的方案。

Description

一种挖掘机、属具的位姿检测方法、装置及存储介质

技术领域

本发明涉及机械设备技术领域，具体涉及一种挖掘机、属具的位姿检测方法、装置及存储介质。

背景技术

目前，挖掘机属具(即挖掘机末端的工作装置)位姿的检测是通过在铲斗摇杆与斗杆处安装倾角传感器，根据安装在斗杆上的IMU与倾角传感器的检测数据计算出铲斗的实际位姿角度。但是在面对极端工作环境时***的可靠性受限，例如水下作业时倾角传感器易受潮进水，或破碎锤等高频振动机构工作时倾角传感器无法承受加速度易损坏。

发明内容

有鉴于此，本发明实施例提供了一种挖掘机、属具的位姿检测方法、装置及存储介质，以解决目前属具位姿的检测适用性低的问题。

根据第一方面，本发明实施例提供了一种属具的位姿检测方法，包括：

获取属具的视频图像；

确定所述视频图像中所述属具的内外部分界线位置；

根据所述内外部分界线位置确定所述属具的位姿。

本发明实施例提供的属具的位姿检测方法，通过获取属具的视频图像，根据所述视频图像确定所述属具的内外部分界线位置，根据所述属具的内外部分界线位置确定所述属具的位姿；这是因为在属具的视频图像中，当属具的位姿不同时，其内外部分界线位置所在的位置并不相同，因此利用上述方案可以确定属具的位姿；同时，由于视频图像拍摄装置的可靠性较高，可以使得属具位姿的检测方法不受工作环境的限制，适用性较高；而且拍摄装置相较于IMU与倾角传感器的配合的方式，成本较低；同时本发明还可以为无法安装倾角传感器的设备提供一种可选的方案。

结合第一方面，在第一方面第一实施方式中，所述确定所述视频图像中所述属具的内外部分界线位置包括：

对所述视频图像进行处理得到多个属具候选区域；

利用预设的标准属具模板在所述多个属具候选区域中进行筛选，得到属具区域；

对所述属具区域进行纹理分析得到所述属具的内外部分界线位置。

结合第一方面第一实施方式，在第一方面第二实施方式中，所述对所述视频图像进行处理得到多个属具候选区域包括：

对所述视频图像进行分析，得到包含多个图片的图片序列；

对所述图片序列中的每个图片进行边缘特征的处理，得到多个特征图；

对所述图片序列中的图片进行频域变换得到几何约束图；

利用所述几何约束图对所述多个特征图进行筛选，得到多个属具候选区域。

结合第一方面第一实施方式，在第一方面第三实施方式中，利用预设的标准属具模板在所述多个属具候选区域中进行筛选，得到属具区域包括：在所述多个属具候选区域中筛选出与所述标准属具模板相似度最高的属具候选区域，得到所述属具区域。

结合第一方面第一实施方式，在第一方面第四实施方式中，所述对属具区域进行纹理分析得到所述属具的内外部分界线位置包括：分别获取所述属具区域中多个位置的纹理值；在所述多个位置中筛选出纹理值为预设值的位置，并将筛选出来的位置作为所述属具的内外部分界线位置。

结合第一方面，在第一方面第五实施方式中，所述根据所述内外部分界线位置确定所述属具的位姿包括：根据所述属具的内外部分界线位置和所述属具区域的外沿边框对所述属具区域的内部和外部进行分割，根据分割结果得到属具内部长度与属具外部长度；计算所述属具内部长度与所述属具外部长度的比值，根据所述比值确定所述属具的位姿。

结合第一方面第三实施方式，在第一方面第六实施方式中，在所述多个属具候选区域中筛选出与所述标准属具模板相似度最高的属具候选区域，得到所述属具区域之后，还包括：当所述属具区域的外沿边框不完整时，利用所述标准属具模板将所述属具区域的外沿边框进行补齐得到所述属具区域的外沿边框。

根据第二方面，本发明实施例提供了一种铲斗姿态的确定装置，包括：

获取模块，用于获取属具的视频图像；

第一处理模块，用于确定所述视频图像中所述属具的内外部分界线位置；

第二处理模块，用于根据所述内外部分界线位置确定所述属具的位姿。

根据第三方面，本发明实施例提供了一种挖掘机，包括拍摄装置和控制器，所述拍摄装置和所述控制器通信连接，所述拍摄装置用于获取铲斗的图像信息，所述控制器用于采集所述拍摄装置的图像信息，并通过执行所述计算机指令，从而执行第一方面或者第一方面的任意一种实施方式中所述的铲斗姿态的确定方法。

根据第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行第一方面或者第一方面的任意一种实施方式中所述的铲斗姿态的确定方法。

附图说明

通过参考附图会更加清楚的理解本发明的特征和优点，附图是示意性的而不应理解为对本发明进行任何限制，在附图中：

图1为本发明实施例1属具位姿检测方法的流程示意图；

图2为铲斗位姿检测方法一具体示例的流程示意图；

图3为本发明实施例2属具位姿检测装置的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1

本发明实施例1提供了一种属具的位姿检测方法，图1为本发明实施例1属具位姿检测方法的流程示意图。如图1所示，本发明实施例1的属具位姿检测包括以下步骤：

S101：获取属具的视频图像。

在本发明实施例1中，属具可以理解为挖掘机末端的工作装置，例如铲斗、破碎锤等。

在本发明实施例1中，可以通过挖掘机中的拍摄装置获取属具的视频图像，具体的，可以将拍摄装置(例如摄像头)安装在驾驶室顶部适当位置，获得前方属具图像。

S102：确定所述视频图像中所述属具的内外部分界线位置。

作为具体的实施方式，所述确定所述视频图像中所述属具的内外部分界线位置可以采用如下技术方案：(1)对所述视频图像进行处理得到多个属具候选区域；(2)利用预设的标准属具模板在所述多个属具候选区域中进行筛选，得到属具区域；(3)对所述属具区域进行纹理分析得到所述视频图像中所述属具的内外部分界线位置。

更加具体的，对于步骤(1)对所述视频图像进行处理得到多个属具候选区域可以采用如下方案：对所述视频图像进行分析，得到包含多个图片的图片序列；对所述图片序列中的每个图片进行边缘特征的处理，得到多个特征图；对所述图片序列中的图片进行频域变换得到几何约束图；利用所述几何约束图对所述多个特征图进行筛选，得到多个属具候选区域。

示例的，可以对所述图片序列中的每个图片进行频域变换得到几何约束图；利用任一几何约束图对于与该几何约束图属于同一图片的特征图进行筛选，遍历所述有的几何约束图，得到多个属具候选区域。

示例的，对于摄像头拍摄的视频图像进行分析，处理流数据中的多个连续帧，对每一幅图像进行滤波及抗抖动，获得较为稳定的连续图片序列；在获得此图片序列后，进行特征预处理以获得相应每一帧图像对应的特征图。

在本发明实施例1，挖掘机末端的工作装置(即属具)在形态上存在固有的集合特征，例如对于铲斗而言，其边缘直线平滑、具有铲斗斗齿等，因此对于图片序列中的每个图片使用FFT/DCT等频域变换算法获得几何约束图。

在本发明实施例1中，对于特征图可通过一定的图像形态约束来选取多个铲斗候选区域，也就是说将特征图与所述几何约束图相结合进行筛选得到所述多个铲斗候选区域。进一步的，此时产生的多个候选区域与特征图中的边缘SIFT/BRIEF特征做匹配，随后采用KMEANS等相关性统计算法，对多个铲斗候选区域进行筛选，可初步减少错误的候选区域数量。

更加具体的，对于步骤(2)利用预设的标准属具模板在所述多个属具候选区域中进行筛选，得到属具区域可以采用如下方案：在所述多个属具候选区域中筛选出与所述标准属具模板相似度最高的属具候选区域，得到所述属具区域。

需要说明的是，由于挖掘机末端的工作装置(即属具)的工作环境较为恶劣，导致视频图像在获取时存在多种噪声，例如铲斗上粘有泥土或长期使用发生掉漆等，并且铲斗在真实工作环境中并非一定呈现光滑直线边缘。因此本发明实施例1采用了标准属具模板来对步骤(1)中得到的多个候选区域进行筛选，利用与模板属具模板的相似度来得到最准确的一个铲斗候选区域，并将其作为铲斗区域。在本发明实施例1中，标准属具模板可以是一张图片。

另外，由于属具上粘有泥土或长期使用发生掉漆等原因，得到的属具区域的外沿边框有可能是不完整的，当所述属具区域的外沿边框不完整时，还可以利用所述标准属具模板将所述属具区域的外沿边框进行补齐得到所述属具区域的外沿边框。

更加具体的，对于步骤(3)对所述属具区域进行纹理分析得到所述属具的内外部分界线位置可以采用如下方案：分别获取所述属具区域中多个位置的纹理值；在所述多个位置中筛选出纹理值为预设值的位置，并将筛选出来的位置作为所述属具的内外部分界线位置。

需要说明的，由于属具的外部和内部具有不同的纹理特征，因此步骤(3)可以根据多个位置的纹理值确定步骤(2)得到的铲斗区域的内外部分界线位置。

示例的，所述预设值可以采用如下方式进行确定：对属具区域原图进行OTSU等二值变换获得灰度图，灰度图中可采用灰度纹理计算法对各位置进行纹理特征的计算，通过计算像素点的灰度值与分布来确定不同位置的纹理值，通过采集多幅属具内外区域图片可以得到所述预设值，所述预设值为铲斗内部区域与外部区域分界位置的灰度值。

S103：根据内外部分界线位置确定所述属具的位姿。

作为具体的实施方式，根据所述属具的内外部分界线位置确定所述属具的位姿可以采用如下方案：根据所述属具的内外部分界线位置和所述属具区域的外沿边框对所述属具区域的内部和外部进行分割，根据分割结果得到属具内部长度与属具外部长度；计算所述属具内部长度与所述属具外部长度的比值，根据所述比值确定所述属具的位姿。

示例的，对于铲斗而言，可以根据所述铲斗的齿尖线和所述铲斗区域的外沿边框对所述铲斗区域的内部和外底板进行分割，根据分割结果得到铲斗内部长度与铲斗外底部长度；计算所述铲斗内部长度与铲斗外底部长度的比值，根据所述比值确定所述铲斗的姿态。

本发明实施例1提供的属具的位姿检测方法，通过获取属具的视频图像，根据所述视频图像确定所述属具的内外部分界线位置，根据所述属具的内外部分界线位置确定所述属具的位姿，由于视频图像的拍摄装置的可靠性较高，可以使得属具位姿的检测方法不受工作环境的限制，适用性较高；而且拍摄装置相较于IMU与倾角传感器的配合的方式，成本较低；还可以为无法安装倾角传感器的设备提供一种可选的方案。

需要说明的是，在图片中，铲斗内部长度与铲斗外底部长度的比值不同时，铲斗的位姿也不相同。因此可以建立比值与姿态的对应关系来确定铲斗的姿态。

为了更加详细的说明本发明实施例1的属具位姿检测方法，给出一个具体的示例。图2为铲斗位姿检测方法一具体示例的流程示意图，如图2所示，

步骤1：***对于摄像头拍摄的视频进行分析，处理流数据中的多个连续帧，对每一幅图像进行滤波及抗抖动，获得较为稳定的连续图片序列；在获得此图片序列后，进行特征预处理以获得相应每一帧图像对应的特征图；

步骤2：对于预处理后的铲斗图片，可通过一定的图像形态约束来选取形态检测候选区域，例如铲斗在形态上固有的集合特征，例如直线平滑边缘、铲斗斗齿等。在此特征图的基础上，对应于原图利用频域变换等坐标系转换算法，将原图的边缘线段转化为频域坐标系下的场强数据，通过设置相关性检测参数，将特征图与场强图相结合进行筛选可获得多个铲斗候选区域，并对其进行记录；

步骤3：由于铲斗的工作环境较为恶劣，导致图像在获取时存在多种噪声，例如铲斗上占有泥土或长期使用发生掉漆等现象，并且铲斗在真实工作环境中并非一定呈现光滑直线边缘。因此***采用了标准铲斗模板匹配的算法来对步骤2中产生的多个候选区域进行筛选，利用与模板匹配的相似度来获得正确的铲斗外沿边框，消除铲斗上带有的泥石等干扰；

步骤4：由于铲斗的外底板和内部具有不同的纹理特征，因此对步骤3产生的候选区域采集纹理特征，训练并设置相关阈值来判断产生的候选区域是否为正确的铲斗内部区域，根据此结果可更新当前获得的候选区域中的外沿部分及齿尖线。

步骤5：通过齿尖线对铲斗的候选区域进行分割，可根据不同的齿尖线位置建立铲斗内部长度与可见外底板长度不同的比值，通过“角度对应比值”查询方式来获得铲斗当前的转角关系，即铲斗对应于四连杆机构的转角位姿，结合工作装置本身的位置推导，最终可获得铲斗的空间姿态。

由上述可知，本发明实施例1通过形态约束和纹理约束对属具图像进行处理，提高属具检测精度，利用视觉图像实现得到属具的位姿，进而可以进一步得到属具的运行轨迹；同时由于拍摄装置的可靠性较高，可以避免由于挖掘机工作时产生的巨大振动造成的传感器损坏，同时可以减少倾角传感器及IMU等精密感知元器件的使用，降低成本。

实施例2

本发明实施例2提供了一种属具的位姿检测装置，图3为本发明实施例2属具位姿检测装置的结构示意图，如图3所示，本发明实施例2的属具位姿检测装置包括获取模块20、第一处理模块22和第二处理模块24。

具体的，获取模块20，用于获取属具的视频图像。

第一处理模块22，用于确定所述视频图像中所述属具的内外部分界线位置。

第二处理模块24，用于根据所述内外部分界线位置确定所述属具的位姿。

上述属具位姿检测装置的细节可以对应参阅图1至图2所示的实施例中对应的相关描述和效果进行理解，此处不再赘述。

实施例3

本发明实施例还提供了一种挖掘机，该挖掘机可以包括拍摄装置和控制器，所述拍摄装置和所述控制器通信连接，所述拍摄装置获取铲斗的图像信息，所述控制器用于采集所述拍摄装置的图像信息，并执行计算机指令。控制器包括处理器和存储器，其中处理器和存储器可以通过总线或者其他方式连接。

处理器可以为中央处理器(Central Processing Unit，CPU)。处理器还可以为其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。

存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本发明实施例中的铲斗姿态的确定方法对应的程序指令/模块(例如，图3所示的获取模块20、第一处理模块22和第二处理模块24)。处理器通过运行存储在存储器中的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及数据处理，即实现上述方法实施例中的铲斗姿态确定方法。

存储器可以包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需要的应用程序；存储数据区可存储处理器所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

所述一个或者多个模块存储在所述存储器中，当被所述处理器执行时，执行如图1-2所示实施例中的铲斗姿态确定方法。

上述挖掘机具体细节可以对应参阅图1至图3所示的实施例中对应的相关描述和效果进行理解，此处不再赘述。

本领域技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)、随机存储记忆体(Random AccessMemory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid-State Drive，SSD)等；所述存储介质还可以包括上述种类的存储器的组合。

虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下作出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。

Claims (9)

1.一种属具的位姿检测方法，其特征在于，包括：

获取属具的视频图像；

确定所述视频图像中所述属具的内外部分界线位置；

根据所述内外部分界线位置确定所述属具的位姿；

所述根据所述内外部分界线位置确定所述属具的位姿包括：

根据所述属具的内外部分界线位置和所述属具区域的外沿边框对所述属具区域的内部和外部进行分割，根据分割结果得到属具内部长度与属具外部长度；

计算所述属具内部长度与所述属具外部长度的比值，根据所述比值确定所述属具的位姿。

2.根据权利要求1所述的方法，其特征在于，所述确定所述视频图像中所述属具的内外部分界线位置包括：

对所述视频图像进行处理得到多个属具候选区域；

利用预设的标准属具模板在所述多个属具候选区域中进行筛选，得到属具区域；

对所述属具区域进行纹理分析得到所述视频图像中所述属具的内外部分界线位置。

3.根据权利要求2所述的方法，其特征在于，所述对所述视频图像进行处理得到多个属具候选区域包括：

对所述视频图像进行分析，得到包含多个图片的图片序列；

对所述图片序列中的每个图片进行边缘特征的处理，得到多个特征图；

对所述图片序列中的图片进行频域变换得到几何约束图；

利用所述几何约束图对所述多个特征图进行筛选，得到多个属具候选区域。

4.根据权利要求2所述的方法，其特征在于，利用预设的标准属具模板在所述多个属具候选区域中进行筛选，得到属具区域包括：

在所述多个属具候选区域中筛选出与所述标准属具模板相似度最高的属具候选区域，得到所述属具区域。

5.根据权利要求2所述的方法，其特征在于，对所述属具区域进行纹理分析得到所述属具的内外部分界线位置包括：

分别获取所述属具区域中多个位置的纹理值；

在所述多个位置中筛选出纹理值为预设值的位置，并将筛选出来的位置作为所述属具的内外部分界线位置。

6.根据权利要求4所述的方法，其特征在于，在所述多个属具候选区域中筛选出与所述标准属具模板相似度最高的属具候选区域，得到所述属具区域之后，还包括：

当所述属具区域的外沿边框不完整时，利用所述标准属具模板将所述属具区域的外沿边框进行补齐得到所述属具区域的外沿边框。

7.一种属具的位姿检测装置，其特征在于，包括：

获取模块，用于获取属具的视频图像；

第一处理模块，用于确定所述视频图像中所述属具的内外部分界线位置；

第二处理模块，用于根据所述内外部分界线位置确定所述属具的位姿；

所述根据所述内外部分界线位置确定所述属具的位姿包括：

根据所述属具的内外部分界线位置和所述属具区域的外沿边框对所述属具区域的内部和外部进行分割，根据分割结果得到属具内部长度与属具外部长度；

计算所述属具内部长度与所述属具外部长度的比值，根据所述比值确定所述属具的位姿。

8.一种挖掘机，其特征在于，包括：

拍摄装置，用于获取属具的图像信息；

控制器，所述拍摄装置和所述控制器通信连接，所述控制器用于采集所述拍摄装置的图像信息，并通过执行计算机指令，从而执行权利要求1-6中任一项所述的属具的位姿检测方法。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行权利要求1-6中任一项所述的属具的位姿检测方法。