CN115457096A - 作业机械的辅助控制方法、装置、***及作业机械 - Google Patents

作业机械的辅助控制方法、装置、***及作业机械 Download PDF

Info

Publication number
CN115457096A
CN115457096A CN202210989203.2A CN202210989203A CN115457096A CN 115457096 A CN115457096 A CN 115457096A CN 202210989203 A CN202210989203 A CN 202210989203A CN 115457096 A CN115457096 A CN 115457096A
Authority
CN
China
Prior art keywords
working
scene
key part
working machine
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210989203.2A
Other languages
English (en)
Inventor
李大鼎
王威
储海军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sany Heavy Machinery Ltd
Original Assignee
Sany Heavy Machinery Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sany Heavy Machinery Ltd filed Critical Sany Heavy Machinery Ltd
Priority to CN202210989203.2A priority Critical patent/CN115457096A/zh
Publication of CN115457096A publication Critical patent/CN115457096A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20—Drives; Control devices
    • E02F9/2025—Particular purposes of control systems not otherwise provided for
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20—Drives; Control devices
    • E02F9/2025—Particular purposes of control systems not otherwise provided for
    • E02F9/2037—Coordinating the movements of the implement and of the frame
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/264—Sensors and their calibration for indicating the position of the work tool
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/23—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on positionally close patterns or neighbourhood relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Operation Control Of Excavators (AREA)

Abstract

本发明涉及作业机械领域，提供一种作业机械的辅助控制方法、装置、***及作业机械，方法包括：获取作业机械所处作业环境的图像数据以及作业机械的姿态数据；基于图像数据建立作业场景，基于作业机械的姿态数据，确定作业机械的关键部位的位姿信息；将关键部位的位姿信息与作业场景融合，得到作业场景中关键部位的位置信息；基于关键部位的位置信息以及作业场景中的作业面生成辅助控制数据，以对作业机械进行辅助控制。由于辅助控制数据是将关键部位的位姿信息与作业场景融合并结合作业场景中的作业面生成的，提高了辅助控制过程的效率和可靠性，解决了现有的辅助控制过程，难以高效和可靠的辅助操作者控制作业机械的问题。

Description

作业机械的辅助控制方法、装置、***及作业机械
技术领域
本发明涉及作业机械技术领域，尤其涉及一种作业机械的辅助控制方法、装置、***及作业机械。
背景技术
作业机械的作业效率很大程度上由操作手的控制准确度和控制效率决定，为了提高操作手的控制准确度和控制效率，可以获取作业机械所处的环境信息和姿态信息，利用上述环境信息和姿态信息等现场数据，可以辅助操作者更加便捷的对作业机械进行控制。
然而，由于上述现场数据对于操作者来说较为分散、不够直观，导致直接基于现场数据实现的辅助控制过程，难以高效和可靠的辅助操作者对作业机械进行控制。
发明内容
本发明提供一种作业机械的辅助控制方法、装置、***及作业机械，用以解决现有技术中直接基于现场数据实现的辅助控制过程，难以高效和可靠的辅助操作者对作业机械进行控制的缺陷。
第一方面，本发明提供一种作业机械的辅助控制方法，该方法包括：
获取作业机械所处作业环境的图像数据以及所述作业机械的姿态数据；
基于所述图像数据建立所述作业机械的作业场景，并基于所述作业机械的姿态数据，确定所述作业机械的关键部位的位姿信息；
将所述关键部位的位姿信息与所述作业场景融合，得到所述作业场景中所述关键部位的位置信息；
基于所述关键部位的位置信息以及所述作业场景中的作业面，生成辅助控制数据，以对所述作业机械进行辅助控制。
根据本发明提供的作业机械的辅助控制方法，所述获取作业机械所处作业环境的图像数据，包括：
获取所述作业环境中至少一个目标场景的二维图像和深度信息；
基于所述至少一个目标场景的二维图像和深度信息，确定所述图像数据。
根据本发明提供的作业机械的辅助控制方法，所述基于所述图像数据建立所述作业机械的作业场景，包括：
分别将每个所述目标场景的二维图像和所述深度信息进行拼接，得到每个所述目标场景的三维图像；
将各个所述目标场景的三维图像进行拼接，得到所述作业场景。
根据本发明提供的作业机械的辅助控制方法，所述基于所述关键部位的位置信息以及所述作业场景中的作业面，生成辅助控制数据，包括：
基于所述关键部位的位置信息以及所述作业场景中的作业面，在所述作业场景中确定所述关键部位对应的作业区域以及所述关键部位与所述作业区域的距离信息；
基于所述关键部位的位置信息、所述作业区域以及所述距离信息，生成辅助控制数据。
根据本发明提供的作业机械的辅助控制方法，所述基于所述关键部位的位置信息以及所述作业场景中的作业面，在所述作业场景中确定所述关键部位对应的作业区域以及所述关键部位与所述作业区域的距离信息，包括：
基于所述关键部位的位置信息，确定所述关键部位的作业方向；
基于所述作业方向与所述作业面的交点，确定所述关键部位的落点位置；
基于所述落点位置以及所述作业面，确定所述作业区域；
基于所述关键部位的位置信息以及所述落点位置，确定所述关键部位与所述作业区域的距离信息。
根据本发明提供的作业机械的辅助控制方法，所述在所述作业场景中确定所述关键部位对应的作业区域以及所述关键部位与所述作业区域的距离信息之后，还包括：
基于预设对应关系，确定所述距离信息对应的作业指导参数；
其中，所述预设对应关系为所述距离信息与所述作业指导参数的对应关系。
根据本发明提供的作业机械的辅助控制方法，所述将所述关键部位的位姿信息与所述作业场景融合，得到所述作业场景中所述关键部位的位置信息，包括：
将所述关键部位的位姿信息转换至所述作业场景对应的坐标系中，得到所述作业场景中所述关键部位的位置信息。
第二方面，本发明还提供一种作业机械的辅助控制装置，该装置包括：
获取模块，用于获取作业机械所处作业环境的图像数据以及所述作业机械的姿态数据；
第一处理模块，用于基于所述图像数据建立所述作业机械的作业场景，并基于所述作业机械的姿态数据，确定所述作业机械的关键部位的位姿信息；
第二处理模块，用于将所述关键部位的位姿信息与所述作业场景融合，得到所述作业场景中所述关键部位的位置信息；
第三处理模块，用于基于所述关键部位的位置信息以及所述作业场景中的作业面，生成辅助控制数据，以对所述作业机械进行辅助控制。
第三方面，本发明还提供一种作业机械的辅助控制***，该***包括：环境数据采集设备、姿态数据采集设备以及控制器，所述环境数据采集设备和所述姿态数据采集设备均与所述控制器连接，所述控制器还与所述作业机械连接；
所述环境数据采集设备用于采集所述作业机械所处作业环境的图像数据；
所述姿态数据采集设备用于采集所述作业机械的姿态数据；
所述控制器用于获取所述图像数据以及所述姿态数据；基于所述图像数据建立所述作业机械的作业场景，并基于所述姿态数据，确定所述作业机械的关键部位的位姿信息；将所述关键部位的位姿信息与所述作业场景融合，得到所述作业场景中所述关键部位的位置信息；基于所述关键部位的位置信息以及所述作业场景中的作业面，生成辅助控制数据，以对所述作业机械进行辅助控制。
第四方面，本发明还提供一种作业机械，该作业机械执行上述任一种所述的作业机械的辅助控制方法或者包括上述作业机械的辅助控制装置。
第五方面，本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述的作业机械的辅助控制方法。
本发明提供的作业机械的辅助控制方法、装置、***及作业机械，通过基于作业机械所处作业环境的图像数据建立作业机械的作业场景，并基于作业机械的姿态数据，确定作业机械的关键部位的位姿信息，将关键部位的位姿信息与作业场景融合，得到作业场景中关键部位的位置信息；基于关键部位的位置信息以及作业场景中的作业面，生成辅助控制数据，以对作业机械进行辅助控制，由于辅助控制数据是将关键部位的位姿信息与作业场景融合并结合作业场景中的作业面生成的，可以更加集中和直观的展现给操作者，从而提高了辅助控制过程的效率和可靠性。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的作业机械的辅助控制方法的流程示意图；
图2是本发明实施例中挖掘机上各传感器的设置位置示意图；
图3是本发明实施例中挖掘机的D-H模型的部分结构示意图；
图4是铲斗齿尖中心点的坐标转换原理示意图；
图5是挖掘机的作业区域与距离信息的获取原理示意图；
图6是本发明提供的作业机械的辅助控制装置的结构示意图；
图7是本发明提供的作业机械的辅助控制***的结构示意图；
图8是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合图1至图8描述本发明实施例提供的作业机械的辅助控制方法、装置、***及作业机械。
图1示出了本发明实施例提供的作业机械的辅助控制方法，该方法包括：
步骤101：获取作业机械所处作业环境的图像数据以及作业机械的姿态数据；
步骤102：基于图像数据建立作业机械的作业场景，并基于作业机械的姿态数据，确定作业机械的关键部位的位姿信息；
步骤103：将关键部位的位姿信息与作业场景融合，得到作业场景中关键部位的位置信息；
步骤104：基于关键部位的位置信息以及作业场景中的作业面，生成辅助控制数据，以对作业机械进行辅助控制。
在本实施例中，作业机械所处作业环境的图像数据可以通过一个或多个图像数据采集设备采集得到，比如可以通过激光雷达、双目摄像头以及具有TOF(Time Of Flight，飞行时间测距)功能的摄像头中一个或多个组合采集得到，本实施例中上述摄像头具体可以采用英特尔的RealSense深度感知摄像头、ZED双目相机或者Kinect深度传感器。
本实施例中关键部位的位置信息可以理解为关键部位在作业场景对应的坐标系中的位置坐标数据。
本实施例中辅助控制数据可以理解为能够直观呈现给操作者的作业机械的状态数据，比如可以是标记有关键部位位置的图像数据，或者包含其他能够辅助操作者控制作业机械的数据，比如关键部位对应的作业区域以及与作业区域的距离等能够呈现在作业场景中且可以直观展示给操作者的数据。
在示例性实施例中，获取作业机械所处作业环境的图像数据，具体可以包括：
获取作业环境中至少一个目标场景的二维图像和深度信息；
基于至少一个目标场景的二维图像和深度信息，确定图像数据。
本实施例中图像数据具体包括作业环境中至少一个目标场景的二维图像和深度信息，在实际应用过程中，如果需要获取多个目标场景的二维图像和深度信息，且通过多种图像数据采集设备进行数据采集时，可以通过对齐算法将多种图像数据采集设备采集的数据对齐至统一的坐标系中，上述对齐算法可以依据摄像头的内参矩阵以及多种摄像头之间的坐标变换关系实现，本实施例中对齐算法可以采用BA(Bundle Adjustment，光束法平差)、稠密残差等对齐优化算法实现。
在示例性实施例中，基于图像数据建立作业机械的作业场景，具体可以包括：
分别将每个目标场景的二维图像和深度信息进行拼接，得到每个目标场景的三维图像；
将各个目标场景的三维图像进行拼接，得到作业场景。
本实施例中基于图像数据建立作业机械的作业场景的过程，可以理解为基于图像数据重建三维作业场景的过程，具体可以通过SLAM(Simultaneous Localization AndMapping，即时定位与地图构建)算法实现。其中，二维图像指的是RGB图像，可以通过摄像头采集得到，深度信息指的是点云数据，可以通过激光雷达采集得到。在实际应用过程中，可以利用图像数据采集设备的多通道信息、位姿信息以及相应的位姿估计算法，实现对每个目标场景的二维图像和深度信息进行拼接，得到每个目标场景的三维图像。
在获得每个目标场景的三维图像之后，在作业机械的作业范围内对各幅目标场景的三维图像进行全局范围注册，从而可以在拼接前对各个目标场景的三维图像进行预处理，全局范围注册可以理解为在发现某部分数据缺失后对此部分数据进行记录和补全，也可作为定点更新场景数据的策略，之后将补全后的各个目标场景的三维图像进行拼接，可以得到作业场景。
本实施例中可以利用重建优化算法提升重建得到的作业场景的数据精度，重建优化算法可以采用ICP(Iterative Closest Point，迭代最近点)算法、稠密残差优化算法、特征点对齐算法等重建优化算法，通过上述重建优化算法，可以获得作业场景内作业面的三维重现的点云数据，实现作业场景的三维构建。
在本实施例中，作业机械的姿态数据可以通过安装于作业机械的车身和工作装置上的多组姿态传感器采集得到，如图2所示，以作业机械是挖掘机200为例，挖掘机200的铲斗上设有铲斗位姿传感器201和铲斗倾角传感器202，挖掘机200的斗杆上设有斗杆位姿传感器203和斗杆倾角传感器204，挖掘机200的动臂上设有动臂位姿传感器205和动臂倾角传感器206，挖掘机200的车身上设有车身倾角传感器208，挖掘机200的回转机构上设有回传传感器207，通过上述安装于挖掘机200上的多个传感器可以采集挖掘机的车身和工作装置的姿态数据，从而实现作业机械的姿态数据的获取。
考虑到通过GNSS(Global Navigation Satellite System，全球导航卫星***)获取作业机械的姿态数据的方式，容易出现在偏远地区以及遮挡区域基站信号丢失的问题，影响辅助控制精度，本实施例利用安装于作业机械车身和工作装置上的回转传感器、倾角传感器以及位姿传感器进行姿态数据的采集，有效避免了在偏远地区以及遮挡区域的基站信号丢失的问题，进而提高了辅助控制的精度。
此外，上述图像数据采集设备209可以安装于挖掘机200的车身前端顶部位置，从而可以在挖掘机200行进过程中采集挖掘机所处作业环境的图像数据。
在获得作业机械的姿态数据后，可以先对采集到的作业机械的姿态数据进行时间序列统计和噪声滤波等预处理操作，确定作业机械的车身以及各工作装置的姿态数据，便于关键部位的位姿信息的提取。
本实施例中作业机械的关键部位主要指的是作业机械上与作业环境中作业面接触的部位，也就是作业动作的执行机构，以挖掘机为例，挖掘机的关键部位指的是挖掘机的铲斗，关键部位的位姿信息可以理解为关键部位在作业机械对应的坐标系中的位置坐标数据。
在实际应用过程中，作业机械的姿态数据包括作业机械的车身以及各个工作转置的姿态数据，各部位的姿态数据分别处于不同的坐标系中，为了便于分析，可以先根据作业机械的车身和工作装置的物理参数，建立相应的D-H(Denavit-Hartenberg，丹纳维特和哈顿伯格)模型，将各部位的姿态数据统一至作业机械的基础坐标系中。
本实施例仍以作业机械是挖掘机为例，图3示出了挖掘机的D-H模型的部分结构，其中，X-Y坐标系表示挖掘机的基础坐标系，m-n坐标系表示作业场景对应的坐标系(即三维重建坐标系)，车身和工作装置的物理参数包含了车身和工作装置的相关长度和倾角数据，具体地，L1表示动臂回转点与斗杆回转点的直线距离，L2表示斗杆回转点与铲斗回转点的直线距离，L3表示铲斗回转点与铲斗齿尖的直线距离，θ1表示动臂回转点和斗杆回转点的连线与X-Y坐标系的X坐标轴的夹角，θ2表示斗杆回转点和铲斗回转点的连线与动臂回转点和斗杆回转点的连线的延长线之间的夹角，θ3表示铲斗回转点和铲斗齿尖的连线与斗杆回转点和铲斗回转点的连线之间的夹角。
在示例性实施例中，将关键部位的位姿信息与作业场景融合，得到作业场景中关键部位的位置信息，包括：
将关键部位的位姿信息转换至作业场景对应的坐标系中，得到作业场景中关键部位的位置信息。
本实施例中将关键部位的位姿信息与作业场景融合的过程，可以理解为对关键部位进行坐标转换的过程。
基于作业机械的车身和工作装置的物理参数，比如图3所示的上述距离和角度数据，可以将关键部位的位姿信息经过正逆运动学计算或者利用预先训练好的神经网络模型，通过坐标变换的方式转换至作业场景对应的坐标系中，以关键部位是挖掘机的铲斗齿尖为例，参见附图4，在获得铲斗齿尖中心点在挖掘机的基础坐标系中的坐标P后，可以通过旋转和平移的方式转换至作业场景对应的坐标系中，其中，三维坐标系XW-YW-ZW表示挖掘机的基础坐标系，三维坐标系XC-YC-ZC表示作业场景对应的坐标系，即相机坐标系，T表示平移向量。
按照上述方式进行坐标转换后可以得到坐标P’，然后将转换后的坐标P’与作业场景中铲斗的点云数据进行匹配从而确定铲斗齿尖的最终位置，即铲斗齿尖的位置信息。
具体地，在将关键部位的位置信息与作业场景融合的过程中，可以通过现有的匹配算法实现，本实施例中采用的匹配算法可以是ICP(Iterative Closest Poin，迭代最近点)算法。在上述融合过程中，还可以利用关键部位的目标点云和当前点云之间的残差来对关键部位的位置信息进行调整和优化，从而提升关键部位在作业场景对应的坐标系中的定位精度。
在示例性实施例中，基于关键部位的位置信息以及作业场景中的作业面，生成辅助控制数据，具体可以包括：
基于关键部位的位置信息以及作业场景中的作业面，在作业场景中确定关键部位对应的作业区域以及关键部位与作业区域的距离信息；
基于关键部位的位置信息、作业区域以及距离信息，生成辅助控制数据。
本实施例中辅助控制数据可以是标记有关键部位位置、作业区域以及距离信息的作业场景图像，该作业场景图像可以通过AR(Augmented Reality，增强现实)显示设备展示给操作者，进而辅助操作者准确和高效的对作业机械进行控制，本实施例中AR显示设备可以采用显示屏、HUD投屏设备以及AR眼镜等显示设备。
进一步地，基于关键部位的位置信息以及作业场景中的作业面，在作业场景中确定关键部位对应的作业区域以及关键部位与作业区域的距离信息，具体可以包括：
基于关键部位的位置信息，确定关键部位的作业方向；
基于作业方向与作业面的交点，确定关键部位的落点位置；
基于落点位置以及作业面，确定作业区域；
基于关键部位的位置信息以及落点位置，确定关键部位与作业区域的距离信息。
在本实施例中，可以根据关键部位所指向的方向，确定关键部位的作业方向，参见附图5，仍以关键部位是挖掘机的铲斗齿尖为例，铲斗齿尖指向的方向即为挖掘方向，图5中箭头501所示方向即为挖掘方向，挖掘方向与挖掘面504的交点即为落点位置，当然，也可以根据当前挖掘区域确定落点位置，本实施例将铲斗齿尖的中心点对应的正下方的区域作为当前挖掘区域502，当前挖掘区域502与融合后三维的作业场景中挖掘面504的交点即为落点位置，之后，根据铲斗齿尖以及落点位置确定当前挖掘方向上的落点距离503，将当前挖掘区域502所在位置以及落点距离503作为标记信息标记在AR显示图像上，得到辅助控制数据。
在需要定点挖掘的场景下，当铲斗齿尖在作业动作过程中，当前挖掘区域将实时动态变化，将作业动作的目标挖掘区域作为目标区域505，并实时确定落点位置与目标区域505的距离506，从而还可以将目标区域505和距离506在AR显示图像上实时显示，可以使辅助控制数据更加完善。
在示例性实施例中，在作业场景中确定关键部位对应的作业区域以及关键部位与作业区域的距离信息之后，还可以包括：
基于预设对应关系，确定距离信息对应的作业指导参数；
其中，预设对应关系为距离信息与作业指导参数的对应关系。
本实施例中作业指导参数指的是能够为操作者准确控制作业机械提供指导作用的参数，比如挖掘深度、挖掘力等关键参数。
在实际应用过程中，可以结合主机厂对作业机械的作业力矩相关数据，比如挖掘机的挖掘力分布数据，预先设定距离信息与作业指导参数的对应关系，也就是距离信息中各个距离值对应的作业指导参数，这样的话，在已知距离信息的情况下，可以直接根据对应关系确定相应的作业指导参数，将作业知道参数也作为辅助控制数据的一部分，可以使辅助控制数据更具有参考性且更加直观，同时可以引导操作者最大化利用作业机械的性能，提升辅助控制的效率和精度。
下面对本发明提供的作业机械的辅助控制装置进行描述，下文描述的作业机械的辅助控制装置与上文描述的作业机械的辅助控制方法可相互对应参照。
图6示出了本发明实施例提供的作业机械的辅助控制装置，该装置包括：
获取模块601，用于获取作业机械所处作业环境的图像数据以及作业机械的姿态数据；
第一处理模块602，用于基于图像数据建立作业机械的作业场景，并基于作业机械的姿态数据，确定作业机械的关键部位的位姿信息；
第二处理模块603，用于将关键部位的位姿信息与作业场景融合，得到作业场景中关键部位的位置信息；
第三处理模块604，用于基于关键部位的位置信息以及作业场景中的作业面，生成辅助控制数据，以对作业机械进行辅助控制。
在示例性实施例中，上述获取模块601具体通过如下过程实现获取作业机械所处作业环境的图像数据：
获取作业环境中至少一个目标场景的二维图像和深度信息；
基于至少一个目标场景的二维图像和深度信息，确定图像数据。
在示例性实施例中，上述第一处理模块602具体通过如下过程实现基于图像数据建立作业机械的作业场景：
分别将每个目标场景的二维图像和深度信息进行拼接，得到每个目标场景的三维图像；
将各个目标场景的三维图像进行拼接，得到作业场景。
在示例性实施例中，上述第三处理模块604具体可以用于：
基于关键部位的位置信息以及作业场景中的作业面，在作业场景中确定关键部位对应的作业区域以及关键部位与作业区域的距离信息；
基于关键部位的位置信息、作业区域以及距离信息，生成辅助控制数据。
进一步地，上述第三处理模块604具体可以通过如下过程实现基于关键部位的位置信息以及作业场景中的作业面，在作业场景中确定关键部位对应的作业区域以及关键部位与作业区域的距离信息：
基于关键部位的位置信息，确定关键部位的作业方向；
基于作业方向与作业面的交点，确定关键部位的落点位置；
基于落点位置以及作业面，确定作业区域；
基于关键部位的位置信息以及落点位置，确定关键部位与作业区域的距离信息。
进一步地，上述第三处理模块604还可以用于：
基于预设对应关系，确定距离信息对应的作业指导参数；
其中，预设对应关系为距离信息与作业指导参数的对应关系。
在示例性实施例中，上述第二处理模块603具体可以用于：
将关键部位的位姿信息转换至作业场景对应的坐标系中，得到作业场景中关键部位的位置信息。
综上所述，本发明实施例提供的作业机械的辅助控制装置，通过第一处理模块基于作业机械所处作业环境的图像数据建立作业机械的作业场景，并基于作业机械的姿态数据，确定作业机械的关键部位的位姿信息，通过第二处理模块将关键部位的位姿信息与作业场景融合，得到作业场景中关键部位的位置信息，通过第三处理模块基于关键部位的位置信息以及作业场景中的作业面，生成辅助控制数据，以对作业机械进行辅助控制，由于辅助控制数据是将关键部位的位姿信息与作业场景融合并结合作业场景中的作业面生成的，可以更加集中和直观的展现给操作者，从而提高了辅助控制过程的效率和可靠性。
图7示出了本发明实施例提供的作业机械的辅助控制***，该***包括：环境数据采集设备701、姿态数据采集设备702以及控制器703，环境数据采集设备701和姿态数据采集设备702均与控制器703连接，控制器703还与作业机械704连接；
环境数据采集设备701用于采集作业机械704所处作业环境的图像数据；
姿态数据采集设备702用于采集作业机械704的姿态数据；
控制器703用于获取图像数据以及姿态数据；基于图像数据建立作业机械704的作业场景，并基于姿态数据，确定作业机械704的关键部位的位姿信息；将关键部位的位姿信息与作业场景融合，得到作业场景中关键部位的位置信息；基于关键部位的位置信息以及作业场景中的作业面，生成辅助控制数据，以对作业机械704进行辅助控制。
本实施例中控制器703可以是作业机械704的整车控制器，也可以是为实现上述辅助控制功能而增设的控制器，环境数据采集设备701和姿态数据采集设备702可以安装于作业机械704上。
本实施例中环境数据采集设备701可以是能够采集二维图像和深度信息的相机或摄像头，姿态数据采集设备702可以是能够采集倾角、位姿以及回转角度的各类传感器。
在示例性实施例中，上述控制器703具体可以通过如下过程实现获取作业机械所处作业环境的图像数据：
获取作业环境中至少一个目标场景的二维图像和深度信息；
基于至少一个目标场景的二维图像和深度信息，确定图像数据。
在示例性实施例中，上述控制器703具体可以通过如下过程实现基于图像数据建立作业机械的作业场景：
分别将每个目标场景的二维图像和深度信息进行拼接，得到每个目标场景的三维图像；
将各个目标场景的三维图像进行拼接，得到作业场景。
在示例性实施例中，上述控制器703具体可以通过如下过程实现基于关键部位的位置信息以及作业场景中的作业面，生成辅助控制数据：
基于关键部位的位置信息以及作业场景中的作业面，在作业场景中确定关键部位对应的作业区域以及关键部位与作业区域的距离信息；
基于关键部位的位置信息、作业区域以及距离信息，生成辅助控制数据。
进一步地，上述控制器703具体可以通过如下过程实现基于关键部位的位置信息以及作业场景中的作业面，在作业场景中确定关键部位对应的作业区域以及关键部位与作业区域的距离信息：
基于关键部位的位置信息，确定关键部位的作业方向；
基于作业方向与作业面的交点，确定关键部位的落点位置；
基于落点位置以及作业面，确定作业区域；
基于关键部位的位置信息以及落点位置，确定关键部位与作业区域的距离信息。
在示例性实施例中，上述控制器703还可以用于：
基于预设对应关系，确定距离信息对应的作业指导参数；
其中，预设对应关系为距离信息与作业指导参数的对应关系。
在示例性实施例中，上述控制器703具体可以通过如下过程实现将关键部位的位姿信息与作业场景融合，得到作业场景中关键部位的位置信息：
将关键部位的位姿信息转换至作业场景对应的坐标系中，得到作业场景中关键部位的位置信息。
综上所述，本发明实施例提供的作业机械的辅助控制***，通过环境数据采集设备、姿态数据采集设备与控制器配合，可以生成用于对作业机械进行辅助控制的辅助控制数据，由于辅助控制数据是将关键部位的位姿信息与作业场景融合并结合作业场景中的作业面生成的，可以更加集中和直观的展现给操作者，从而提高了辅助控制过程的效率和可靠性。
此外，本发明实施例还提供了一种作业机械，该作业机械执行上述作业机械的辅助控制方法或者包括上述作业机械的辅助控制装置或者包括作业机械的辅助控制***。
本实施例中作业机械可以是挖掘机、起重机等工程用车辆，通过执行上述作业机械的辅助控制方法或者包括上述作业机械的辅助控制装置或者包括作业机械的辅助控制***，可以将辅助控制数据更加集中和直观的展现给操作者，提高了辅助控制过程的效率和可靠性，进而使得作业机械的作业过程更加安全和可靠。
图8示例了一种电子设备的实体结构示意图，如图8所示，该电子设备可以包括：处理器(processor)801、通信接口(Communications Interface)802、存储器(memory)803和通信总线804，其中，处理器801，通信接口802，存储器803通过通信总线804完成相互间的通信。处理器801可以调用存储器803中的逻辑指令，以执行作业机械的辅助控制方法，该方法包括：获取作业机械所处作业环境的图像数据以及作业机械的姿态数据；基于图像数据建立作业机械的作业场景，并基于作业机械的姿态数据，确定作业机械的关键部位的位姿信息；将关键部位的位姿信息与作业场景融合，得到作业场景中关键部位的位置信息；基于关键部位的位置信息以及作业场景中的作业面，生成辅助控制数据，以对作业机械进行辅助控制。
此外，上述的存储器803中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各实施例所提供的作业机械的辅助控制方法，该方法包括：获取作业机械所处作业环境的图像数据以及作业机械的姿态数据；基于图像数据建立作业机械的作业场景，并基于作业机械的姿态数据，确定作业机械的关键部位的位姿信息；将关键部位的位姿信息与作业场景融合，得到作业场景中关键部位的位置信息；基于关键部位的位置信息以及作业场景中的作业面，生成辅助控制数据，以对作业机械进行辅助控制。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时以实现上述各实施例提供的作业机械的辅助控制方法，该方法包括：获取作业机械所处作业环境的图像数据以及作业机械的姿态数据；基于图像数据建立作业机械的作业场景，并基于作业机械的姿态数据，确定作业机械的关键部位的位姿信息；将关键部位的位姿信息与作业场景融合，得到作业场景中关键部位的位置信息；基于关键部位的位置信息以及作业场景中的作业面，生成辅助控制数据，以对作业机械进行辅助控制。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (11)

1.一种作业机械的辅助控制方法，其特征在于，包括：
获取作业机械所处作业环境的图像数据以及所述作业机械的姿态数据；
基于所述图像数据建立所述作业机械的作业场景，并基于所述作业机械的姿态数据，确定所述作业机械的关键部位的位姿信息；
将所述关键部位的位姿信息与所述作业场景融合，得到所述作业场景中所述关键部位的位置信息；
基于所述关键部位的位置信息以及所述作业场景中的作业面，生成辅助控制数据，以对所述作业机械进行辅助控制。
2.根据权利要求1所述的作业机械的辅助控制方法，其特征在于，所述获取作业机械所处作业环境的图像数据，包括：
获取所述作业环境中至少一个目标场景的二维图像和深度信息；
基于所述至少一个目标场景的二维图像和深度信息，确定所述图像数据。
3.根据权利要求2所述的作业机械的辅助控制方法，其特征在于，所述基于所述图像数据建立所述作业机械的作业场景，包括：
分别将每个所述目标场景的二维图像和所述深度信息进行拼接，得到每个所述目标场景的三维图像；
将各个所述目标场景的三维图像进行拼接，得到所述作业场景。
4.根据权利要求1所述的作业机械的辅助控制方法，其特征在于，所述基于所述关键部位的位置信息以及所述作业场景中的作业面，生成辅助控制数据，包括：
基于所述关键部位的位置信息以及所述作业场景中的作业面，在所述作业场景中确定所述关键部位对应的作业区域以及所述关键部位与所述作业区域的距离信息；
基于所述关键部位的位置信息、所述作业区域以及所述距离信息，生成辅助控制数据。
5.根据权利要求4所述的作业机械的辅助控制方法，其特征在于，所述基于所述关键部位的位置信息以及所述作业场景中的作业面，在所述作业场景中确定所述关键部位对应的作业区域以及所述关键部位与所述作业区域的距离信息，包括：
基于所述关键部位的位置信息，确定所述关键部位的作业方向；
基于所述作业方向与所述作业面的交点，确定所述关键部位的落点位置；
基于所述落点位置以及所述作业面，确定所述作业区域；
基于所述关键部位的位置信息以及所述落点位置，确定所述关键部位与所述作业区域的距离信息。
6.根据权利要求4所述的作业机械的辅助控制方法，其特征在于，所述在所述作业场景中确定所述关键部位对应的作业区域以及所述关键部位与所述作业区域的距离信息之后，还包括：
基于预设对应关系，确定所述距离信息对应的作业指导参数；
其中，所述预设对应关系为所述距离信息与所述作业指导参数的对应关系。
7.根据权利要求1所述的作业机械的辅助控制方法，其特征在于，所述将所述关键部位的位姿信息与所述作业场景融合，得到所述作业场景中所述关键部位的位置信息，包括：
将所述关键部位的位姿信息转换至所述作业场景对应的坐标系中，得到所述作业场景中所述关键部位的位置信息。
8.一种作业机械的辅助控制装置，其特征在于，包括：
获取模块，用于获取作业机械所处作业环境的图像数据以及所述作业机械的姿态数据；
第一处理模块，用于基于所述图像数据建立所述作业机械的作业场景，并基于所述作业机械的姿态数据，确定所述作业机械的关键部位的位姿信息；
第二处理模块，用于将所述关键部位的位姿信息与所述作业场景融合，得到所述作业场景中所述关键部位的位置信息；
第三处理模块，用于基于所述关键部位的位置信息以及所述作业场景中的作业面，生成辅助控制数据，以对所述作业机械进行辅助控制。
9.一种作业机械的辅助控制***，其特征在于，包括：环境数据采集设备、姿态数据采集设备以及控制器，所述环境数据采集设备和所述姿态数据采集设备均与所述控制器连接，所述控制器还与所述作业机械连接；
所述环境数据采集设备用于采集所述作业机械所处作业环境的图像数据；
所述姿态数据采集设备用于采集所述作业机械的姿态数据；
所述控制器用于获取所述图像数据以及所述姿态数据；基于所述图像数据建立所述作业机械的作业场景，并基于所述姿态数据，确定所述作业机械的关键部位的位姿信息；将所述关键部位的位姿信息与所述作业场景融合，得到所述作业场景中所述关键部位的位置信息；基于所述关键部位的位置信息以及所述作业场景中的作业面，生成辅助控制数据，以对所述作业机械进行辅助控制。
10.一种作业机械，其特征在于，执行如权利要求1至7任一项所述的作业机械的辅助控制方法或者包括如权利要求8所述的作业机械的辅助控制装置。
11.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述的作业机械的辅助控制方法。
CN202210989203.2A 2022-08-17 2022-08-17 作业机械的辅助控制方法、装置、***及作业机械 Pending CN115457096A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210989203.2A CN115457096A (zh) 2022-08-17 2022-08-17 作业机械的辅助控制方法、装置、***及作业机械

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210989203.2A CN115457096A (zh) 2022-08-17 2022-08-17 作业机械的辅助控制方法、装置、***及作业机械

Publications (1)

Publication Number Publication Date
CN115457096A true CN115457096A (zh) 2022-12-09

Family

ID=84298415

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210989203.2A Pending CN115457096A (zh) 2022-08-17 2022-08-17 作业机械的辅助控制方法、装置、***及作业机械

Country Status (1)

Country Link
CN (1) CN115457096A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116290203A (zh) * 2023-01-12 2023-06-23 中港疏浚有限公司 基于神经网络的疏浚施工参数选优模型方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116290203A (zh) * 2023-01-12 2023-06-23 中港疏浚有限公司 基于神经网络的疏浚施工参数选优模型方法
CN116290203B (zh) * 2023-01-12 2023-10-03 中港疏浚有限公司 基于神经网络的疏浚施工参数选优模型方法

Similar Documents

Publication Publication Date Title
CN109270534B (zh) 一种智能车激光传感器与相机在线标定方法
JP7137548B2 (ja) 材料スタックの３次元再構成方法、装置、電子デバイス及びコンピュータ可読媒体
EP1985416B1 (en) Mobile robot
US20160312432A1 (en) Computer Vision Assisted Work Tool Recognition and Installation
JP2020140696A (ja) 掘削機のバケットの位置姿勢を確定するための方法及び装置
KR102315535B1 (ko) 공작 기계 설비의 회전 각도 결정 방법 및 장치
WO2017042873A1 (ja) 遠隔操作システムおよび操作支援システム
KR20210151964A (ko) 건설 기계
US20220412048A1 (en) Work assist server, work assist method, and work assist system
EP4348379A1 (en) Topology processing for waypoint-based navigation maps
CN115457096A (zh) 作业机械的辅助控制方法、装置、***及作业机械
WO2023025262A1 (zh) 一种挖掘机运行模式切换的控制方法、装置和挖掘机
CN116540726A (zh) 一种巡逻机器人智能避障方法、***及介质
CN117576094B (zh) 一种3d点云智能感知焊缝位姿提取方法、***、设备
CN112937444B (zh) 作业机械的辅助影像生成方法、装置和作业机械
CN114327076A (zh) 作业机械与作业环境的虚拟交互方法、装置及***
Pachidis et al. Vision-based path generation method for a robot-based arc welding system
CN112884710A (zh) 作业机械的辅助影像生成方法、远程操控方法及其装置
US20200347579A1 (en) Tip attachment discrimination device
CN112059983A (zh) 一种用于装配工件的方法、装置及计算机可读介质
US20160150189A1 (en) Image processing system and method
CN116016613A (zh) 一种远程控制挖掘机的方法、***、装置及电子设备
KR102011386B1 (ko) 굴삭기 작업반경 표시 방법
CN113140031A (zh) 三维影像建模***、方法及应用其的口腔扫描设备
JPH0795560A (ja) 遠隔操作システムの画像計測方法及びその装置並びに距離計測方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination