CN112627261B - 一种基于机器视觉的铲刀姿态控制***、方法及平地机 - Google Patents

Abstract

本发明公开了平地机技术领域的一种基于机器视觉的铲刀姿态控制***、方法及平地机，能够根据驾驶员的操作指令自动调整铲刀至设定的姿态，降低了驾驶员的操控难度和劳动强度。包括：若干个安装于平地机的设定位置的摄像头，用于采集安装于平地机的设定位置的多个视觉感知追踪点的实时位置信息；视觉处理单元用于根据接收到的各个所述视觉感知追踪点的实时位置信息获取铲刀的当前姿态，并结合人机显示器发送的铲刀的目标姿态，生成铲刀姿态控制机构的目标状态，车载控制器用于根据铲刀姿态控制机构的目标状态及当前状态通过电比例控制阀控制铲刀姿态控制机构，使铲刀姿态控制机构驱动铲刀至目标姿态。

Description

一种基于机器视觉的铲刀姿态控制***、方法及平地机

技术领域

本发明属于平地机技术领域，具体涉及一种基于机器视觉的铲刀姿态控制***、方法及平地机。

背景技术

平地机是一种以铲刀为主体，配以其他多种可换作业装置，进行土壤铲掘、平整和整形作业的铲土运输施工机械，主要应用于道路、机场、农田、水利等大面积土壤平整作业及刮坡、挖沟、推土、松土、清除路面冰雪等施工作业，是国防、交通、农业、水利基本建设施工中的重要设备之一，在国民经济建设中发挥着巨大的作用。与其他工程机械相比，平地机核心工作装置铲刀的运动灵活且运动范围较大，铲刀姿态的精确检测与控制难度较大，且由于驾驶员操作失误经常导致铲刀与平地机其他结构（如前后轮胎、登车梯等）发生碰撞，操控难度大、劳动强度高，施工作业质量难以保证。

发明内容

为解决现有技术中的不足，本发明提供一种基于机器视觉的铲刀姿态控制***、方法及平地机，能够根据驾驶员的操作指令自动调整铲刀至设定的姿态，降低了驾驶员的操控难度和劳动强度。

为达到上述目的，本发明所采用的技术方案是：一种基于机器视觉的铲刀姿态控制***，包括：若干个安装于平地机的设定位置的摄像头，用于采集安装于平地机的设定位置的多个视觉感知追踪点的实时位置信息并发送至视觉处理单元；所述视觉处理单元，用于根据接收到的各个所述视觉感知追踪点的实时位置信息获取铲刀的当前姿态，并结合人机显示器发送的铲刀的目标姿态，生成铲刀姿态控制机构的目标状态，并把铲刀姿态控制机构的目标状态及当前状态发送至车载控制器；所述车载控制器，用于根据接收到的铲刀姿态控制机构的目标状态及当前状态，并通过电比例控制阀控制铲刀姿态控制机构，使铲刀姿态控制机构驱动铲刀至目标姿态。

进一步地，所述摄像头安装于整车的固定位置，包括驾驶室和前机架；所述视觉感知追踪点按照设定的尺寸间隔安装于铲刀、回转支撑和铲刀姿态控制机构上。

进一步地，所述摄像头为红外摄像头。

进一步地，所述铲刀姿态控制机构包括左升降油缸、右升降油缸、斜拉油缸、引出油缸、铲土角油缸和液压马达；所述左升降油缸和右升降油缸的缸体分别与左摆架和右摆架铰接，所述左升降油缸和右升降油缸的伸缩杆分别与回转支撑铰接；所述斜拉油缸的缸体与所述回转支撑铰接，所述斜拉油缸的伸缩杆与所述左摆架铰接；所述引出油缸一端与角位器铰接，另一端与铲刀固定连接；所述角位器的一端与铲土角油缸的活塞杆铰接，所述铲土角油缸的缸体与所述回转支撑铰接；所述回转支撑的内齿圈内嵌于牵引架的凹槽中，所述液压马达驱动固定在牵引架上的涡轮箱进而通过内齿-外齿传动驱动铲刀做回转运动。

进一步地，所述车载控制器配置有铲刀碰撞姿态子集，当车载控制器接收到铲刀姿态控制机构的动作信息后，自动选择一条避开所述铲刀碰撞姿态子集的铲刀姿态控制机构的控制序列对铲刀姿态进行实时调整。

进一步地，所述人机显示器，用于设置并向所述视觉处理单元发送铲刀的目标姿态、基于所述视觉处理单元获取的铲刀的当前姿态实时显示整车三维图形、切换手动控制状态和自动控制状态。

进一步地，在手动控制状态下，当驾驶员手动调整铲刀姿态并达到铲刀碰撞姿态子集的边界时，车载控制器停止铲刀运动并发出报警信息。

一种平地机，所述平地机配置有前述的基于机器视觉的铲刀姿态控制***。

一种基于机器视觉的铲刀姿态控制方法，包括：采集安装于平地机的设定位置的多个视觉感知追踪点的实时位置信息；根据各个视觉感知追踪点的实时位置信息获取铲刀的当前姿态，并结合铲刀的目标姿态，生成铲刀姿态控制机构的目标状态；根据铲刀姿态控制机构的目标状态和当前状态，通过电比例控制阀控制铲刀姿态控制机构，使铲刀姿态控制机构驱动铲刀至目标姿态。

进一步地，所述根据铲刀姿态控制机构的目标状态和当前状态，通过电比例控制阀控制铲刀姿态控制机构，使铲刀姿态控制机构驱动铲刀至目标姿态，包括：c1、根据铲刀姿态控制机构的目标状态和当前状态，生成铲刀姿态控制机构的初始控制序列；c2、将生成的铲刀姿态控制机构的初始控制序列与铲刀碰撞姿态子集进行比较并选择一条避开所述铲刀碰撞姿态子集的铲刀姿态控制机构的控制序列作为执行控制序列；c3、基于步骤c2中选择的执行控制序列，通过电比例控制阀控制铲刀姿态控制机构，使铲刀姿态控制机构驱动铲刀至目标姿态。

与现有技术相比，本发明所达到的有益效果：

（1）本发明基于机器视觉技术，通过摄像头采集安装于平地机上的视觉感知追踪点的实时位置信息，进而获取铲刀的当前姿态，并与要求的铲刀目标姿态进行比较，获取铲刀姿态控制机构的目标状态，车载控制器基于铲刀姿态控制机构的目标状态实现对铲刀姿态的自动控制，降低了驾驶员的操控难度和劳动强度；

（2）本发明通过在车载控制器内配置铲刀碰撞姿态子集，当车载控制器接收到铲刀姿态控制机构的动作信息后，自动选择一条避开所述铲刀碰撞姿态子集的铲刀姿态控制机构的控制序列对铲刀姿态进行实时调整，解决了铲刀自动和手动调整过程中可能发生的铲刀与平地机其他机构之间的碰撞问题，提高了作业安全性。

附图说明

图1是本发明实施例提供的一种基于机器视觉的铲刀姿态控制***的铲刀姿态控制机构的立体结构示意图；

图2是本发明实施例提供的一种基于机器视觉的铲刀姿态控制***的铲刀姿态控制机构的平面结构示意图；

图3是铲刀入土深度、铲土角度定义示意图；

图4是铲刀回转角度、引出位移定义示意图；

图5是铲刀横坡角度定义示意图；

图6是本发明实施例提供的一种基于机器视觉的铲刀姿态控制***的***框图；

图7是本发明实施例提供的一种基于机器视觉的铲刀姿态控制***中摄像头和视觉感知追踪点的分布状态示意图一；

图8是本发明实施例提供的一种基于机器视觉的铲刀姿态控制***中摄像头和视觉感知追踪点的分布状态示意图二；

图9是本发明实施例提供的一种基于机器视觉的铲刀姿态控制***中摄像头和视觉感知追踪点的分布状态示意图三；

图10是图9中视觉感知追踪点的识别及铲刀姿态换算示意图。

具体实施方式

下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

实施例一：

如图1~图10所示，一种基于机器视觉的铲刀姿态控制***，包括：若干个安装于平地机的设定位置的摄像头15，用于采集安装于平地机的设定位置的多个视觉感知追踪点16的实时位置信息并发送至视觉处理单元17；视觉处理单元17用于根据接收到的各个所述视觉感知追踪点16的实时位置信息获取铲刀10的当前姿态，并结合人机显示器19发送的铲刀10的目标姿态，生成铲刀姿态控制机构的目标状态，并把铲刀姿态控制机构的目标状态和当前状态发送至车载控制器18；车载控制器18用于根据接收到的铲刀姿态控制机构的目标状态和当前状态，并通过电比例控制阀20控制铲刀姿态控制机构，使铲刀姿态控制机构驱动铲刀10至目标姿态。

如图1、2、7、8所示，本实施例中，铲刀姿态控制机构包括左升降油缸4、右升降油缸5、斜拉油缸6、引出油缸12、铲土角油缸11和液压马达21；左升降油缸4和右升降油缸5的缸体分别与左摆架2和右摆架3铰接，左升降油缸4和右升降油缸5的伸缩杆分别与回转支撑8铰接；斜拉油缸6的缸体与回转支撑8铰接，斜拉油缸6的伸缩杆与左摆架2铰接；引出油缸12一端与角位器9铰接，另一端与铲刀10固定连接；角位器9的一端（图1中角位器9的上端）与铲土角油缸11的活塞杆端部铰接，角位器9的另一端（图1中角位器9的下端）铰接于回转支撑8下方销轴O处，铲土角油缸11的缸体与回转支撑8铰接；回转支撑8的内齿圈内嵌于牵引架7的凹槽中，液压马达21驱动固定在牵引架7上的涡轮箱13进而通过内齿-外齿传动驱动铲刀10做回转运动；铲刀10通过其后方的导轨内嵌于角位器9的导槽中，并通过引出油缸12实现铲刀10在角位器9的凹槽中滑动；牵引架7一端通过球铰铰接接于前机架1的前端，牵引架7的另一端与左升降油缸4、右升降油缸5、斜拉油缸6的活塞杆部分通过球铰进行连接；左升降油缸4、右升降油缸5、斜拉油缸6的缸体部分与摆架进行铰接。

对铲刀10的姿态的定义，如图3、4、5所示，平地机铲刀10运动灵活，其作业姿态有入土深度H、铲土角度θ、回转角度ψ、横坡角度Φ、引出位移L等5个。铲刀10的入土深度H是指铲刀10侵入土壤内部的深度，其数值大小为铲刀刀尖与土壤表面的距离（见图3）；铲刀10的铲土角度θ是指铲刀10最下端水平切入土壤的角度，其数值大小为铲刀10最下端圆弧切线与水平面间的夹角（见图3）；铲刀回转角度ψ是指铲刀10随回转支撑8的旋转角度，其数值大小为铲刀10的长度方向与平地机行驶方向间的水平夹角（见图4）；铲刀10的横坡角度Φ是指铲刀10下铲刃在平地机行驶方向垂直面上的投影与水平面间的角度，其数值大小为平地机铲刀10所形成的土壤表面的横坡角度（见图5）；铲刀10的引出位移L是指铲刀10相对于回转支撑8的侧向移出距离，其数值大小为铲刀10在长度方向上的对称面与过回转支撑8圆心且与铲刀的长度方向垂直的对称面间的距离（见图4，图中，m表示铲刀长度方向对称面，n表示过回转支撑圆心且与铲刀的长度方向垂直的对称面）。

如图6~图10所示，各个摄像头15分别将采集到的各个视觉感知追踪点16的实时位置信息发送至视觉处理单元17；视觉处理单元17为具有很强计算功能的GPU，它需要进行视觉识别的计算，视觉处理单元17根据接收到的各个视觉感知追踪点16的实时位置信息获取铲刀10的当前姿态，并结合人机显示器19发送的铲刀10的目标姿态，生成铲刀姿态控制机构的目标状态，并把铲刀姿态控制机构的目标状态和当前状态等控制决策机制通过CAN总线发送至车载控制器18；车载控制器18根据接收到的铲刀姿态控制机构的目标状态和当前状态，通过电比例控制阀20控制铲刀姿态控制机构，使铲刀姿态控制机构驱动铲刀10至目标姿态；电比例控制阀20与车载控制器18的PWM输出相连并控制铲刀姿态控制机构，包括左升降液压油缸4、右升降液压油缸5、斜拉油缸6、铲刀引出油缸12、铲土角控制油缸11、驱动铲刀回转角度的液压马达21等；通过这些执行机构的动作，可以改变和调整铲刀10的全部空间作业姿态。人机显示器19与视觉处理单元17和车载控制器18分别通过CAN总线相互通讯，人机显示器19在***上电时，会对视觉识别***的自检结果进行显示，提供整车三维图形，并用红色异常点标注出需要清洗或者更换的摄像头15或者视觉感知追踪点16，并且向用户提示后续维护的具体操作步骤；人机显示器19同时用于设置并向视觉处理单元17发送铲刀10的目标姿态、基于视觉处理单元17获取的铲刀10的当前姿态实时显示整车三维图形、切换手动控制状态和自动控制状态等。

本实施例中，摄像头15共设置7个，分别安装于整车的固定位置，包括驾驶室14和前机架1等；视觉感知追踪点16按照设定的尺寸间隔均匀安装于铲刀10、回转支撑8和铲刀姿态控制机构的各个控制油缸及液压马达21等关键部位上，且视觉感知追踪点16的个数符合1用2备的比例（即对于同样尺寸获取的追踪点，有两个备用点）。视觉感知摄像头15为红外摄像头，具有毫米级别的定位精度及毫秒级别的响应时间，且该摄像头具有自动控制摄像头盖，在正常施工过程中可以打开镜头盖，在施工结束后自动关闭镜头盖。工作时，利用视觉感知摄像头15捕捉视觉感知追踪点16的空间坐标，传送至视觉处理单元17，在视觉处理单元17中通过预制的算法，解算出当前铲刀10的全部空间姿态以及铲刀姿态控制机构中各油缸（左升降油缸4、右升降油缸5、斜拉油缸6、铲土角油缸11、引出油缸12）的活塞杆伸长量（即铲刀姿态控制机构的当前状态），全面获得平地机工作装置***的当前状态，见图9、图10。

铲刀姿态的控制：视觉处理单元17从人机显示器19中获得用户设定的铲刀10目标姿态，基于该目标姿态解算出铲刀姿态控制机构（左升降油缸4、右升降油缸5、斜拉油缸6、铲土角油缸11、引出油缸12）的目标状态（即在目标姿态下，铲刀姿态控制机构中各油缸的活塞杆伸长量），并把铲刀姿态控制机构的当前状态以及目标状态信息传送至车载控制器18，车载控制器17发出铲刀姿态控制机构中各油缸的运动方向和速度（实测姿态与目标姿态相差越大，控制机构的执行速度越快）的控制信号，通过电比例控制阀20控制左升降油缸4、右升降油缸5、斜拉油缸6、引出油缸12、铲土角油缸11、用于铲刀回转角度驱动的液压马达21进行动作，实时调整铲刀10的全部空间姿态向目标姿态逼近，通过视觉感知摄像头15实时获取铲刀10的最新姿态信息，形成闭环控制，直到铲刀10达到目标姿态时停止。由于视觉感知追踪点16直接安装于铲刀10上，并通过闭环控制进行铲刀姿态的调整与定位，铲刀姿态的最终控制精度不受平地机各运动结构的间隙影响，控制精度高。

防碰撞控制：基于平地机工作装置***结构及铲刀姿态控制机构（左升降油缸4、右升降油缸5、斜拉油缸6、铲土角油缸11、引出油缸12、液压马达21）的运动范围，解算出平地机铲刀10在所有可能的姿态全集中与平地机其他结构间的距离小于某一设定值或者发生碰撞、干涉的姿态子集，命名为：铲刀碰撞姿态子集，并将该铲刀碰撞姿态子集的信息存放在车载控制器18中。在铲刀10由当前姿态向目标姿态变换的过程中，车载控制器18自动选择一条避开铲刀碰撞姿态子集的铲刀姿态控制机构的控制序列对铲刀姿态进行实时调整；同时，在手动控制状态下，当驾驶员手动调整铲刀姿态并达到铲刀碰撞姿态子集的边界时，车载控制器18会停止铲刀运动，并发出声、光报警信息，提醒驾驶员进行处理，提高了作业安全性。

本实施例可实现铲刀全姿态（铲刀入土深度、铲刀铲土角度、铲刀回转角度、铲刀横坡角度、铲刀引出位移等）以及液压控制油缸的活塞杆伸长量实时检测；直接追踪铲刀上的视觉感知追踪点，并通过换算得到铲刀的作业姿态，检测精度高，且不受机构间隙的影响；基于平地机工作装置***结构、铲刀目标姿态和实际姿态的差异，快速解算出铲刀由当前姿态变换到目标姿态时，各个铲刀姿态控制机构的运动幅度和方向，反馈至控制***实时调整和控制平地机铲刀姿态，精确、快速达到目标姿态，提高施工质量，降低驾驶员劳动强度；基于平地机工作装置***结构及铲刀姿态控制机构的运动范围，解算出平地机铲刀在所有可能的姿态全集中与平地机其他结构间的距离小于某一设定值或者发生碰撞、干涉的姿态子集，并将该子集的信息存放在车载控制器中；在铲刀由当前姿态向目标姿态变换的过程中，控制器自动选择一条避开铲刀碰撞姿态子集的执行机构控制序列对铲刀姿态进行实时调整；同时，当驾驶员手动调整铲刀姿态并达到铲刀碰撞姿态子集的边界时，***会停止铲刀运动，并发出声音报警，提醒驾驶员进行处理，提高了作业安全性。

实施例二：

基于实施例一所述的一种基于机器视觉的铲刀姿态控制***，本实施例提供一种平地机，所述平地机配置有实施例一所述的基于机器视觉的铲刀姿态控制***。

实施例三：

基于实施例一所述的一种基于机器视觉的铲刀姿态控制***，本实施例提供一种基于机器视觉的铲刀姿态控制方法，包括：

1）采集安装于平地机的设定位置的多个视觉感知追踪点的实时位置信息；

2）根据各个视觉感知追踪点的实时位置信息获取铲刀的当前姿态，并结合铲刀的目标姿态，生成铲刀姿态控制机构的目标状态；

3）根据铲刀姿态控制机构的目标状态和当前状态，通过电比例控制阀控制铲刀姿态控制机构，使铲刀姿态控制机构驱动铲刀至目标姿态，具体为：

31）根据铲刀姿态控制机构的目标状态和当前状态，生成铲刀姿态控制机构的初始控制序列；

32）将生成的铲刀姿态控制机构的初始控制序列与铲刀碰撞姿态子集进行比较并选择一条避开所述铲刀碰撞姿态子集的铲刀姿态控制机构的控制序列作为执行控制序列；

33）基于步骤32）中选择的执行控制序列，通过电比例控制阀控制铲刀姿态控制机构，使铲刀姿态控制机构驱动铲刀至目标姿态。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (8)

1.一种基于机器视觉的铲刀姿态控制***，其特征是，包括：

若干个安装于平地机的设定位置的摄像头，用于采集安装于平地机的设定位置的多个视觉感知追踪点的实时位置信息并发送至视觉处理单元；

所述视觉处理单元，用于根据接收到的各个所述视觉感知追踪点的实时位置信息获取铲刀的当前姿态，并结合人机显示器发送的铲刀的目标姿态，生成铲刀姿态控制机构的目标状态，并把铲刀姿态控制机构的目标状态及当前状态发送至车载控制器；

所述车载控制器，用于根据接收到的铲刀姿态控制机构的目标状态及当前状态，并通过电比例控制阀控制铲刀姿态控制机构，使铲刀姿态控制机构驱动铲刀至目标姿态；

所述车载控制器配置有铲刀碰撞姿态子集，当车载控制器接收到铲刀姿态控制机构的动作信息后，自动选择一条避开所述铲刀碰撞姿态子集的铲刀姿态控制机构的控制序列对铲刀姿态进行实时调整。

2.根据权利要求1所述的基于机器视觉的铲刀姿态控制***，其特征是，所述摄像头安装于整车的固定位置，包括驾驶室和前机架；所述视觉感知追踪点按照设定的尺寸间隔安装于铲刀、回转支撑和铲刀姿态控制机构上。

3.根据权利要求1所述的基于机器视觉的铲刀姿态控制***，其特征是，所述摄像头为红外摄像头。

4.根据权利要求1所述的基于机器视觉的铲刀姿态控制***，其特征是，所述铲刀姿态控制机构包括左升降油缸、右升降油缸、斜拉油缸、引出油缸、铲土角油缸和液压马达；所述左升降油缸和右升降油缸的缸体分别与左摆架和右摆架铰接，所述左升降油缸和右升降油缸的伸缩杆分别与回转支撑铰接；所述斜拉油缸的缸体与所述回转支撑铰接，所述斜拉油缸的伸缩杆与所述左摆架铰接；所述引出油缸一端与角位器铰接，另一端与铲刀固定连接；所述角位器的一端与铲土角油缸的活塞杆铰接，所述铲土角油缸的缸体与所述回转支撑铰接；所述回转支撑的内齿圈内嵌于牵引架的凹槽中，所述液压马达驱动固定在牵引架上的涡轮箱进而通过内齿-外齿传动驱动铲刀做回转运动。

5.根据权利要求1所述的基于机器视觉的铲刀姿态控制***，其特征是，所述人机显示器，用于设置并向所述视觉处理单元发送铲刀的目标姿态、基于所述视觉处理单元获取的铲刀的当前姿态实时显示整车三维图形、切换手动控制状态和自动控制状态。

6.根据权利要求5所述的基于机器视觉的铲刀姿态控制***，其特征是，在手动控制状态下，当驾驶员手动调整铲刀姿态并达到铲刀碰撞姿态子集的边界时，车载控制器停止铲刀运动并发出报警信息。

7.一种平地机，其特征是，所述平地机配置有权利要求1~6任一项所述的基于机器视觉的铲刀姿态控制***。

8.一种基于机器视觉的铲刀姿态控制方法，其特征是，包括：

采集安装于平地机的设定位置的多个视觉感知追踪点的实时位置信息；

根据各个视觉感知追踪点的实时位置信息获取铲刀的当前姿态，并结合铲刀的目标姿态，生成铲刀姿态控制机构的目标状态；

根据铲刀姿态控制机构的目标状态和当前状态，通过电比例控制阀控制铲刀姿态控制机构，使铲刀姿态控制机构驱动铲刀至目标姿态；

所述根据铲刀姿态控制机构的目标状态和当前状态，通过电比例控制阀控制铲刀姿态控制机构，使铲刀姿态控制机构驱动铲刀至目标姿态，包括：

c1、根据铲刀姿态控制机构的目标状态和当前状态，生成铲刀姿态控制机构的初始控制序列；

c2、将生成的铲刀姿态控制机构的初始控制序列与铲刀碰撞姿态子集进行比较并选择一条避开所述铲刀碰撞姿态子集的铲刀姿态控制机构的控制序列作为执行控制序列；

c3、基于步骤c2中选择的执行控制序列，通过电比例控制阀控制铲刀姿态控制机构，使铲刀姿态控制机构驱动铲刀至目标姿态。

Images