CN114862848B - 一种市政施工用吊装设备的智能控制方法 - Google Patents

Abstract

本发明涉及智能控制技术领域，具体涉及一种市政施工用吊装设备的智能控制方法，该方法获取吊装设备的多段子路线以及对应的采样时长；对于每段子路线，在对应的采样时长内采集多张目标图像并获取目标区域；获取目标区域和标准区域的匹配向量，通过统计匹配向量的方向绘制第一方向幅度图，进而获取每个目标区域的惯性方向，选取最大的惯性方向幅值作为参考幅值，依据当前速度以及参考幅值获取目标速度；获取被运输物沿着脱离方向掉落时的目标姿态；在每段子路线上，将吊装设备调整至目标速度，并将被运输物调整至目标姿态。本发明能够控制吊装设备的速度使被运输物的摆动幅度尽可能小，并且控制被运输物的姿态使之意外掉落时造成的损失最小。

Description

一种市政施工用吊装设备的智能控制方法

技术领域

本发明涉及智能控制技术领域，具体涉及一种市政施工用吊装设备的智能控制方法。

背景技术

吊装设备在进行运输作业时，被运输物品受到吊装设备的速度以及高空中风速等的影响，可能会产生较大幅度的摆动，这种摆动会对物品装卸造成影响，甚至会使物品掉落，造成安全隐患，而市政施工用的吊装设备大多运输的是建筑用品，一旦发生物品掉落，往往会造成较大的安全隐患，因此需要对吊装设备进行实时监视以及智能控制，避免造成较大损失。

发明内容

为了解决上述技术问题，本发明的目的在于提供一种市政施工用吊装设备的智能控制方法，所采用的技术方案具体如下：

本发明一个实施例提供了一种市政施工用吊装设备的智能控制方法，该方法包括以下步骤：

基于吊装设备的规划路线获取多段子路线，每段子路线中吊装设备的前进方向一致；根据子路线的长度获取每段子路线的采样时长；

对于每段子路线，在对应的采样时长内采集多张目标图像，所述目标图像中包括吊钩、被运输物以及地面；对每张目标图像进行目标检测得到目标区域，所述目标区域为被运输物所在区域；

以初始帧目标图像的目标区域作为标准区域，将每个目标区域与标准区域进行特征点匹配，相互匹配的特征点之间形成匹配向量，通过统计匹配向量的方向绘制第一方向幅度图，基于所述第一方向幅度图和所述前进方向获取每个目标区域的惯性方向，选取最大的惯性方向幅值作为参考幅值，依据当前速度以及参考幅值获取目标速度；

获取每两张相邻目标图像之间的摆动方向，选取频率最大的摆动方向作为脱离方向；识别出最后一张目标图像中的地面连通域和非地面连通域，计算被运输物在不同姿态下沿着所述脱离方向掉落时对非地面区域的覆盖面积，选取覆盖面积最小的姿态作为目标姿态；

在每段子路线上，将吊装设备调整至所述目标速度，并将被运输物调整至所述目标姿态。

优选的，所述子路线的获取方法为：

对所述规划路线进行链码描述得到路线链码，通过对所述路线链码进行阈值分割得到多个线路拐点，以每两个相邻线路拐点之间路线部分作为一段子路线。

优选的，所述前进方向的获取方法为：

获取每段子路线的链码均值对应的方向即为对应子路线的前进方向，将该前进方向投影至对应子路线的每张目标图像中，得到图像中的前进方向。

优选的，所述采样时长的获取方法为：

获取所有子路线中的最短路线，设置最短路线的预设采样时长，计算每段子路线与最短路线的比值，乘上所述预设采样时长，得到对应子路线的所述采样时长。

优选的，所述第一方向幅度图的绘制方法为：

设置预设数量的基准方向，将与每个匹配向量的方向最接近的基准方向作为匹配向量的归属方向，统计每个基准方向作为归属方向的次数，以该次数作为对应基准方向的幅值，将相邻基准方向的幅值点相连，得到所述第一方向幅度图。

优选的，所述惯性方向的获取方法为：

选取所述第一方向幅度图中幅值最大的前两个基准方向作为备选方向，计算每个备选方向与所述前进方向的方向差值，以更小的方向差值对应的备选方向作为所述惯性方向。

优选的，所述目标速度的获取方法为：

获取参考幅值与幅值阈值之间的幅值差异，计算幅值差异与幅值阈值之间的比值，将该比值乘上当前速度，得到所述目标速度。

优选的，所述摆动方向的获取方法为：

获取每两张相邻的目标图像之间的第二方向幅度图，将第二方向幅度图中所有矢量的加和作为相邻目标图像的摆动方向。

本发明实施例至少具有如下有益效果：

1、通过获取每个目标区域与标准区域之间形成的匹配向量，进而绘制第一方向幅度图得到每个目标区域的惯性方向，通过惯性方向上的幅值来对当前速度进行智能控制，尽可能使被运输物的摆动幅度较小，避免意外的发生，本发明可以应用于吊装设备的监视装置中。

2、通过获取相邻帧目标图像之间的摆动方向得到被运输物的脱离方向，获取被运输物沿着脱离方向掉落时的目标姿态，控制被运输物的姿态调整为目标姿态，能够保证即使发生了意外掉落，也能够使造成的损失最小。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1为本发明一个实施例提供的一种市政施工用吊装设备的智能控制方法的步骤流程图；

图2为本发明一个实施例提供的第一方向幅度图；

图3为本发明一个实施例提供的被运输物姿态调整前的脱离过程示意图；

图4为本发明一个实施例提供的被运输物的姿态调整为目标姿态后的脱离过程示意图。

具体实施方式

为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种市政施工用吊装设备的智能控制方法，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。

下面结合附图具体的说明本发明所提供的一种市政施工用吊装设备的智能控制方法的具体方案。

请参阅图1，其示出了本发明一个实施例提供的一种市政施工用吊装设备的智能控制方法的步骤流程图，该方法包括以下步骤：

步骤S001，基于吊装设备的规划路线获取多段子路线，每段子路线中吊装设备的前进方向一致；根据子路线的长度获取每段子路线的采样时长。

具体的步骤包括：

1、获取多段子路线

由于物品在输送过程中，受到惯性、风速、物体本身质量等的影响，导致存在物品摇摆的情况，为了方便对参数进行控制，需要对变量进行控制，通过获取前进方向一致的子路线进行后续计算来减少变量，即前进方向一致的子路线的控制参数一致。

对规划路线进行链码描述得到路线链码，通过对路线链码进行阈值分割得到多个线路拐点，以每两个相邻线路拐点之间路线部分作为一段子路线。

具体的，以规划路线的出发点为初始点，以某个方向为0度方向，获取路线中每条线段与0度方向所成的角度，以所有角度组成的序列作为规划线路的链码。

作为一个示例，本发明实施例中以正东方向作为0度方向。

对规划线路的链码根据费歇尔准则，利用类间方差最大，类内方差最小的原则对链码进行多阈值分割，得到多个类别，每个类别中的角度值相近，以不同类别的边界值作为线路拐点，两个相邻的线路拐点之间即为一段前进方向相同的子路段。

2、获取每段子路段的前进方向。

获取每段子路线的链码均值对应的方向即为对应子路线的前进方向，在获取每段子路线的目标图像后，将该前进方向投影至对应子路线的每张目标图像中，得到图像中的前进方向。

需要说明的是，由于后续处理都是通过对目标图像进行处理，因此在后续计算中的前进方向都是指图像中的前进方向。

3、获取每段子路线的采样时长。

获取所有子路线中的最短路线，设置最短路线的预设采样时长，计算每段子路线与最短路线的比值，乘上预设采样时长，得到对应子路线的采样时长。

在同一段子路段上吊装设备受到的外界因素的影响相近，但路段越长，外界因素的变化可能越大，因此需要越长的采样时长对数据进行收集，使得收集的数据尽可能地以局部表示整体。

获取整个规划路线上最短的子路线，记最短路线的长度为

，根据实际情况设置最短路线的预设采样时长

，根据每段子路线与最短路线的长度比例，获取每段子路线的采样时长。

第i条子路线的采样时长

为：

其中，

表示第i条子路线的长度。

作为一个示例，本发明实施例中预设采样时长

为5秒。

步骤S002，对于每段子路线，在对应的采样时长内采集多张目标图像，目标图像中包括吊钩、被运输物以及地面；对每张目标图像进行目标检测得到目标区域，目标区域为被运输物所在区域。

吊装设备进行作业时，需要相机采集图像来识别周围的路况，其中在吊臂上的相机采集的图像中至少包括吊钩、被运输物以及地面，根据实际情况还可能包括吊臂，吊机吊线等。本发明实施例中需要获取采样时长内的多张图像进行后续处理。

具体的步骤包括：

1、采集多张目标图像。

对于每段子路线，在进入子路线时开始采集目标图像，直至达到采样时长结束采集。其中，结束采集只是本发明实施例所需的目标图像采集完毕，并不代表相机不再继续工作。

由于相机位于吊臂上，随着吊臂的变动而变动，俯视吊钩和被运输物，采集的目标图像中包括吊钩、被运输物以及地面；在吊臂的运动过程中，如果吊钩上的被运输物不存在摇摆的话，相机与被运输物相对位置也不变。

2、对每张目标图像进行目标检测得到目标区域。

目标区域为被运输物所在区域，即目标图像中被运输物连通域，由于相机视角为俯视，吊钩位于被运输物连通域内部。

目标检测方法为公知技术，能够通过多种方法实现，本发明实施例不再赘述。在本发明实施例中通过surf算子对每张目标图像进行目标检测，提取目标区域。

步骤S003，以初始帧目标图像的目标区域作为标准区域，将每个目标区域与标准区域进行特征点匹配，相互匹配的特征点之间形成匹配向量，通过统计匹配向量的方向绘制第一方向幅度图，基于第一方向幅度图和前进方向获取每个目标区域的惯性方向，选取最大的惯性方向幅值作为参考幅值，依据当前速度以及参考幅值获取目标速度。

具体的步骤包括：

1、将每个目标区域与标准区域进行特征点匹配，得到匹配向量。

当被运输物不存在摆动摇晃，而相机与被运输物的相对位置保持不变，那么相邻两帧目标图像的目标区域应当位于图像中的同一位置，而实际情况中是存在摆动的，所以相邻两帧目标图像的目标区域是有差异的，这个差异是由摆动造成的。

首先通过将目标区域之外的所有像素值设置为0，来去除目标区域之外的元素。然后将相邻两帧目标图像进行叠加，使相邻两帧目标图像上的目标区域叠加，再根据特征点匹配关系，将相邻两帧目标图像的目标区域进行特征点匹配，得到相邻两帧图像上目标区域像素点的对应关系，假设前一帧图像上的点A和后一帧图像上的点

是一对匹配的特征点，即这两个点在实际中是被运输物上的同一个点，则由点A指向点

的向量为两点之间的匹配向量。获取所有相互匹配的特征点形成的匹配向量。

2、绘制每个目标区域的第一方向幅度图。

设置预设数量的基准方向，将与每个匹配向量的方向最接近的基准方向作为匹配向量的归属方向，统计每个基准方向作为归属方向的次数，以该次数作为对应基准方向的幅值，将相邻基准方向的幅值点相连，得到第一方向幅度图。

本发明实施例中基准方向的预设数量为8个，即0度方向、45度方向、90度方向、135度方向、180度方向、225度方向、270度方向以及315度方向，计算与每个匹配向量的方向最接近的基准方向，作为该匹配向量的归属方向，每当一个基准方向成为归属方向，在该基准方向上的幅值加一，直至所有匹配向量计算完成，将相邻基准方向的幅值点相连，形成一张第一方向幅度图，作为一个示例，本发明实施例中共获取16个匹配向量，其中有6个匹配向量的归属方向为0度方向，1个匹配向量的归属方向为45度方向，2个匹配向量的归属方向为90度方向，2个匹配向量的归属方向为135度方向，1个匹配向量的归属方向为180度方向，1个匹配向量的归属方向为225度方向，2个匹配向量的归属方向为270度方向，1个匹配向量的归属方向为315度方向，因此在0度方向上的幅值为6，45度方向上幅值为1，在90度方向上幅值为2，在135度方向上幅值为2，在180度方向上幅值为1，在225度方向上幅值为1，在270度方向上幅值为2，在315度方向上幅值为1，将相邻基准方向的幅值点相连，即将所有基准方向上的幅值点顺序相连，得到如图2所示的第一方向幅度图。

3、获取每个目标区域的惯性方向。

对于每个目标区域的第一方向幅度图，选取第一方向幅度图中幅值最大的前两个基准方向作为备选方向，计算每个备选方向与前进方向的方向差值，以更小的方向差值对应的备选方向作为惯性方向。

第一方向幅度图使被运输物的摆动方向可视化，可以更加直观地得到哪些方向的摆动幅度大，选择摆动幅度最大的两个方向，即幅值最大的两个基准方向作为备选方向，在两个备选方向中，一个是由于惯性影响导致的摆动方向，另一个是由于风向或其它因素的影响导致的摆动方向。

由于惯性是前进方向造成的，惯性方向与前进方向相近，因此以两个备选方向中更接近前进方向的方向，作为惯性方向。

具体的，分别计算两个备选方向与前进方向的方向差值，以更小的方向差值对应的备选方向作为惯性方向，惯性方向对应的幅值为惯性方向幅值。

4、获取目标速度。

选取最大的惯性方向幅值作为参考幅值，获取参考幅值与幅值阈值之间的幅值差异，计算幅值差异与幅值阈值之间的比值，将该比值乘上当前速度，得到目标速度。

惯性方向幅值是由前进方向导致的，因此可以通过控制前进方向的速度使得惯性方向的幅值减小。

在所有目标区域对应的惯性方向幅值中，选取最大值作为参考幅值，然后设置一个惯性方向的幅值阈值，该幅值阈值的设置可以根据实际情况得到。当超过幅值阈值时，摆动幅度过大，需要通过减小速度使摆动幅度减小，速度减小量根据超过阈值的比例来计算，超过越多，越需要减小速度，目标速度

的计算公式如下：

其中，

表示当前速度，

表示参考幅值，

表示惯性方向的幅值阈值，

表示幅值差异，

表示目标速度。

步骤S004，获取每两张相邻目标图像之间的摆动方向，选取频率最大的摆动方向作为脱离方向；识别出最后一张目标图像中的地面连通域和非地面连通域，计算被运输物在不同姿态下沿着脱离方向掉落时对非地面区域的覆盖面积，选取覆盖面积最小的姿态作为目标姿态。

具体的步骤包括：

1、获取每两张相邻目标图像之间的摆动方向。

获取每两张相邻的目标图像之间的第二方向幅度图，将第二方向幅度图中所有矢量的加和作为相邻目标图像的摆动方向。

以绘制第一方向幅度图同样的方法绘制每两张相邻的目标图像之间的第二方向幅度图，被运输物的摆动是各种因素影响后的摆动，因此通过将第二方向幅度图中所有矢量的加和作为相邻目标图像的摆动方向。

统计所有摆动方向的频率，选取频率最大的摆动方向作为脱离方向，即当被运输物意外掉落时，最有可能沿着脱离方向掉落。

2、获取目标姿态。

当前情况下，万一出现被运输物意外掉落，需要保证在最坏情况下造成最小的损失，此时只能对物品的姿态参数进行调整，尽量使被运输物掉落在地面上而不会影响其他物品，将隐患系数降到最低。

对每段子路线的采样时长中采集的最后一张目标图像进行连通域识别，识别出地面连通域和非地面连通域，计算目标区域采用不同姿态参数时，沿着摆动方向平移过程中对非地面区域的覆盖面积，选择最小覆盖面积对应的姿态参数作为目标姿态，以目标姿态掉落时，造成的损失最小，该过程可以在模拟器中计算得到。

需要说明的是，当多个姿态达到的覆盖面积都为0时，以姿态变换最小的姿态作为目标姿态。

步骤S005，在每段子路线上，将吊装设备调整至目标速度，并将被运输物调整至目标姿态。

在每段子路线上，通过相应的采样时间获取的目标图像，得到目标速度和目标姿态，将吊装设备调整至目标速度，将被运输物调整至目标姿态，实现该段子路线的智能控制，当吊车设备行驶到另一段子路线上时，重新利用另一段子路线相应的采样时间获取的目标图像得到对应的目标速度和目标姿态，进行相应调整。

需要说明的是，通过减小速度使摆动幅度减小时，速度不能突然减小，突然减小容易由于惯性导致出现更大的摆动幅度，需要逐渐减小速度到目标速度v。

请参阅图3和图4，图3为被运输物姿态调整前的脱离过程示意图，图4为被运输物的姿态调整为目标姿态后的脱离过程示意图，圆形区域为非地面连通域，矩形区域为目标区域，箭头方向为摆动方向，姿态调整后，若被运输物沿着摆动方向掉落时，不会落入非地面连通域，即不会对其他物品造成影响。

综上所述，本发明实施例基于吊装设备的规划路线获取多段子路线，每段子路线中吊装设备的前进方向一致；根据子路线的长度获取每段子路线的采样时长；对于每段子路线，在对应的采样时长内采集多张目标图像，目标图像中包括吊钩、被运输物以及地面；对每张目标图像进行目标检测得到目标区域，目标区域为被运输物所在区域；以初始帧目标图像的目标区域作为标准区域，将每个目标区域与标准区域进行特征点匹配，相互匹配的特征点之间形成匹配向量，通过统计匹配向量的方向绘制第一方向幅度图，基于第一方向幅度图和前进方向获取每个目标区域的惯性方向，选取最大的惯性方向幅值作为参考幅值，依据当前速度以及参考幅值获取目标速度；获取每两张相邻目标图像之间的摆动方向，选取频率最大的摆动方向作为脱离方向；识别出最后一张目标图像中的地面连通域和非地面连通域，计算被运输物在不同姿态下沿着脱离方向掉落时对非地面区域的覆盖面积，选取覆盖面积最小的姿态作为目标姿态；在每段子路线上，将吊装设备调整至目标速度，并将被运输物调整至目标姿态。本发明实施例能够通过控制吊装设备的速度使被运输物的摆动幅度尽可能小，并且控制被运输物的姿态使之意外掉落时造成的损失最小。

需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。

以上所述实施例仅用以说明本申请的技术方案，而非对其限制；对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围，均应包含在本申请的保护范围之内。

Claims (7)

1.一种市政施工用吊装设备的智能控制方法，其特征在于，该方法包括以下步骤：

基于吊装设备的规划路线获取多段子路线，每段子路线中吊装设备的前进方向一致；根据子路线的长度获取每段子路线的采样时长；

对于每段子路线，在对应的采样时长内采集多张目标图像，所述目标图像中包括吊钩、被运输物以及地面；对每张目标图像进行目标检测得到目标区域，所述目标区域为被运输物所在区域；

以初始帧目标图像的目标区域作为标准区域，将每个目标区域与标准区域进行特征点匹配，相互匹配的特征点之间形成匹配向量，通过统计匹配向量的方向绘制第一方向幅度图，基于所述第一方向幅度图和所述前进方向获取每个目标区域的惯性方向，选取最大的惯性方向幅值作为参考幅值，依据当前速度以及参考幅值获取目标速度；

获取每两张相邻目标图像之间的摆动方向，选取频率最大的摆动方向作为脱离方向；识别出最后一张目标图像中的地面连通域和非地面连通域，计算被运输物在不同姿态下沿着所述脱离方向掉落时对非地面区域的覆盖面积，选取覆盖面积最小的姿态作为目标姿态；

在每段子路线上，将吊装设备调整至所述目标速度，并将被运输物调整至所述目标姿态；

所述第一方向幅度图的绘制方法为：

设置预设数量的基准方向，将与每个匹配向量的方向最接近的基准方向作为匹配向量的归属方向，统计每个基准方向作为归属方向的次数，以该次数作为对应基准方向的幅值，将相邻基准方向的幅值点相连，得到所述第一方向幅度图。

2.根据权利要求1所述的一种市政施工用吊装设备的智能控制方法，其特征在于，所述子路线的获取方法为：

对所述规划路线进行链码描述得到路线链码，通过对所述路线链码进行阈值分割得到多个线路拐点，以每两个相邻线路拐点之间路线部分作为一段子路线。

3.根据权利要求2所述的一种市政施工用吊装设备的智能控制方法，其特征在于，所述前进方向的获取方法为：

获取每段子路线的链码均值对应的方向即为对应子路线的前进方向，将该前进方向投影至对应子路线的每张目标图像中，得到图像中的前进方向。

4.根据权利要求1所述的一种市政施工用吊装设备的智能控制方法，其特征在于，所述采样时长的获取方法为：

获取所有子路线中的最短路线，设置最短路线的预设采样时长，计算每段子路线与最短路线的比值，乘上所述预设采样时长，得到对应子路线的所述采样时长。

5.根据权利要求1所述的一种市政施工用吊装设备的智能控制方法，其特征在于，所述惯性方向的获取方法为：

选取所述第一方向幅度图中幅值最大的前两个基准方向作为备选方向，计算每个备选方向与所述前进方向的方向差值，以更小的方向差值对应的备选方向作为所述惯性方向。

6.根据权利要求1所述的一种市政施工用吊装设备的智能控制方法，其特征在于，所述目标速度的获取方法为：

获取参考幅值与幅值阈值之间的幅值差异，计算幅值差异与幅值阈值之间的比值，将该比值乘上当前速度，得到所述目标速度。

7.根据权利要求1所述的一种市政施工用吊装设备的智能控制方法，其特征在于，所述摆动方向的获取方法为：

获取每两张相邻的目标图像之间的第二方向幅度图，将第二方向幅度图中所有矢量的加和作为相邻目标图像的摆动方向。

Images