CN110067274B - 设备控制方法及挖掘机 - Google Patents

Abstract

本申请提供了一种设备控制方法及挖掘机，其中，设备控制方法包括：采集目标设备对应的限定区域内的第一图像数据；采集目标设备的限定区域的第二图像数据；当检测到第一图像数据中存在目标对象时，将目标对象所在的目标图像区域与第二图像数据中各点进行匹配，以得到目标图像区域的目标三维坐标范围；根据目标三维坐标范围获取目标对象与目标设备的第一距离；当第一距离小于设定值，控制目标设备停止工作状态或降低工作速度。能够通过对设备周边的环境的识别，当识别到可能存在目标对象，降低或者停止设备运作，可以提高设备的运作安全。

Description

设备控制方法及挖掘机

技术领域

本申请涉及机械设备控制技术领域，具体而言，涉及一种设备控制方法及挖掘机。

背景技术

在建工业机械领域，各类施工设备与施工人员可能处于同一工作环境中，如果施工设备处于运行状态中，则对于该工作环境中的施工人员存在潜在的危险。基于此，现有技术中通过对采集的图像中的特定工装特征的识别，如果识别到施工人员的特定工装就停止设备的运行，采用这种处理方式，设备的工作效率会相对较低。

发明内容

有鉴于此，本申请实施例的目的在于提供一种设备控制方法及挖掘机。

第一方面，本申请实施例提供了一种设备控制方法，包括：

采集目标设备对应的限定区域内的第一图像数据；

采集所述目标设备的所述限定区域的第二图像数据；

当检测到所述第一图像数据中存在目标对象时，将所述目标对象所在的目标图像区域与所述第二图像数据中各点进行匹配，以得到所述目标图像区域的目标三维坐标范围；

根据所述目标三维坐标范围获取所述目标对象与所述目标设备的第一距离；

当所述第一距离小于设定值，控制所述目标设备停止工作状态或降低工作速度。

本申请实施例提供的方式会先对第一图像数据中进行检测，如果检测到目标对象，再对目标对象与设备的第一距离进行判断，如果第一距离小于设定值，则目标对象才可能存在潜在危险。通过两轮识别，可以提高目标对象的危险状态的检测。进一步地，判断目标对象距离是否在危险区域内，再改变目标设备的工作状态，因此相比于在识别到施工人员的特定工装就停止设备的运作状态而言，可以在提高目标设备运作时的环境中的各个对象的安全性的同时，还能够避免盲目地停止设备工作，从而也就可以提高目标设备的工作效率。

结合第一方面，本申请实施例提供了第一方面的第一种可能的实施方式，其中：所述第二图像数据包括三维点云数据；所述将所述目标对象所在的目标图像区域与所述第二图像数据中各点进行匹配，以得到所述目标图像区域的目标三维坐标范围的步骤，包括：

将所述三维点云数据通过坐标转换投影到所述第一图像数据对应的坐标系中，以得到投影点集；

将所述目标图像区域中对应的子投影点集映射回所述三维点云数据对应的三维坐标系中，以得到所述目标图像区域的目标三维坐标范围。

进一步地，所述第二图像数据包括三维点云数据；所述将所述目标对象所在的目标图像区域与所述第二图像数据中各点进行匹配，以得到所述目标图像区域的目标三维坐标范围的步骤，包括：

将所述第一图像数据中所述目标图像区域中的像素点进行坐标转换，以得到所述目标图像区域中的像素点的三维坐标，所述三维坐标为基于所述第二图像数据中各点所在的三维坐标系下的坐标；

将所述目标图像区域中的像素点的三维坐标在所述第二图像数据中的三维点云数据进行匹配，以确定出所述目标图像区域中的像素点的目标三维坐标范围。

在上述实施方式中，通过将目标图像区域中的像素点进行坐标转换，使目标图像区域投射到第二图像数据中，得到目标对象的目标三维坐标范围。通过相对较少的计算能够得到目标对象的空间上的覆盖范围，实现不同维度的对象的映射。

结合第一方面第一种可能的实施方式，本申请实施例提供了第一方面的第二种可能的实施方式，其中：所述将所述第一图像数据中所述目标图像区域中的像素点进行坐标转换，以得到所述目标图像区域中的像素点的三维坐标的步骤，包括：

使用第一采集设备与第二采集设备采集的图像之间的转换矩阵对所述三维点云数据进行坐标转换，以得到所述投影点集，所述第一采集设备为采集所述第一图像数据的设备，所述第二采集设备为采集第二图像数据的设备；

所述转换矩阵是根据使用所述第一采集设备采集的第一组标定点集，以及使用第二采集设备采集的第二组标定点集确定的。

在上述实施方式中，通过使用第一采集设备和第二采集设备对应的转换矩阵对目标图像区域中的像素点进行坐标转换，使转换得到的三维坐标与第二图像数据中的像素点使用的坐标系更加匹配。另外基于第一采集设备采集的第一组标定点集，以及使用第二采集设备采集的第二组标定点集确定出转换矩阵，可以使确定出的转换矩阵与两个采集设备相互关联。

结合第一方面第二种可能的实施方式，本申请实施例提供了第一方面的第三种可能的实施方式，其中：所述方法还包括：

为所述第一采集设备和第二采集设备设置相同的时间***；

为所述第一采集设备配置第一控制线程；

为所述第二采集设备配置第二控制线程；

在上述实施方式中，通过所述第一控制线程和所述第二控制线程，控制所述第一采集设备和第二采集设备相邻两次采集数据的时间间隔相同，以使所述第一采集设备采集的第一图像数据与所述第二采集设备采集到的第二图像数据的时间同步。

通过线程控制两个采集设备，以及为两个采集设备设置相同的时间***，可以使用两个采集设备采集的图像数据在时间上可以匹配，从而使目标对象的检测结果也就更加的准确。

结合第一方面，本申请实施例提供了第一方面的第四种可能的实施方式，其中：所述根据所述目标三维坐标范围获取所述目标对象与所述目标设备的第一距离的步骤，包括：

根据所述目标三维坐标范围计算得到所述目标对象的中心点坐标，所述中心点坐标表示所述目标三维坐标范围中距离所述目标设备最近的坐标；

根据所述中心点坐标计算得到所述目标对象与所述目标设备的所述第一距离。

在上述实施方式中，目标对象的中心点可以更好地表征目标对象的位置，从而通过中心点坐标与目标设备的距离，得到目标对象与目标设备的距离，可以更准确地表征目标对象与目标设备的位置。

结合第一方面第四种可能的实施方式，本申请实施例提供了第一方面的第五种可能的实施方式，其中：所述根据所述中心点坐标计算得到所述目标对象与所述目标设备的所述第一距离的步骤，包括：

获取所述中心点坐标中的水平方向上的两个坐标值；

根据所述水平方向上的两个坐标值计算得到所述目标对象与所述目标设备的水平距离，作为所述第一距离。

在上述实施方式中，由于设备影响相关对象的安全主要体现在水平方向的距离，使用水平方向的距离作为目标对象与目标设备的距离，可以避免了竖直方向上对距离的影响，从而更好地识别出在设定值范围内的对象，从而提高与设备处于同一工作环境中的人员的安全性。

结合第一方面第四种可能的实施方式，本申请实施例提供了第一方面的第六种可能的实施方式，其中：所述根据所述目标三维坐标范围计算得到所述目标对象的中心点坐标的步骤，包括：

对所述目标三维坐标范围进行边框拟合，得到所述目标对象所在的空间立方体；

计算所述空间立方体的中心坐标，将所述空间立方体的中心坐标作为所述目标对象的中心点坐标。

在上述实施方式中，通过边框拟合的放置先将目标三维坐标范围映射到一个方便计算中心点的几何形状内，再基于得到的几何形状计算得到中心坐标。另外，通过边框拟合出的几何形状计算得到的中心坐标，也能够更好地表示目标对象的中心。

结合第一方面，本申请实施例提供了第一方面的第七种可能的实施方式，其中：所述方法还包括：当所述第一距离小于设定值时，产生报警消息。

在上述实施方式中，通过报警消息可以提醒操作人员或目标对象可能存在的潜在危险，从而有效地降低危险性。

结合第一方面的第七种实施方式，本申请实施例提供了第一方面的第八种可能的实施方式，其中：所述目标设备为挖掘机，所述挖掘机包括挖机臂，所述当所述第一距离小于设定值时，产生报警消息的步骤，包括：

当所述第一距离小于所述挖机臂的最长伸展长度时，产生报警消息。

第二方面，本申请实施例还提供一种设备控制装置，包括：

第一采集模块，用于采集目标设备对应的限定区域内的第一图像数据；

第二采集模块，用于采集所述目标设备的所述限定区域的第二图像数据；

匹配模块，用于当检测到所述第一图像数据中存在目标对象时，将所述目标对象所在的目标图像区域与所述第二图像数据中各点进行匹配，以得到所述目标图像区域的目标三维坐标范围；

获取模块，用于根据所述目标三维坐标范围获取所述目标对象与所述目标设备的第一距离；

控制模块，用于当所述第一距离小于设定值时，控制所述目标设备停止工作状态或降低工作速度。

第三方面，本申请实施例还提供一种挖掘机，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行上述第一方面，或第一方面的任一种可能的实施方式中的方法的步骤。

为使本申请的上述目的、特征和优点能更明显易懂，下文特举实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请实施例提供的挖掘机的方框示意图。

图2为本申请实施例提供的设备控制方法的流程图。

图3为本申请实施例提供的设备控制方法的步骤S203的详细流程图。

图4为本申请实施例提供的设备控制装置的功能模块示意图。

具体实施方式

下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

在建工业领域中，由于各类设备较大，而且设备上可能存在一些危险系数比较高的部件，例如，挖掘机的挖斗用于挖土等，为建筑作业提供方便，但是如果不小心撞到人的话，则会导致人陷入危险状态。有些设备可能存在操作人员，操作人员可以在看到设备周边有人员存在时候停止设备的运作，但是有时候设备可能会比较大，导致操作人员可能不能很好地看到周边的环境。基于上述存在的问题，本申请发明人对建工业领域中的各个设备进行研究。

首先，由于施工人员会穿具有特定特征的衣服，基于此，可以通过采集设备周边环境的图像，通过对采集到的环境的图像的识别，从而可以实现对设备周边环境的识别。在识别到有施工人员时，就停止设备的运行，从而避免设备碰撞到施工人员。但是这种方式可能会存在，即使有施工人员在设备周边，但是施工人员距离设备较远，设备的正常运行并不会威胁到施工人员的安全，这种情况下，如果将设备停止运作，则会大大降低设备的运作效率。另外，对于未穿着具有特定特征的衣服的人员，则可能存在不能识别的情况，从而导致此类人员的安全可能存在潜在危险。

进一步地，现有技术中提供了在施工人员上佩戴移动标签，使用无线信号在空气中的传播速度，识别出车载终端与移动标签之间的距离。但是，不是每个在现场的人都有移动标签，则可能会存在有些人员不能够被检测到的情况。

针对上述的研究，本申请实施例中提供了一种设备控制方法，通过采集设备周边环境中的图像，就能够实现图像中是否存在目标对象(例如，施工人员)。再将计算识别出的目标对象与目标设备的距离，从而可以实现目标对象的距离计算，从而根据距离对目标设备进行控制，从而实现设备的运作环境的控制。

为便于对本实施例进行理解，首先对执行本申请实施例所公开的一种设备控制方法的机械设备进行详细介绍。

实施例一

如图1所示，图1示出了本申请实施例提供的挖掘机的方框示意图。挖掘机可以包括：存储器111、存储控制器112、处理器113、外设接口114、输入输出单元115、采集设备116、挖斗117、机身118。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对挖掘机100的结构造成限定。例如，挖掘机100还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。

存储器111、存储控制器112、处理器113、外设接口114、输入输出单元115及采集设备116各元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。

其中，存储器111可以是，但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-OnlyMemory，PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，EEPROM)等。其中，存储器111用于存储程序，所述处理器113在接收到执行指令后，执行所述程序，本申请实施例任一实施例揭示的过程定义的挖掘机100所执行的方法可以应用于处理器113中，或者由处理器113实现。

处理器113可能是一种集成电路芯片，具有信号的处理能力。上述的处理器113可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processor，简称DSP)、专用集成电路(Application Specific Integrated Circuit，简称ASIC)、现场可编程门阵列(Field Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

外设接口114将各种输入/输入装置耦合至处理器113以及存储器111。在一些实施例中，外设接口114，处理器113以及存储控制器112可以在单个芯片中实现。在其他一些实例中，他们可以分别由独立的芯片实现。

输入输出单元116用于提供给用户输入数据。输入输出单元可以是，但不限于，设备上的按键、连接挖掘机的移动遥控器等。

采集设备116用于采集挖掘机周边的环境数据。上述的采集设备116可以是工业相机、激光雷达、双目相机等。在一个实施方式中，挖掘机可以包括两个采集设备，其中包括：第一采集设备和第二采集设备。第一采集设备和第二采集设备可以安装在同一水平线上，也可以安装在同一竖直线上。具体可以根据采集设备116的类型进行合适的安装方式。

进一步地，挖掘机还可以包括更多的单元，例如，显示单元。显示单元在挖掘机100与用户之间提供一个交互界面(例如用户操作界面)或用于显示图像数据给用户参考。在本实施例中，显示单元可以是液晶显示器或触控显示器。若为触控显示器，其可为支持单点和多点触控操作的电容式触控屏或电阻式触控屏等。支持单点和多点触控操作是指触控显示器能感应到来自该触控显示器上一个或多个位置处同时产生的触控操作，并将该感应到的触控操作交由处理器113进行计算和处理。

实施例二

请参阅图2，是本申请实施例提供的设备控制方法的流程图。在一些实施例中，本实施例中的设备控制方法应用于图1所示的挖掘机上。下面将对图2所示的具体流程进行详细阐述。

步骤S201，采集目标设备对应的限定区域内的第一图像数据。

上述的第一图像数据可以是二维的图片数据；也可以是视频数据。

在一种可选的实施方式中，上述的第一图像数据可以是由相机采集得到。例如，可以是工业相机或其它可以实现图像采集的普通相机。

步骤S202，采集所述目标设备的所述限定区域的第二图像数据。

上述的步骤S201步骤S202的执行顺序并不以图2所示的顺序为限，图2仅是示意性的。例如，步骤S201可以在步骤S202之前执行，也可以在步骤S202之后执行，也可以同时执行。

上述的第二图像数据可以是二维的图片数据；也可以是视频数据；还可以是三维的点云数据。

其中，如果上述的第二图像数据是图片数据或视频数据，则采集第二图像数据的设备可以是与采集第一图像数据相同的设备。若上述的第二图像数据是三维的点云数据，采集第二图像数据的设备则可以是能够获取像素点与采集设备距离的三维传感器，例如，三维传感器可以是激光雷达、深度相机等。

可选地，上述的第一图像数据和第二图像数据可以是二维图像数据，在此条件下，采集第一图像数据的第一采集设备和采集第二图像数据的第二采集设备可以安装在同一水平线上，使第一采集设备和第二采集设备形成双目相机，用于采集周边环境中的二维图像，将二维图像进行匹配可以得到三维点云数据。可选地，可以将上述的第一图像数据和第二图像数据利用OpenCV开源视觉库中reprojectImageTo3D的函数进行双目视差匹配逐行获得三维点云数据。

可选地，上述的第一图像数据可以是二维图像数据，第二图像数据可以是三维点云数据。在此条件下，采集第一图像数据的第一采集设备和采集第二图像数据的第二采集设备可以安装在同一竖直线上。在一个可选的实例中，上述的第一采集设备和第二采集设备可以安装在一工业防水柱体内。例如，工业防水柱体内上方固定第二采集设备，工业防水柱体下方固定第一采集设备，从而实现第一采集设备和第二采集设备在同一垂直线上。

在步骤S203之前，可以通过神经网络模型对上述的第一图像数据进行检测，从而检测出第一图像数据中是否有目标对象。

上述的神经网络模型可以通过训练数据集合训练得到。

上述的训练数据集合可以是使用上述的第一采集设备。训练数据中包括有施工人员、其它人员的图片的图像。训练数据还可以包括在不同条件下拍摄得到的图像。其中，不同条件可以包括不同天气，如：晴天、雨天、雾天、雪天；不同条件还可以包括不同时间段，如：一天中的早、中、晚；不同条件还可以包括不同光照。进一步地，第一采集设备采集得到的图像数据可以使用labelme标注工具对数据集中的施工人员位置进行标注，得到每张图像中对应的施工人员等对象的位置的二维外接矩形的坐标标注数据。上述的训练数据集合可以包括训练集、验证集、测试集。其中，训练集、验证集、测试集的比例可以不同，可选地，训练集可以的比例可以大于验证集和测试集。例如，训练集、验证集和测试集的比例可以是6：2：2，再例如，训练集、验证集和测试集的比例可以是5：3：2。

上述的神经网络模型对应的待训练模型可以是FastBox算法训练的模型。FastBox算法相对于传统的Yolo算法，加入了ROI-Pooling(Region of Interest-Pooling，感兴趣区域池化)结构。

其中，FastBox算法分为编码器和解码器两部分，编码器使用VGG16对施工人员进行特征提取，解码器是先用多个滤波器(例如，五百个滤波器)的1x1卷积层传递编码特征，产生39x12x500大小的张量，随后通过1x1卷积层输出6个39x12的通道，该张量前两个通道产生bounding box，其中一个通道的输出结果为二维边框，另一个通道为该二维边框中的对象的分类。该张量的后四个通道表示二维边框的边界框坐标，分别为第一轴上的最大值、第一轴上的最小值、第二轴上的最大值及第二轴上的最小值。

分别将上述的训练集、验证集及测试集输入待训练模型进行计算，每次计算后确定出待训练模型的待确定参数，从而形成可以用于识别第一图像数据中是否存在目标对象的神经网络模型。

通过上述FastBox算法进行施工人员模型训练，通过Adam优化器和对所有1x1的卷积进行0.5的dropout得到精确度为94.8％的施工人员识别模型。

通过将第一采集设备采集到的第一图像数据实时传入神经网络模型中，得到第一图像数据中目标对象(如：施工人员)对应的二维外接矩形坐标。

可选地，上述的神经网络模型对应的待训练初始模型也可以采用Yolo、fasterrcnn、SSD(Single Shot MultiBox Detector)等目标物检测算法形成的模型。

步骤S203，当检测到所述第一图像数据中存在目标对象时，将所述目标对象所在的目标图像区域与所述第二图像数据中各点进行匹配，以得到所述目标图像区域的目标三维坐标范围。

通过对上述的第一图像数据的识别可以判断目标设备的周边是否存在目标对象。上述的目标对象可以是人，例如，施工人员、其它临检人员等；也可以是一些动物；还可以是一些固定建筑、堆积的建筑材料等。

在一种实施方式中，上述的第二图像数据可以是三维点云数据。如图3所示，步骤S203可以包括步骤S2031和步骤S2032。

步骤S2031，将所述三维点云数据通过坐标转换投影到所述第一图像数据对应的坐标系中，以得到投影点集。

上述的投影点集为基于上述的第二图像数据的投影到图像二维空间的坐标点集。

步骤S2031可以通过以下方式实现：使用第一采集设备与第二采集设备采集的图像之间的转换矩阵对所述三维点云数据进行坐标转换，以得到所述投影点集。

上述的转换矩阵是根据使用所述第一采集设备采集的第一组标定点集，以及使用第二采集设备采集的第二组标定点集确定的。

具体地，确定转换矩阵之前还可以先对第一采集设备进行标定。可选地，可以先使用棋盘格标定法对第一采集设备进行标定，得到第一采集设备的内参矩阵和畸变矩阵。

为了使用第一图像数据与第二图像数据的匹配可以得到目标对象在三维图像中的三维坐标范围，则需要将第一采集设备与第二采集设备的融合。其中，两个采集设备的融合可以包括空间上的融合和时间上的匹配两部分。

空间上的融合标识由识别到的第一图像数据中的目标对象的目标图像范围中的像素点可以在第二图像数据对应的三维点云数据对应的三维场景中匹配找到唯一的数据点与其对应。下面以第二采集设备是激光雷达为例描述两个采集设备的空间上的融合。

设标定参考点在激光雷达的坐标系中的三维坐标为M(X,Y,Z)，在第一采集设备中的坐标系的图像坐标为m(u,v)，两坐标系转换关系可以表示为：

其中，P_3×4表示从激光雷达坐标系到第一采集设备中的坐标系的投影变换矩阵，Z_c为任一比例因子，消去Z_c，可得：

其中，p'＝(p₁₁,p₁₂,p₁₃,p₁₄,p₂₁,p₂₂,p₂₃,p₂₄,p₃₁,p₃₂,p₃₃,p₃₄)^T，则至少需要6个标定点才能求解出投影点变换矩阵P_3×4。则可以通过使用所述第一采集设备采集的第一组标定点集以及使用第二采集设备采集的第二组标定点集计算得到上述的变换矩阵P_3×4。其中，第一组标定点集与第二组标定点集一一对应，第一组标定点集的数量至少六个。

在一个实例中，标定过程可以使用autoware函数组中的autoware_camera_lidar_calibrator()函数，读取第一采集设备和激光雷达采集到的标定点数据，同时显示在rviz中，棋盘格放在激光雷达前方，在图像中找到一个可以匹配点云中对应的点，单击图像中点的像素，使用Publish Point工具击中激光雷达图像中对应的三维点。使用至少九次不同点重复上述操作。标定完成后，得到第一采集设备的坐标系下的二维像素点和激光雷达坐标系下的三维像素点的转换矩阵。

时间上的数据匹配是保证激光雷达和相机在采集数据时的同步。分别为激光雷达和相机创建线程，让两种传感器每采集一次相隔相同时间，并赋予相同的GPS时间(或者，也可以采用其他导航***时间)，这样就把激光雷达和相机数据在时间上达到同步处理，也就是时间上的匹配。

具体地，可以通过以下步骤实现第一采集设备和第二采集设备在时间上的数据匹配，可以包括：为所述第一采集设备和第二采集设备设置相同的时间***；为所述第一采集设备配置第一控制线程；为所述第二采集设备配置第二控制线程；通过所述第一控制线程和所述第二控制线程，控制所述第一采集设备和第二采集设备相邻两次采集数据的时间间隔相同，以使所述第一采集设备采集的第一图像数据与所述第二采集设备采集到的第二图像数据的时间同步。

上述的第一控制线程和第二控制线程按照设定的时间间隔采集目标设备周边的图像数据。

通过线程控制两个采集设备，以及为两个采集设备设置相同的时间***，可以使用两个采集设备采集的图像数据在时间上可以匹配，从而使目标对象的检测结果也就更加的准确。

步骤S2032，将所述目标图像区域中对应的子投影点集映射回所述三维点云数据对应的三维坐标系中，以得到所述目标图像区域的目标三维坐标范围。

具体地，可以根据上述的变换矩阵对应的恢复矩阵，将子投影点集映射回上述的三维点云数据对应的三维坐标系中。

可选地，上述的步骤S203还可以被实施为：将所述第一图像数据中所述目标图像区域中的像素点进行坐标转换，以得到所述目标图像区域中的像素点的三维坐标；将所述目标图像区域中的像素点的三维坐标在所述第二图像数据中的三维点云数据进行匹配，以确定出所述目标图像区域中的像素点的目标三维坐标范围。

其中，其中，上述的三维坐标为基于所述第二图像数据中各点所在的三维坐标系下的坐标。

通过将目标图像区域中的像素点进行坐标转换，使目标图像区域投射到第二图像数据中，得到目标对象的目标三维坐标范围。通过相对较少的计算能够得到目标对象的空间上的覆盖范围，实现不同维度的对象的映射。

通过使用第一采集设备和第二采集设备对应的转换矩阵对目标图像区域中的像素点进行坐标转换，使转换得到的三维坐标与第二图像数据中的像素点使用的坐标系更加匹配。另外基于第一采集设备采集的第一组标定点集，以及使用第二采集设备采集的第二组标定点集确定出转换矩阵，可以使确定出的转换矩阵与两个采集设备相互关联。

在另一种实施方式中，上述的第二图像数据可以是二维图像数据。则可以将上述的第一图像数据和第二图像数据通过双目深度估计获得三维点云数据。可选地，上述的双目深度估计可以采用：SAD(Sum of absolute differences，中文称：绝对差异之和)算法、BM(blockmatching，中文称：块匹配)算法、SGBM(semi-global block matching，中文称：半全局块匹配)算法、PSMNet(Pyramid Stereo Matching Network，中文称：金字塔立体匹配网络)算法等。

步骤S204，根据所述目标三维坐标范围获取所述目标对象与所述目标设备的第一距离。

上述的目标三维坐标范围可以是以第二采集设备的位置作为原点的坐标系对应的坐标范围。可选地，可以将上述的目标对象对应的目标三维坐标范围中的任意一点与坐标原点的距离，作为第一距离。

在一种可选的实施方式中，可以计算目标三维坐标范围中距离原点最近的一个点与原点的距离，作为第一距离。

结合第一方面，本申请实施例提供了第一方面的第四种可能的实施方式，其中：所述根据所述目标三维坐标范围获取所述目标对象与所述目标设备的第一距离的步骤，包括：

根据所述目标三维坐标范围计算得到所述目标对象的中心点坐标；根据所述中心点坐标计算得到所述目标对象与所述目标设备的所述第一距离。

示例性地，上述的中心点坐标可以表示目标三维坐标范围中距离所述目标设备最近的坐标。

目标对象的中心点可以更好地表征目标对象的位置，从而通过中心点坐标与目标设备的距离，得到目标对象与目标设备的距离，可以更准确地表征目标对象与目标设备的位置。

由于设备影响相关对象的安全主要体现在水平方向的距离，使用水平方向的距离作为目标对象与目标设备的距离，上述的步骤S204可以包括：获取所述中心点坐标中的水平方向上的两个坐标值；根据所述水平方向上的两个坐标值计算得到所述目标对象与所述目标设备的水平距离，作为所述第一距离。

通过上述方式可以避免了竖直方向上对距离的影响，从而更好地识别出在设定值范围内的对象，从而提高与设备处于同一工作环境中的人员的安全性。

可选地，上述的根据所述目标三维坐标范围计算得到所述目标对象的中心点坐标的步骤，包括：对所述目标三维坐标范围进行边框拟合，得到所述目标对象所在的空间立方体；计算所述空间立方体的中心坐标，将所述空间立方体的中心坐标作为所述目标对象的中心点坐标。

上述的边框拟合可以采用L-shape和最小面积矩形的方法进行边框拟合。首先获取目标三维坐标范围的点云群，对该点云群里的每一个点进行遍历，求出地面投影点上距离最大的两个点，以这两个点之间的连线为外接矩形的对角线，计算其他点云距离对角线的垂直距离，取垂直距离最大的点为外接矩形的边框点，以两个对角线点和一个边框点确定一个投影矩形，以矩形投影内点的最高Z值为高度，进行立体边框拟合。

通过边框拟合的放置先将目标三维坐标范围映射到一个方便计算中心点的几何形状内，再基于得到的几何形状计算得到中心坐标。另外，通过边框拟合出的几何形状计算得到的中心坐标，也能够更好地表示目标对象的中心。

进一步地，可以直接基于上述的目标对象目标三维坐标范围计算第一距离。

考虑目标设备所处环境中可能会存在环境数据对目标对象的识别的影响，也可以对上述的目标三维坐标范围中的像素点进行一些预处理，再计算第一距离。

首先，可以先进行地面剔除，地面剔除用于区分不可追踪的物体和独特感兴趣物体，不可追踪物体如地形等背景部分。具体实施流程如下：首先，可以先建立坐标栅格图；然后，基于上述的栅格图过滤掉坐标的高度值超过设定值的像素点；使用高斯滤波或者计算同一信道的相邻单元的像素点之间的梯度；通过梯度过滤掉不连续的像素点；使用中值滤波和外点滤波分离出地面和高架的像素点。

然后，将地面剔除处理后剩下的像素点进行欧式距离聚类，欧式距离聚类是对目标图像区域对应的三维坐标范围的离散点云进行聚类，使相邻两个距离很近的离散的点合并成一个像素点。通过欧式距离聚类将目标对象对应的三维坐标范围更加聚合。

步骤S205，当所述第一距离小于设定值，控制所述目标设备停止工作状态或降低工作速度。

上述的设定值可以是用户设置的一个安全距离，也可以是根据目标设备的作业部件的大小长度设置的安全值。

在一个实例中，上述的目标设备可以是挖掘机，上述的设定值不小于挖斗伸展状态下挖斗边缘与第二采集设备的距离长度。上述设定值还可以参考实际挖掘机吨位、机械臂长度等。

在一个实例中，上述的目标设备可以是多功能挖掘机。多功能挖掘机可以包括决策模块、反馈控制模块。其中决策模块可以用于对采集设备采集到的图像数据进行处理识别，以及根据识别结果得到是否控制挖掘机停止或降低运行。反馈控制模块则可以用于根据决策模块得到的结果对挖掘机的挖斗进行控制。当计算得到的第一距离小于设定值时，挖掘机的决策模块发送紧急位码0x0001给反馈控制模块，控制挖掘机的电磁阀打开，挖掘机停止工作并蜂鸣警告；还可以通过开关阀控制挖掘机停止作业。当计算得到的第一距离大于设定值时，或者第一图像数据中不存在任何对象时，决策模块发送位码0x0000给反馈控模块，不干预挖掘机正常工作。进一步地，如果在第一时刻的时候控制挖掘机停止，则可以在第二时间采集到的第一图像数据中没有任何对象时，或者计算得到的第一距离大于设定值时，则可以再次控制挖掘机继续工作。

本申请实施例提供的方式会先对第一图像数据中进行检测，如果检测到目标对象，再对目标对象与设备的第一距离进行判断，如果第一距离小于设定值，则目标对象才可能存在潜在危险。通过两轮识别，可以提高目标对象的危险状态的检测。进一步地，目标对象可能存在潜在危险时，再改变目标设备的工作状态，可以提高目标设备运作时的环境中的各个对象的安全的同时还能够减少在识别到施工人员的衣服就停止设备的运作状态，从而也就可以提高目标设备的工作效率。

在图2所示的基础上，本实施例中的设备控制方法还可以包括：当所述第一距离小于设定值时，产生报警消息。

上述的报警消息可以包括闪烁的灯光报警、蜂鸣报警灯等。当然，上述的报警消息还可以是语音提示报警灯。例如：语音报警可以是“您现在处于危险位置”。

示例性地，目标设备为挖掘机，所述挖掘机包括挖机臂，上述的设定值可以是挖机臂最长伸展长度。当然，上述的设定值也可以比挖机臂最长伸展长度更大的值。可选地，可以根据目标设备的运行状态、运行轨迹、运行弹性等因素设置上述的设定值。

通过报警消息可以提醒操作人员或目标对象可能存在的潜在危险，从而有效地降低危险性。

实施例三

基于同一申请构思，本申请实施例中还提供了与设备控制方法对应的设备控制装置，由于本申请实施例中的装置解决问题的原理与本申请实施例上述设备控制方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。

请参阅图4，是本申请实施例提供的设备控制装置的功能模块示意图。本实施例中的设备控制装置用于执行实施例二中的方法中的各个步骤。本实施例中的设备控制装置包括：第一采集模块301、第二采集模块302、匹配模块303、获取模块304、以及控制模块305；其中，

第一采集模块301，用于采集目标设备对应的限定区域内的第一图像数据；

第二采集模块302，用于采集所述目标设备的所述限定区域的第二图像数据；

匹配模块303，用于当检测到所述第一图像数据中存在目标对象时，将所述目标对象所在的目标图像区域与所述第二图像数据中各点进行匹配，以得到所述目标图像区域的目标三维坐标范围；

获取模块304，用于根据所述目标三维坐标范围获取所述目标对象与所述目标设备的第一距离；

控制模块305，用于当所述第一距离小于设定值时，控制所述目标设备停止工作状态或降低工作速度。

一种可能的实施方式中，匹配模块303，还用于：

将所述第一图像数据中所述目标图像区域中的像素点进行坐标转换，以得到所述目标图像区域中的像素点的三维坐标，所述三维坐标为基于所述第二图像数据中各点所在的三维坐标系下的坐标；

将所述目标图像区域中的像素点的三维坐标在所述第二图像数据中的三维点云数据进行匹配，以确定出所述目标图像区域中的像素点的目标三维坐标范围。

一种可能的实施方式中，匹配模块303，还用于：

使用第一采集设备与第二采集设备采集的图像之间的转换矩阵对所述三维点云数据进行坐标转换，以得到所述投影点集，所述第一采集设备为采集所述第一图像数据的设备，所述第二采集设备为采集第二图像数据的设备；

所述转换矩阵是根据使用所述第一采集设备采集的第一组标定点集，以及使用第二采集设备采集的第二组标定点集确定的。

一种可能的实施方式中，设备控制装置还包括：配置模块，用于：

为所述第一采集设备和第二采集设备设置相同的时间***；

为所述第一采集设备配置第一控制线程；

为所述第二采集设备配置第二控制线程；

通过所述第一控制线程和所述第二控制线程，控制所述第一采集设备和第二采集设备相邻两次采集数据的时间间隔相同，以使所述第一采集设备采集的第一图像数据与所述第二采集设备采集到的第二图像数据的时间同步。

一种可能的实施方式中，获取模块304，还用于：

根据所述目标三维坐标范围计算得到所述目标对象的中心点坐标；

根据所述中心点坐标计算得到所述目标对象与所述目标设备的所述第一距离。

一种可能的实施方式中，获取模块304，还用于：

获取所述中心点坐标中的水平方向上的两个坐标值；

根据所述水平方向上的两个坐标值计算得到所述目标对象与所述目标设备的水平距离，作为所述第一距离。

一种可能的实施方式中，获取模块304，还用于：

对所述目标三维坐标范围进行边框拟合，得到所述目标对象所在的空间立方体；

计算所述空间立方体的中心坐标，将所述空间立方体的中心坐标作为所述目标对象的中心点坐标。

一种可能的实施方式中，设备控制装置还包括：报警模块，用于当所述第一距离小于设定值时，产生报警消息。

此外，本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的设备控制方法的步骤。

本申请实施例所提供的设备控制方法的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行上述方法实施例中所述的设备控制方法的步骤，具体可参见上述方法实施例，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (7)

1.一种设备控制方法，其特征在于，包括：

采集目标设备对应的限定区域内的第一图像数据；

采集所述目标设备的所述限定区域的第二图像数据；

当检测到所述第一图像数据中存在目标对象时，将所述目标对象所在的目标图像区域与所述第二图像数据中各点进行匹配，以得到所述目标图像区域的目标三维坐标范围；

根据所述目标三维坐标范围获取所述目标对象与所述目标设备的第一距离；

当所述第一距离小于设定值，控制所述目标设备停止工作状态或降低工作速度；

所述根据所述目标三维坐标范围获取所述目标对象与所述目标设备的第一距离的步骤，包括：

根据所述目标三维坐标范围计算得到所述目标对象的中心点坐标，所述中心点坐标表示所述目标三维坐标范围中距离所述目标设备最近的坐标；

根据所述中心点坐标计算得到所述目标对象与所述目标设备的所述第一距离；

所述第二图像数据包括三维点云数据；所述将所述目标对象所在的目标图像区域与所述第二图像数据中各点进行匹配，以得到所述目标图像区域的目标三维坐标范围的步骤，包括：

将所述三维点云数据通过坐标转换投影到所述第一图像数据对应的坐标系中，以得到投影点集；

将所述目标图像区域中对应的子投影点集映射回所述三维点云数据对应的三维坐标系中，以得到所述目标图像区域的目标三维坐标范围；

所述将所述第一图像数据中所述目标图像区域中的像素点进行坐标转换，以得到所述目标图像区域中的像素点的三维坐标的步骤，包括：

使用第一采集设备与第二采集设备采集的图像之间的转换矩阵对所述三维点云数据进行坐标转换，以得到所述投影点集，所述第一采集设备为采集所述第一图像数据的设备，所述第二采集设备为采集第二图像数据的设备；

所述转换矩阵是根据使用所述第一采集设备采集的第一组标定点集，以及使用第二采集设备采集的第二组标定点集确定的。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

为所述第一采集设备和第二采集设备设置相同的时间***；

为所述第一采集设备配置第一控制线程；

为所述第二采集设备配置第二控制线程；

通过所述第一控制线程和所述第二控制线程，控制所述第一采集设备和第二采集设备相邻两次采集数据的时间间隔相同，以使所述第一采集设备采集的第一图像数据与所述第二采集设备采集到的第二图像数据的时间同步。

3.根据权利要求1所述的方法，其特征在于，所述根据所述中心点坐标计算得到所述目标对象与所述目标设备的所述第一距离的步骤，包括：

获取所述中心点坐标中的水平方向上的两个坐标值；

根据所述水平方向上的两个坐标值计算得到所述目标对象与所述目标设备的水平距离，作为所述第一距离。

4.根据权利要求1所述的方法，其特征在于，所述根据所述目标三维坐标范围计算得到所述目标对象的中心点坐标的步骤，包括：

对所述目标三维坐标范围进行边框拟合，得到所述目标对象所在的空间立方体；

计算所述空间立方体的中心坐标，将所述空间立方体的中心坐标作为所述目标对象的中心点坐标。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

当所述第一距离小于设定值时，产生报警消息。

6.根据权利要求5所述的方法，其特征在于，所述目标设备为挖掘机，所述挖掘机包括挖机臂，所述当所述第一距离小于设定值时，产生报警消息的步骤，包括：

当所述第一距离小于所述挖机臂的最长伸展长度时，产生报警消息。

7.一种挖掘机，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行权利要求1至6任一所述的方法的步骤。

Images