CN117381789A - 破拆机器人及其控制方法、控制器、控制***和存储介质 - Google Patents

Abstract

本公开提出一种破拆机器人及其控制方法、控制器、控制***和存储介质，涉及破拆机器人技术领域。本公开的一种破拆机器人的控制方法包括：获取图像采集装置视野范围内的图像信息；基于预训练的机器学***面；根据破拆目标平面的位置，生成对破拆机构的驱动控制信息。

Description

破拆机器人及其控制方法、控制器、控制***和存储介质

技术领域

本公开涉及破拆机器人技术领域，特别是一种破拆机器人及其控制方法、控制器、控制***和存储介质。

背景技术

破拆机器人具有车小力大、机动灵活、安全可靠等特点，在矿山、隧道、建筑破拆、水泥工业、抢险救援等领域被广泛应用，可以保障恶劣工作环境下施工人员的安全，并有效提高工作效率。

目前破拆机器人多采用人工遥控操纵方式进行破拆作业，这样的方式增加了人力要求，且破拆效果受到远程操控的精准度，以及操作人员的经验和实时状态的影响。

发明内容

本公开的一个目的在于提高破拆机器人的自动化程度和环境适应能力。

根据本公开的一些实施例的一个方面，提出一种破拆机器人的控制方法，包括：获取图像采集装置视野范围内的图像信息；基于预训练的机器学***面；根据破拆目标平面的位置，生成对破拆机构的驱动控制信息。

在一些实施例中，确定破拆目标位置在破拆机器人的基座坐标系下的目标坐标信息包括：调节云台使破拆目标位置位于图像采集装置的视野范围内的预定位置，其中，云台承载图像采集装置；确定破拆目标位置在图像坐标系下的第一坐标信息；根据图像坐标系下的三维坐标信息和云台的当前角度，确定破拆目标位置在破拆机器人基座坐标系下的目标坐标信息。

在一些实施例中，根据图像坐标系下的三维坐标信息和云台的当前角度，确定破拆目标位置在破拆机器人基座坐标系下的目标坐标信息包括：根据图像坐标系下的三维坐标信息和云台的当前角度，确定破拆目标位置在预定坐标系下的第二坐标信息，其中，预定坐标系为云台处于预定位置的情况下的图像坐标系；根据第二坐标信息，基于云台的预定坐标系与破拆机器人基座坐标系之间的关系，确定目标坐标信息。

在一些实施例中，确定破拆目标位置在图像坐标系下的第一坐标信息包括：通过距离传感器获取破拆目标位置与距离传感器的距离信息；根据预定位置确定破拆目标位置图像坐标位置；根据图像坐标位置和距离信息确定第一坐标信息，其中，第一坐标信息为三维坐标信息。

在一些实施例中，根据目标坐标信息和对破拆目标位置的采样结果，确定破拆目标平面包括：对目标坐标信息位置的预定范围内执行预定次采样，获取采样点距离信息；根据采样点距离信息和目标坐标信息，确定破拆目标平面。

在一些实施例中，根据破拆目标平面的位置，生成对破拆机构的驱动控制信息包括：确定破拆目标平面的法向量；生成控制破拆机构根据法向量执行破拆操作的驱动控制信息。

在一些实施例中，该控制方法还包括：在确定视野范围内不包括破拆目标位置的情况下，生成云台巡航控制信息。

在一些实施例中，预训练的机器学习算法为基于样本数据训练生成，其中，样本数据为基于破拆作业场景的视频数据生成。

在一些实施例中，该控制方法还包括：根据破拆作业场景的视频数据提取图像数据；在图像数据中根据破拆需求进行标注，获取样本数据；根据样本数据和构建的机器学习算法，生成预训练的机器学习算法。

在一些实施例中，根据样本数据和构建的机器学习算法，生成预训练的机器学习算法包括：将样本数据划分为训练样本数据集和测试样本数据集；利用训练样本数据集训练构建的机器学习算法，生成待确定模型；利用测试样本数据集验证待确定模型的准确度，在准确度高于预定阈值的情况下，获取预训练的机器学习模型。

在一些实施例中，机器学习算法包括深度语义分割算法。

在一些实施例中，该控制方法还包括：根据目标破拆场景，在深度语义分割算法集中选择目标规模的深度语义分割算法，作为机器学习算法。

在一些实施例中，在图像数据中根据破拆需求进行标注，获取样本数据包括：在图像数据中对作业对象进行标注，获取正样本数据；在图像数据中对非作业对象进行标注，获取负样本数据，样本数据包括正样本数据和负样本数据。

根据本公开的一些实施例的一个方面，提出一种破拆机器人的控制器，包括：存储器；以及耦接至存储器的处理器，处理器被配置为基于存储在存储器的指令执行上文中任意一种破拆机器人的控制方法。

根据本公开的一些实施例的一个方面，提出一种非瞬时性计算机可读存储介质，其上存储有计算机程序指令，该指令被处理器执行时实现上文中任意一种破拆机器人的控制方法的步骤。

根据本公开的一些实施例的一个方面，提出一种破拆机器人，包括：图像采集装置，被配置为采集视野范围内的图像，并发送给控制器；云台，位于破拆机器人的基座，被配置为在控制器的控制下调整位姿；破拆机构，被配置为在控制器的控制下执行破拆操作；和控制器，被配置为执行上文中任意一种破拆机器人的控制方法。

在一些实施例中，破拆机器人还包括：距离传感器，被配置为获取与被探测位置的距离信息，并发送给控制器。

根据本公开的一些实施例的一个方面，提出一种破拆控制***，包括：数据处理设备，被配置为：根据破拆作业场景的视频数据提取图像数据；获取图像数据中根据破拆需求进行标注，获取样本数据；根据样本数据和构建的机器学习算法，生成预训练的机器学习算法，并发送给破拆机器人的控制器；和破拆机器人的控制器，被配置为执行上文中任意一种除模型训练外的破拆机器人的控制方法。

根据本公开的一些实施例的一个方面，提出一种破拆***，包括：数据处理设备，被配置为：根据破拆作业场景的视频数据提取图像数据；获取图像数据中根据破拆需求进行标注，获取样本数据；根据样本数据和构建的机器学习算法，生成预训练的机器学习算法，并发送给破拆机器人的控制器；和破拆机器人，包括：图像采集装置，被配置为采集视野范围内的图像，并发送给控制器；云台，位于破拆机器人的基座，被配置为在控制器的控制下调整位姿；破拆机构，被配置为在控制器的控制下执行破拆操作；和控制器，被配置为执行上文中任意一种除模型训练外的破拆机器人的控制方法。

附图说明

此处所说明的附图用来提供对本公开的进一步理解，构成本公开的一部分，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。在附图中：

图1为本公开的破拆机器人的控制方法的一些实施例的流程图。

图2为本公开的破拆机器人的控制方法的另一些实施例的流程图。

图3为本公开的破拆机器人的控制方法中模型训练的一些实施例的流程图。

图4为本公开的破拆机器人的控制方法中图像处理的一些实施例的示意图。

图5为本公开的破拆机器人的控制装置的一些实施例的示意图。

图6为本公开的破拆机器人的控制装置的一些实施例的示意图。

图7为本公开的破拆机器人的一些实施例的示意图。

图8为本公开的破拆机器人的破拆过程的一些实施例的流程图。

图9为本公开的破拆控制***的一些实施例的示意图。

图10为本公开的破拆***的一些实施例的示意图。

具体实施方式

下面通过附图和实施例，对本公开的技术方案做进一步的详细描述。

相关技术中的破拆机器人需要人为参与，难以实现彻底的智能化、自动化控制。其他领域中使用的自动化控制的机器设备难以适应破拆机器人的复杂的工作场景需求，不具备适应实际作业现场的工况和施工要求的能力。

针对上述问题，本公开提出一种破拆机器人及其控制方法、控制器、控制***和存储介质，

本公开的破拆机器人的控制方法的一些实施例的流程图如图1所示。

在步骤S13中，获取图像采集装置视野范围内的图像信息。在一些实施例中，破拆机器人上配置的图像采集装置，如摄像机，持续采集其视野范围内的图像。在一些实施例中，图像采集装置与破拆机器人的底座云台的相对角度固定。

在步骤S14中，基于预训练的机器学习算法，根据图像信息识别破拆目标位置。在一些实施例中，预训练的机器学习算法存储在破拆机器人的控制器中，并在控制器中运行。图像信息输入控制器的预训练的机器学习算法中，基于机器学习算法确定输出图像中的破拆目标位置。在一些实施例中，可以在图像中标注出破拆目标区域。在一些实施例中，识别出的破拆目标位置可以包括破拆目标区域的坐标，或可以包括破拆目标区域中至少一个点(如破拆目标区域的中心点)的位置坐标。在一些实施例中，若破拆目标区域包括不连续的多个，可以分别获得每个破拆目标区域的破拆目标位置信息。在一些实施例中，若破拆目标区域包括不连续的多个，可以仅获取其中一个破拆目标区域的破拆目标位置信息，以便破拆机器人逐个处理。

在步骤S15中，判断视野范围内是否包括破拆目标位置。若视野范围内包括破拆目标位置，则执行步骤S16。

在一些实施例中，若上述步骤S14中输出了破拆目标位置信息，则确定视野范围内包括破拆目标位置；若未能输出破拆目标位置信息，或输出的破拆目标位置信息为空，则确定视野范围内不包括破拆目标位置。

在步骤S16中，确定破拆目标位置在破拆机器人的基座坐标系下的目标坐标信息。在一些实施例中，可以根据破拆目标位置基于图像的坐标信息，执行从图像坐标系到基座坐标系的转换，获得破拆目标位置在破拆机器人的基座坐标系下的目标坐标信息。在一些实施例中，本公开中的图像坐标系指的是图像采集装置的坐标系，例如摄像头坐标系。

在一些实施例中，可以先根据破拆目标位置在图像中的位置，确定若将破拆目标位置移至图像的预定位置需要调节的角度，调节承载了图像采集装置的云台，使破拆目标位置位于图像采集装置的视野范围内的预定位置。在一些实施例中，预定位置可以为图像中心。进一步的，确定破拆目标位置在图像坐标系下的第一坐标信息，在获得的第一坐标信息的基础上，根据图像坐标系下的三维坐标信息和云台的当前角度，确定破拆目标位置在破拆机器人基座坐标系下的目标坐标信息。由于中心区域的图像采集效果和位置确定效果优于边缘区域，这样的处理方式能够提高后续处理的准确度。

在一些实施例中，第一坐标信息可以通过三维图像采集装置获取，提高三维坐标获取的便捷度。在一些实施例中，可以通过二维的图像采集装置获取平面坐标信息，该坐标信息位于像素坐标系下，进而利用距离传感器向破拆位置进行距离探测，得到距离信息，将平面坐标信息与距离信息结合(如将平面坐标信息作为xy轴坐标，距离信息作为z轴坐标)，得到第一坐标信息，从而提高三维坐标的准确度。在一些实施例中，距离传感器可以为激光测距传感器。

在一些实施例中，在得到第一坐标信息后，可以先根据图像坐标系下的三维坐标信息和云台的当前角度，确定破拆目标位置在预定坐标系下的第二坐标信息，其中，预定坐标系为云台处于预定位置的情况下的图像坐标系。在一些实施例中，云台的预定位置可以为云台的初始位置，如云台的归正位置。进一步的，根据第二坐标信息，基于云台的预定坐标系与破拆机器人基座坐标系之间的关系，确定目标坐标信息。通过这样的方法，能够固定云台的预定位置与破拆机器人基座坐标系之间的关系，通过记录的云台的调节参数将图像坐标系下的坐标信息转化至云台的预定位置的坐标系下，进而实现向基座坐标系的转化，降低了数据处理的难度，提高了目标坐标信息的准确度。

在步骤S17中，根据目标坐标信息和对破拆目标位置的采样结果，确定破拆目标平面。在一些实施例中，可以利用距离传感器对目标坐标信息位置的预定范围内执行预定次采样，获取采样点距离信息。在一些实施例中，预定次为不小于3次。进一步的，根据采样点距离信息和目标坐标信息，确定破拆目标平面。在一些实施例中，可以采样点均位于的平面，作为破拆目标平面。

在步骤S18中，根据破拆目标平面的位置，生成对破拆机构的驱动控制信息。在一些实施例中，可以计算破拆目标平面的法向量，驱动破拆机构沿法向量的方向运动，执行破拆操作。在一些实施例中，可以根据确定的驱动破拆机构运动的路线，基于破拆机构的结构确定机械臂的目标姿态，进而生成驱动信号，例如，确定配置有破拆头的机械臂的运动路线，进而驱动机械臂运动。

通过上文所示实施例中的方法，能够在采集的图像的基础上，实现识别破拆目标，并将目标坐标转换至破拆机器人的基座坐标系下，并确定对破拆机构的驱动控制信息，实现自动化破拆操作；能够在得到破拆目标位置后进一步的确定破拆目标平面，利用破拆目标平面的位置生成对破拆机构的驱动控制信息，有利于提高破拆的准确度和破拆效率；进一步的，通过确定破拆平面的法向量并驱动破拆机构沿法向量的方向破拆的方式，能够实现破拆头垂直于破拆面作业，有利于提高破拆效率。

在一些实施例中，如图2所示，本公开的破拆机器人的控制方法还包括步骤S19。

在上述步骤S15中，若视野范围内不包括破拆目标位置，则执行步骤S19。

在步骤S19中，生成云台巡航控制信息。在一些实施例中，云台巡航控制信息包括控制云台旋转角度或控制云台移动位置中的至少一项。在一些实施例中，可以基于预定驱动路径控制云台巡航。在一些实施例中，在云台的角度或位置发生变化后，返回执行步骤S13，对新的视野范围进行图像采集。

通过这样的方法，能够在当前视野范围内不存在破拆目标的情况下，通过控制云台巡航更改视野范围，提高破拆机器人工作的连续性，进一步提高自动化程度和破拆效率。

本公开的破拆机器人的控制方法的另一些实施例的流程图如图2所示。

在步骤201中，触发破拆作业开始。初始化云台位置，使云台正位。

在步骤202中，调用摄像头实时采集图像。

在步骤203中，利用预训练的机器学习算法进行目标物检测语义分割和轮廓提取。在一些实施例中，预训练的机器学习算法可以为预训练的深度语义分割模型。

在步骤204中，判断摄像头的视野范围内是否有破拆目标。若摄像头的视野范围内有破拆目标，则执行步骤205；若摄像头的视野范围内没有破拆目标，则执行步骤206。

在步骤205中，对破拆目标定位。在一些实施例中，可以利用opencv轮廓检测方法对语义分割结果进行目标物轮廓检测，在识别出破拆目标的情况下，进一步的确定破拆目标点位置。

在一些实施例中，目标物轮廓检测结果可以如图4中所示，图4中的区域和标注仅为区分分割出的不同区域的示例，不构成对本公开的不当限制。图中，点标注的部分为识别并分割出的破拆目标区域，斜线标注部分为炉窖壁，格纹部分为拆后废料，空白部分为背景。在一些实施例中，由于破拆机器人本身结构的限制，图像中还可能包括破拆机器人的部分图像，如机械臂部分的图像，在图像处理中可以识别并忽略破拆机器人的图像。

在步骤206中，云台巡航，并返回步骤202。

在步骤207中，获得获取云台当前角度值，获取目标点在图像中的像素坐标(u1,v1)。计算目标点坐标与图像中心坐标(u0,v0)的差值，并将差值转换为云台转动角度值。

控制云台转动，带动摄像头实时正对目标，使激光点保持在图像中心。获取激光测距传感器距离值Zc、目标点在图像中的像素坐标(u,v)。计算目标点在摄像头坐标系(图像坐标系)下的第一坐标信息(Xc,Yc,Zc)：

其中是相机内参矩阵，通过相机内参标定获取。在一些实施例中，相机内参标定使用张正友相机标定法。

在一些实施例中，可以预先在控制器中记录相机内参，以便实时调用。

在步骤208中，获取云台的当前角度值，由此计算图像坐标系与预定坐标系之间的旋转矩阵，得到目标点在预定坐标系(云台正位时的图像坐标系)下的第二坐标信息(X_c0,Y_c0,Z_c0)。

在步骤209中，计算目标点在机器人基座坐标系中的坐标(X_w,Y_w,Z_w)：

其中是预定坐标系与机器人基座坐标系之间的外参矩阵，外参矩阵通过机械臂手眼标定获取。

在一些实施例中，可以预先在控制器中记录预定坐标系与机器人基座坐标系之间的外参矩阵，以便实时调用。

在步骤210中，使用激光测距传感器在目标点周围进行多点采样，得到至少三个点的坐标信息，确定目标平面，获得面的法向量，以指导机械臂破拆头垂直于破拆面进行作业。

通过上文所示实施例中的方法，利用云台、摄像头和距离传感器执行多传感器融合的目标定位，可以实现目标点三维坐标获取、不同参考系下坐标转换。将多传感器信息融合的目标定位方法应用于破拆机器人视觉引导方案，使其从人工遥控操作破拆的工作方式转变为智能化、自动化作业，真正意义上提高了工作效率，保证恶劣施工环境下人员安全。

在一些实施例中，本公开的破拆机器人的控制方法中，在上述步骤S13或步骤201之前，还包括生成预训练的机器学习算法的步骤。在一些实施例中，预训练的机器学习算法为基于样本数据训练生成，其中，样本数据为基于破拆作业场景的视频数据生成。通过这样的方法，能够使得预训练的机器学习算法与破拆作业场景相匹配，有利于提高作业的准确度和作业效率。

在一些实施例中，本公开的破拆机器人的控制方法中生成预训练的机器学习算法的流程图如图3所示。

在步骤S31中，基于破拆作业场景的视频数据生成样本数据。在一些实施例中，生成样本数据的操作可以包括步骤S310和步骤S311。

在步骤S310中，根据破拆作业场景的视频数据提取图像数据。

在一些实施例中，拍摄破拆机器人工作场景视频，并按一定的帧间隔截取为图片样本。

在步骤S311中，在图像数据中根据破拆需求进行标注，获取样本数据。

在一些实施例中，在图像数据中对作业对象进行标注，获取正样本数据，作为样本数据。在一些实施例中，在图像数据中对非作业对象进行标注，获取负样本数据，样本数据包括正样本数据和负样本数据。

在一些实施例中，以水泥炉窑破拆为例，样本标注中应区分破拆区域、拆后废料、窑壁砖石、其他目标及背景区域，对不同材质对象进行轮廓标注，并根据实际情况增加负样本，构成正负样本数据集。

在一些实施例中，将样本数据划分为训练样本数据集和测试样本数据集，以便后续训练过程完成训练和测试两个部分，提高训练后的机器学习算法的可靠度。在一些实施例中，可以按照预定比例将样本数据划分为训练样本数据集和测试样本数据集。

在步骤S32中，根据样本数据和构建的机器学习算法，生成预训练的机器学习算法。

在一些实施例中，机器学习算法包括深度语义分割算法。

在一些实施例中，根据目标破拆场景，在深度语义分割算法集中选择目标规模的深度语义分割算法，作为机器学习算法。例如，选择深度语义分割算法，如SegFormer，对其不同规模的模型(B0-B5)进行测试，综合考虑模型精度和每秒传输帧数等选取适合本应用场景的模型。

在一些实施例中，在训练过程中，利用训练样本数据集训练构建的机器学习算法，生成待确定模型。当模型收敛、或达到设置的迭代次数后，完成训练阶段，执行利用测试样本数据集验证待确定模型的准确度的操作，在准确度高于预定阈值的情况下，获取预训练的机器学习模型，在准确度小于等于预定阈值的情况下，需要进一步训练，直至通过测试。

在一些实施例中，在训练之前，还可以将样本数据从标注的json文件格式转换为voc文件格式以匹配算法需求。根据数据集具体情况及选择的模型修改算法配置文件，进行模型训练及评估，进而使用测试数据集进行模型精度测试。

通过上文所示实施例中的方法，能够采用破拆机器人工作场景的实拍图像对模型进行训练，提高预训练的机器学习算法对破拆机器人工作场景的适配度和处理能力。另外，针对破拆机器人实际工况将深度语义分割算法、轮廓检测方法应用于视觉引导定位的目标物轮廓提取方案中，使用监督学习的方式进行模型训练，通过采集实际工作场景的数据集，能够实现模型迁移学习的能力和场景适应性，可以满足破拆机器人在不同作业场景下的工作需求，算法具有普适性和鲁棒性。

在一些实施例中，上述生成预训练的机器学习算法的方法可以在破拆机器人的控制器中执行。在另一些实施例中，上述生成预训练的机器学习算法的方法可以在数据处理设备中执行，完成训练后将预训练的机器学习算法集成到软件，并部署在破拆机器人的控制器中，实现联调。通过这样的方法，能够提高模型的复用率，减少训练量，提高处理效率。

本公开破拆机器人的控制器的一个实施例的结构示意图如图5所示。破拆机器人的控制器包括存储器501和处理器502。其中：存储器501可以是磁盘、闪存或其它任何非易失性存储介质。存储器用于存储上文中破拆机器人的控制方法的对应实施例中的指令。处理器502耦接至存储器501，可以作为一个或多个集成电路来实施，例如微处理器或微控制器。该处理器502用于执行存储器中存储的指令，能够实现自动化破拆，提高提高破拆机器人的自动化程度和环境适应能力。

在一个实施例中，还可以如图6所示，破拆机器人的控制器600包括存储器601和处理器602。处理器602通过BUS总线603耦合至存储器601。该破拆机器人的控制器600还可以通过存储接口604连接至外部存储装置605以便调用外部数据，还可以通过网络接口606连接至网络或者另外一台计算机***(未标出)。此处不再进行详细介绍。

在该实施例中，通过存储器存储数据指令，再通过处理器处理上述指令，能够提高破拆机器人的自动化程度和环境适应能力。

在另一个实施例中，一种计算机可读存储介质，其上存储有计算机程序指令，该指令被处理器执行时实现破拆机器人的控制方法对应实施例中的方法的步骤。本领域内的技术人员应明白，本公开的实施例可提供为方法、装置、或计算机程序产品。因此，本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用非瞬时性存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本公开的破拆机器人71的一些实施例的示意图如图7所示。

图像采集装置711由云台712承载，能够采集视野范围内的图像，并发送给控制器。

云台712，位于破拆机器人的基座，能够在控制器的控制下调整位姿；

破拆机构713能够在控制器的控制下执行破拆操作。在一些实施例中，破拆机构713包括机械臂和破拆头，其中破拆头位于机械臂的末端。

控制器714可以为上文中提到的任意一种，能够执行上文中任意一种破拆机器人的控制方法。

这样的破拆机器人能够在采集的图像的基础上，实现识别破拆目标，并将目标坐标转换至破拆机器人的基座坐标系下，并确定对破拆机构的驱动控制信息，实现自动化破拆操作；能够在得到破拆目标位置后进一步的确定破拆目标平面，利用破拆目标平面的位置生成对破拆机构的驱动控制信息，由破拆机构随即进行破拆操作，提高了破拆的准确度和破拆效率。

在一些实施例中，如图7所示，破拆机器人还包括距离传感器715，能够获取与被探测位置的距离信息，并发送给控制器，以便控制器在确定目标的三维坐标时使用，从而提高目标定位的准确度。

本公开的破拆机器人的破拆过程的一些实施例的流程图如图8所示。在一些实施例中，破拆机器人的控制器中部署有预训练的机器学习算法，该算法为基于上文如图3对应的实施例中任意一种方法训练生成。

在步骤801中，初始化云台位置，云台处于正位。

在步骤802中，摄像头实时采集图像，并发送给控制器。

在步骤803中，控制器调用深度语义分割模型进行目标轮廓检测。

在步骤804中，根据图像信息判断视野范围内是否有破拆目标，若存在破拆目标，则执行步骤805；若不存在破拆目标，则执行步骤806。

在步骤805中，控制器基于前序对云台的调节，或通过对云台的实时监测，获取云台角度值。控制器确定目标点像素坐标。进一步的，执行步骤807。

在步骤806中，云台巡航，并返回执行步骤802。

在步骤807中，云台转动带动摄像头实时正对目标，即破拆目标位置位于摄像头的视野范围的中心。

在步骤808中，利用激光测距，获取破拆目标位置的周围的多个点的三维坐标，进而得到破拆目标平面和平面的法向量，控制器生成对机械臂和破拆头的控制信息。

在步骤809中，机械臂破拆头垂直于破拆面进行作业。

这样的破拆机器人利用云台、摄像头和距离传感器执行多传感器融合的目标定位，使其从人工遥控操作破拆的工作方式转变为智能化、自动化作业，提高了工作效率，保证恶劣施工环境下人员安全。

本公开的破拆控制***92的一些实施例的示意图如图9所示。

数据处理设备921能够根据破拆作业场景的视频数据提取图像数据；获取图像数据中根据破拆需求进行标注，获取样本数据；根据样本数据和构建的机器学习算法，生成预训练的机器学习算法，并发送给破拆机器人的控制器。在一些实施例中，数据处理设备921可以执行如图3对应的实施例中任意一种方法。在一些实施例中，数据处理设备可以为服务器、工作站或上位机，或服务器集群，能够输出其训练完成的模型。

破拆机器人的控制器922能够利用数据处理设备生成的预训练的机器学习算法，对破拆机器人进行控制。在一些实施例中，破拆机器人的控制器922可以执行如图1、2对应的实施例中任意一种方法。

这样的破拆控制***能够生成与破拆机器人的工作环境相适配的机器学***面，利用破拆目标平面的位置生成对破拆机构的驱动控制信息，有利于提高破拆的准确度和破拆效率。

本公开的破拆***1030的一些实施例的示意图如图10所示。

数据处理设备1031能够根据破拆作业场景的视频数据提取图像数据；获取图像数据中根据破拆需求进行标注，获取样本数据；根据样本数据和构建的机器学习算法，生成预训练的机器学习算法，并发送给破拆机器人的控制器。在一些实施例中，数据处理设备921可以执行如图3对应的实施例中任意一种方法。在一些实施例中，数据处理设备可以为服务器、工作站或上位机，或服务器集群，能够输出其训练完成的模型。

破拆机器人1031可以为上文中提到的任意一种。在一些实施例中，控制器可以为上文中提到的任意一种破拆机器人的控制器。在一些实施例中，控制器能够利用数据处理设备生成的预训练的机器学习算法，对破拆机器人进行控制。在一些实施例中，破拆机器人的控制器922可以执行如图1、2对应的实施例中任意一种方法。

这样的破拆***能够生成与破拆机器人的工作环境相适配的机器学***面，利用破拆目标平面的位置生成对破拆机构的驱动控制信息，随即执行破拆操作，提高破拆的准确度和破拆效率。

本公开是参照根据本公开实施例的方法、设备(***)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

至此，已经详细描述了本公开。为了避免遮蔽本公开的构思，没有描述本领域所公知的一些细节。本领域技术人员根据上面的描述，完全可以明白如何实施这里公开的技术方案。

可能以许多方式来实现本公开的方法以及装置。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本公开的方法以及装置。用于所述方法的步骤的上述顺序仅是为了进行说明，本公开的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本公开实施为记录在记录介质中的程序，这些程序包括用于实现根据本公开的方法的机器可读指令。因而，本公开还覆盖存储用于执行根据本公开的方法的程序的记录介质。

需要说明的是，本公开的说明书和权利要求书及附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

最后应当说明的是：以上实施例仅用以说明本公开的技术方案而非对其限制；尽管参照较佳实施例对本公开进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本公开的具体实施方式进行修改或者对部分技术特征进行等同替换；而不脱离本公开技术方案的精神，其均应涵盖在本公开请求保护的技术方案范围当中。

Claims (19)

1.一种破拆机器人的控制方法，包括：

获取图像采集装置视野范围内的图像信息；

基于预训练的机器学习算法，根据所述图像信息识别破拆目标位置；

在确定所述视野范围内包括所述破拆目标位置的情况下，确定所述破拆目标位置在破拆机器人的基座坐标系下的目标坐标信息；

根据所述目标坐标信息和对所述破拆目标位置的采样结果，确定破拆目标平面；

根据所述破拆目标平面的位置，生成对所述破拆机构的驱动控制信息。

2.根据权利要求1所述的控制方法，其中，所述确定所述破拆目标位置在破拆机器人的基座坐标系下的目标坐标信息包括：

调节云台使所述破拆目标位置位于所述图像采集装置的视野范围内的预定位置，其中，所述云台承载所述图像采集装置；

确定所述破拆目标位置在图像坐标系下的第一坐标信息；

根据所述图像坐标系下的三维坐标信息和所述云台的当前角度，确定所述破拆目标位置在破拆机器人基座坐标系下的目标坐标信息。

3.根据权利要求2所述的控制方法，其中，所述根据所述图像坐标系下的三维坐标信息和所述云台的当前角度，确定所述破拆目标位置在破拆机器人基座坐标系下的目标坐标信息包括：

根据所述图像坐标系下的三维坐标信息和所述云台的当前角度，确定所述破拆目标位置在所述预定坐标系下的第二坐标信息，其中，所述预定坐标系为所述云台处于预定位置的情况下的图像坐标系；

根据所述第二坐标信息，基于所述云台的预定坐标系与所述破拆机器人基座坐标系之间的关系，确定所述目标坐标信息。

4.根据权利要求2所述的控制方法，其中，所述确定所述破拆目标位置在图像坐标系下的第一坐标信息包括：

通过距离传感器获取所述破拆目标位置与所述距离传感器的距离信息；

根据所述预定位置确定所述破拆目标位置图像坐标位置；

根据所述图像坐标位置和所述距离信息确定所述第一坐标信息，其中，所述第一坐标信息为三维坐标信息。

5.根据权利要求1所述的控制方法，所述根据所述目标坐标信息和对所述破拆目标位置的采样结果，确定破拆目标平面包括：

对所述目标坐标信息位置的预定范围内执行预定次采样，获取采样点距离信息；

根据所述采样点距离信息和所述目标坐标信息，确定破拆目标平面。

6.根据权利要求1所述的控制方法，其中，所述根据所述破拆目标平面的位置，生成对所述破拆机构的驱动控制信息包括：

确定所述破拆目标平面的法向量；

生成控制所述破拆机构根据所述法向量执行破拆操作的驱动控制信息。

7.根据权利要求1所述的控制方法，还包括：

在确定所述视野范围内不包括所述破拆目标位置的情况下，生成云台巡航控制信息。

8.根据权利要求1所述的控制方法，其中，所述预训练的机器学习算法为基于样本数据训练生成，其中，所述样本数据为基于破拆作业场景的视频数据生成。

9.根据权利要求1或8所述的控制方法，还包括：

根据破拆作业场景的视频数据提取图像数据；

在所述图像数据中根据破拆需求进行标注，获取样本数据；

根据所述样本数据和构建的机器学习算法，生成所述预训练的机器学习算法。

10.根据权利要求9所述的控制方法，其中，所述根据所述样本数据和构建的机器学习算法，生成所述预训练的机器学习算法包括：

将所述样本数据划分为训练样本数据集和测试样本数据集；

利用所述训练样本数据集训练构建的机器学习算法，生成待确定模型；

利用所述测试样本数据集验证所述待确定模型的准确度，在所述准确度高于预定阈值的情况下，获取所述预训练的机器学习模型。

11.根据权利要求1、8～10任意一项所述的控制方法，其中，所述机器学习算法包括深度语义分割算法。

12.根据权利要求9所述的控制方法，还包括：

根据目标破拆场景，在深度语义分割算法集中选择目标规模的深度语义分割算法，作为所述机器学习算法。

13.根据权利要求9所述的控制方法，其中，所述在所述图像数据中根据破拆需求进行标注，获取样本数据包括：

在所述图像数据中对作业对象进行标注，获取正样本数据；

在所述图像数据中对非作业对象进行标注，获取负样本数据，

所述样本数据包括所述正样本数据和所述负样本数据。

14.一种破拆机器人的控制器，包括：

存储器；以及

耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器的指令执行如权利要求1至13任一项所述的方法。

15.一种非瞬时性计算机可读存储介质，其上存储有计算机程序指令，该指令被处理器执行时实现权利要求1至13任意一项所述的方法的步骤。

16.一种破拆机器人，包括：

图像采集装置，被配置为采集视野范围内的图像，并发送给控制器；

云台，位于破拆机器人的基座，被配置为在所述控制器的控制下调整位姿；

破拆机构，被配置为在所述控制器的控制下执行破拆操作；和

控制器，被配置为执行权利要求1～13任意一项所述的方法。

17.根据权利要求16所述的破拆机器人，还包括：

距离传感器，被配置为获取与被探测位置的距离信息，并发送给所述控制器。

18.一种破拆控制***，包括：

数据处理设备，被配置为：

根据破拆作业场景的视频数据提取图像数据；

获取所述图像数据中根据破拆需求进行标注，获取样本数据；

根据所述样本数据和构建的机器学习算法，生成所述预训练的机器学习算法，并发送给破拆机器人的控制器；

和

破拆机器人的控制器，被配置为执行权利要求1～8任意一项所述的方法。

19.一种破拆***，包括：

数据处理设备，被配置为：

根据破拆作业场景的视频数据提取图像数据；

获取所述图像数据中根据破拆需求进行标注，获取样本数据；

根据所述样本数据和构建的机器学习算法，生成所述预训练的机器学习算法，并发送给破拆机器人的控制器；

和

破拆机器人，包括：

图像采集装置，被配置为采集视野范围内的图像，并发送给控制器；

云台，位于破拆机器人的基座，被配置为在所述控制器的控制下调整位姿；

破拆机构，被配置为在所述控制器的控制下执行破拆操作；和

控制器，被配置为执行权利要求1～8任意一项所述的方法。