CN115713547A - 运动轨迹的生成方法、装置及处理设备 - Google Patents

Abstract

本申请适用于运动路径生成技术领域，提供了运动轨迹的生成方法、装置及处理设备，包括：接收图像采集设备发送的目标体的三维点云图；接收二维轨迹图，所述二维轨迹图通过在所述目标体的二维图像中确定第一运动轨迹后得到；根据所述二维图像与所述三维点云图的映射关系，确定所述二维轨迹图中的所述第一运动轨迹在所述三维点云图的投影，得到第一目标点云；根据所述第一目标点云确定所述机械臂的轨迹点及各轨迹点对应的姿态；根据所述机械臂的轨迹点及所述各轨迹点对应的姿态，生成所述机械臂的第二运动轨迹，所述第二运动轨迹为三维的运动轨迹。通过上述方法，能够提高得到的运动轨迹的速度及准确度。

Description

运动轨迹的生成方法、装置及处理设备

技术领域

本申请属于运动路径生成技术领域，尤其涉及运动轨迹的生成方法、装置、处理设备及计算机可读存储介质。

背景技术

现有机械臂进行某个区域的打磨或按摩时，需要按照指定轨迹路径进行打磨或按摩。其中，指定轨迹路径通常是人工拖动机械臂在物体的表面进行示教确定，即预先拖动机械臂按照指定轨迹运动进行示教，然后生成指定轨迹的运动路径。

但由于拖动示教是由人拖动机械臂进行的运动，即需要人机进行配合，因此，通过拖动示教生成的运动路径的精度是因人而异的，并且，若需要运动的轨迹较为复杂，则示教过程的耗时将较长。此外，若针对凹凸不平的曲面进行拖动示教，则在拐弯的地方进行示教时可能处理的不好，进而导致示教的轨迹并不平滑，此时，可能需要示教很多次才能成功，效率事倍功半。

综上可知，通过人工拖动示教的方法难以快速、准确地确定机械臂的运动轨迹。

发明内容

本申请实施例提供了运动轨迹的生成方法、装置及处理设备，可以解决生成机械臂的运动轨迹的速度较慢及准确度较低的问题。

第一方面，本申请实施例提供了一种运动轨迹的生成方法，应用于机械臂的控制器，包括：

接收图像采集设备发送的目标体的三维点云图；

接收二维轨迹图，所述二维轨迹图通过在所述目标体的二维图像中确定第一运动轨迹后得到，其中，所述第一运动轨迹为二维的运动轨迹；

根据所述二维图像与所述三维点云图的映射关系，确定所述二维轨迹图中的所述第一运动轨迹在所述三维点云图的投影，得到第一目标点云；

根据所述第一目标点云确定所述机械臂的轨迹点及各轨迹点对应的姿态；

根据所述机械臂的轨迹点及所述各轨迹点对应的姿态，生成所述机械臂的第二运动轨迹，所述第二运动轨迹为三维的运动轨迹。

第二方面，本申请实施例提供了一种运动轨迹的生成装置，应用于机械臂的控制器，包括：

三维点云图获取模块，用于接收图像采集设备发送的目标体的三维点云图；

二维轨迹图获取模块，用于接收二维轨迹图，所述二维轨迹图通过在所述目标体的二维图像中确定第一运动轨迹后得到，其中，所述第一运动轨迹为二维的运动轨迹；

第一目标点云确定模块，用于根据所述二维图像与所述三维点云图的映射关系，确定所述二维轨迹图中的所述第一运动轨迹在所述三维点云图的投影，得到第一目标点云；

姿态确定模块，用于根据所述第一目标点云确定所述机械臂的轨迹点及各轨迹点对应的姿态；

第二运动轨迹确定模块，用于根据所述机械臂的轨迹点及所述各轨迹点对应的姿态，生成所述机械臂的第二运动轨迹，所述第二运动轨迹为三维的运动轨迹。

第三方面，本申请实施例提供了一种处理设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面所述的方法。

第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的方法。

第五方面，本申请实施例提供了一种计算机程序产品，当计算机程序产品在处理设备上运行时，使得处理设备执行上述第一方面中所述的方法。

本申请实施例与现有技术相比存在的有益效果是：

本申请实施例中，由于第一运动轨迹为在目标体的二维图像中确定出的二维的运动轨迹，因此，根据二维轨迹图能够快速、准确地确定出该第一运动轨迹，同时，由于目标体的二维图像与三维点云图存在特定的映射关系，因此，可根据该映射关系确定出第一运动轨迹对应的第二运动轨迹(即三维的运动轨迹)，同时，由于第二运动轨迹的生成过程无需人工拖动机械臂得到，因此，进一步提高了第二运动轨迹的生成精度以及准确度。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。

图1是本申请一实施例提供的一种运动轨迹的生成方法的流程图；

图2是本申请一实施例提供的一种3D相机、上位机与控制器的交互流程图；

图3是本申请一实施例提供的一种3D相机、上位机与控制器的应用场景示意图；

图4是本申请一实施例提供的一种运动轨迹的生成装置的结构示意图；

图5是本申请一实施例提供的一种处理设备的结构示意图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定***结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的***、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。

应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。

实施例一：

在人工按照指定轨迹路径拖动机械臂打磨某个区域时，由于人与机械臂配合是因人而异的，且人工拖动机械臂的速率较低，因此，得到的运动轨迹的精度以及速度均不高。

为了提高机械臂打磨某个区域时所得到的运动轨迹的精度及速度，本申请实施例提供了一种运动轨迹的生成方法。在该运动轨迹的生成方法中，先获取需要生成运动轨迹的目标体的二维图像和三维点云图，在该二维图像上确定二维的运动轨迹之后，将该二维的运动轨迹投影到三维点云图的点云中，得到第一目标点云，再根据该第一目标点云确定机械臂的轨迹点及姿态，以生成三维的运动轨迹。

下面结合附图对本申请实施例的运动轨迹的生成方法进行描述。

图1示出了本申请实施例提供的一种运动轨迹的生成方法的流程图，应用于机械臂的控制器，详述如下：

步骤S11，接收图像采集设备发送的目标体的三维点云图。

其中，目标体为机械臂需要在其获取运动轨迹的目标体，该目标体包括人体、指定区域、指定种类的物体中的一种或多种。

本申请实施例中，可通过图像采集设备(如3D相机)对目标体进行拍摄，得到该目标体对应的二维图像及三维点云图(即该三维点云图为目标体的三维图像，该二维图像为该目标体的二维图像)，并将该目标体的三维点云图发送给控制器，或者，将目标体的二维图像及三维点云图均发送给控制器。其中，目标体的三维点云图包括该目标体的点云。

步骤S12，接收二维轨迹图，上述二维轨迹图通过在上述目标体的二维图像中确定第一运动轨迹后得到，其中，上述第一运动轨迹为二维的运动轨迹。

本申请实施例中，图像采集设备将二维图像发送给上位机(如电脑、手机等)，通过安装在该上位机上的图像编辑软件(如画板)显示该二维图像后，用户可直接在该图像编辑软件中对该二维图像进行第一运动轨迹的绘制，并在绘制结束后，通过上位机将绘制了第一运动轨迹的二维图像(即二维轨迹图)发送给控制器。其中，第一运动轨迹为用户希望机械臂在目标体上运动时所对应的二维的运动轨迹。比如，如果机械臂为按摩类型的机械臂，目标体为人体，用户希望机械臂从人体的左肩移动到右肩，则用户在人体所对应的二维图像中绘制从左肩到右肩的运动轨迹作为本申请实施例的第一运动轨迹。

在一些实施例中，图像采集设备将二维图像发送给上位机，上位机中存储有预设的算法，上位机接收二维图像后，根据算法在二维图像上绘制第一运动轨迹，生成二维轨迹图，之后发送给控制器。在一些实施例中，上位机中存储有多个预设的算法，上位机根据用户选择的算法在二维图像上绘制第一运动轨迹，生成二维轨迹图；在一些实施例中，上位机根据用户设置的规则从多个预设的算法中选择与规则匹配的算法，再根据该算法在二维图像上绘制第一运动轨迹，生成二维轨迹图。

在一些实施例中，图像采集设备将二维图像发送给上位机，上位机中存储有预设的算法，上位机将二维图像和预设的算法发送给控制器，控制器接收二维图像和算法后，根据算法在二维图像上绘制第一运动轨迹，生成二维轨迹图。在一些实施例中，上位机中存储有多个预设的算法，上位机将用户选择的算法以及二维图像发送给控制器；在一些实施例中，上位机根据用户设置的规则从多个预设的算法中选择与规则匹配的算法，再将该算法与二维图像发送给控制器，以使控制器根据算法在二维图像上绘制第一运动轨迹，生成二维轨迹图。也即，控制器接收二维轨迹图，实质上是接收二维图像以及对应的算法。

在一些实施例中，控制器中存储有预设的算法，图像采集设备将二维图像发送给控制器，控制器根据预设的算法在二维图像上绘制第一运动轨迹，生成二维轨迹图。

步骤S13，根据上述二维图像与上述三维点云图的映射关系，确定上述二维轨迹图中的上述第一运动轨迹在上述三维点云图的投影，得到第一目标点云。

本申请实施例中，由于同一目标体的二维图像与三维点云图之间存在一定的映射关系(或称为投影关系)，且二维轨迹图与三维点云图之间也存在相同的映射关系，因此，可根据二维图像与三维点云图之间的映射关系，在三维点云图中查找与第一运动轨迹对应的点云。

在一些实施例中，图像采集设备为3D相机(或称立体相机)，3D相机采集的二维图像的像素为：w*h，其中，w为二维图像的宽度，h为二维图像的高度。3D相机采集图像后，使用对齐算法(3D相机自带的算法)，将采集得到的二维图像与深度图像进行对齐处理，对齐处理后的深度图像的像素也为w*h，这样二维图像的像素点与深度图像的像素点存在一一对应的关系。之后3D相机再根据3D相机的内外参和深度图像，计算得到三维点云图；三维点云图是一个w*h维度的向量，该向量的每一个值是一个三维坐标，用于表示目标体对应的各个点的坐标值；则二维图像中的每一个像素点与三维点云图中的每一个向量值一一对应，形成二维图像与三维点云图的映射关系。3D相机将二维图像、三维点云图以及映射关系发送给控制器。

步骤S14，根据上述第一目标点云确定上述机械臂的轨迹点及各轨迹点对应的姿态。

由于第一运动轨迹为用户希望机械臂在目标体上运动时所对应的二维的运动轨迹，而第一目标点云是根据确定的第一运动轨迹所确定的各个三维坐标点，因此，根据各个三维坐标点能够确定机械臂三维的轨迹点以及各轨迹点对应的姿态。

步骤S15，根据上述机械臂的轨迹点及各轨迹点对应的姿态，生成上述机械臂的第二运动轨迹，上述第二运动轨迹为三维的运动轨迹。

本申请实施例中，在获取目标体的三维点云图及二维轨迹图后，根据该目标体的二维图像及三维点云图的映射关系，确定二维轨迹图中的第一运动轨迹对应的点云，得到第一目标点云，再根据该第一目标点云确定机械臂的轨迹点及各轨迹点对应的姿态，以确定该机械臂的第二运动轨迹。由于第一运动轨迹为在目标体的二维图像中确定出的二维的运动轨迹，因此，根据二维轨迹图能够快速、准确地确定出该第一运动轨迹，同时，由于目标体的二维图像与三维点云图存在特定的映射关系，因此，可根据该映射关系确定出第一运动轨迹对应的第二运动轨迹，同时，由于第二运动轨迹的生成过程无需人工拖动机械臂得到，因此，进一步提高了第二运动轨迹的生成精度以及准确度。

在本申请中，若图像采集设备为3D相机，图像编辑软件为上位机的图像编辑软件(如画板)，则3D相机、上位机和控制器之间的交互流程图可如图2所示。

为了更清楚地描述本申请实施例提供的运动轨迹的生成方法，下面结合一应用场景进行描述。

如图3所示，图像采集设备对人体(或人体模型)进行拍照，得到该人体(该人体即为本申请的目标体)的三维点云图和二维图像，该图像采集设备再将该三维点云图和二维图像发送给控制器，该控制器将该二维图像发送给上位机(在一些实施例中，图像采集设备将二维图像发送给上位机)，上位机安装有图像编辑软件，用户通过上位机在图像编辑软件显示的二维图像上进行第一运动轨迹的绘制，得到绘制了第一运动轨迹的二维图像(即二维轨迹图)，该上位机再将该二维轨迹图发送给控制器，该控制器根据二维图像与三维点云图的映射关系，确定上述二维轨迹图中的上述第一运动轨迹在上述三维点云图的投影，得到第一目标点云，并根据该第一目标点云确定上述机械臂的轨迹点及各轨迹点对应的姿态，再根据上述机械臂的轨迹点及各轨迹点对应的姿态，生成上述机械臂的第二运动轨迹。后续机械臂需要对人体进行按摩时，控制器再控制机械臂按照第二运动轨迹对人体进行按摩。

在一些实施例中，为了提高第一目标点云的得到速度，上述步骤S13包括：

A1、对上述二维轨迹图中的上述第一运动轨迹进行骨架抽取处理，得到目标骨架。

其中，骨架抽取也称为骨架提取，骨架可采用现有方法进行抽取，如基于烈火模拟的方法进行抽取，也可基于最大圆盘的方法进行抽取，抽出的骨架能够突出物体的主要结构和形状信息，且去除了多余信息。

本申请实施例中，通过骨架抽取处理，从二维轨迹图中抽取作为需提取的骨架(即目标骨架)的第一运动轨迹。即在本申请实施例中，由于只抽取第一运动轨迹作为目标骨架，因此，后续只需要对目标骨架的像素坐标进行处理，而无需对整个二维轨迹图的像素坐标进行处理，从而能够有效减少需处理的像素坐标的数量。

A2、对上述目标骨架的像素坐标进行排序，得到排序后的像素坐标。

由于目标骨架是第一运动轨迹对应的骨架，而第一运动轨迹是具有顺序的，比如第一运动轨迹的起点是A，终点是B，则该第一运动轨迹对应的像素坐标的顺序是，越靠近A点，排序越靠前，越靠近B点，排序越靠后。

A3、根据上述二维图像与上述三维点云图的映射关系，将上述排序后的像素坐标投影到上述三维点云图的点云中，得到第一目标点云。

其中，第一目标点云中的各个目标点之间也具有与排序后的像素坐标之间的顺序关系。

本申请实施例中，由于先从二维轨迹图中抽取第一运动轨迹再投影到三维点云图中，因此，减少了需投影的像素坐标的数量，从而提高了得到第一目标点云的速度。

在一些实施例中，为了提高得到的目标轨迹的准确度，上述步骤A1包括：

A11、将上述二维轨迹图转换为灰度图并进行二值化处理。

A12、对二值化处理后的二维轨迹图中的上述第一运动轨迹进行骨架抽取处理，得到上述目标骨架。

本申请实施例中，当二维轨迹图为红绿蓝(Red Green Blue，RGB)彩色图片时，将该二维轨迹图转换为灰度图后再进行二值化处理，以增加第一运动轨迹与二维轨迹图中其他物体的区别，从而有利于从二值化处理后的二维轨迹图中准确提取出目标骨架。

在一些实施例中，为了提高轨迹点的得到速度，上述步骤S14包括：

B1、对上述第一目标点云进行降采样处理，得到第二目标点云。

具体地，对第一目标点云进行降采样处理之后，得到的第二目标点云中的目标点的数量少于第一目标点云中的目标点的数量。在一些实施例中，为了便于提取，从第一目标点云中等间隔提取出对应的目标点，使得第二目标点云中相邻的目标点之间的距离相等。

B2、根据上述第二目标点云确定上述机械臂的轨迹点及各轨迹点对应的姿态。

本申请实施例中，由于第二目标点云是对第一目标点云进行降采样后得到，因此，得到的第二目标点云中的目标点的数量少于第一目标点云中的目标点的数量，从而在根据第二目标点云确定机械臂的轨迹点及姿态时，能够极大提高得到的轨迹点及姿态的速度。

在一些实施例中，上述步骤B2包括：

B21、根据相机坐标系与机械臂坐标系的转换关系以及上述第二目标点云，确定抓取点的矩阵，该抓取点的矩阵包括第二目标点云中的目标点的坐标以及用于确定机械臂在轨迹点的姿态的信息。

其中，根据第二目标点云中的目标点的坐标可确定机械臂的轨迹点的坐标，例如，将各个目标点的坐标作为机械臂的各个轨迹点的坐标。

由于第二目标点云是相机拍摄得到，因此，第二目标点云所在的坐标系为相机坐标系，而机械臂的轨迹点的坐标属于机械臂坐标系，因此，在确定机械臂的轨迹点之前，需要先将第二目标点云从相机坐标系转换到机械臂坐标系。

本申请实施例中，相机坐标系与机械臂坐标系的转换关系可采用矩阵表示。

B22、根据上述抓取点的矩阵确定上述机械臂的轨迹点的坐标以及机械臂在轨迹点的姿态。

具体地，由于第二目标点云是根据第一运动轨迹确定，因此，机械臂的轨迹点包括第二目标点云中的目标点，对应地，机械臂的轨迹点的坐标包括第二目标点云中的目标点的坐标。

本申请实施例中，由于根据相机坐标系与机械臂坐标系的转换关系对第二目标点云进行坐标转换，因此，能够保证得到的轨迹点的坐标与机械臂更适配，从而提高后续得到的第二运动轨迹的精确度。

在一些实施例中，上述步骤B21包括：

对上述第二目标点云中任意相邻的两个目标点，均执行以下步骤，其中，上述第二目标点云中的各个目标点的排序关系根据上述排序后的像素坐标的排序关系确定：

B211、确定排序在前的目标点所在的点云图上的法向量所在的第一直线(假设为Lb)。

例如，假设第二目标点云包括三个目标点W1、W2、W3，则W1和W2为相邻的两个目标点，W2和W3也为相邻的两个目标点。若对于W1和W2这两个目标点，则W1为排序在前的目标点，而W2为排序在后的目标点。但若对于W2和W3这两个目标点，则W2为排序在前的目标点，而W3为排序在后的目标点。

本申请实施例中，Lb垂直于排序在前的目标点所在的点云图上，其为排序在前的目标点所在的点云图上的法向量所在的直线。

B212、确定经过排序在后的目标点且与上述Lb垂直的第二直线(假设为La)。

其中，La经过相邻的两个目标点中排序在后的目标点，且该La与Lb相互垂直。

B213、根据上述Lb和上述La，确定中间点。

其中，中间点通常为在相邻的两个目标点之间的点。假设W1为排序在前的目标点，W2为排序在后的目标点，中间点用P表示，则P通常为在W1和W2之间的点。

在一些实施例中，中间点可为Lb和La的交点。

B214、确定从上述中间点运动到上述排序在后的目标点的方向向量，上述方向向量垂直于上述Lb。

在本申请实施例中，在确定方向向量时是从中间点运动到排序在后的目标点，而在机械臂运行时，是从排序在前的目标点运动到排序在后的目标点。

B215、根据上述法向量以及上述方向向量确定轨迹法向量，上述轨迹法向量垂直于上述Lb和上述La组成的平面。

其中，法向量、上述方向向量和轨迹法向量遵从叉乘右手定则，且轨迹法向量的方向为右手拇指所指向的方向。

B216、根据上述方向向量、上述法向量、上述轨迹法向量以及上述排序在前的目标点的坐标确定转换矩阵。

在一些实施例中，假设方向向量采用dir_v表示，法向量采用nor_v表示，轨迹法向量采用res_v表示，各个向量在X轴，Y轴，Z轴的分量分别采用对应的数字进行标记，例如，在数字为“0”时，表示为对应向量在X轴的分量(例如dir_v[0]表示方向向量在X轴的分量)，在数字为“1”时，表示为对应向量在Y轴的分量(例如dir_v[1]表示方向向量在Y轴的分量)，在数字为“2”时，表示为对应向量在Z轴的分量(例如dir_v[2]表示方向向量在Y轴的分量)。x0、y0、z0表示排序在前的目标点W1的坐标，则转换矩阵可采用以下形式表示：

B216、根据相机坐标系与机械臂坐标系的转换关系以及上述转换矩阵，确定上述两个目标点所对应的抓取点的矩阵。

其中，抓取点的矩阵可通过相机坐标系与机械臂坐标系的转换关系与转换矩阵叉乘得到。例如，假设相机坐标系与机械臂坐标系的转换关系采用matrix表示(该matrix通常设为4*4的齐次矩阵，主要用于描述平移变换和透视投影变换)，转换矩阵采用matrixpick表示(该matrixpick通常设为4*4的齐次矩阵)，抓取点的矩阵采用grabCordinate表示，则grabCordinate＝matrix*matrixpick。

本申请实施例中，由于转换矩阵是根据方向向量、法向量、轨迹法向量以及排序在前的目标点的坐标确定，而方向向量、法向量和轨迹法向量是相互垂直的向量，且轨迹点的姿态需要通过三条相互垂直的向量才能确定，因此，使得转换矩阵既包括了用于确定排序在前的目标点的姿态的信息，也包括了用于确定机械臂在排序在前的目标点的坐标点的姿态的信息，从而在根据相机坐标系与机械臂坐标系的转换关系以及转换矩阵确定抓取点的矩阵grabCordinate后，能够保证该grabCordinate既包括了用于确定机械臂在排序在前的目标点的姿态的信息，也包括了用于确定机械臂的轨迹点的坐标(即第二目标点云中的目标点的坐标)的信息，这样，后续可根据grabCordinate中的方向向量、法向量和轨迹法向量进行欧拉角的计算，进而得到机械臂在排序在前的目标点所对应的轨迹点的姿态，以及，根据grabCordinate中的排序在前的目标点的坐标确定对应轨迹点的坐标，如根据grabCordinate中每一行的最后一项确定对应轨迹点的坐标(grabCordinate中的grabCordinate(0,3)、grabCordinate(1,3)、grabCordinate(2,3)分别为轨迹点的x0、y0、z0)。

在一些实施例中，可通过以下方式确定相机坐标系与机械臂坐标系的转换关系，此时，本申请实施例提供的运动轨迹的生成方法还包括：

C1、获取需确定运动轨迹的空间所对应的二维图像以及三维点云图，上述需确定运动轨迹的空间预先放置有至少4个指定图形。

其中，指定图形包括二维码图形，如apriltag二维码图片。

本申请实施例中，可在需确定运动轨迹的空间中预先放置至少4个apriltag二维码图片，再通过3D相机对该需确定运动轨迹的空间进行拍摄，得到对应的二维图像和三维点云图。

在一些实施例中，可在需确定运动轨迹的空间中预先放置9个apriltag二维码图片，以便提高后续标定的精度。

C2、对上述需确定运动轨迹的空间所对应的二维图像中的上述至少4个指定图形进行识别，得到各个上述指定图形的二维坐标。

具体地，可将指定图形的某个点(如中心点或该指定图形的左上角的点)的坐标作为该指定图形的二维坐标。

本申请实施例中，假设预先放置的指定图形有9个，则分别识别二维图像中的9个指定图形的位置，得到9个指定图形的二维坐标。

C3、将上述需确定运动轨迹的空间所对应的二维图像以及三维点云图进行对齐，确定各个上述指定图形的二维坐标对应的三维点云坐标。

C4、获取上述机械臂的末端分别指向上述至少4个指定图形时上述机械臂的坐标。

具体地，机械臂的末端所指向的位置与选定的可作为指定图形的二维坐标点的位置相同，例如，若选定指定图形的中心的坐标作为该指定图形的二维坐标，则获取机械臂的末端指向该指定图形的中心时该机械臂的坐标。

本申请实施例中，可通过移动机械臂的末端，使得该机械臂的末端按照预设的顺序分别指向指定图形，得到与指定图形的数量相等的机械臂的坐标。其中，预设的顺序是指与确定各个指定图形的二维坐标的顺序相同的顺序，例如，假设在左上、左下、右上及右下分别放置4个指定图形，且确定指定图形的二维坐标时，根据左上、左下、右上及右下的顺序记录该指定图形的二维坐标，则在移动机械臂的末端时，也根据左上、左下、右上及右下的顺序进行移动。

需要指出的是，该步骤可在步骤C1之前执行，对应地，记录指定图形的二维坐标的顺序需保证与移动机械臂的末端的顺序相同，此处不再赘述。

C5、根据各个上述三维点云坐标以及各个上述机械臂的坐标，确定相机坐标系与机械臂坐标系的转换关系。

具体地，将各个三维点云坐标与对应的机械臂的坐标进行对齐，以进行坐标系转换的计算，从而得到相机坐标系与机械臂坐标系的转换关系，完成标定。

本申请实施例中，由于在需确定运动轨迹的空间放置指定图形，而指定图形容易被识别，因此，能够根据识别结果快速、准确地对机械臂进行标定。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

实施例二：

对应于上文实施例一的运动轨迹的生成方法，图4示出了本申请实施例提供的运动轨迹的生成装置的结构框图，为了便于说明，仅示出了与本申请实施例相关的部分。

参照图4，该运动轨迹的生成装置4，应用于机械臂的控制器，包括：三维点云图获取模块41、二维轨迹图获取模块42、第一目标点云确定模块43、姿态确定模块44、第二运动轨迹确定模块45。其中：

三维点云图获取模块41，用于接收图像采集设备发送的目标体的三维点云图。

其中，目标体为机械臂需要在其获取运动轨迹的目标体，该目标体包括人体、指定区域、指定种类的物体中的一种或多种。

本申请实施例中，可通过3D相机对目标体进行拍摄，得到该目标体对应的二维图像及三维点云图，并将该目标体的三维点云图发送给控制器，或者，将目标体的二维图像及三维点云图均发送给控制器。其中，目标体的三维点云图包括该目标体的点云。

二维轨迹图获取模块42，用于接收二维轨迹图，上述二维轨迹图通过在上述目标体的二维图像中确定第一运动轨迹后得到，其中，上述第一运动轨迹为二维的运动轨迹。

本申请实施例中，3D相机可将二维图像发送给上位机(如电脑、手机等)，通过安装在该上位机上的图像编辑软件(如画板)显示该二维图像后，用户可直接在该图像编辑软件中对该二维图像进行第一运动轨迹的绘制，并在绘制结束后，通过上位机将绘制了第一运动轨迹的二维图像(即二维轨迹图)发送给控制器。其中，第一运动轨迹为用户希望机械臂在目标体上运动时所对应的二维的运动轨迹。

第一目标点云确定模块43，用于根据上述二维图像与上述三维点云图的映射关系，确定上述二维轨迹图中的上述第一运动轨迹在上述三维点云图的投影，得到第一目标点云。

姿态确定模块44，用于根据上述第一目标点云确定上述机械臂的轨迹点及各轨迹点对应的姿态。

第二运动轨迹确定模块45，用于根据上述机械臂的轨迹点及各轨迹点对应的姿态，生成上述机械臂的第二运动轨迹，上述第二运动轨迹为三维的运动轨迹。

本申请实施例中，在获取目标体的三维点云图及二维轨迹图后，根据该目标体的二维图像及三维点云图的映射关系，确定二维轨迹图中的第一运动轨迹对应的点云，得到第一目标点云，再根据该第一目标点云确定机械臂的轨迹点及姿态，以确定该机械臂的第二运动轨迹。由于第一运动轨迹为在目标体的二维图像中确定出的二维的运动轨迹，因此，根据二维轨迹图能够快速、准确地确定出该第一运动轨迹，同时，由于目标体的二维图像与三维点云图存在特定的映射关系，因此，可根据该映射关系确定出第一运动轨迹对应的第二运动轨迹，同时，由于第二运动轨迹的生成过程无需人工拖动机械臂得到，因此，进一步提高了第二运动轨迹的生成精度以及准确度。

在一些实施例中，上述第一目标点云确定模块43包括：

目标骨架确定单元，用于对上述二维轨迹图中的上述第一运动轨迹进行骨架抽取处理，得到上述目标骨架。

在本申请实施例中，由于只抽取第一运动轨迹作为目标骨架，因此，后续只需要对目标骨架的像素坐标进行处理，而无需对整个二维轨迹图的像素坐标进行处理，从而能够有效减少需处理的像素坐标的数量。

排序后的像素坐标确定单元，用于对上述目标骨架的像素坐标进行排序，得到排序后的像素坐标。

第一目标点云确定单元，用于根据上述二维图像与上述三维点云图的映射关系，将上述排序后的像素坐标投影到上述三维点云图的点云中，得到第一目标点云。其中，第一目标点云中的各个目标点之间也具有与排序后的像素坐标之间的顺序关系。

本申请实施例中，由于先从二维轨迹图中抽取第一运动轨迹再投影到三维点云图中，因此，减少了需投影的像素坐标的数量，从而提高了得到第一目标点云的速度。

在一些实施例中，上述目标骨架确定单元包括：

二值化处理单元，用于将上述二维轨迹图转换为灰度图并进行二值化处理。

骨架抽取处理单元，用于对二值化处理后的二维轨迹图中的上述第一运动轨迹进行骨架抽取处理，得到上述目标骨架。

本申请实施例中，当二维轨迹图为RGB彩色图片时，将该二维轨迹图转换为灰度图后再进行二值化处理，以增加第一运动轨迹与二维轨迹图中其他物体的区别，从而有利于从二值化处理后的二维轨迹图中准确提取出目标骨架。

在一些实施例中，上述姿态确定模块44包括：

降采样处理单元，用于对上述第一目标点云进行降采样处理，得到第二目标点云。

具体地，对第一目标点云进行降采样处理之后，得到的第二目标点云中的目标点的数量少于第一目标点云中的目标点的数量。在一些实施例中，为了便于提取，从第一目标点云中等间隔提取出对应的目标点，使得第二目标点云中相邻的目标点之间的距离相等。

轨迹点确定单元，用于根据上述第二目标点云确定上述机械臂的轨迹点及姿态。

本申请实施例中，由于第二目标点云是对第一目标点云进行降采样后得到，因此，得到的第二目标点云中的目标点的数量少于第一目标点云中的目标点的数量，从而在根据第二目标点云确定机械臂的轨迹点及姿态时，能够极大提高得到的轨迹点及姿态的速度。

在一些实施例中，上述轨迹点确定单元包括：

抓取点的矩阵确定单元，用于根据相机坐标系与机械臂坐标系的转换关系以及上述第二目标点云，确定抓取点的矩阵，上述抓取点的矩阵包括第二目标点云中的目标点的坐标以及用于确定机械臂在轨迹点的姿态的信息。

轨迹点的坐标确定单元，用于根据上述抓取点的矩阵确定上述机械臂的轨迹点的坐标以及上述机械臂在上述轨迹点的姿态。

具体地，由于第二目标点云是根据第一运动轨迹确定，因此，机械臂的轨迹点包括第二目标点云中的目标点，对应地，机械臂的轨迹点的坐标包括第二目标点云中的目标点的坐标。

本申请实施例中，由于根据相机坐标系与机械臂坐标系的转换关系对第二目标点云进行坐标转换，因此，能够保证得到的轨迹点的坐标与机械臂更适配，从而提高后续得到的第二运动轨迹的精确度。

在一些实施例中，上述抓取点的矩阵确定单元具体用于：

对上述第二目标点云中任意相邻的两个目标点，均执行以下步骤，其中，上述第二目标点云中的各个目标点的排序关系根据上述排序后的像素坐标的排序关系确定：

确定排序在前的目标点所在的点云图上的法向量所在的直线Lb；

确定经过排序在后的目标点且与上述Lb垂直的直线La；

根据上述Lb和上述La，确定中间点；

确定从上述中间点运动到上述排序在后的目标点的方向向量，上述方向向量垂直于上述Lb；

根据上述法向量以及上述方向向量确定轨迹法向量，上述轨迹法向量垂直于上述Lb和上述La组成的平面；

根据上述方向向量、上述法向量及上轨迹法向量以及上述排序在前的目标点的坐标确定转换矩阵；

根据相机坐标系与机械臂坐标系的转换关系以及上述转换矩阵，确定上述两个目标点所对应的抓取点的矩阵。

本申请实施例中，由于转换矩阵是根据方向向量、法向量、轨迹法向量以及排序在前的目标点的坐标确定，而方向向量、法向量和轨迹法向量是相互垂直的向量，且轨迹点的姿态需要通过三条相互垂直的向量才能确定，因此，使得转换矩阵既包括了用于确定排序在前的目标点的姿态的信息，也包括了用于确定排序在前的目标点的坐标点的信息，从而在根据相机坐标系与机械臂坐标系的转换关系以及转换矩阵确定抓取点的矩阵grabCordinate后，能够保证该grabCordinate既包括了用于确定排序在前的目标点的姿态的信息，也包括了用于确定排序在前的目标点的坐标点的信息，这样，后续可根据grabCordinate中的方向向量、法向量和轨迹法向量进行欧拉角的计算，进而得到排序在前的目标点所对应的轨迹点的姿态，以及，根据grabCordinate中的排序在前的目标点的坐标确定对应轨迹点的坐标，如根据grabCordinate中每一行的最后一项确定对应轨迹点的坐标(grabCordinate中的grabCordinate(0,3)、grabCordinate(1,3)、grabCordinate(2,3)分别为轨迹点的x0、y0、z0)。

在一些实施例中，可通过以下方式确定相机坐标系与机械臂坐标系的转换关系，此时，本申请实施例提供的运动轨迹的生成装置4还包括：

二维图像获取模块，用于获取需确定运动轨迹的空间所对应的二维图像以及三维点云图，上述需确定运动轨迹的空间预先放置有至少4个指定图形。

指定图形的二维坐标识别模块，用于对上述需确定运动轨迹的空间所对应的二维图像中的上述至少4个指定图形进行识别，得到各个上述指定图形的二维坐标。

三维点云坐标确定模块，用于将上述需确定运动轨迹的空间所对应的二维图像以及三维点云图进行对齐，确定各个上述指定图形的二维坐标对应的三维点云坐标。

机械臂的坐标获取模块，用于获取上述机械臂的末端分别指向上述至少4个指定图形时上述机械臂的坐标。

转换关系确定模块，用于根据各个上述三维点云坐标以及各个上述机械臂的坐标，确定相机坐标系与机械臂坐标系的转换关系。

本申请实施例中，由于在需确定运动轨迹的空间放置指定图形，而指定图形容易被识别，因此，能够根据识别结果快速、准确地对机械臂进行标定。

需要说明的是，上述装置/单元之间的信息交互、执行过程等内容，由于与本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。

实施例三：

图5为本申请一实施例提供的处理设备的结构示意图。如图5所示，该实施例的处理设备5包括：至少一个处理器50(图5中仅示出一个处理器)、存储器51以及存储在上述存储器51中并可在上述至少一个处理器50上运行的计算机程序52，上述处理器50执行上述计算机程序52时实现上述任意各个方法实施例中的步骤。

上述处理设备5可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。该处理设备可包括，但不仅限于，处理器50、存储器51。本领域技术人员可以理解，图5仅仅是处理设备5的举例，并不构成对处理设备5的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如还可以包括输入输出设备、网络接入设备等。

所称处理器50可以是中央处理单元(Central Processing Unit，CPU)，该处理器50还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

上述存储器51在一些实施例中可以是上述处理设备5的内部存储单元，例如处理设备5的硬盘或内存。上述存储器51在另一些实施例中也可以是上述处理设备5的外部存储设备，例如上述处理设备5上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，上述存储器51还可以既包括上述处理设备5的内部存储单元也包括外部存储设备。上述存储器51用于存储操作***、应用程序、引导装载程序(BootLoader)、数据以及其他程序等，例如上述计算机程序的程序代码等。上述存储器51还可以用于暂时地存储已经输出或者将要输出的数据。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将上述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述***中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本申请实施例还提供了一种网络设备，该网络设备包括：至少一个处理器、存储器以及存储在上述存储器中并可在上述至少一个处理器上运行的计算机程序，上述处理器执行上述计算机程序时实现上述任意各个方法实施例中的步骤。

本申请实施例还提供了一种计算机可读存储介质，上述计算机可读存储介质存储有计算机程序，上述计算机程序被处理器执行时实现可实现上述各个方法实施例中的步骤。

本申请实施例提供了一种计算机程序产品，当计算机程序产品在处理设备上运行时，使得处理设备执行时实现可实现上述各个方法实施例中的步骤。

上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，上述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，上述计算机程序包括计算机程序代码，上述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。上述计算机可读介质至少可以包括：能够将计算机程序代码携带到拍照装置/处理设备的任何实体或装置、记录介质、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读介质不可以是电载波信号和电信信号。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

在本申请所提供的实施例中，应该理解到，所揭露的装置/网络设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/网络设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (10)

1.一种运动轨迹的生成方法，其特征在于，应用于机械臂的控制器，包括：

接收图像采集设备发送的目标体的三维点云图；

接收二维轨迹图，所述二维轨迹图通过在所述目标体的二维图像中确定第一运动轨迹后得到，其中，所述第一运动轨迹为二维的运动轨迹；

根据所述二维图像与所述三维点云图的映射关系，确定所述二维轨迹图中的所述第一运动轨迹在所述三维点云图的投影，得到第一目标点云；

根据所述第一目标点云确定所述机械臂的轨迹点及各轨迹点对应的姿态；

根据所述机械臂的轨迹点及所述各轨迹点对应的姿态，生成所述机械臂的第二运动轨迹，所述第二运动轨迹为三维的运动轨迹。

2.如权利要求1所述的运动轨迹的生成方法，其特征在于，所述根据所述二维图像与所述三维点云图的映射关系，确定所述二维轨迹图中的所述第一运动轨迹在所述三维点云图的投影，包括：

对所述二维轨迹图中的所述第一运动轨迹进行骨架抽取处理，得到目标骨架；

对所述目标骨架的像素坐标进行排序，得到排序后的像素坐标；

根据所述二维图像与所述三维点云图的映射关系，将所述排序后的像素坐标投影到所述三维点云图的点云中，得到第一目标点云。

3.如权利要求2所述的运动轨迹的生成方法，其特征在于，所述对所述二维轨迹图中的所述第一运动轨迹进行骨架抽取处理，得到所述目标骨架，包括：

将所述二维轨迹图转换为灰度图并进行二值化处理；

对二值化处理后的二维轨迹图中的所述第一运动轨迹进行骨架抽取处理，得到所述目标骨架。

4.如权利要求2或3所述的运动轨迹的生成方法，其特征在于，所述根据所述第一目标点云确定所述机械臂的轨迹点及各轨迹点对应的姿态，包括：

对所述第一目标点云进行降采样处理，得到第二目标点云；

根据所述第二目标点云确定所述机械臂的轨迹点及各轨迹点对应的姿态。

5.如权利要求4所述的运动轨迹的生成方法，其特征在于，所述根据所述第二目标点云确定所述机械臂的轨迹点及各轨迹点对应的姿态，包括：

根据相机坐标系与机械臂坐标系的转换关系以及所述第二目标点云，确定抓取点的矩阵，所述抓取点的矩阵包括所述第二目标点云中的目标点的坐标以及用于确定机械臂在轨迹点的姿态的信息；

根据所述抓取点的矩阵确定所述机械臂的轨迹点的坐标以及所述机械臂在所述轨迹点的姿态。

6.如权利要求5所述的运动轨迹的生成方法，其特征在于，所述根据相机坐标系与机械臂坐标系的转换关系以及所述第二目标点云，确定抓取点的矩阵，包括：

对所述第二目标点云中任意相邻的两个目标点，均执行以下步骤，其中，所述第二目标点云中的各个目标点的排序关系根据所述排序后的像素坐标的排序关系确定：

确定排序在前的目标点所在的点云图上的法向量所在的第一直线；

确定经过排序在后的目标点且与所述第一直线垂直的第二直线；

根据所述第一直线和所述第二直线，确定中间点；

确定从所述中间点运动到所述排序在后的目标点的方向向量，所述方向向量垂直于所述第一直线；

根据所述法向量以及所述方向向量确定轨迹法向量，所述轨迹法向量垂直于所述第一直线和所述第二直线组成的平面；

根据所述方向向量、所述法向量、所述轨迹法向量以及所述排序在前的目标点的坐标确定转换矩阵；

根据相机坐标系与机械臂坐标系的转换关系以及所述转换矩阵，确定所述两个目标点所对应的抓取点的矩阵。

7.如权利要求6所述的运动轨迹的生成方法，其特征在于，还包括：

获取需确定运动轨迹的空间所对应的二维图像以及三维点云图，所述需确定运动轨迹的空间预先放置有至少4个指定图形；

对所述需确定运动轨迹的空间所对应的二维图像中的所述至少4个指定图形进行识别，得到各个所述指定图形的二维坐标；

将所述需确定运动轨迹的空间所对应的二维图像以及三维点云图进行对齐，确定各个所述指定图形的二维坐标对应的三维点云坐标；

获取所述机械臂的末端分别指向所述至少4个指定图形时所述机械臂的坐标；

根据各个所述三维点云坐标以及各个所述机械臂的坐标，确定相机坐标系与机械臂坐标系的转换关系。

8.一种运动轨迹的生成装置，其特征在于，应用于机械臂的控制器，包括：

三维点云图获取模块，用于接收图像采集设备发送的目标体的三维点云图；

二维轨迹图获取模块，用于接收二维轨迹图，所述二维轨迹图通过在所述目标体的二维图像中确定第一运动轨迹后得到，其中，所述第一运动轨迹为二维的运动轨迹；

第一目标点云确定模块，用于根据所述二维图像与所述三维点云图的映射关系，确定所述二维轨迹图中的所述第一运动轨迹在所述三维点云图的投影，得到第一目标点云；

姿态确定模块，用于根据所述第一目标点云确定所述机械臂的轨迹点及各轨迹点对应的姿态；

第二运动轨迹确定模块，用于根据所述机械臂的轨迹点及所述各轨迹点对应的姿态，生成所述机械臂的第二运动轨迹，所述第二运动轨迹为三维的运动轨迹。

9.一种处理设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的方法。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的方法。

Images