CN108089695B - 一种控制可移动设备的方法和装置 - Google Patents

Abstract

本发明实施例提供了一种控制可移动设备的方法和装置，所述方法包括：通过图像采集单元采集图像，对采集到的图像进行识别，获得识别结果；所述识别结果表示所述采集到的图像中存在人体，以及人体姿态为第一人体姿态；将所述第一人体姿态对应的第一运动描述信息和所述可移动设备当前执行的第二运动描述信息进行叠加，获得第三运动描述信息；计算出所述第三运动描述信息对应的目标移动参数，并控制所述可移动设备以所述目标移动参数移动。本发明用于实现通过人体姿态控制可移动设备的技术效果，进而不需要额外的控制器。

Description

一种控制可移动设备的方法和装置

技术领域

本发明涉及电子技术领域，尤其涉及一种控制可移动设备的方法和装置。

背景技术

目前，相关技术控制可移动设备的移动，其中一种是通过接收用户手持的控制器，如遥控器或手机等发送的控制信号来执行对应控制的。例如，用户在遥控器上按向左键，则可移动设备根据接收的信号输出并响应左移指令，进而向左移动。

然而，上述控制方式需要增加额外的控制器。

发明内容

本发明实施例提供了一种控制可移动设备的方法和装置，用于实现通过人体姿态控制可移动设备的技术效果，进而不需要额外的控制器。

第一方面，本发明提供了一种控制可移动设备的方法，包括：

通过图像采集单元采集图像，对采集到的图像进行识别，获得识别结果；所述识别结果表示所述采集到的图像中存在人体，以及人体姿态为第一人体姿态；

将所述第一人体姿态对应的第一运动描述信息和所述可移动设备当前执行的第二运动描述信息进行叠加，获得第三运动描述信息；

计算出所述第三运动描述信息对应的目标移动参数，并控制所述可移动设备以所述目标移动参数移动。

可选的，对采集到的图像进行识别，获得识别结果，包括：

在所述采集到的图像中进行人体检测，获得检测结果；

当所述检测结果表示所述采集到的图像中存在人体时，将所述人体所在的目标跟踪区域输入多个人体姿态分类器进行匹配，获得每个所述人体姿态分类器输出的第一匹配分数；

确定最高的所述第一匹配分数对应的所述第一人体姿态为所述人体姿态。

可选的，所述第二运动描述信息为所述可移动设备跟踪一目标的运动描述信息，所述目标为所述人体，所述方法还包括：

判断所述可移动设备是否丢失目标；

当所述可移动设备丢失目标时，重新寻找所述目标。

可选的，判断所述可移动设备是否丢失目标，包括：

利用所述采集到的图像中的第一帧图像的所述目标跟踪区域训练目标模型；

基于所述目标模型，对所述第一帧图像之后的第二帧图像的所述目标跟踪区域进行匹配，获得第二匹配分数；

判断所述第二匹配分数是否达到阈值；其中，当所述第二匹配分数未达到所述阈值时，表示所述可移动设备丢失目标。

可选的，在重新寻找所述目标之后，还包括：

在重新寻找到疑似目标时，基于所述目标模型，对所述疑似目标所在的疑似目标跟踪区域进行匹配，获得第三匹配分数；

当所述第三匹配分数达到所述阈值时，确定所述疑似目标为所述目标。

可选的，所述运动描述信息为运动矢量，将所述第一人体姿态对应的第一运动描述信息和所述可移动设备当前执行的第二运动描述信息进行叠加，获得第三运动描述信息，包括：

将所述第一人体姿态对应的所述第一运动矢量与所述可移动设备当前执行的所述第二运动矢量叠加，获得第三运动矢量；

其中，所述第一运动矢量的大小和方向根据所述第一人体姿态来确定；所述第二运动矢量的大小根据速度来确定，方向根据运动方向来确定。

第二方面，本发明提供了一种控制可移动设备的装置，包括：

识别模块，用于通过图像采集单元采集图像，对采集到的图像进行识别，获得识别结果；所述识别结果表示所述采集到的图像中存在人体，以及人体姿态为第一人体姿态；

叠加模块，用于将所述第一人体姿态对应的第一运动描述信息和所述可移动设备当前执行的第二运动描述信息进行叠加，获得第三运动描述信息；

控制模块，用于计算出所述第三运动描述信息对应的目标移动参数，并控制所述可移动设备以所述目标移动参数移动。

可选的，所述识别模块用于在所述采集到的图像中进行人体检测，获得检测结果；当所述检测结果表示所述采集到的图像中存在人体时，将所述人体所在的目标跟踪区域输入多个人体姿态分类器进行匹配，获得每个所述人体姿态分类器输出的第一匹配分数；确定最高的所述第一匹配分数对应的所述第一人体姿态为所述人体姿态。

可选的，所述第二运动描述信息为所述可移动设备跟踪一目标的运动描述信息，所述目标为所述人体，所述装置还包括：

判断模块，用于判断所述可移动设备是否丢失目标；

寻找模块，用于当所述可移动设备丢失目标时，重新寻找所述目标。

可选的，所述判断模块用于利用所述采集到的图像中的第一帧图像的所述目标跟踪区域训练目标模型；基于所述目标模型，对所述第一帧图像之后的第二帧图像的所述目标跟踪区域进行匹配，获得第二匹配分数；判断所述第二匹配分数是否达到阈值；其中，当所述第二匹配分数未达到所述阈值时，表示所述可移动设备丢失目标。

可选的，所述装置还包括：

获得模块，用于在重新寻找所述目标之后，在重新寻找到疑似目标时，基于所述目标模型，对所述疑似目标所在的疑似目标跟踪区域进行匹配，获得第三匹配分数；

确定模块，用于当所述第三匹配分数达到所述阈值时，确定所述疑似目标为所述目标。

可选的，所述运动描述信息为运动矢量，所述叠加模块用于将所述第一人体姿态对应的所述第一运动矢量与所述可移动设备当前执行的所述第二运动矢量叠加，获得第三运动矢量；其中，所述第一运动矢量的大小和方向根据所述第一人体姿态来确定；所述第二运动矢量的大小根据速度来确定，方向根据运动方向来确定。

本申请实施例中的上述一个或多个技术方案，至少具有如下一种或多种技术效果：

在本发明的技术方案中，首先通过图像采集单元采集图像，对采集到的图像进行识别，获得识别结果，其中，识别结果表示采集到的图像中存在人体，以及人体姿态为第一人体姿态，然后，将第一人体姿态对应的第一运动描述信息和可移动设备当前的第二运动描述信息进行叠加，获得第三运动描述信息，最后，计算出第三运动对应的目标移动参数，并控制可移动设备以目标移动参数移动。可见，本发明通过识别人体姿态，进而将与第一人体姿态对应的第一运动描述信息叠加到本身的第二运动描述信息之上，然后控制可移动设备以叠加之后的第三运动描述信息对应的目标移动参数进行运动。所以，本发明可移动设备根据人体姿态进行相应控制，用户通过做出不同的姿态就可以控制可移动设备的运动，并不需要增加额外控制器。

附图说明

图1为本发明实施例中控制可移动设的方法流程图；

图2为本发明实施例中一第二运动矢量

与目标在大地坐标系中的示意图；

图3a-图3e为本发明实施例中运动矢量叠加示意图；

图4为本发明实施例中控制可移动设备的装置示意图。

具体实施方式

本发明实施例提供了一种控制可移动设备的方法和装置，用于实现通过人体姿态控制可移动设备的技术效果，进而不需要额外的控制器。

为了解决上述技术问题，本发明提供的技术方案思路如下：

在本发明的技术方案中，首先通过图像采集单元采集图像，对采集到的图像进行识别，获得识别结果，其中，识别结果表示采集到的图像中存在人体，以及人体姿态为第一人体姿态，然后，将第一人体姿态对应的第一运动描述信息和可移动设备当前的第二运动描述信息进行叠加，获得第三运动描述信息，最后，计算出第三运动对应的目标移动参数，并控制可移动设备以目标移动参数移动。可见，本发明通过识别人体姿态，进而将与第一人体姿态对应的第一运动描述信息叠加到本身的第二运动描述信息之上，然后控制可移动设备以叠加之后的第三运动描述信息对应的目标移动参数进行运动。所以，本发明可移动设备根据人体姿态进行相应控制，用户通过做出不同的姿态就可以控制可移动设备的运动，并不需要增加额外控制器。

下面通过附图以及具体实施例对本发明技术方案做详细的说明，应当理解本申请实施例以及实施例中的具体特征是对本申请技术方案的详细的说明，而不是对本申请技术方案的限定，在不冲突的情况下，本申请实施例以及实施例中的技术特征可以相互组合。

本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

本发明第一方面提供了一种控制可移动设备的方法。其中，可移动设备例如为平衡车、机器人或无人机等可以发生移动的设备，本发明不做具体限制。请参考图1，为本发明实施例中控制可移动设备的方法流程图。该方法包括：

S101：通过图像采集单元采集图像，对采集到的图像进行识别，获得识别结果；

S102：将所述第一人体姿态对应的第一运动描述信息和所述可移动设备当前的第二运动描述信息进行叠加，获得第三运动描述信息；

S103：计算出所述第三运动描述信息对应的目标移动参数，并控制所述可移动设备以所述目标移动参数移动。

具体来讲，本发明实施例中的可移动设备搭载有图像采集单元，在具体实现过程中，图像采集单元可以具体为RGB(红绿蓝，Red Green Blue)图像采集单元、深度图像采集单元、红外图像采集单元以及双目图像采集单元中的任意一种或多种，本发明不做具体限制。通过图像采集单元对采集范围中的图像进行采集，并将采集到的图像传输给控制可移动设备的装置进行识别。

在S101中，对采集单元的图像进行识别，获得识别结果。由于在具体实现过程中，采集范围中可能不存在用户，也可能存在用户，并且不同时刻人体的姿态还可能有所不同，因此识别结果就具体可以为表示采集到的图像中存在人体，或者表示采集到的图像中不存在人体。为了方便描述，本发明实施例中将假设识别结果具体表示采集到的图像中存在人体，并且人体姿态为第一人体姿态。其中，第一人体姿态例如为用户向身体内侧方向招手的姿态、用户向身体外侧方向推手的姿态等，本发明不做具体限制。

接下来，S102中，将第一人体姿态对应的第一运动描述信息和可移动设备当前的第二运动描述信息进行叠加，获得叠加后的第三运动描述信息。具体来讲，本发明实施例中的运动描述信息是用于表示运动的信息，例如运动矢量、角速度、水平面上的线速度和垂直面上的线速度等。将第一运动描述信息和第二运动描述信息进行叠加，进而得到叠加后的运动描述信息，即第三运动描述信息。

接下来，在S103中，计算出第三运动描述信息对应的目标移动参数。具体来讲，本发明实施例中的移动参数包括但不限于线速度、角速度、水平面上的线速度和垂直面上的线速度等，本发明不做具体限制。通过第三运动描述信息反向计算出目标移动参数，进而控制可移动设备按照目标移动参数移动。

由于目标移动参数是由第三运动描述信息反向计算得到的，而第三运动信息又是用户第一人体姿态对应的第一运动描述叠加而来的，所以，控制可移动设备按照目标移动参数移动，就实现了响应用户第一人体姿态控制可移动设备运动的技术效果。由此使得用户需要对可移动设备进行控制时，不再需要额外的控制器，通过做出不同的人体姿态即可。

具体来讲，本发明实施例S101中对采集到的图像进行识别，具体可以通过如下过程实现：

在所述采集到的图像中进行人体检测，获得检测结果；

当所述检测结果表示所述采集到的图像中存在人体时，将所述人体所在的目标跟踪区域输入多个人体姿态分类器进行匹配，获得每个所述人体姿态分类器输出的第一匹配分数；

确定最高的所述第一匹配分数对应的所述第一人体姿态为所述人体姿态。

具体来讲，为了在采集到的图像中进行人体检测，或称行人检测，本发明有两种方式。

第一种：可移动设备预先将人体检测模型存储在存储空间中，在需要进行识别时从存储空间中读取出来。在具体实现过程中，可移动设备存储的人体检测模型可以具体为人脸检测模型、人体半身检测模型和人体全身检测模型中的任意一种或多种，本发明不做具体限制。可移动设备按照人体检测模型的特征，在采集到的图像中检测是否有满足人体检测模型的特征。如果检测到满足人体检测模型的特征，则获得表示采集到的图像中存在人体的检测结果；反之，如果未检测到满足人体检测模型的特征，则获得表示在采集到的图像中不存在人体的检测结果。

第二种：在本发明实施例中，为了对采集到的图像进行人体检测，可以先获得采集到的图像的ACF(聚合通道特征，Aggregate Channel Feature)。ACF特征一般由10个通道组成，分别是LUV颜色的3个通道、1个梯度幅值通道、和6个梯度方向直方图通道。调整梯度方向的量化步长可以改变梯度方向直方图通道数量。LUV(L表示亮度、U和V表示色度)颜色通道也可以添加、删除或替换为其他颜色通道，如RGB或HSV(色度、纯度、明度，Hue、Saturation、Value)等。

在具体实现过程中，可以按照通用方法获得ACF特征，即先对图像进行不同尺度的缩放，再分别计算ACF特征。或者，为了提高效率，缩短处理时间，且不损失过多精度，在本发明实施例中，也可以在部分尺度上通过缩短计算出精确的ACF特征，其他尺度则根据附近的ACF特征进行估计。

举例来说，需要缩放的尺度具体为1、7/8、6/8、5/8、4/8、3/8、2/8和1/8，本发明实施例中按照1、5/8和2/8的尺度进行缩放，并计算得到1、5/8和2/8尺度对应的ACF通道特征。然后，按照1与7/8和6/8的比例关系估计出7/8和6/8尺度对应的ACF通道特征，按照5/8与4/8和3/8的比例关系估计出4/8和3/8尺度对应的ACF通道特征，按照2/8与1/8的比例关系估计出1/8尺度对应的ACF通道特征，最终获得全部ACF特征。

在计算出ACF特征后，使用分类器来判断采集到的图像中是否存在人体。在本发明实施例中，可以采用的分类器包括但不限于自适应增强Adaboost、软级联Soft Cascade和结构化的支持向量机Structural SVM(支持向量机，Support Vector Machine)等，本发明不做具体限制。以Adaboost分类器为例，判断采集到的图像中是否存在人体的过程具体为：首先抽取正负样本计算ACF特征，然后训练Adaboost分类器，接着根据已有的Adaboost分类器抽取新的负样本并计算新的ACF特征，然后再训练新的Adaboost分类器。对每个弱分类器的输出权值进行累加，当累加器小于-1时直接判定为负样本，当样本通过所有弱分类器后则判定为正样本。最后对所有正样本做非极大值抑制得到检测结果。

在具体实现过程中，本领域技术人员可以根据实际选择上述两种实现方式中的任意一种来检测人体，本发明不做具体限制。

在具体实现过程中，可移动设备可以将检测出的任何人体作为跟踪的目标，也可以仅对部分用户，例如可移动设备的所有者等具备控制可移动设备权限的用户进行跟踪，并且仅响应具备控制可移动设备权限的用户的人体姿态的控制。那么，进一步，在检测到人体之后，还可以对检测到的人体进行权限验证，例如验证检测到的人体的人脸是否为预先存储的具有控制权限的用户的人脸等。如果检测到的人体通过权限验证，则可移动设备跟踪该用户，并且进一步识别该用户的人体姿态，进而计算出第三运动描述信息。反之，如果检测到的人体未通过权限验证，则可移动设备不会跟着该用户，也不会进一步识别该用户的人体姿态，以及计算对应的第三运动描述信息。

更进一步，如果从采集到的图像中识别出多个人体，需要对每个人体均进行权限验证。如果多个人体中仅有一个通过权限验证，则可移动设备仅跟踪该通过权限验证的人体，并且进一步识别该人体的人体姿态，进而计算出第三运动描述信息。如果多个人体中有两个或两个以上的人体通过权限验证，则可移动设备仅跟踪权限最高的人体，或者跟踪用户选择的人体，并且进一步识别该人体的人体姿态，进而计算出第三运动描述信息。

接下来，当检测结果表示采集到的图像中存在人体时，或者检测到具有控制可移动设备权限的用户时，将人体所在的目标跟踪区域输入多个人体姿态分类器进行匹配，获得每个人体姿态分类器输出的第一匹配分数。

具体来讲，目标跟踪区域为包含人体的区域，例如人体的外接矩形，或者包含人体非外接的矩形等，本发明不做具体限制。可移动设备中预先存储有多个人体姿态分类器，每个分类器对应一个不同的人体姿态，例如向身体内侧方向招手的姿态、向身体外侧方向推手的姿态、手臂指向可移动设备左方的姿态、手臂指向可移动设备右方的姿态和两个手臂相连成环的姿态等。将目标跟踪区域输入每个人体姿态分类器，得到目标跟踪区域与每个人体姿态分类器的第一匹配分数。其中，第一匹配分数越高，表示目标跟踪区域与人体姿态分类器越匹配，进而表示目标跟踪区域中的人体姿态越接近该人体姿态分类器所表示的人体姿态。

因此，在本发明实施例中，将最高的第一匹配分数对应第一人体姿态确定为目标跟踪区域中用户的人体姿态。

另外，在本发明实施例中，S102可以通过如下过程实现：

将所述第一人体姿态对应的所述第一运动矢量与所述可移动设备当前执行的所述第二运动矢量叠加，获得第三运动矢量；

其中，所述第一运动矢量的大小和方向根据所述第一人体姿态来确定；所述第二运动矢量的大小根据速度来确定，方向根据运动方向来确定。

在确定出用户的人体姿态为第一人体姿态后，读取第一人体姿态对应的第一运动矢量。对于第二运动矢量，则采集可移动设备当前的运动的方向和速度，以及可移动设备与目标之间的距离和方向，然后合成第二运动矢量。然后，将第一运动矢量和第二运动矢量进行叠加，获得第三运动矢量。其中，第三运动矢量就是第三运动描述信息。

最后，S103中，将第三运动矢量反向计算成目标移动参数，并控制可移动设备以目标移动参数进行移动。

举例来说，可移动设备具体为机器人，存储在机器人中的人体姿态具体为向身体内侧方向招手的姿态、向身体外侧方向推手的姿态、手臂指向机器人左方的姿态、手臂指向机器人右方的姿态和手臂相连成环的姿态。其中，向身体内侧方向招手的姿态对应机器人指向人体的方向，速度为2m/s的运动矢量；向身体外侧方向推手的姿态对应人体户指向机器人的方向，速度为4m/s的运动矢量；手臂指向机器人左方的姿态对应的指向机器人左方，速度为2m/s的运动矢量；手臂指向机器人右方的姿态对应指向机器人右方，速度为2m/s的运动矢量；手臂相连成环的姿态对应的运动矢量有两个，一个为与第二运动矢量大小相同，且方向相反的第一子运动矢量，另一个为以人体为圆心，以与人体距离为半径的圆的切线的方向，速度为2m/s的第二子运动矢量。

机器人位于跟踪用户的身后，以1m/s的速度跟踪用户移动，那么第二运动矢量的方向为机器人指向人体，速度大小为1m/s。用户转过身，做出向身体内侧方向招手的姿态。机器人通过识别采集到的图像，确定识别出人体姿态为向身体内侧方向招手的姿态，进而读取与向身体内侧方向招手的姿态对应的第一运动矢量。然后，将第一运动矢量和第二运动矢量进行叠加，获得方向为机器人指向人体，速度3m/s的第三运动矢量。然后，反向计算出第三运动矢量对应的目标移动参数为线速度+3m/s和角速度0rad/s。所以，当用户做出向身体内侧方向招手的姿态，机器人将加速靠近用户。

或者，用户转过身，做出向身体外侧方向推手的姿态。机器人通过识别采集到的图像，确定识别出人体姿态为向身体外侧方向推手的姿态，进而读取与向身体外侧方向推手的姿态对应的第一运动矢量。然后，将第一运动矢量和第二运动矢量进行叠加，获得方向为人体指向机器人，速度3m/s的第三运动矢量。然后，反向计算出第三运动矢量对应的目标移动参数为线速度-3m/s和角速度0rad/s。所以，当用户做出向身体外侧方向推手的姿态，机器人将减速靠近用户，甚至后退。

或者，用户转过身，做出手臂指向机器人左方的姿态。机器人通过识别采集到的图像，确定识别出人体姿态为手臂指向机器人左方的姿态，进而读取与手臂指向机器人左方的姿态对应的第一运动矢量。然后，将第一运动矢量和第二运动矢量进行叠加，获得前行方向偏左63.5°，速度2.23m/s的第三运动矢量。然后，反向计算出第三运动矢量对应的目标移动参数为线速度+2.23m/s和角速度+0.46rad/s。所以，当用户做出手臂指向机器人左方的姿态，机器人将移动到用户左后方进行跟踪。

或者，用户转过身，做出手臂指向机器人右方的姿态。机器人通过识别采集到的图像，确定识别出人体姿态为手臂指向机器人右方的姿态，进而读取与手臂指向机器人右方的姿态对应的第一运动矢量。然后，将第一运动矢量和第二运动矢量进行叠加，获得前行方向偏右63.5°，速度2.23m/s的第三运动矢量。然后，反向计算出第三运动矢量对应的目标移动参数为线速度+2.23m/s和角速度-0.46rad/s。所以，当用户做出手臂指向机器人右方的姿态，机器人将移动到用户右后方进行跟踪。

或者，用户转过身，做出两个手臂相连成环的姿态。机器人通过识别采集到的图像，确定识别出人体姿态为手臂相连成环的姿态，进而读取与手臂相连成环的姿态对应的第一子运动矢量和第二子运动矢量。然后，将第一子动矢量、第二子运动矢量和第二运动矢量进行叠加，获得以与人体距离为半径的圆的切线方向为方向，速度为2m/s的第三运动矢量。然后，反向计算出第三运动矢量对应的目标移动参数为线速度-2m/s和角速度+1.5rad/s。所以，当用户做出手臂相连成环的姿态后，机器人将围绕跟踪用户转动。

应当理解的是，上述可移动设备具体为机器人所列举的几个例子中，线速度具体为平行于大地的水平面内的速度，线速度前的“+”表示驱动机器人发生线速度的驱动装置正向驱动，“-”表示驱动机器人发生线速度的驱动装置反向驱动。类似的，角速度前的“+”表示驱动机器人发生角速度的驱动装置正向驱动，“-”表示驱动机器人发生角速度的驱动装置反向驱动。

再举例来说，可移动设备具体为无人机，存储在无人机中的人体姿态具体为向身体内侧方向招手的姿态、向身体外侧方向推手的姿态、手臂指向无人机左方的姿态、手臂指向无人机右方的姿态和两个手臂相连成环的姿态。其中，向身体内侧方向招手的姿态对应无人机指向人体方向，速度为2m/s的运动矢量；向身体外侧方向推手的姿态对应人体指向无人机方向，速度为4m/s的运动矢量；手臂指向无人机左方的姿态对应的指向(水平面内)无人机左方，速度为(水平面内)2m/s的运动矢量；手臂指向无人机右方的姿态对应指向无人机右方，速度为(水平面内)2m/s的运动矢量；手臂相连成环的姿态对应的运动矢量有两个，一个为与第二运动矢量大小相同，且方向相反的第一子运动矢量，另一个为以人体为圆心，以与人体距离为半径且高度为飞行高度的圆的切线方向为方向，速度为2m/s的第二子运动矢量。

无人机当前位于用户的正面2m高度，以1m/s的速度跟踪用户移动。为方便表示，请参考图2，为第二运动矢量

与人体在大地坐标系中的示意图。用户做出向身体内侧方向招手的姿态，无人机通过识别采集到的图像，确定识别出人体姿态为向身体内侧方向招手的姿态，进而读取与向身体内侧方向招手的姿态对应的第一运动矢量

然后，将第一运动矢量

和第二运动矢量

进行叠加，获得如图3a所示的第三运动矢量

然后，反向计算出第三运动矢量

对应的目标移动参数为线速度(水平面内)+3.2m/s、线速度(垂直面内)-1.5m/s和角速度0rad/s。所以，当用户做出向身体内侧方向招手的姿态，无人机将靠近用户。

或者，用户做出向身体外侧方向推手的姿态，无人机通过识别采集到的图像，确定识别出人体姿态为向身体外侧方向推手的姿态，进而读取与向身体外侧方向推手的姿态对应的第一运动矢量

然后，将第一运动矢量

和第二运动矢量

进行叠加，获得如图3b所示的第三运动矢量

然后，反向计算出第三运动矢量

对应的目标移动参数为线速度(水平面内)-1.2m/s、线速度(垂直面内)+1.5m/s和角速度0rad/s。所以，当用户做出向身体外侧方向推手的姿态，无人机将减少靠近用户，甚至远离用户。

或者，用户做出手臂指向无人机左方的姿态，无人机通过识别采集到的图像，确定识别出人体姿态为手臂指向无人机左方的姿态，进而读取与手臂指向无人机左方的姿态对应的第一运动矢量

然后，将第一运动矢量

和第二运动矢量

进行叠加，获得如图3c所示的第三运动矢量

然后，反向计算出第三运动矢量

对应的目标移动参数为线速度(水平面内)+2.23m/s、线速度(垂直面内)0m/s和角速度+0.46rad/s。所以，当用户做出手臂指向无人机左方的姿态，无人机将向左飞行。

或者，用于做出手臂指向无人机右方的姿态，无人机通过识别采集到的图像，确定识别出人体姿态为手臂指向无人机右方的姿态，进而读取与手臂指向无人机右方的姿态对应的第一运动矢量

然后，将第一运动矢量

和第二运动矢量

进行叠加，获得如图3d所示的第三运动矢量

然后，反向计算出第三运动矢量

对应的目标移动参数为线速度(水平面内)+2.23m/s、线速度(垂直面内)0m/s和角速度-0.46rad/s。所以，当用户做出手臂指向无人机右方的姿态，无人机将向右飞行。

或者，用户做出两个手臂相连成环的姿态，无人机通过识别采集到的图像，确定识别出人体姿态为手臂相连成环的姿态，进而读取与手臂相连成环的姿态对应的第一子运动矢量

和第二子运动矢量

然后，将第一子运动矢量

第二子运动矢量

和第二运动矢量

进行叠加，获得如图3e所示的第三运动矢量

然后，反向计算出第三运动矢量

对应的目标移动参数为线速度(水平面内)+2m/s、线速度(垂直方向)为0m/s和角速度+1.5rad/s。所以，当用户做出手臂相连成环的姿态后，无人机在当前飞行高度上，围绕用户对应所在位置飞行。

应当理解的是，上述可移动设备具体为无人机所列举的几个例子中，线速度(水平面内)具体为平行于大地的水平面内的速度，线速度(水平面内)前的“+”表示驱动无人机在水平面内发生线速度的驱动装置正向驱动，“-”表示驱动无人机在水平面内发生线速度的驱动装置反向驱动。线速度(垂直面内)具体为垂直于大地的面内的速度，线速度(垂直面内)前的“+”表示驱动无人机在垂直面内发生线速度的驱动装置正向驱动，此时无人机飞行高度增加，“-”表示驱动无人机在垂直面内发生线速度的驱动装置反向驱动，此时无人机飞行高度减小。类似的，角速度前的“+”表示驱动机器人发生角速度的驱动装置正向驱动，“-”表示驱动机器人发生角速度的驱动装置反向驱动。

由上述描述可以看出，用户通过不同的人体姿态，就可以控制可移动设备的运动方向和速度，由此使得用户需要对可移动设备进行控制时，不再需要额外的控制器，通过做出不同的人体姿态即可。

作为一种可选的实施例，本发明实施例中的方法还可以进一步包括：

判断所述可移动设备是否丢失目标；

当所述可移动设备丢失目标时，重新寻找所述目标。

具体来讲，本发明实施例中第二运动描述信息为可移动设备跟踪目标运动的描述信息，且该跟踪的目标为人体，即用户或者具有控制可移动设备权限的用户。当可移动设备在S101中识别出人体后，将该人体作为目标进行跟踪。在跟踪时，可移动设备根据视觉跟踪算法来对目标进行跟踪。其中，本发明实施例的视觉跟踪算法可以为DSST(尺度空间跟踪，Discriminative Scale Space Tracker)算法或SRDCF(空间正规化相关滤波跟踪，Spatially Regularization Discriminative Correlation Filter)算法等，本发明所属领域的普通技术人员可以根据实际进行选择，本发明不做具体限制。

由于人体移动具有不规律性和不可预知性，所以在可移动设备跟踪人体过程中，就有可能丢失目标。因此，在本发明实施例中，还需要判断可移动设备是否丢失目标。对于如何判断可移动设备是否丢失目标，可以通过如下过程实现：

利用所述采集到的图像中的第一帧图像的所述目标跟踪区域训练目标模型；

基于所述目标模型，对所述第一帧图像之后的第二帧图像的所述目标跟踪区域进行匹配，获得第二匹配分数；

判断所述第二匹配分数是否达到阈值；其中，当所述第二匹配分数未达到所述阈值时，表示所述可移动设备丢失目标。

具体来讲，本发明实施例中的第一帧图像指的是本次跟随过程识别到人体的任一帧图像，或者识别到具有控制可移动设备权限的人脸的任一帧图像。第二帧图像则为在第一帧图像之后采集到的下一帧图像。将第一帧图像的目标跟踪区域输入视觉跟踪算法，训练目标模型。

以视觉跟踪算法为DSST为例来说。DSST是一种基于相关滤波器的在线目标跟踪与模型训练方法。通过将第一帧图像输入在线训练的滤波器模型，根据输出响应确定图像中目标的位置和尺度。在线训练的滤波器模型参数是通过最小化训练样本输出和期望输出的误差所确定的。其中，目标跟踪区域为训练样本。提取目标跟踪区域的FHoG(融合的方向梯度直方图，Fused Histogram of Gradient)特征，并建立以FHoG特征中心为峰值的二维高斯函数作为期望输出。然后，通过最小二乘法和最小化滤波器计算出响应与期望输出之间的误差，从而确定在线训练的滤波器模型的各个参数。进而，将滤波器模型的各个参数修改为确定出的值，并将参数修改完成后的在线训练滤波器作为目标模型。

然后，在第二帧图像的搜索区域内提取FHoG特征，将搜索区域输入在线训练的滤波器模型，得到第二帧图像的目标跟踪区域位置和尺度。然后将第二帧图像的目标跟踪区域加入训练样本，更新在线训练的滤波器模型。

接下来，基于目标模型，即第一次训练得到的在线训练的滤波器模型，以及第二次训练得到的在线训练的滤波器模型的匹配程度进行计算，获得第二匹配分数。或者，计算第一帧图像的目标跟踪区域的位置与第二帧图像的目标跟踪区域的位置的距离，将两个目标跟踪区域的距离确定为第二匹配分数。或者，将第二帧图像的特征峰值与非峰值的平均值的比值确定为第二匹配分数。接下来，判断第二匹配分数是否达到阈值。如果第二匹配分数达到阈值，则表示两次找到的目标较为相似，即两次均检测到人体，或者均检测到同一个具有控制可移动设备权限的用户，则确定可移动设备未丢失目标；反之，如果第二匹配分数未达到阈值，则表示两次找到的目标不相似，即第二帧图像中未检测到人体，或者第二帧图像中未检测到与第一帧图像中具有控制可移动设备权限的用户相同的用户，则确定可移动设备丢失目标。

在本发明实施例中，当可移动设备丢失目标后，再次执行S101，从而重新寻找目标。

由上述描述可以看出，在可移动设备跟踪人体的过程中判断可移动设备是否丢失目标，并且在丢失目标时重新寻找目标，从而提供了可移动设备跟踪可靠性。

进一步，在重新寻找到目标后，还可以包括：

在重新寻找到疑似目标时，基于所述目标模型，对所述疑似目标所在的疑似目标跟踪区域进行匹配，获得第三匹配分数；

当所述第三匹配分数达到所述阈值时，确定所述疑似目标为所述目标。

具体来讲，本发明实施例中的疑似目标为确定可移动设备丢失目标后重新识别到的可能为目标的人体。在寻找到疑似目标后，为了确认此时寻找到的疑似目标是否为需要跟踪的目标，可移动设备进一步基于目标模型，在疑似标所在的疑似目标跟踪区域内进行匹配，进而得到第三匹配分数。在本发明实施中，获得第三匹配分数的方法与获得第二匹配分数类似，因此此处就不再重复赘述了。

当第三匹配分数达到阈值时，表示当前寻找到的疑似目标与目标接近程度高，因此将疑似目标确定为目标，重新开始跟踪目标。当第三匹配分数未达到阈值时，表示当前寻找到的疑似目标与目标接近程度低，因此确定疑似目标不为目标，丢弃该疑似目标，再次寻找其他疑似目标。

由上述描述可知，在重新寻找到疑似目标时，判断疑似目标是否为目标，进一步提供了可移动设备跟踪的可靠性。

基于与前述实施例中控制可移动设备的方法同样的发明构思，本发明第二方面还提供一种控制可移动设备的装置，如图4所示，包括：

识别模块101，用于通过图像采集单元采集图像，对采集到的图像进行识别，获得识别结果；所述识别结果表示所述采集到的图像中存在人体，以及人体姿态为第一人体姿态；

叠加模块102，用于将所述第一人体姿态对应的第一运动描述信息和所述可移动设备当前执行的第二运动描述信息进行叠加，获得第三运动描述信息；

控制模块103，用于计算出所述第三运动描述信息对应的目标移动参数，并控制所述可移动设备以所述目标移动参数移动。

具体来讲，识别模块101用于在所述采集到的图像中进行人体检测，获得检测结果；当所述检测结果表示所述采集到的图像中存在人体时，将所述人体所在的目标跟踪区域输入多个人体姿态分类器进行匹配，获得每个所述人体姿态分类器输出的第一匹配分数；确定最高的所述第一匹配分数对应的所述第一人体姿态为所述人体姿态。

其中，第二运动描述信息为可移动设备跟踪一目标的运动描述信息，目标为人体，进一步，本发明实施例中的装置还包括：

判断模块，用于判断所述可移动设备是否丢失目标；

寻找模块，用于当所述可移动设备丢失目标时，重新寻找所述目标。

其中，判断模块用于利用所述采集到的图像中的第一帧图像的所述目标跟踪区域训练目标模型；基于所述目标模型，对所述第一帧图像之后的第二帧图像的所述目标跟踪区域进行匹配，获得第二匹配分数；判断所述第二匹配分数是否达到阈值；其中，当所述第二匹配分数未达到所述阈值时，表示所述可移动设备丢失目标。

更进一步，本发明实施例中的装置还包括：

获得模块，用于在重新寻找所述目标之后，在重新寻找到疑似目标时，基于所述目标模型，对所述疑似目标所在的疑似目标跟踪区域进行匹配，获得第三匹配分数；

确定模块，用于当所述第三匹配分数达到所述阈值时，确定所述疑似目标为所述目标。

在本发明实施例中，运动描述信息为运动矢量，叠加模块102用于将所述第一人体姿态对应的所述第一运动矢量与所述可移动设备当前执行的所述第二运动矢量叠加，获得第三运动矢量；其中，所述第一运动矢量的大小和方向根据所述第一人体姿态来确定；所述第二运动矢量的大小根据速度来确定，方向根据运动方向来确定。

前述图1-图3e实施例中的控制可移动设备的方法的各种变化方式和具体实例同样适用于本实施例的控制可移动设备的装置，通过前述对控制可移动设备的方法的详细描述，本领域技术人员可以清楚的知道本实施例中控制可移动设备的装置的实施方法，所以为了说明书的简洁，在此不再详述。

本申请实施例中的上述一个或多个技术方案，至少具有如下一种或多种技术效果：

在本发明的技术方案中，首先通过图像采集单元采集图像，对采集到的图像进行识别，获得识别结果，其中，识别结果表示采集到的图像中存在人体，以及人体姿态为第一人体姿态，然后，将第一人体姿态对应的第一运动描述信息和可移动设备当前的第二运动描述信息进行叠加，获得第三运动描述信息，最后，计算出第三运动对应的目标移动参数，并控制可移动设备以目标移动参数移动。可见，本发明通过识别人体姿态，进而将与第一人体姿态对应的第一运动描述信息叠加到本身的第二运动描述信息之上，然后控制可移动设备以叠加之后的第三运动描述信息对应的目标移动参数进行运动。所以，本发明可移动设备根据人体姿态进行相应控制，用户通过做出不同的姿态就可以控制可移动设备的运动，并不需要增加额外控制器。

本领域内的技术人员应明白，本发明的实施例可提供为方法、***、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种控制可移动设备的方法，其特征在于，包括：

通过图像采集单元采集图像，对采集到的图像进行识别，获得识别结果；所述识别结果表示所述采集到的图像中存在人体，以及人体姿态为第一人体姿态；

将所述第一人体姿态对应的第一运动描述信息和所述可移动设备当前执行的第二运动描述信息进行叠加，获得第三运动描述信息；其中，所述运动描述信息为运动矢量，所述将所述第一人体姿态对应的第一运动描述信息和所述可移动设备当前执行的第二运动描述信息进行叠加，获得第三运动描述信息，包括：将所述第一人体姿态对应的第一运动矢量与所述可移动设备当前执行的第二运动矢量叠加，获得第三运动矢量；其中，所述第一运动矢量的大小和方向根据所述第一人体姿态来确定；所述第二运动矢量的大小根据速度来确定，方向根据运动方向来确定；

计算出所述第三运动描述信息对应的目标移动参数，并控制所述可移动设备以所述目标移动参数移动，以利用所述可移动设备对所述人体进行跟踪。

2.如权利要求1所述的方法，其特征在于，对采集到的图像进行识别，获得识别结果，包括：

在所述采集到的图像中进行人体检测，获得检测结果；

当所述检测结果表示所述采集到的图像中存在人体时，将所述人体所在的目标跟踪区域输入多个人体姿态分类器进行匹配，获得每个所述人体姿态分类器输出的第一匹配分数；

确定最高的所述第一匹配分数对应的所述第一人体姿态为所述人体姿态。

3.如权利要求2所述的方法，其特征在于，所述第二运动描述信息为所述可移动设备跟踪一目标的运动描述信息，所述目标为所述人体，所述方法还包括：

判断所述可移动设备是否丢失目标；

当所述可移动设备丢失目标时，重新寻找所述目标。

4.如权利要求3所述的方法，其特征在于，判断所述可移动设备是否丢失目标，包括：

利用所述采集到的图像中的第一帧图像的所述目标跟踪区域训练目标模型；

基于所述目标模型，对所述第一帧图像之后的第二帧图像的所述目标跟踪区域进行匹配，获得第二匹配分数；

判断所述第二匹配分数是否达到阈值；其中，当所述第二匹配分数未达到所述阈值时，表示所述可移动设备丢失目标。

5.如权利要求4所述的方法，其特征在于，在重新寻找所述目标之后，还包括：

在重新寻找到疑似目标时，基于所述目标模型，对所述疑似目标所在的疑似目标跟踪区域进行匹配，获得第三匹配分数；

当所述第三匹配分数达到所述阈值时，确定所述疑似目标为所述目标。

6.一种控制可移动设备的装置，其特征在于，包括：

识别模块，用于通过图像采集单元采集图像，对采集到的图像进行识别，获得识别结果；所述识别结果表示所述采集到的图像中存在人体，以及人体姿态为第一人体姿态；

叠加模块，用于将所述第一人体姿态对应的第一运动描述信息和所述可移动设备当前执行的第二运动描述信息进行叠加，获得第三运动描述信息；所述运动描述信息为运动矢量，所述叠加模块用于将所述第一人体姿态对应的第一运动矢量与所述可移动设备当前执行的第二运动矢量叠加，获得第三运动矢量；其中，所述第一运动矢量的大小和方向根据所述第一人体姿态来确定；所述第二运动矢量的大小根据速度来确定，方向根据运动方向来确定；

控制模块，用于计算出所述第三运动描述信息对应的目标移动参数，并控制所述可移动设备以所述目标移动参数移动，以利用所述可移动设备对所述人体进行跟踪。

7.如权利要求6所述的装置，其特征在于，所述识别模块用于在所述采集到的图像中进行人体检测，获得检测结果；当所述检测结果表示所述采集到的图像中存在人体时，将所述人体所在的目标跟踪区域输入多个人体姿态分类器进行匹配，获得每个所述人体姿态分类器输出的第一匹配分数；确定最高的所述第一匹配分数对应的所述第一人体姿态为所述人体姿态。

8.如权利要求7所述的装置，其特征在于，所述第二运动描述信息为所述可移动设备跟踪一目标的运动描述信息，所述目标为所述人体，所述装置还包括：

判断模块，用于判断所述可移动设备是否丢失目标；

寻找模块，用于当所述可移动设备丢失目标时，重新寻找所述目标。

9.如权利要求8所述的装置，其特征在于，所述判断模块用于利用所述采集到的图像中的第一帧图像的所述目标跟踪区域训练目标模型；基于所述目标模型，对所述第一帧图像之后的第二帧图像的所述目标跟踪区域进行匹配，获得第二匹配分数；判断所述第二匹配分数是否达到阈值；其中，当所述第二匹配分数未达到所述阈值时，表示所述可移动设备丢失目标。

10.如权利要求9所述的装置，其特征在于，所述装置还包括：

获得模块，用于在重新寻找所述目标之后，在重新寻找到疑似目标时，基于所述目标模型，对所述疑似目标所在的疑似目标跟踪区域进行匹配，获得第三匹配分数；

确定模块，用于当所述第三匹配分数达到所述阈值时，确定所述疑似目标为所述目标。

Images