CN106375682A - 影像处理方法、装置与可移动设备、无人机遥控器及*** - Google Patents

Abstract

本发明实施例公开了一种影像处理方法装置、可移动设备、无人机遥控器及无人机***，用于提供一种能够同时并流畅地处理多个影像功能的方法，以及对影像中的跟踪框的处理方法。本发明实施例方法包括：将源影像数据流转换成至少两路子影像数据流；通过中央处理器CPU处理所述子影像数据流的第一子影像数据流，通过图形处理器GPU处理所述子影像数据流的第二子影像数据流。本发明实施例还提供了一种影像处理装置、可移动设备、无人机遥控器及无人机***，能够同时并流畅的处理多个影像功能，并在进行跟踪目标的影像中对用户设置的跟踪框尺寸进行处理并发出提示。还可以调整跟踪框中的基准点的位置。

Description

影像处理方法、装置与可移动设备、无人机遥控器及***

技术领域

本发明涉及影像技术领域，尤其是涉及一种影像处理方法、影像处理装置、可移动设备、无人机遥控器及无人机***。

背景技术

目前，使用智能终端以及配套的可移动设备进行录像，直播，显示，跟踪目标等影像功能越来越普遍。例如可以通过智能终端观看配套的无人机或者手持云台获取到的影像。但是现有技术在同时进行录像，直播，显示，跟踪目标等多个影像数据处理任务的过程中，会存在影像数据流无法同时支持上述多个任务同时进行的问题。而且在进行跟踪目标的影像中，用户设置的跟踪框如果出现尺寸设置不当无法进行正确有效的提示。在进行跟踪目标时，由于构图中心点的时刻变动导致跟踪目标时选取的基准点不准确，从而导致跟踪目标的任务的失败。

发明内容

本发明实施例提供了一种影像处理方法、影像处理装置、可移动设备、无人机遥控器及无人机***，用于提供一种能够同时并流畅地处理多个影像功能的方法，对影像中的跟踪框的尺寸处理以及提示方法以及跟踪框基准点的调整方法。

有鉴于此，本发明第一方面提供一种影像处理方法，包括：

将源影像数据流转换成至少两路子影像数据流；

通过中央处理器CPU处理子影像数据流的第一子影像数据流，通过图形处理器GPU处理子影像数据流的第二子影像数据流。

结合第一方面，本发明的第一个可能的实现方式中，通过中央处理器CPU处理子影像数据流的第一子影像数据流，通过图形处理器GPU处理子影像数据流的第二子影像数据流之前，还包括：

将第一子影像数据流传输至中央处理器缓冲器CPU Buffer，将第二子影像数据流传输至图形处理器缓冲器GPU Buffer。

结合第一方面和第一方面的第一个可能的实现方式，本发明的第二个可能的实现方式中，第一子影像数据流包括录像和直播的数据流，和/或第二子影像数据流包括显示和跟踪目标的数据流。

结合第一方面和第一方面的第一个至第二个可能的实现方式，本发明的第三个可能的实现方式中，第二子影像数据流包括跟踪目标的数据流，影像处理方法还具体包括：

根据预设条件判断进行跟踪目标的跟踪框的尺寸是否满足第一预设条件。

结合第一方面和第一方面的第一个至第三个可能的实现方式，本发明的第四个可能的实现方式中，第一预设条件为：

若跟踪框的宽度的像素值和长度的像素值的比值或长度的像素值和宽度的像素值的比值小于第一预定阈值，则进一步判断宽度的像素值和长度的像素值的乘积的大小；

若跟踪框的宽度的像素值和长度的像素值的比值或长度的像素值和宽度的像素值的比值大于第一预定阈值，则调整宽度的像素值和/或长度的像素值。

结合第一方面和第一方面的第一个至第四个可能的实现方式，本发明的第五个可能的实现方式中，若跟踪框的宽度的像素值和长度的像素值的比值或长度的像素值和宽度的像素值的比值小于第一预定阈值，则进一步判断宽度的像素值和长度的像素值的乘积的大小，具体包括：

若宽度的像素值和长度的像素值的乘积小于第二预定阈值，则提示跟踪框太小。

结合第一方面和第一方面的第一个至第五个可能的实现方式，本发明的第六个可能的实现方式中，若跟踪框的宽度的像素值和长度的像素值的比值或长度的像素值和宽度的像素值的比值大于第一预定阈值，则调整宽度的像素值和/或长度的像素值，具体包括：

若宽度的像素值较大，则将长度的像素值增大至宽度的像素值与第一预定阈值的比值；

若长度的像素值较大，则将宽度的像素值增大至长度的像素值与第一预定阈值的比值。

结合第一方面和第一方面的第一个至第六个可能的实现方式，本发明的第七个可能的实现方式中，第一预设条件为：

若宽度的像素值和长度的像素值的乘积小于第二预定阈值，则提示跟踪框太小；

若宽度的像素值和长度的像素值的乘积大于第二预定阈值，则检查宽度的像素值和长度的像素值的比值或长度的像素值和宽度的像素值的比值是否小于第一预定阈值。

结合第一方面和第一方面的第一个至第七个可能的实现方式，本发明的第八个可能的实现方式中，若宽度的像素值和长度的像素值的乘积大于第二预定阈值，则检查宽度的像素值和长度的像素值的比值或长度的像素值和宽度的像素值的比值是否小于第一预定阈值，具体包括：

若跟踪框的宽度的像素值和长度的像素值的比值或宽度的像素值和长度的像素值的比值大于第一预定阈值，

若宽度的像素值较大，则将长度的像素值增大至宽度的像素值与第一预定阈值的比值；

若长度的像素值较大，则将宽度的像素值增大至长度的像素值与第一预定阈值的比值。

结合第一方面和第一方面的第一个至第八个可能的实现方式，本发明的第九个可能的实现方式中，跟踪框为矩形、多边形、椭圆形、圆形，宽度为跟踪框沿宽度方向的最大尺寸，长度为沿长度方向的最大尺寸。

结合第一方面和第一方面的第一个至第九个可能的实现方式，本发明的第十个可能的实现方式中，判断跟踪框的宽的像素值与高的像素值是否满足第一预设条件之前，还包括：

当显示用于进行跟踪目标的数据流的影像帧时，根据用户的动作信息生成跟踪框。

结合第一方面和第一方面的第一个至第十个可能的实现方式，本发明的第十一个可能的实现方式中，第二子影像数据流包括跟踪目标的数据流，影像处理方法还具体包括：

每隔预设的固定周期计算所接收的用于进行跟踪目标的数据流的影像帧的中心点数据；

根据中心点数据更新用于进行跟踪目标的数据流的影像帧的基准点位置。

结合第一方面和第一方面的第一个至第十一个可能的实现方式，本发明的第十二个可能的实现方式中，根据中心点数据更新用于进行跟踪目标的数据流的影像帧的基准点位置包括：

对比基准点位置与中心点数据的坐标的偏移量；

根据偏移量调整基准点位置的坐标。

本发明第二方面提供一种影像处理装置，影像处理装置影像处理装置影像处理装置影像处理装置其包括：

转换模块，用于将源影像数据流转换成至少两路子影像数据流；

处理模块，用于通过中央处理器CPU处理子影像数据流的第一子影像数据流，通过图形处理器GPU处理子影像数据流的第二子影像数据流。

结合第二方面，本发明的第一个可能的实现方式中，影像处理装置还包括：

传输模块，用于将第一子影像数据流传输至中央处理器缓冲器CPU Buffer，将第二子影像数据流传输至图形处理器缓冲器GPU Buffer。

结合第二方面和第二方面的第一个可能的实现方式，本发明的第二个可能的实现方式中，第一子影像数据流包括录像和直播的数据流，和/或第二子影像数据流包括显示和跟踪目标的数据流。

结合第二方面和第二方面的第一个至第二个可能的实现方式，本发明的第三个可能的实现方式中，所述第二子影像数据流包括跟踪目标的数据流，影像处理装置还包括：

第一判断模块，用于根据预设条件判断进行跟踪目标的跟踪框的尺寸是否满足第一预设条件。

结合第二方面和第二方面的第一个至第三个可能的实现方式，本发明的第四个可能的实现方式中，第一判断模块包括：

第一判断单元，用于判断跟踪框的宽度的像素值和长度的像素值的比值或长度的像素值和宽度的像素值的比值是否小于第一预定阈值；

第二判断单元，用于若第一判断单元判断跟踪框的宽度的像素值和长度的像素值的比值或长度的像素值和宽度的像素值的比值小于第一预定阈值，则进一步判断宽度的像素值和长度的像素值的乘积的大小；

所述影像处理装置进一步包括调整模块：

所述调整模块，用于若第一判断模块判断跟踪框的宽度的像素值和长度的像素值的比值或宽度的像素值和长度的像素值的比值大于第一预定阈值，则调整宽度的像素值和/或长度的像素值。

结合第二方面和第二方面的第一个至第四个可能的实现方式，本发明的第五个可能的实现方式中，影像处理装置还包括：

提示模块，用于若第一判断模块判断宽度的像素值和长度的像素值的乘积小于第二预定阈值，则提示跟踪框太小。

结合第二方面和第二方面的第一个至第五个可能的实现方式，本发明的第六个可能的实现方式中，调整模块包括：

第一调整单元，用于若宽度的像素值较大，则将长度的像素值增大至宽度的像素值与第一预定阈值的比值；

第二调整单元，用于若长度的像素值较大，则将宽度的像素值增大至长度的像素值与第一预定阈值的比值。

结合第二方面和第二方面的第一个至第六个可能的实现方式，本发明的第七个可能的实现方式中，影像处理装置还包括：

检查模块，用于若第一判断模块判断宽度的像素值和长度的像素值的乘积大于第二预定阈值，则检查宽度的像素值和长度的像素值的比值或长度的像素值和宽度的像素值的比值是否小于第一预定阈值。

结合第二方面和第二方面的第一个至第七个可能的实现方式，本发明的第八个可能的实现方式中，第一调整单元还用于若检查模块判断跟踪框的宽度的像素值和长度的像素值的比值或长度的像素值和宽度的像素值的比值大于第一预定阈值，且若宽度的像素值较大，则将长度的像素值增大至宽度的像素值与第一预定阈值的比值；

第二调整单元还用于若检查模块判断跟踪框的宽度的像素值和长度的像素值的比值或长度的像素值和宽度的像素值的比值大于第一预定阈值，且若长度的像素值较大，则将宽度的像素值增大至长度的像素值与第一预定阈值的比值。

结合第二方面和第二方面的第一个至第八个可能的实现方式，本发明的第九个可能的实现方式中，跟踪框为矩形、多边形、椭圆形、圆形，宽度为跟踪框沿宽度方向的最大尺寸，长度为沿长度方向的最大尺寸。

结合第二方面和第二方面的第一个至第九个可能的实现方式，本发明的第十个可能的实现方式中，显示装置还显示用于进行跟踪目标的数据流的影像帧，影像处理装置还包括：

生成模块，用于当显示装置显示用于进行跟踪目标的数据流的影像帧时，根据用户的动作信息生成跟踪框。

结合第二方面和第二方面的第一个至第十个可能的实现方式，本发明的第十一个可能的实现方式中，第二子影像数据流包括跟踪目标的数据流，所述影像处理装置还包括：

计算模块，用于计算用于进行跟踪目标的数据流的影像帧的中心点数据；

更新模块，用于根据中心点数据更新用于进行跟踪目标的数据流的影像帧的基准点位置。

结合第二方面和第二方面的第一个至第十一个可能的实现方式，本发明的第十二个可能的实现方式中，更新模块包括：

对比单元，用于对比基准点位置与中心点数据的坐标的偏移量；

偏移调整单元，用于根据偏移量调整基准点位置的坐标。

结合第二方面和第二方面的第一个至第十二个可能的实现方式，本发明的第十三个可能的实现方式中，可移动设备为手持式云台或无人机。

本发明第三方面提供一种可移动设备，包括影像获取装置、显示装置以及上述任一种所述的影像处理装置，所述影像获取装置用于获取源影像数据，所述显示装置用于显示影像数据。

本实施例中，所述影像获取装置为相机，显示装置为显示屏。

结合第三方面和第三方面第一个可能的实现方式，本发明的第二个可能的实现方式中，所述第二子影像数据流包括跟踪目标的数据流，

所述获取装置用于每隔固定的预设周期获取一次源影像数据流；

所述影像处理装置包括：

传输模块，用于将定期传输的所述源影像数据流中的跟踪目标的数据流传输给计算模块；

计算模块，用于根据所述传输模块传输的跟踪目标的数据流计算所述跟踪目标的数据流的影像帧的中心点数据；及

更新模块，用于根据所述中心点数据更新所述用于进行跟踪目标的数据流的影像帧的基准点位置。

结合第三方面和第三方面第一个至第二个可能的实现方式，本发明的第三个可能的实现方式中，所述可移动设备为手持式云台。

本发明第四方面提供一种无人机遥控器，包括接收装置、显示装置以及如上述任一项所述的影像处理装置，所述接收装置用于接收无人机的拍摄装置获取的影像数据，所述显示装置用于显示所述影像数据，所述影像处理装置对所述影像进行处理。

本发明第五方面提供一种无人机***，包括无人机遥控器及无人机，所述无人机遥控器包括显示装置，所述无人机包括影像获取装置，其特征在于，所述控制端和/或无人机还包括如上述任一项所述的影像处理装置。

从以上技术方案可以看出，本发明实施例具有以下优点：

本发明实施例提供了一种影像处理方法、影像处理装置、可移动设备、无人机遥控器及无人机***，通过将源影像数据流转换成多个子影像数据流，然后分别传输到不同单元进行处理，解决了无法同时流畅的进行录像，直播，显示，跟踪目标等功能的问题。此外，在用户启动跟踪目标的功能进行观看被跟踪目标的影像时，判断用户设置的跟踪框的尺寸是否符合条件。从而进行调整或发出提示，使用户能正确设置跟踪框的尺寸。以及对跟踪目标的影像数据流的视频帧的中心点数据的获取，根据中心点数据调整用于跟踪目标的影像数据流的基准点位置，提高跟踪目标的准确度。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1是本发明实施例的一种设备组合示意图；

图2是本发明实施例的一种影像处理方法的一个实施例示意图；

图3是本发明实施例的一种影像处理方法的另一个实施例示意图；

图4是本发明实施例的一种影像处理方法的一个实际应用示意图；

图5是本发明实施例的一种影像处理方法的另一个实施例示意图；

图6是本发明实施例的一种影像处理方法的另一个实际应用示意图；

图7是本发明实施例的一种影像处理方法的另一个实施例示意图；

图8是本发明实施例的一种影像处理方法的另一个实际应用示意图；

图9是本发明实施例的一种影像处理方法的另一个实施例示意图；

图10是本发明实施例的一种可移动设备的一个实施例示意图；

图11是本发明实施例的一种无人机遥控器的一个实施例示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

本发明实施例提供一种影像处理方法与可移动设备，主要用于影像处理技术领域，能够同时进行多个影像处理任务，以及在进行跟踪目标的影像任务时对用户输入的跟踪框进行优化处理。

在实际应用中，本发明实施例可以是通过智能终端配合可移动设备进行工作。此处请参阅图1，图1是本发明实施例设备组合示意图。其中，用户可以通过智能终端观看影像，影像是通过可移动设备采集的，可移动设备采集影像并对影像进行处理后传输至智能终端。这里的可移动设备可以是无人机、手持式云台、无人车、无人船等，此处不作具体限定。由于可移动设备采集完影像资料后需要对影像进行处理，以下结合图2所示对本发明实施例所提供的一种影像处理方法进行详细说明，本发明实施例包括：

步骤201、将源影像数据流转换成至少两路子影像数据流；

可移动设备采集影像，并将得到的影像转换成源影像数据流。当得到源影像数据流后，将源影像数据流转换成至少两路子影像数据流，对于子影像数据流的数量，此处不作具体限定。

步骤202、通过CPU(Central Processing Unit，中央处理器)处理第一子影像数据流，通过GPU(Graphics Processing Unit，图形处理器)处理第二子影像数据流；

当可移动设备将源影像数据流转换并得到至少两路子影像数据流后，会将不同的子影像数据流分别传输至CPU以及GPU进行后续处理。其中，至少一路子影像数据流会被传输至CPU进行处理，至少一路子影像数据流会被传输至GPU进行处理。为了方便起见，被传输至CPU进行处理的子影像数据流记为第一子影像数据流，被传输至GPU进行处理的子影像数据流记为第二子影像数据流。传输至CPU进行处理的子影像数据流用于录像和直播，传输至GPU进行处理的子影像数据流用于显示和跟踪目标。通过将影像数据流合理分配至CPU以及GPU进行处理并通过GPU和CPU在多线程下的合理调度，可以使录像、直播、显示、跟踪目标等不同的功能可以同时流畅地进行。此外，还可以通过对需要显示的影像的显示方向的优化设置使得录像、直播、显示、跟踪目标等不同的功能的画面显示保持一致。具体的，可以在录像功能启动时设置一个预定的固定的影像显示方向；而在直播中可以实时根据当前设备的方向去实时调整影像显示方向；在显示和跟踪目标时可以根据当前设备的方向以及摄像头的方向两个方向一并考虑从而调整影像显示方向。经影像显示方向的设置及调整可以保证在录像、直播、显示、跟踪目标等不同的功能中的影像显示画面的一致性。

在本发明的一个实施例中，在将第一子影像数据流传输至CPU进行处理，将第二子影像数据流传输至GPU进行处理之前，可以先分别将第一子影像数据流传输至CPU Buffer(Central Processing UnitBuffer，中央处理器缓冲器)，将第二子影像数据流传输至GPUBuffer(Graphics Processing Unit Buffer，图形处理器缓冲器)。以下结合图3进行说明。

在本发明实施例中步骤301与步骤201相同，步骤303与步骤202相同，此处不再赘述。

步骤302、将第一子影像数据流传输至CPU Buffer，将第二子影像数据流传输至GPUBuffer；

当可移动设备将源影像数据流转换成子影像数据流后，可以先将不同的子影像数据流分别传输至CPU Buffer以及GPU Buffer，然后将子影像数据流分别存储在CPU Buffer以及GPU Buffer。当存储在CPU Buffer以及GPU Buffer的子影像数据流达到一定阈值后，CPU以及GPU可以分别取走对应的子影像数据流。这样可以方便CPU以及GPU将完整的数据统一取走，起到缓冲的作用。

以下可以参阅图4，图4是一个影像数据流传输示意图。在得到源影像数据流后，源影像数据流被转换成两路子影像数据流并分别传输至CPU Buffer以及GPU Buffer，然后再分别传输至CPU以及GPU进行录像、直播、显示、跟踪目标等功能。

本发明的一个实施例中，当用户启动跟踪目标的功能观看被跟踪目标的影像时，需要用户设定相应的跟踪框用于跟踪目标。以下结合图5对跟踪框的设置以及对跟踪框是否有效的条件以及处理方法进行说明。

步骤501、根据用户的动作信息生成跟踪框；

用户可以通过发出动作信息指示设备生成跟踪框，动作信息可以包括手指在屏幕上的滑动或拉拽动作，也可以是点击特定的按键的动作，此处不作具体限定。生成的跟踪框可以是矩形、多边形、椭圆形、圆形，此处不作具体限定。

步骤502、判断跟踪框的宽度的像素值和长度的像素值的比值或长度的像素值和宽度的像素值的比值小于第一预定阈值；

当跟踪框生成后，先判断跟踪框的尺寸是否满足第一预设条件。这里的第一预设条件可以设定为跟踪框的宽度的像素值和长度的像素值的比值或长度的像素值和宽度的像素值的比值小于第一预定阈值。

步骤503、判断宽度的像素值和长度的像素值的乘积是否小于第二预定阈值；

当跟踪框的宽度的像素值和长度的像素值的比值或长度的像素值和宽度的像素值的比值小于第一预定阈值时，会进一步判断跟踪框的宽度的像素值和长度的像素值的乘积的大小是否小于第二预定阈值。

步骤504、调整宽度的像素值和/或长度的像素值；

当跟踪框的宽度的像素值和长度的像素值的比值或长度的像素值和宽度的像素值的比值大于第一预定阈值，则调整宽度的像素值和/或长度的像素值。具体的调整方法可以如下：若宽度的像素值较大，则将长度的像素值增大至宽度的像素值与第一预定阈值的比值；若长度的像素值较大，则将宽度的像素值增大至长度的像素值与第一预定阈值的比值。调整完成后会执行步骤503，判断调整后的宽度的像素值和长度的像素值的乘积是否小于第二预定阈值。

步骤505、提示跟踪框太小；

当跟踪框宽度的像素值和长度的像素值的乘积的大小小于第二预定阈值时，会显示提示信息，提示用户跟踪框太小。用户接收到提示信息后可以重新通过动作信息生成一个新的跟踪框。

在实际应用中，可以参阅本发明的一个实施例，此处请参阅图6，这里设置第一预定阈值为3，第二预定阈值为1000。当跟踪框被生成后，会先判断跟踪框的宽度的像素值和长度的像素值的比值以及长度的像素值和宽度的像素值的比值是否小于3。如果宽度的像素值和长度的像素值的比值以及长度的像素值和宽度的像素值的比值均小于3，则进一步判断宽度的像素值和长度的像素值的乘积是否小于1000。如果是则会发出提示信息提示跟踪框太小。例如生成的跟踪框的宽度的像素值为25，长度的像素值为35。由于宽度的像素值和长度的像素值的比值以及长度的像素值和宽度的像素值的比值都小于3，则进一步判断宽度的像素值和长度的像素值的乘积是否小于1000。由于宽度的像素值和长度的像素值的乘积为875，小于1000，则最后会提示用户跟踪框太小。

当跟踪框的宽度的像素值和长度的像素值的比值大于3时，会调整长度的像素值至宽度像素值的3分之1。当长度的像素值和宽度的像素值的比值大于3，会调整宽度的像素值至长度像素值的3分之1。调整完成后会转到判断宽度的像素值和长度的像素值的乘积是否小于1000这个步骤。

在本发明的一个实施例中，可以通过改变第一预设条件从而改变对跟踪框是否有效的条件的判断以及处理方法。以下结合图7进行说明。

本发明实施例中步骤701与步骤501相同，步骤702与步骤503相同，步骤703与步骤505相同，步骤704与步骤502相同，此处不再赘述。

步骤705、调整宽度的像素值和/或长度的像素值；

当跟踪框的宽度的像素值和长度的像素值的比值或长度的像素值和宽度的像素值的比值大于第一预定阈值，则调整宽度的像素值和/或长度的像素值。具体的调整方法可以如下：若宽度的像素值较大，则将长度的像素值增大至宽度的像素值与第一预定阈值的比值；若长度的像素值较大，则将宽度的像素值增大至长度的像素值与第一预定阈值的比值。

在实际应用中，可以参阅本发明的一个实施例，此处请参阅图8，这里设置第一预定阈值为3，第二预定阈值为1000。当跟踪框被生成后，会先判断宽度的像素值和长度的像素值的乘积是否小于1000，如果是则会发出提示信息提示跟踪框太小。例如生成的跟踪框的宽度的像素值为25，长度的像素值为35。由于宽度的像素值和长度的像素值的乘积为875，小于1000，则最后会提示用户跟踪框太小。如果宽度的像素值和长度的像素值的乘积大于1000，则会进一步判断跟踪框的宽度的像素值和长度的像素值的比值以及长度的像素值和宽度的像素值的比值是否小于3。如果跟踪框的宽度的像素值和长度的像素值的比值大于3时，会调整长度的像素值至宽度像素值的3分之1。当长度的像素值和宽度的像素值的比值大于3，会调整宽度的像素值至长度像素值的3分之1。

在本发明的一个实施例中，通过每隔预设的固定周期计算所接收的用于进行跟踪目标的数据流的影像帧的中心点数据。可以根据中心点数据更新用于进行跟踪目标的数据流的影像帧的基准点位置。以下结合图9进行说明。

步骤901、对比基准点位置与中心点数据的坐标的偏移量；

当计算得到中心点数据后，比较用于进行跟踪目标的数据流的影像帧的基准点位置的坐标与中心点数据的坐标的偏移量，例如比较横轴坐标与纵轴坐标的偏移量。基准点是用于跟踪目标的参考点，基准点的设置能够影响跟踪目标的精准度。

步骤902、根据偏移量调整基准点位置的坐标；

得到基准点位置的坐标与中心点数据的坐标的偏移量，通过该偏移量调整基准点位置的坐标。例如基准点位置的坐标与中心点数据的坐标的横轴坐标偏移量为x，纵轴坐标偏移量为y，则根据x和y分别调整基准点位置的坐标，具体的调整方法及公式此处不作具体限定。

为便于理解，下面对本发明实施例中的可移动设备进行详细描述，以下结合图10进行说明。可移动设备包括影像获取装置、显示装置以及影像处理装置，影像获取装置用于获取源影像数据，显示装置用于显示影像数据，影像处理装置用于对影像数据进行处理，影像处理装置通过以下步骤对影像数据进行处理：

影像处理装置包括：

转换模块1001，用于将源影像数据流转换成至少两路子影像数据流。

处理模块1002，用于通过中央处理器CPU处理子影像数据流的第一子影像数据流，通过图形处理器GPU处理子影像数据流的第二子影像数据流。

本发明实施例中，影像处理装置还包括：

传输模块1003，用于将第一子影像数据流传输至中央处理器缓冲器CPU Buffer，将第二子影像数据流传输至图形处理器缓冲器GPU Buffer。

本发明实施例中，第一子影像数据流包括录像和直播的数据流，和/或第二子影像数据流包括显示和跟踪目标的数据流。

本发明实施例中，影像处理装置还包括：

第一判断模块1004，用于根据预设条件判断进行跟踪目标的跟踪框的尺寸是否满足第一预设条件。

本发明实施例中，所述第二子影像数据流包括跟踪目标的数据流，第一判断模块1004进一步包括：

第一判断单元10041，用于判断跟踪框的宽度的像素值和长度的像素值的比值或长度的像素值和宽度的像素值的比值是否小于第一预定阈值。

第二判断单元10042，用于若第一判断单元10041判断跟踪框的宽度的像素值和长度的像素值的比值或长度的像素值和宽度的像素值的比值小于第一预定阈值，则进一步判断宽度的像素值和长度的像素值的乘积的大小。

本发明实施例中，所述影像处理装置进一步包括调整模块1008：

所述调整模块1008，用于若第一判断模块1004判断跟踪框的宽度的像素值和长度的像素值的比值或宽度的像素值和长度的像素值的比值大于第一预定阈值，则调整宽度的像素值和/或长度的像素值。

本发明实施例中，影像处理装置还包括：

提示模块1005，用于若第一判断模块1004判断宽度的像素值和长度的像素值的乘积小于第二预定阈值，则提示跟踪框太小。

本发明实施例中，调整模块1008进一步包括：

第一调整单元10081，用于若宽度的像素值较大，则将长度的像素值增大至宽度的像素值与第一预定阈值的比值。

第二调整单元10082，用于若长度的像素值较大，则将宽度的像素值增大至长度的像素值与第一预定阈值的比值。

本发明实施例中，影像处理装置还包括：

检查模块1006，用于若第一判断模块1004判断宽度的像素值和长度的像素值的乘积大于第二预定阈值，则检查宽度的像素值和长度的像素值的比值或长度的像素值和宽度的像素值的比值是否小于第一预定阈值。

本发明实施例中，第一调整单元10081还用于若检查模块1006判断跟踪框的宽度的像素值和长度的像素值的比值或长度的像素值和宽度的像素值的比值大于第一预定阈值，且若宽度的像素值较大，则将长度的像素值增大至宽度的像素值与第一预定阈值的比值。

第二调整单元10082还用于若检查模块1006判断跟踪框的宽度的像素值和长度的像素值的比值或长度的像素值和宽度的像素值的比值大于第一预定阈值，且若长度的像素值较大，则将宽度的像素值增大至长度的像素值与第一预定阈值的比值。

本发明实施例中，跟踪框为矩形、多边形、椭圆形、圆形，宽度为跟踪框沿宽度方向的最大尺寸，长度为沿长度方向的最大尺寸。

本发明实施例中，影像处理装置还包括：

生成模块1007，用于当显示装置显示用于进行跟踪目标的数据流的影像帧时，根据用户的动作信息生成跟踪框。

本发明实施例中，影像获取装置还包括：

计算模块1009，用于计算进行跟踪目标的数据流的影像帧的中心点数据。

更新模块1010，用于根据中心点数据更新用于进行跟踪目标的数据流的影像帧的基准点位置。

本发明实施例中，更新模块1010包括：

对比单元10101，用于对比基准点位置与中心点数据的坐标的偏移量。

偏移调整单元10102，用于根据偏移量调整基准点位置的坐标。

本发明实施例中，可移动设备可以是手持式云台、无人机、无人车、无人船等。

可以理解，所述影像获取装置用于每隔固定的预设周期获取一次源影像数据流；

所述影像处理装置的传输模块1003，用于将定期传输的所述源影像数据流中的跟踪目标的数据流传输给计算模块1009；

计算模块1009，用于根据所述传输模块1003传输的跟踪目标的数据流计算所述跟踪目标的数据流的影像帧的中心点数据；及

更新模块1010，用于根据所述中心点数据更新所述用于进行跟踪目标的数据流的影像帧的基准点位置。

此外，请参阅图11，本发明还提供一种无人机遥控器，包括接收装2001、显示装置2003及如上文所述的影像处理装置2005。所述接收装置2001用于接收无人机的拍摄装置获取的影像数据，所述显示装置2003用于显示所述影像数据，所述影像处理装置2005对所述影像进行处理。

另，本发明还提供一种无人机***，包括无人机遥控器及无人机，其中无人机遥控器包括显示装置，无人机包括影像获取装置，其特征在于，所述控制端和/或无人机还包括如上文所述的影像处理装置。

若图像处理装置位于无人机遥控器，则无人机将获取的影像数据传输给无人机遥控器以便无人机遥控器的影像处理装置对影像进行处理；若图像处理装置位于无人机，则无人机上的影像处理装置对影像进行处理。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的***，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，RandomAccess Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (31)

1.一种影像处理方法，其特征在于，包括：

将源影像数据流转换成至少两路子影像数据流；

通过中央处理器CPU处理所述子影像数据流的第一子影像数据流，通过图形处理器GPU处理所述子影像数据流的第二子影像数据流。

2.根据权利要求1所述的影像处理方法，其特征在于，通过中央处理器CPU处理所述子影像数据流的第一子影像数据流，通过图形处理器GPU处理所述子影像数据流的第二子影像数据流之前，还包括：

将所述第一子影像数据流传输至中央处理器缓冲器CPU Buffer，将所述第二子影像数据流传输至图形处理器缓冲器GPU Buffer。

3.根据权利要求1所述的影像处理方法，其特征在于，所述第一子影像数据流包括录像和直播的数据流，和/或所述第二子影像数据流包括显示和跟踪目标的数据流。

4.根据权利要求1所述的影像处理方法，其特征在于，所述第二子影像数据流包括跟踪目标的数据流，所述影像处理方法还具体包括：

根据预设条件判断进行跟踪目标的跟踪框的尺寸是否满足第一预设条件。

5.根据权利要求4所述的影像处理方法，其特征在于，所述第一预设条件为：

若所述跟踪框的宽度的像素值和长度的像素值的比值或长度的像素值和宽度的像素值的比值小于第一预定阈值，则进一步判断所述宽度的像素值和长度的像素值的乘积的大小；

若所述跟踪框的宽度的像素值和长度的像素值的比值或长度的像素值和宽度的像素值的比值大于第一预定阈值，则调整所述宽度的像素值和/或长度的像素值。

6.根据权利要求5所述的影像处理方法，其特征在于，若所述跟踪框的宽度的像素值和长度的像素值的比值或长度的像素值和宽度的像素值的比值小于第一预定阈值，则进一步判断所述宽度的像素值和长度的像素值的乘积的大小，具体包括：

若所述宽度的像素值和长度的像素值的乘积小于第二预定阈值，则提示跟踪框太小。

7.根据权利要求5所述的影像处理方法，其特征在于，若所述跟踪框的宽度的像素值和长度的像素值的比值或长度的像素值和宽度的像素值的比值大于第一预定阈值，则调整所述宽度的像素值和/或长度的像素值，具体包括：

若宽度的像素值较大，则将长度的像素值增大至宽度的像素值与第一预定阈值的比值；

若长度的像素值较大，则将宽度的像素值增大至长度的像素值与第一预定阈值的比值。

8.根据权利要求4所述的影像处理方法，其特征在于，所述第一预设条件为：

若所述宽度的像素值和长度的像素值的乘积小于第二预定阈值，则提示跟踪框太小；

若所述宽度的像素值和长度的像素值的乘积大于第二预定阈值，则检查所述宽度的像素值和长度的像素值的比值或长度的像素值和宽度的像素值的比值是否小于第一预定阈值。

9.根据权利要求8所述的影像处理方法，其特征在于，若所述宽度的像素值和长度的像素值的乘积大于第二预定阈值，则检查所述宽度的像素值和长度的像素值的比值或长度的像素值和宽度的像素值的比值是否小于第一预定阈值，具体包括：

若所述跟踪框的宽度的像素值和长度的像素值的比值或宽度的像素值和长度的像素值的比值大于第一预定阈值，

若宽度的像素值较大，则将长度的像素值增大至宽度的像素值与第一预定阈值的比值；

若长度的像素值较大，则将宽度的像素值增大至长度的像素值与第一预定阈值的比值。

10.根据权利要求4所述的影像处理方法，其特征在于，所述跟踪框为矩形、多边形、椭圆形、圆形，所述宽度为跟踪框沿宽度方向的最大尺寸，所述长度为沿长度方向的最大尺寸。

11.根据权利要求4所述的影像处理方法，其特征在于，所述判断跟踪框的宽的像素值与高的像素值是否满足第一预设条件之前，还包括：

当显示用于进行跟踪目标的数据流的影像帧时，根据用户的动作信息生成所述跟踪框。

12.根据权利要求1所述的影像处理方法，其特征在于，所述第二子影像数据流包括跟踪目标的数据流，所述影像处理方法还具体包括：

每隔预设的固定周期计算所接收的用于进行跟踪目标的数据流的影像帧的中心点数据；

根据所述中心点数据更新所述用于进行跟踪目标的数据流的影像帧的基准点位置。

13.根据权利要求12所述的影像处理方法，其特征在于，所述根据所述中心点数据更新所述用于进行跟踪目标的数据流的影像帧的基准点位置包括：

对比所述基准点位置与所述中心点数据的坐标的偏移量；

根据所述偏移量调整所述基准点位置的坐标。

14.一种可影像处理装置，影像处理装置影像处理装置影像处理装置

影像处理装置包括：

转换模块，用于将源影像数据流转换成至少两路子影像数据流；

处理模块，用于通过中央处理器CPU处理所述子影像数据流的第一子影像数据流，通过图形处理器GPU处理所述子影像数据流的第二子影像数据流。

15.根据权利要求14所述的影像处理装置，其特征在于，所述影像影像处理装置还包括：

传输模块，用于将所述第一子影像数据流传输至中央处理器缓冲器CPU Buffer，将所述第二子影像数据流传输至图形处理器缓冲器GPU Buffer。

16.根据权利要求15所述的影像处理装置，其特征在于，所述第一子影像数据流包括录像和直播的数据流，和/或所述第二子影像数据流包括显示和跟踪目标的数据流。

17.根据权利要求14所述的影像处理装置，其特征在于，所述第二子影像数据流包括跟踪目标的数据流，所述影像处理装置还包括：

第一判断模块，用于根据预设条件判断进行跟踪目标的跟踪框的尺寸是否满足第一预设条件。

18.根据权利要求17所述的影像处理装置，其特征在于，所述第一判断模块包括：

第一判断单元，用于判断所述跟踪框的宽度的像素值和长度的像素值的比值或长度的像素值和宽度的像素值的比值是否小于第一预定阈值；

第二判断单元，用于若所述第一判断单元判断所述跟踪框的宽度的像素值和长度的像素值的比值或长度的像素值和宽度的像素值的比值小于第一预定阈值，则进一步判断所述宽度的像素值和长度的像素值的乘积的大小；

所述影像处理装置进一步包括调整模块：

调整模块，用于若第一判断模块判断所述跟踪框的宽度的像素值和长度的像素值的比值或宽度的像素值和长度的像素值的比值大于第一预定阈值，则调整所述宽度的像素值和/或长度的像素值。

19.根据权利要求18所述的影像处理装置，其特征在于，所述影像处理装置还包括：

提示模块，用于若所述第一判断模块判断所述宽度的像素值和长度的像素值的乘积小于第二预定阈值，则提示跟踪框太小。

20.根据权利要求18所述的影像处理装置，其特征在于，所述调整模块包括：

第一调整单元，用于若宽度的像素值较大，则将长度的像素值增大至宽度的像素值与第一预定阈值的比值；

第二调整单元，用于若长度的像素值较大，则将宽度的像素值增大至长度的像素值与第一预定阈值的比值。

21.根据权利要求17所述的影像处理装置，其特征在于，所述影像处理装置还包括：

检查模块，用于若所述第一判断模块判断所述宽度的像素值和长度的像素值的乘积大于第二预定阈值，则检查所述宽度的像素值和长度的像素值的比值或长度的像素值和宽度的像素值的比值是否小于第一预定阈值。

22.根据权利要求21所述的影像处理装置，其特征在于，所述第一调整单元还用于若所述检查模块判断所述跟踪框的宽度的像素值和长度的像素值的比值或长度的像素值和宽度的像素值的比值大于第一预定阈值，且若宽度的像素值较大，则将长度的像素值增大至宽度的像素值与第一预定阈值的比值；

所述第二调整单元还用于若所述检查模块判断所述跟踪框的宽度的像素值和长度的像素值的比值或长度的像素值和宽度的像素值的比值大于第一预定阈值，且若长度的像素值较大，则将宽度的像素值增大至长度的像素值与第一预定阈值的比值。

23.根据权利要求17所述的影像处理装置，其特征在于，所述跟踪框为矩形、多边形、椭圆形、圆形，所述宽度为跟踪框沿宽度方向的最大尺寸，所述长度为沿长度方向的最大尺寸。

24.根据权利要求17所述的影像处理装置，其特征在于，所述影像处理装置还包括：

生成模块，用于当所述显示装置显示用于进行跟踪目标的数据流的影像帧时，根据用户的动作信息生成所述跟踪框。

25.根据权利要求14所述的影像处理装置，其特征在于，所述第二子影像数据流包括跟踪目标的数据流，

所述影像处理装置还包括：

计算模块，用于计算进行跟踪目标的数据流的影像帧的中心点数据；

更新模块，用于根据所述中心点数据更新所述用于进行跟踪目标的数据流的影像帧的基准点位置。

26.根据权利要求25所述的影像处理装置，其特征在于，所述更新模块包括：

对比单元，用于对比所述基准点位置与所述中心点数据的坐标的偏移量；

偏移调整单元，用于根据所述偏移量调整所述基准点位置的坐标。

27.一种可移动设备，包括影像获取装置、显示装置以及如权利要求14-26中任一项所述的影像处理装置，所述影像获取装置用于获取源影像数据，所述显示装置用于显示影像数据。

28.如权利要求27所述的可移动设备，其特征在于，所述第二子影像数据流包括跟踪目标的数据流，

所述影像获取装置用于每隔固定的预设周期获取一次源影像数据流；

所述影像处理装置包括：

传输模块，用于将定期传输的所述源影像数据流中的跟踪目标的数据流传输给计算模块；

计算模块，用于根据所述传输模块传输的跟踪目标的数据流计算所述跟踪目标的数据流的影像帧的中心点数据；及

更新模块，用于根据所述中心点数据更新所述用于进行跟踪目标的数据流的影像帧的基准点位置。

29.根据权利要求27所述的可移动设备，其特征在于，所述可移动设备为手持式云台。

30.一种无人机遥控器，包括接收装置、显示装置以及如权利要求14-26任一项所述的影像处理装置，所述接收装置用于接收无人机的拍摄装置获取的影像数据，所述显示装置用于显示所述影像数据，所述影像处理装置对所述影像进行处理。

31.一种无人机***，包括无人机遥控器及无人机，所述无人机遥控器包括显示装置，所述无人机包括影像获取装置，其特征在于，所述控制端和/或无人机还包括如权利要求14-26中任一项所述的影像处理装置。