CN110147708A - 一种图像数据处理方法和相关装置 - Google Patents

Abstract

本发明实施例公开了一种图像数据处理方法和相关装置，该方法包括：获取第一时刻包含目标对象的第一图像帧，并从第一图像帧中获取多个第一角点的第一位置信息；获取第二时刻包含目标对象的第二图像帧，并在第二图像帧中获取多个第二角点的第二位置信息；将多个第二角点变换到第一图像帧，并在第一图像帧中确定所变换得到的多个第三角点的第三位置信息；根据多个第一角点的第一位置信息和多个第三角点的第三位置信息，确定目标变换矩阵，并根据目标变化矩阵确定目标对象在第二图像帧中的图像区域。采用本发明，可以提升对目标对象进行追踪的准确度。

Description

一种图像数据处理方法和相关装置

技术领域

本发明涉及互联网技术领域，尤其涉及一种图像数据处理方法和相关装置。

背景技术

目前的目标对象跟踪(例如人脸跟踪)方案主要是使用通用的跟踪算法，比如，核相关滤波算法(Kernel Correlation Filter，KCF)和追踪学习检测(Tracking-Learning-Detection、TLD)算法，在利用这些跟踪算法对人脸进行追踪的过程中，均需要对目标检测器进行不断的训练，以根据训练好的目标检测器去检测下一帧中的预测位置中是否存在人脸，以实现对人脸的追踪。然而由于人脸的运动较为灵活，且运动的自由度很大(比如，可以灵活地向左转动或向右转动)，比如，当人脸中的部分区域因运动而被遮挡时，将无法对该人脸进行跟踪，进而存在跟丢人脸的现象。此外，由于在通过这些跟踪算法对人脸的进行跟踪的过程中，随着时间的累计，将存在追踪误差的累计，进而使得基于上述跟踪算法所得到的跟踪区域(即人脸框)将产生较大的偏移，即无法准确地与实际脸部所在的区域进行贴合，进而降低了人脸跟踪的准确性。

发明内容

本发明实施例提供一种图像数据处理方法和相关装置，可以提升目标对象追踪的准确度。

本发明实施例一方面提供了一种图像数据处理方法，包括：

获取第一时刻包含目标对象的第一图像帧，并从所述第一图像帧中获取多个第一角点的第一位置信息；

获取第二时刻包含所述目标对象的第二图像帧，并在所述第二图像帧中获取多个第二角点的第二位置信息；

将所述多个第二角点变换到所述第一图像帧，并在所述第一图像帧中确定所变换得到的多个第三角点的第三位置信息；

根据所述多个第一角点的第一位置信息和所述多个第三角点的第三位置信息，确定目标变换矩阵，并根据所述目标变换矩阵确定所述目标对象在所述第二图像帧中的图像区域。

其中，所述获取第一时刻包含目标对象的第一图像帧，并从所述第一图像帧中获取多个第一角点的第一位置信息，包括：

获取第一时刻包含目标对象的第一图像帧，并从所述第一图像帧中确定与所述目标对象相关联的第一图像区域；

从第一图像区域中确定多个第一角点，并在所述第一图像帧中确定每个第一角点的第一位置信息。

其中，所述目标对象包括人脸；

所述获取第一时刻包含目标对象的第一图像帧，并从所述第一图像帧中确定与所述目标对象相关联的第一图像区域，包括：

获取第一时刻包含所述人脸的第一图像帧，并在所述第一图像帧中确定所述人脸对应的脸部区域；

基于神经网络模型从所述脸部区域中确定与所述人脸相关联的人脸关键点，并根据所述人脸关键点在所述脸部区域中的位置信息，确定所述人脸在所述第一图像帧中的第一图像区域。

其中，所述从所述第一图像区域中确定多个第一角点，并在所述第一图像帧中确定每个第一角点的第一位置信息，包括：

将所述第一图像区域均匀划分为M个子区域，其中，M为大于等于2的自然数；

在所述M个子区域中的每个子区域内分别提取N个第一角点，得到M×N个第一角点，其中，N为大于等于3的自然数；

在所述第一图像帧中确定所述M×N个第一角点中每个第一角点的第一位置信息。

其中，所述获取第二时刻包含所述目标对象的第二图像帧，并在所述第二图像帧中获取多个第二角点的第二位置信息，包括：

获取第二时刻包含所述目标对象的第二图像帧，并基于所述每个第一角点的第一位置信息，将所述每个第一角点映射到所述第二图像帧，并在所述第二图像帧中确定所映射得到的多个第二角点的第二位置信息，所述第二时刻为所述第一时刻的下一时刻。

其中，所述将所述多个第二角点变换到所述第一图像帧，包括：

基于所述多个角点中每个第一角点的第一位置信息，和所述多个第二角点中每个第二角点的第二位置信息，得到多个映射参量，其中，所述多个映射参量中一个映射参量基于一个第一角点的第一位置信息和一个第二角点的第二位置信息得到；

根据所述多个映射参量生成与所述多个第一角点对应的变换矩阵，并获取所述变换矩阵对应的逆矩阵，并将所述逆矩阵确定为第一变换矩阵；

根据所述第一变换矩阵和所述每个第二角点的第二位置信息，将所述每个第二角点变换到所述第一图像帧。

其中，所述根据所述多个第一角点的第一位置信息和所述多个第三角点的第三位置信息，确定目标变换矩阵，包括：

确定所述多个第一角点中每个第一角点对应的第三角点，其中，任一第一角点对应的第三角点基于所述任一第一角点映射得到的第二角点确定；

根据所述每个第一角点的第一位置信息和每个第三角点的第三位置信息，去除所述第一图像区域中的坏点；所述坏点为所述多个第一角点中的一个或者多个第一角点，所述一个或者多个第一角点中任一第一角点的第一位置信息与所述任一第一角点对应的第三角点的第三位置信息不匹配；

在所述第一图像区域中，将去除所述坏点之后所剩余的第一角点确定为多个第一更新角点；所述多个第一更新角点中的一个更新角点基于去除所述坏点之后所剩余的第一角点中的一个第一角点确定；

根据每个第一更新角点的第一位置信息，将所述每个第一更新角点映射到所述第二图像帧，并在所述第二图像帧中确定所映射得到的多个第二更新角点的第二更新位置信息；

根据所述每个第一更新角点的第一位置信息和每个第二更新角点的第二更新位置信息，生成目标变换矩阵。

其中，所述方法还包括：

统计去除所述第一图像区域中的坏点的次数，若统计到的所述次数大于或者等于次数阈值，则执行在所述第一图像区域中，将去除所述坏点之后所剩余的第一角点，确定为多个第一更新角点的步骤。

其中，所述根据所述每个第一角点的第一位置信息和所述每个第三角点的第三位置信息，去除所述第一图像区域中的坏点，包括：

根据所述每个第一角点的第一位置信息，和每个第三角点的第三位置信息，得到多个位置误差；所述多个位置误差中的任一位置误差基于任一第一角点的第一位置信息和所述任一第一角点对应的第三角点的第三位置信息确定；

计算所述多个位置误差之和；

若所述多个位置误差之和大于误差阈值，则去除所述第一图像区域中的一个或者多个第一角点。

其中，所述方法还包括：

若所述多个位置误差之和小于或者等于误差阈值，则将与所述多个第一角点对应的变换矩阵确定为目标变换矩阵。

本发明实施例一方面提供了一种图像数据处理装置，包括：

第一位置确定模块，用于获取第一时刻包含目标对象的第一图像帧，并从所述第一图像帧中获取多个第一角点的第一位置信息；

第二位置确定模块，用于获取第二时刻包含所述目标对象的第二图像帧，并在所述第二图像帧中获取多个第二角点的第二位置信息；

角点变换模块，用于将所述多个第二角点变换到所述第一图像帧；

第三位置确定模块，用于在所述第一图像帧中确定所变换得到的多个第三角点的第三位置信息；

目标矩阵生成模块，用于根据所述多个第一角点的第一位置信息和所述多个第三角点的第三位置信息，确定目标变换矩阵；

区域确定模块，用于根据所述目标变换矩阵确定所述目标对象在所述第二图像帧中的图像区域。

其中，所述第一位置确定模块包括：

第一区域确定单元，用于获取第一时刻包含目标对象的第一图像帧，并从所述第一图像帧中确定与所述目标对象相关联的第一图像区域；

第一位置确定单元，用于从第一图像区域中确定多个第一角点，并在所述第一图像帧中确定每个第一角点的第一位置信息。

其中，所述目标对象包括人脸；

所述第一区域确定单元，包括：

脸部区域确定子单元，用于获取第一时刻包含所述人脸的第一图像帧，并在所述第一图像帧中确定所述人脸对应的脸部区域；

关键点确定子单元，用于基于神经网络模型从所述脸部区域中确定与所述人脸相关联的人脸关键点，并根据所述人脸关键点在所述脸部区域中的位置信息，确定所述人脸在所述第一图像帧中的第一图像区域。

其中，所述第一位置确定单元，包括：

子区域划分子单元，用于将所述第一图像区域均匀划分为M个子区域，其中，M为大于等于2的自然数；

角点提取子单元，用于在所述M个子区域中的每个子区域内分别提取N个第一角点，得到M×N个第一角点，其中，N为大于等于3的自然数；

位置确定子单元，用于在所述第一图像帧中确定所述M×N个第一角点中每个第一角点的第一位置信息。

其中，所述第二位置确定模块，具体用于获取第二时刻包含所述目标对象的第二图像帧，并基于所述每个第一角点的第一位置信息，将所述每个第一角点映射到所述第二图像帧，并在所述第二图像帧中确定所映射得到的多个第二角点的第二位置信息，所述第二时刻为所述第一时刻的下一时刻。

其中，所述角点变换模块，包括：

映射参量生成单元，用于基于所述每个第一角点的第一位置信息，和每个第二角点的第二位置信息，得到多个映射参量，其中，所述多个映射参量中一个映射参量基于一个第一角点的第一位置信息和一个第二角点的第二位置信息得到；

变换矩阵生成单元，用于根据所述多个映射参量生成与所述多个第一角点对应的变换矩阵，并获取所述变换矩阵对应的逆矩阵，并将所述逆矩阵确定为第一变换矩阵；

角点变换单元，用于根据所述第一变换矩阵和所述每个第二角点的第二位置信息，将所述每个第二角点变换到所述第一图像帧。

其中，所述目标矩阵生成模块，包括：

对应关系确定单元，用于确定所述多个第一角点中每个第一角点对应的第三角点，任一第一角点对应的第三角点基于所述任一第一角点映射得到的第二角点确定；

坏点去除单元，用于根据所述每个第一角点的第一位置信息和每个第三角点的第三位置信息，去除所述第一图像区域中的坏点；所述坏点为所述多个第一角点中的一个或者多个第一角点，所述一个或者多个第一角点中任一第一角点的第一位置信息与所述任一第一角点对应的第三角点的第三位置信息不匹配；

第一更新单元，用于在所述第一图像区域中，将去除所述坏点之后所剩余的第一角点确定为多个第一更新角点；所述多个第一更新角点中的一个更新角点基于去除所述坏点之后所剩余的第一角点中的一个第一角点确定；

第二更新单元，用于根据每个第一更新角点的第一位置信息，将所述每个第一更新角点映射到所述第二图像帧，并在所述第二图像帧中确定所映射得到的多个第二更新角点的第二更新位置信息；

目标矩阵生成单元，用于根据所述每个第一更新角点的第一位置信息和每个第二更新角点的第二更新位置信息，生成目标变换矩阵。

其中所述目标矩阵生成模块，还包括：

次数统计单元，用于统计去除所述第一图像区域中的坏点的次数，若统计到的所述次数大于或者等于次数阈值，则通知所述第一更新单元执行在所述第一图像区域中，将去除所述坏点之后所剩余的第一角点，确定为多个第一更新角点。

其中，所述坏点去除单元，包括：

误差获取子单元，用于根据所述每个第一角点的第一位置信息，和每个第三角点的第三位置信息，得到多个位置误差；所述多个位置误差中的任一位置误差是基于任一第一角点的第一位置信息和所述任一第一角点对应的第三角点的第三位置信息所确定的。

计算子单元，用于计算所述多个位置误差之和；

角点去除子单元，用于若所述多个位置误差之和大于误差阈值，则去除所述第一图像区域中的一个或者多个第一角点。

其中所述坏点去除单元，还包括：

矩阵确定子单元，用于若所述多个位置误差之和小于或者等于误差阈值，则将与所述多个第一角点对应的变换矩阵确定为目标变换矩阵。

本发明实施例一方面提供了一种图像数据处理装置，包括：处理器和存储器；

所述处理器和存储器相连，其中，所述存储器用于存储程序代码，所述处理器用于调用所述程序代码，以执行如本发明实施例中第一方面中的方法。

本发明实施例一方面提供了一种计算机存储介质，所述计算机存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时，执行如本发明实施例中第一方面中的方法。

本发明实施例首先通过对第一图像帧中的多个第一角点中的每个第一角点的第一位置信息进行追踪，可以在第二图像帧中找到所述每个第一角点所映射的第二角点的第二位置信息。由于所述人脸的运动较为灵活，为确保所述第一图像帧中的多个第一角点能够尽可能地被一一映射在所述第二图像帧中，可以进一步将每个第一角点所映射的第二角点反向变换到第一图像帧，以在第一图像帧中得到任一第一角点的位置匹配情况，即通过将在所述第二图像帧中所得到的每个第二角点，反向变换到所述第一图像帧中，可以在所述第一图像帧中将所述每个第二角点所变换得到的角点确定为第三角点，并可以进一步在所述第一图像帧中确定所得到的多个第三角点的第三位置信息，进而可以进一步根据得到的所述每个第一角点的第一位置信息和所述每个第一角点对应的第三角点的第三位置信息，确定出目标变换矩阵；其中，所述目标变换矩阵可以为所述任一第一角点和所述任一第一角点对应的第三角点之间的位置匹配时所得到矩阵，可选地，所述目标变换矩阵还可以为所述多个第一角点中的任一个或多个第一角点和对应的第三角点之间位置不匹配时所得到的矩阵。因此，可以进一步根据所述目标变换矩阵对出现在所述第一图像帧中的图像区域(即人脸框)进行追踪，可以理解的是，通过反向变换，可以避免单一的光流追踪算法所造成的追踪过程中的人脸框的偏移，从而可以在所述第二图像帧中准确地定位到与所述人脸贴合的区域，即可以在第二图像帧中追踪到与所述人脸框贴合的图像区域，进而可以提升对所述人脸进行追踪的准确性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种图像数据处理方法的场景示意图；

图2是本发明实施例提供的一种图像数据处理方法的流程示意图；

图3是本发明实施例提供的一种获取第一图像区域的示意图；

图4是本发明实施例提供的一种获取多个第一角点的示意图；

图5是本发明实施例提供的另一种获取多个第一角点的示意图；

图6是本发明实施例提供的一种多个角点之间的映射关系的示意图；

图7是本发明实施例提供的另一种图像数据处理方法的流程示意图；

图8是本发明实施例提供的一种获取第二图像区域的整体流程框架图；

图9是本发明实施例提供的一种图像数据处理装置的结构示意图；

图10是本发明实施例提供的另一种图像数据处理装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参见图1，是本发明实施例提供的一种图像数据处理方法的场景示意图。如图1所示，目标用户可以在目标终端(例如，智能手机)中的前置摄像头开启的情况下使用视频录制功能，以得到包含该目标用户的视频帧(该视频帧包含多个图像数据)。应当理解，构成该视频帧中的各图像数据可以按照图1所示的时间轴进行序列化分布，以便于将该视频帧中的各图像数据按照图1所示的时间顺序分别显示在相应的显示界面中。其中，对于图1所示的时间轴上的任意相邻的前后两个时刻可以分别称之为第一时刻和第二时刻，其中，上述第二时刻为上述第一时刻的下一刻，因此，该目标终端可以进一步将上述第一时刻对应的图像数据称之为第一图像帧，并将上述第二时刻对应的图像数据称之为第二图像帧。

为便于理解，本发明实施例以图1所示的时间轴上的第1时刻和第2时刻分别对应的图像数据为例，以进一步对该目标用户的人脸进行追踪的具体过程进行阐述。其中，该目标终端可以将在图1所示的第1时刻所采集到的图像数据，显示在图1所示的显示界面1a中，同理，该目标终端可以将在图1所示的第2时刻所采集到的图像数据，显示在图1所示的显示界面1b中。假设该第1时刻为第一时刻，则该目标终端可以进一步将该第1时刻所对应的显示界面1a中的图像数据称之为第一图像帧，并可以从该第一图像帧中，确定出如图1所示的显示界面1a中的人脸框。该人脸框可以是以检测到的与该目标用户的人脸(即目标对象)相关联的人脸关键点中的四个关键点所组成的第一图像区域(即图1所示的显示界面1a中的人脸框可以理解为从该第一图像帧中所确定出的能够用于进行人脸追踪的区域)。其中，构成该第一图像区域的四个关键点可以为该用户的左眼角、右眼角、左嘴角和右嘴角这四个点。应当理解，上述第一图像区域可以为包含这四个关键点的最小矩形区域，即所确定出的该第一图像区域具有唯一性。由于图1所示的时间轴上的第2时刻为上述第1时刻的下一时刻，因此可以将该第2时刻称之为第二时刻，并可以进一步将该目标终端在第2时刻所采集到的图像数据(即图1所示的显示界面1b中的图像数据)称之为第二图像帧。然后，上述目标终端可以根据图1所示的显示界面1a中的人脸框，进一步从该人脸框(即可以在第一图像帧中将该人脸框对应的图像区域称之为第一图像区域)中提取出多个第一角点，以便于该目标终端后续能够对这些提取到的多个第一角点所映射的第二角点进行追踪，即可以将提取到的多个第一角点中的每个第一角点的第一位置信息映射到上述第二图像帧中，并在上述第二图像帧中确定所映射得到的多个第二角点的第二位置信息，从而可以根据追踪到的每个第二角点的第二位置信息与相应的第一角点的第一位置信息，得到多个用于生成上述变换矩阵的映射参量(即该映射参量可以理解为基于每个第一角点的第一位置信息和相应的每个第二角点的第二位置信息所确定的位置上的映射关系)。进一步地，根据该变换矩阵的逆矩阵，可以将每个第二角点反向变换至第一图像帧，并在上述第一图像帧中确定所变换得到的多个第三角点的第三位置信息。进一步地，通过每个第一角点的第一位置信息和对应的第三角点的第三位置信息可以进一步确定目标变换矩阵(该目标变换矩阵可以理解为该目标终端最终得到的变换矩阵)，进而可以根据该目标变换矩阵确定出该目标用户的人脸出现在上述第二图像帧中的第二图像区域，该第二图像区域即为图1所示的显示界面1b中的人脸框。应当理解，该人脸框是基于对图1所示的显示界面1a中的人脸框中的四个关键点和上述目标变换矩阵所确定的。如图1所示，显示界面1b中的人脸框中的四个关键点的位置信息将因为人脸的运动而不同于显示界面1a中的人脸框中的四个关键点的位置信息。

应当理解，当上述目标终端在第二图像帧中确定出该人脸对应的人脸框(即可以在第二图像帧中将人脸框对应的图像区域称之为第二图像区域)时，可以进一步将该第二图像帧作为新的第一图像帧，并将显示界面1b中的人脸框作为新的第一图像区域。然后该目标终端可以进一步从该新的第一图像区域中确定出多个新的第一角点，以便于该目标终端后续能够根据这些提取到的新的第一角点，在新的第二图像帧(即在图1所示的时间轴上的第3时刻所采集到的显示界面1c中的图像数据)中，对这些新的第一角点所映射的新的第二角点进行追踪，并可以根据上述确定目标变换矩阵的具体过程，进一步得到新的目标变换矩阵，从而可以根据该新的目标变换矩定位到上述人脸在上述显示界面1c中的人脸框。其中，上述目标终端对上述显示界面1b中的人脸框进行追踪的具体过程可以一并参见上述目标终端对上述显示界面1a中的人脸框进行追踪的具体过程的描述。鉴于此，该目标终端可以进一步在新的第二图像帧中确定出与该目标用户的人脸相关联的图像区域(即新的第二图像区域)，该新的第二图像区域即为上述图1所示的显示界面1c中的人脸框。应当理解，该显示界面1c中的人脸框是基于对图1所示的显示界面1b中的人脸框中的四个关键点和上述新的目标变换矩阵所确定的，即显示界面1b中的人脸框中的四个关键点与显示界面1c中的四个关键点的位置信息可能相同，也可能因为人脸的运动而得到新的四个关键点的位置信息。

又比如，图1所示的目标终端可以在将图1所示的坐标轴上的第n-1时刻称之为第一时刻，并将在该第n-1时刻所采集到的包含该用户的人脸的图像数据称之为第一图像帧(即可以将图1所示的显示界面1m中的图像数据称之为第一图像帧)。然后，由于图1所示的坐标轴上的第n时刻为该第n-1时刻的下一刻，因此，可以将该第n时刻称之为该第二时刻，并将在该第n-1时刻所采集到的包含该用户的人脸的图像数据称之为第二图像帧(即可以将图1所示的显示界面1n中的图像数据称之为第二图像帧)。其中，上述目标终端对上述显示界面1m中的人脸框进行人脸追踪的具体过程可以一并参见上述目标终端对上述显示界面1a中的人脸框的进行追踪的具体过程的描述，于是，上述目标终端可以得到图1所示的显示界面1n中的人脸框(即该人脸在上述第二图像帧中的第二图像区域)。应当理解，该人脸框是基于对图1所示的显示界面1m中的人脸框中的四个关键点和上述新的目标变换矩阵所确定的，即显示界面1m中的人脸框中的四个关键点的位置信息与显示界面1n中的四个关键点的位置信息可以相同。

其中，上述目标终端获取上述第一图像区域、确定上述目标变换矩阵以及确定出上述第二图像区域的具体过程，可以参见如下图2至图8所对应的实施例所提供的实现方式。

请参见图2，是本发明实施例提供的一种图像数据处理方法的流程示意图。如图2所示，本发明实施例提供的方法可以包括：

步骤S101，获取第一时刻包含目标对象的第一图像帧，并从上述第一图像帧中获取多个第一角点的第一位置信息。

具体地，目标终端可以获取包含目标用户的人脸(即目标对象)的第一图像帧，上述第一图像帧可以为集成于上述目标终端中的图像数据采集装置在当前时间为第一时刻时所采集到的视频数据中的一帧图像数据。可选地，上述第一图像帧还可以为该目标终端接收到的与上述目标终端具有数据连接关系的图像数据采集装置在当前时间为第一时刻时所采集到的视频数据中的一帧图像数据。然后，该目标终端可以在上述第一图像帧中确定出上述人脸对应的脸部区域，并基于神经网络模型从上述脸部区域中确定出与上述人脸相关联的人脸关键点，并根据上述人脸关键点在上述脸部区域中的位置信息，确定出上述人脸在上述第一图像帧中的第一图像区域；进一步地，该目标终端可以从第一图像区域中确定多个第一角点，并在上述第一图像帧中确定每个第一角点的第一位置信息。

其中，上述图像数据采集装置可以为独立于上述目标终端的设备，比如，扫描仪、传感器等具备图像数据采集功能的设备，这些设备可以通过有线或无线的方式将在第一时刻采集到的包含目标用户的人脸的视频数据中的一帧图像数据传输给上述目标终端，以使该目标终端可以将接收到的这一帧图像数据作为第一图像帧。

可选地，上述数据采集装置还可以为集成于上述目标终端中的设备，比如，内置于上述终端中的前、后置摄像头，因此，当该目标终端开启摄像功能时，便可以通过前置或后置摄像头采集包含目标用户的人脸的视频数据，该视频数据可以为一个连续时间段内所采集到的多个图像帧，因此，该目标终端可以在该视频数据中将在第一时刻所采集到的图像帧作为第一图像帧。

其中，上述目标终端可以为上述图1所对应实施例中的目标终端，上述目标终端可以包括：智能手机、平板电脑、桌上型电脑、智能电视等具有摄像功能的智能终端。

进一步地，请参见图3，是本发明实施例提供的一种获取第一图像区域的示意图。如图3所示，假设目标用户正在某身份验证平台(比如，银行金融平台)上通过图3所示的目标终端，对采集到的包含该目标用户的人脸的图像数据进行人脸识别，以便于后续能够验证持有该目标终端的目标用户的身份信息。其中，图3所示的目标终端在对上述人脸进行识别之前，需要先调用该终端内的相机应用，并通过该相机应用对应的摄像头(比如，内置于该目标终端内的前置摄像头)采集包含该目标用户的人脸的图像数据，此时，该目标终端可以将在第一时刻所采集到的图像数据称之为第一图像帧。然后，该目标终端可以在后台对该获取到的第一图像帧进行图像处理，比如，可以将该第一图像帧中的前后景区域进行分割，以从图3所示的第一图像帧中抠取出图3所示的目标用户的整体轮廓对应的目标区域。其中，上述前景区域即为上述目标用户的整体轮廓对应的图像区域，上述背景区域即为上述第一图像帧中抠取出该目标用户后的图像区域。

其中，上述身份验证平台还可以包括：门禁、考勤、交通、社区、养老金资格认证等需要进行人脸识别的认证平台。

应当理解，通过滤除上述第一图像帧中的背景区域，可以防止上述背景区域中的各像素点的干扰，从而可以提高后续人脸识别的准确性。然后，上述目标终端可以进一步在图3所示的目标区域内对上述人脸(即目标对象)进行识别，以得到图3所示的上述人脸的脸部区域。然后，图3所示的目标终端可以进一步基于神经网络模型(例如，多任务卷积神经网络)从图3所示的脸部区域中确定出与上述人脸相关联的人脸关键点，并根据上述人脸关键点在上述脸部区域中的位置信息，确定出如图3所示的第一图像区域，即该第一图像区域为基于上述目标用户的人脸相关联的人脸关键点所构成的最新矩形区域，从而可以得到上述人脸在上述第一图像帧中的第一图像区域。其中，上述人脸关键点可以理解为能够表征上述目标用户的五官部位的特征点。

为了提高对上述脸部区域内的五官数据的关键点进行识别的准确率，可以先将上述人脸(即目标对象)对应的脸部区域，作为待处理区域，并进一步将该待处理区域调整至固定尺寸大小，随后将调整尺寸后的待处理区域内的图像数据输入上述多任务卷积神经网络中的输入层。上述多任务卷积神经网络可以包括输入层、卷积层、池化层、全连接层和输出层；其中输入层的参数大小等于调整尺寸后的待处理区域的尺寸。当上述待处理区域内的图像数据输入至卷积神经网络的输出层后，随后进入卷积层，首先随机选取该待处理区域内的图像数据中的一小块作为样本，并从这个小样本中学***均池化运算方法和最大池化运算方法。平均池化运算方法是在一个特征信息集合里计算出一个平均特征信息代表该特征信息集合的特征；最大池化运算是在一个特征信息集合里提取出最大特征信息代表该特征信息集合的特征。通过卷积层的卷积处理和池化层的池化处理，可以提取出该待处理区域内的图像数据的静态结构特征信息，即可以得到该待处理区域中的五官部位对应的特征信息。

然后，该目标终端可以进一步利用该多任务卷积神经网络中的分类器，识别待处理区域内的图像数据的静态结构特征信息与该多任务卷积神经网络中多个属性类型特征的匹配度，并将上述分类器所输出的多个匹配度中的最大匹配度和相应属性类型特征对应的标签信息进行关联，从而可以得到上述脸部区域中的五官部位对应的标签信息集合，即该标签信息集合中既有匹配度，也有与最大匹配度相关联的标签信息，其中，上述标签信息是指上述多任务卷积神经网络的多个属性类型特征中的每个属性类型特征对应的属性类型，于是通过该五官部位对应的标签集合中的各标签信息可以识别出该目标用户的眼睛、鼻子和嘴巴，进而可以定位到上述人脸中的各个部位的特征点，因此，可以进一步将所定位到的上述眼睛和嘴巴的特征点称之为与上述人脸相关联的人脸关键点。

其中，上述人脸关键点可以是定位出的能够表征各五官部位对应的特征点，即上述人脸关键点可以是嘴巴、眼睛等脸部标志性部位对应的特征点。比如，对于嘴巴而言，上述人脸关键点可以是该目标用户的左右嘴角处的两个特征点，对于眼睛而言，上述人脸关键点可以是该目标用户的左右眼睛处的两个特征点。

其中，该多任务卷积神经网络中包含的属性类型特征的数量和种类是在训练该多任务卷积神经网络时由大量的训练数据集(即标准图像集)中所包含的标签信息的数量和种类决定的。

其中，上述多任务神经网络中包含的多个属性类型特征可以为眼睛类型特征、鼻子类型特征、嘴巴类型特征、耳朵类型特征、耳朵类型特征和脸部轮廓类型特征，且该多任务神经网络中的每个属性类型特征均对应一个标签信息，以便于在该多任务神经网络中，可以得到上述人脸的五官部位对应的特征信息与上述多个属性类型特征之间的匹配度，然后该目标终端可以进一步将由该多任务神经网络所得到的匹配度中的最大匹配度与该多任务神经网络中多个属性类型特征中的相应属性类型特征对应的标签信息进行关联，以对上述脸部区域中的五官进行分类，从而可以在第一图像帧中定位到能够表征上述目标用户的眼睛和嘴巴的特征点的位置信息，进而可以根据这些特征点的位置信息得到如图3所示的第一图像区域，并可以进一步在第一图像帧中显示上述第一图像区域。比如，从该第一图像帧中所确定出的第一图像区域可以为上述图1所对应实施例中的人脸框。其中，上述目标终端通过将上述第一图像区域显示在上述第一图像帧中，以便于能够进一步执行步骤S102，即后续可以在该第一图像帧中确定出从该第一图像区域中所提取到的每个第一角点的第一位置信息。

其中，该目标终端在上述第一图像帧中获取多个第一角点的第一位置信息的具体过程可以为：上述目标终端可以将上述第一图像区域均匀划分为多个子区域，并可以进一步从上述多个子区域中的每个子区域内分别提取多个第一角点，并在上述第一图像帧中进一步确定出所提取到的所有第一角点中的每个第一角点的第一位置信息。

换言之，上述目标终端可以将上述第一图像区域均匀划分为M个子区域，其中，M为大于等于2的自然数，并可以进一步在上述M个子区域中的每个子区域内分别提取出N个第一角点，以得到M×N个第一角点，其中，N为大于等于3的自然数；然后，该目标终端可以进一步在上述第一图像帧中确定上述M×N个第一角点中每个第一角点的第一位置信息。

进一步地，请参见图4，是本发明实施例提供的一种获取多个第一角点的示意图。其中，上述目标终端可以基于上述图3所对应实施例中的第一图像区域，得到图4所示的显示界面100a中的第一图像区域，然后，上述目标终端可以进一步对该第一图像区域(即与该目标用户的人脸对应的人脸框)进行区域划分，以得到图4所示的显示界面100b中的多个子区域，此时，上述多个子区域的数量M＝4，即该目标终端可以将上述第一图像区域均匀划分为4个子区域，这4个子区域分别位于上述第一图像区域的左上角、上述第一图像区域的右上角、上述第一图像区域的左下角、上述第一图像区域的右下角。进一步地，上述目标终端可以从图4所示的各子区域中分别提取出多个第一角点(比如，N＝4个)，从而可以得到图4所示的显示界面100d中的多个第一角点(此时，该显示界面100d中的第一角点的数量为M×N＝4×4＝16个)。

其中，如图4所示，上述显示界面100c中的目标子区域为图4所示的显示界面中的一个子区域，即该目标子区域可以为图4所示的显示界面100b中的4个子区域中左下角处的区域。然后，上述目标终端可以在该目标子区域中通过角点检测算法得到上述显示界面100c中的4(N＝4)个第一角点。应当理解，上述目标终端从上述每个子区域中所提取出的每个第一角点的具体过程，可以参见图4所示的目标终端对目标子区域内的各第一角点进行提取的具体过程的描述，这里将不再继续进行赘述。应当理解，即上述目标终端从每个子区域中所提取出的第一角点的数量(N)为大于等于3的自然数。进一步地，上述目标终端可以将从上述第一图像区域中所提取出的所有第一角点(即图4所示显示界面中的16个第一角点)显示在上述第一图像帧中，以在上述第一图像帧中确定出每个第一角点的第一位置信息。

应当理解，上述子区域的数量可以按照用户的实际需求来进行均匀划分，例如，上述目标终端可以将该第一显示区域均匀划分为上下两个子区域或者左右两个子区域，即上述子区域的数量M可以为大于等于2的自然数。为便于理解，进一步地，请参见图5，是本发明实施例提供的另一种获取多个第一角点的示意图。在图5所示的显示界面200a中，可以将该第一图像区域均匀划分为上下两个子区域，即M＝2。如图5所示，从该第一图像区域中所划分出的上半区域可以为显示界面200b中的第一子区域，且从该第一子区域中可以提取出如图5所示的3(即N＝3)个第一角点，即这3个第一角点可以为显示界面200b中所示的角点A1、角点A2和角点A3；同理，如图5所示，从上述第一图像区域中所划分出的下半区域可以为显示界面200b中的第二子区域，且分别从该第二子区域中可以提取出如图5所示的另外的3个第一角点，即这另外的3个第一角点可以为显示界面200b中所示的角点A4、角点A5和角点A6。换言之，上述目标终端通过上述角点检测算法可以从图5所示的第一图像区域中提取出6(即M×N＝2×3＝6)个第一角点，并可以进一步将提取出的这6个第一角点显示在上述第一图像帧中，以在显示界面200c中确定出每个第一角点的第一位置信息。

进一步地，请参见表1，是本发明实施例提供的一种在第一图像帧中确定出每个第一角点的第一位置信息的分布表。

如表1所示，在上述第一图像帧中，确定出角点A1的第一位置信息为坐标(C1，B1)，角点A2的第一位置信息为坐标(C2，B2)，角点A3的第一位置信息为坐标(C3，B3)，角点A4的第一位置信息为坐标(C4，B4)，角点A5的第一位置信息为坐标(C5，B5)，角点A6的第一位置信息为坐标(C6，B6)。

表1

第一角点	角点A1	角点A2	角点A3
				第一位置信息	(C1，B1)	(C2，B2)	(C3，B3)
第一角点	角点A4	角点A5	角点A6
				第一位置信息	(C4，B4)	(C5，B5)	(C6，B6)

应当理解，本发明实施例仅列举出了如上述图5所示的将上述第一图像区域中划分出两个子区域，且在上述第一图像帧中确定出如上述表1所示的从这两个子区域中所提取出的每个第一角点的第一位置信息。可见，对于从上述第一图像区域中所提取到的M×N个第一角点而言，均可以相应的在上述第一图像帧中确定出与该各第一角点分别对应的第一位置信息，因此，本发明实施例将不对M和N的具体值进行限定，即M可以为大于等于2的自然数，N可以为大于等于3的自然数。

步骤S102，获取第二时刻包含上述目标对象的第二图像帧，并在上述第二图像帧中获取多个第二角点的第二位置信息。

具体地，目标终端可以获取第二时刻包含上述目标对象的第二图像帧，并基于上述每个第一角点的第一位置信息，将上述每个第一角点映射到上述第二图像帧，并在上述第二图像帧中确定所映射得到的多个第二角点的第二位置信息。

其中，上述目标终端可以进一步在第二时刻获取包含上述目标用户的人脸的第二图像帧；其中，该第二图像帧可以为集成于上述目标终端中的上述图像数据采集装置在当前时间由第一时刻变为第二时刻时所采集到的包含上述人脸的视频数据中的一帧图像数据。可选地，该第二图像帧还可以为该目标终端接收到的与上述目标终端具有数据连接关系的上述图像数据采集装置在当前时间为第二时刻时所采集到的包含上述人脸的视频数据中的一帧图像数据。鉴于此，上述目标终端可以将基于上述步骤S101所得到的上述每个第一角点的第一位置信息，将上述每个第一角点映射到上述第二图像帧，并在上述第二图像帧中将上述每个第一角点所映射的角点作为第二角点，以在上述第二图像帧中可以确定出所映射得到的多个第二角点的第二位置信息。

应当理解，对于采集到的视频数据而言，上述第一图像帧和上述第二图像帧可以为该视频数据中的连续两个相邻时刻上的图像数据。可选地，对于上述身份验证平台还可以包括：门禁、考勤、交通、社区、养老金资格认证等需要进行人脸识别的认证平台，上述第一图像帧和上述第二图像帧可以为间隔一定时间阈值范围内所获取到的两帧图像数据，但是在该时间阈值范围内，该目标终端并未获取上述图像数据处理装置所发送而来的其它包含上述目标对象的图像数据。换言之，该目标终端可以将连续采获取到的包含同一目标对象的人脸的两帧图像数据中的一帧图像数据称之为第一图像帧，并将该两帧图像数据中的另一帧图像数据称之为第二图像帧，以便于能够基于从第一图像帧中所确定出的人脸框，进一步在第二图像帧中追踪到上述人脸所在的区域。

进一步地，请参见图6，是本发明实施例提供的一种多个角点之间的映射关系的示意图。其中，上述多个角点包括上述第一图像帧中的每个第一角点，上述第二图像帧中上述每个第一角点所映射的第二角点，以及上述第一图像帧中上述每个第二角点所映射的第三角点。为便于理解，本发明实施例以从上述第一图像帧中所确定出的多个角点中的一个第一角点(比如，角点A1)为例，以分别描述上述角点A1与角点A1’，角点A1’与角点a1之间的映射关系，从而可以进一步地描述出每个第一角点与对应的第二角点，以及与每个第二角点与对应的第三角点之间的映射关系。如图6所示，上述目标终端可以基于上述图5所对应实施例中所确定出的每个第一角点(比如，图6所示的角点A1)的第一位置信息，进一步基于光流的图像特征点跟踪算法，即光流跟踪算法，对图6所示显示界面300a中的每个第一角点进行追踪，以在图6所示的第二图像帧对应的显示界面300b中显示上述每个第一角点所映射的第二角点，即可以基于上述光流跟踪算法将上述角点A1映射到第二图像帧，以在第二图像帧中确定所映射得到的第二角点(即图6所示的角点A1’)，并可以进一步在上述第二图像帧中确定出上述每个第一角点所映射的第二角点的第二位置信息。应当理解，对于图6所示的多个第一角点中的其他任一第一角点(比如，角点A2、角点A3，角点A4、角点A5和角点A6中的任意一个第一角点)的进行追踪的具体过程，可以参见上述对图6所示的角点A1进行追踪的得到角点A1’的具体过程的描述，这里不再一一列举。可见，通过该光流跟踪算法，可以在显色界面300b中对应的找到每个第一角点所映射得到的第二角点，且可以在显色界面300b中所对应的第二图像帧中确定出每个第二角点的第二位置信息。换言之，上述目标终端可以根据上述目标对象在上一帧中的每个第一角点的第一位置信息，来追踪到上述每个第一角点映射的第二角点，以在上述显示界面300b中确定出将上述每个第一角点变换到下一帧中所映射得到的每个第二角点的第二位置信息，即一个第一角点可以用于追踪定位到一个第二角点。

进一步地，请参见表2，是本发明实施例提供的一种每个第一角点所映射的第二角点的映射关系表。其中，上述每个第一角点的第一位置信息可以参见上述表1所对应实施例中所列举的各第一角点分别对应的第一位置信息。

表2

第一角点	角点A1	角点A2	角点A3
				第二角点	角点A1’	角点A2’	角点A3’
第一角点	角点A4	角点A5	角点A6
				第二角点	角点A4’	角点A5’	角点A6’

如上述表2所示，角点A1所映射的第二角点为角点A1’，角点A2所映射的第二角点为角点A2’，角点A3所映射的第二角点为角点A3’，角点A4所映射的第二角点为角点A4’，角点A5所映射的第二角点为角点A5’，角点A6所映射的第二角点为角点A6’。进一步地，请参见表3，是本发明实施例所提供的一种在第二图像帧中确定出每个第二角点的第二位置信息的分布表。换言之，上述目标终端在通过上述光流追踪算法在第二图像帧中追踪到各第一角点分别对应的第二角点时，可以进一步确定出每个第二角点的第二位置信息。

表3

第二角点	角点A1’	角点A2’	角点A3’
				第二位置信息	(X1，Y1)	(X2，Y2)	(X3，Y3)
第二角点	角点A4’	角点A5’	角点A6’
				第二位置信息	(X4，Y4)	(X5，Y5)	(X6，Y6)

如上述表3所示，在上述第二图像帧中，上述目标终端可以进一步确定出每个第二角点的第二位置信息，进一步地，每个第二角点的第二位置信息可参见图6所示显示界面300b中的第二角点的示意图，即在上述第二图像帧中，上述目标终端可以确定出角点A1’的第二位置信息为坐标(X1，Y1)，角点A2’的第二位置信息为坐标(X2，Y2)，角点A3’的第二位置信息为坐标(X3，Y3)，角点A4’的第二位置信息为坐标(X4，Y4)，角点A5’的第二位置信息为坐标(X5，Y5)，角点A6’的第二位置信息为坐标(X6，Y6)。然后，上述目标终端可以进一步根据确定出的每个第一角点的第一位置信息和上述每个第一角点所映射的第二角点的第二位置信息，进一步执行步骤S104。

步骤S103，将上述多个第二角点变换到上述第一图像帧，并在上述第一图像帧中确定所变换得到的多个第三角点的第三位置信息。

具体地，目标终端可以根据第一变换矩阵和每个第二角点的第二位置信息，将上述多个第二角点中的每个第二角点变换到上述第一图像帧，并在上述第一图像帧中确定所变换得到的多个第三角点的第三位置信息。

其中，上述第一变换矩阵可以为基于上述每个第一角点的第一位置信息，和每个第二角点的第二位置信息所确定的变换矩阵对应的逆矩阵。

其中，该变换矩阵(例如，T)可以表示为:

在公式(1.1)中，参数k为缩放参数；θ为旋转角度，即人脸从第一图像帧变换到第二图像帧的过程中的人脸旋转角度，由于人脸的运动较为灵活，这里将不对上述人脸旋转角点的具体角度值进行限制。

其中，变换矩阵中的元素a和元素b可以为：

在公式(1.2)中，下标i用于表征从上述第一图像区域中所提取出的所有第一角点(即M×N个第一角点)中的任意一个第一角点；上述第一图像帧中的任意一个第一角点的坐标可以表示为(C_i，B_i)；上述第二图像帧中任意一个第一角点所映射的第二角点的坐标可以表示为(X_i，Y_i)。因此，通过上述公式(1.2)可以得到多个映射参量，其中，上述多个映射参量中的任一个映射参量是基于一个第一角点的第一位置信息和一个第二角点的第二位置信息所得到的。于是，根据所得到的多个映射参量可以进一步得到变换矩阵中的元素a和元素b的值，然后该目标终端可以进一步基于得到的这两个元素(即元素a和元素b)得到公式(1.1)中的变换矩阵。应当理解，通过上述公式(1.1)所得到的变换矩阵T，可以将第一图像帧中的多个第一角点中的每个第一角点映射到第二图像帧中，以在第二图像帧中将每个第一角点所映射的角点(此时，通过该变换矩阵T所得到的上述每个第一角点所映射的角点可以称之为第四角点，以便于在第二图像帧中能够得到区别于通过上述光流追踪算法所确定的第二角点)。其中，在上述第二图像帧中，可以将每个第四角点的位置信息称之为每个第四角点的第四位置信息。由于在通过该光流追踪算法对该人脸对应的人脸框进行追踪的过程中，随着时间的推移，将会存在误差累计的现象，进而可能会导致跟踪到的人脸框存在较大的偏移。因此，在第二图像帧中，上述目标终端通过该变换矩阵T所得到第四角点的第四位置信息，有可能不同于通过上述光流跟踪算法所得到第二角点的第二位置信息。

鉴于此，可选地，上述目标终端还可以进一步对该变换矩阵T进行求逆运算，以得到该变换矩阵对应的逆矩阵，进一步地，该目标终端可以将该变换矩阵对应的逆矩阵确定为上述第一变换矩阵。

应当理解，根据该第一变换矩阵可以将基于上述光流跟踪算法所得到的每个第二角点反向映射(即变换)到第一图像帧中，以在第一图像帧中将上述每个第二角点所变换得到的角点称之为第三角点，以在上述第一图像帧中确定出多个第三角点的第三位置信息。进一步地，请参见图6所示的显示界面300c中的各第三角点的示意图，其中，上述目标终端通将显示界面300b中的上述角点A1’变换到第一图像帧中之后，可以在显示界面300c中找到上述角点A1’所变换得到的角点为角点a1。应当理解，上述目标终端可以将显示界面300b中的每个第二角点变换到上述第一图像帧中，以在上述第二图像帧中确定出所变换得到的多个第三角点的第三位置信息，其中，上述每个第二角点变换到上述第一图像帧中的具体过程可以参见上述将上述角点A1’所变换得到的角点为角点a1的描述，这里将不再继续进行赘述。

由此可见，上述目标终端可以基于上述每个第二角点的第二位置信息和上述第一变换矩阵，将通过上述光流跟踪算法所得到的上述第二图像帧中的每个第二角点变换到(反向映射回)上述第一图像帧，以在第一图像帧中得到每个第三角点的第三位置信息，进而可以确保人脸跟踪的准确性。

进一步地，请参见表4，是本发明实施例提供的一种每个第二角点所映射的第三角点的映射关系表。其中，上述每个第二角点的第二位置信息可以参见上述表3所对应实施例中所列举的各第二角点分别对应的第二位置信息。

表4

第二角点	角点A1’	角点A2’	角点A3’
				第三角点	角点a1	角点a2	角点a3
第二角点	角点A4’	角点A5’	角点A6’
				第二角点	角点a4	角点a5	角点a6

如上述表4所示，角点A1所映射的第二角点为角点a1，角点A2所映射的第二角点为角点a2，角点A3所映射的第二角点为角点a3，角点A4所映射的第二角点为角点a4，角点A5所映射的第二角点为角点a5，角点A6所映射的第二角点为角点a6。进一步地，请参见表5，是本发明实施例所提供的一种在第一图像帧中确定出每个第三角点的第三位置信息的分布表。换言之，上述目标终端在上述第一图像帧中追踪到各第二角点分别对应的第三角点时，可以进一步确定出每个第三角点的第三位置信息。

表5

如上述表5所示，在上述第一图像帧中，上述目标终端可以进一步每个第三角点的第三位置信息，即可以确定出角点a1的第三位置信息为坐标(x1，y1)，角点a2的第三位置信息为坐标(x2，y2)，角点a3的第三位置信息为坐标(x3，y3)，角点a4的第三位置信息为坐标(x4，y4)，角点a5的第三位置信息为坐标(x5，y5)，角点a6的第三位置信息为坐标(x6，y6)。

步骤S104，根据上述多个第一角点的第一位置信息和上述多个第三角点的第三位置信息，确定目标变换矩阵，并根据上述目标变换矩阵确定上述目标对象在上述第二图像帧中的图像区域。

具体地，上述目标终端可以进一步确定出上述多个第一角点中每个第一角点与每个第三角点之间的对应的关系，即可以确定出上述多个第一角点中每个第一角点对应的第三角点，其中，任一第一角点对应的第三角点是基于上述任一第一角点映射得到的第二角点所确定的；进一步地，上述目标终端可以将上述每个第一角点的第一位置信息和上述每个第一角点对应的第三角点的第三位置信息作为误差计算公式中的输入参量，以输出与上述误差计算公式对应的位置误差之和；然后，上述目标终端可以根据上述位置误差之和误差阈值之间的比较结果进一步得到目标变换矩阵，并根据上述目标变换矩阵确定上述目标对象在上述第二图像帧中的第二图像区域。

其中，上述误差计算公式可以为：

应当理解，上述位置误差之和可以为上述目标终端将上述第一角点变换到第二图像帧中，所得到的上述每个第四角点的第四位置信息与上述第二角点的第二位置信息之间的位置误差所确定的，即上述目标终端基于公式(1.3)所得到的位置误差之和。由于上述第一图像帧中的每个第一角点与上述第二图像帧中的每个第二角点之间具有如上述表2所示的映射关系，因此，上述目标终端在上述第二图像帧中确定出多个第二角点的第二位置信息中存在一个或者多个第二角点中的任一第二角点的第二位置信息与其对应的第四角点的第四位置信息不匹配时，可以得到从上述多个第二角点中所确定出的一个或多个具有位置不匹配特性的第二角点，从而可以根据上述表2所示的映射关系，相应的在第一图像帧中查找到与这些具有位置不匹配特性的第二角点所对应的第一角点，进而可以在第一图像帧中将查找到的一个或多个第一角点确定为需要进行过滤的坏点。

可选地，其中，上述误差计算公式还可以为：

其中，上述变换矩阵的逆矩阵(即第一变换矩阵)可以表示为：

在公式(1.4)中，上述位置误差之和为每个第一角点对应的位置误差之和，即有：σ＝σ1+σ2+…+σi，其中i的取值可以为上述公式(1.2)中的i的取值，即σi可以用于表征与上述多个第一角点中的任意一个第一角点对应的位置误差。因此，上述目标终端在将上述位置误差之和与上述误触阈值进行比较之后，可以得到相应的比较结果(比如，上述位置误差之和大于上述误差阈值和上述位置误差之和小于或者等于上述位置误差两种比较结果)。换言之，当上述位置误差之和大于上述误差阈值时，上述目标终端可以进一步根据每个第一角点对应的位置误差，判断上述第一图像帧的每个第一角点与对应的第三角点之间的位置匹配情况。其中，上述位置匹配情况可以包含位置匹配和位置不匹配两种情况。

其中，上述位置匹配可以理解为：上述第一图像帧中的一个第一角点的第一位置信息与对应的第三角点的第三位置信息是匹配的，即与该第一角点对应的位置误差是在一定的误差允许范围内的；可选地，上述位置不匹配可以理解为：上述第一图像帧中的一个第一角点的第一位置信息与对应的第三角点的第三位置信息是不匹配的，即与该第一角点对应的位置误差是大于上述误差允许范围的。

因此，当上述多个第一角点中的每个第一角点对应的位置误差均在上述误差允许范围内时，可以进一步得到通过上述公式(1.4)中的上述误差计算公式所输出的位置误差之和是小于或者等于上述误差阈值的，进而可以将上述位置误差之和小于或者等于上述误差阈值时的变换矩阵T确定为目标变换矩阵，比如，若在第一次计算得到上述位置误差之和就小于或者等于上述误差阈值时，可以将与上述第一变换矩阵对应的变换矩阵(即上述多个第一角点对应的变换矩阵)确定为目标变换矩阵，又比如，若在第一次计算得到上述位置误差之和就大于上述误差阈值时，则需要对上述位置误差之和进行迭代计算，直到上述最新得到的位置误差之和就小于或者等于上述误差阈值时，可以将最新得到的变换矩阵确定为目标变换矩阵。

可选地，当在上述第一图像帧中，存在一个或多个第一角点的第一位置信息，与对应的第三角点的第三位置信息不匹配时，上述目标终端可以在上述第一图像帧中，将上述一个或多个第一角点(即坏点)从上述第一图像区域中去除，并可以进一步根据该第一图像区域中，将去除上述坏点之后的剩余的第一角点，确定为多个第一更新角点，上述多个第一更新角点中的一个更新角点是基于去除上述坏点之后所剩余的第一角点中的一个第一角点所确定的；因此，上述目标终端可以在第一图像帧中，确定出每个第一更新角点的第一位置信息，并可以进一步将上述每个第一更新角点重新映射到上述第二图像帧，并在上述第二图像帧中确定所映射得到的多个第二更新角点的第二更新位置信息，即上述目标终端可以在第二图像帧中对应的找到每个第一更新角点所映射的第二更新角点的第二更新位置信息，换言之，当上述目标终端检测到上述第一图像区域中存在坏点之后，需要将所存在的坏点进行去除，从而可以在去除上述坏点之后，使得该目标终端可以重复执行上述步骤S102-步骤S104，以基于最新得到的第一角点的第一位置信息和最新得到的第三位置信息，确定目标变换矩阵。此时，该目标变换矩阵可以为在第一图像帧中，进行了多次去除坏点之后，按照上述公式(1.1)和公式(1.2)所确定出的最新的变换矩阵(即目标变换矩阵)。然后，上述目标终端可以根据该目标变换矩阵对出现在上述第一图像帧中的上述人脸框进行追踪，即通过该目标变换矩阵可以将从第一图像帧中所确定出的人脸框的人脸关键点(即左右眼角和左右嘴角的特征点)映射在上述第二图像帧中，以在上述第二图像帧中准确定位到与上述人脸贴合的第二图像区域，其中，该确定出的第二图像区域可以参见上述图1所对应实施例中的显示界面1b中的人脸框。

由此可见，上述目标终端可以基于每个第一角点的第一位置信息与每个第一角点对应的第三角点的第三位置信息之间的位置匹配情况，在上述第一图像帧中，筛选出与任意一个第一角点的第一位置信息，与对应的第三角点的第三位置信息不匹配的第一角点，从而可以将筛选出来的一个或多个位置信息不匹配的第一角点称之为坏点，以去除该第一图像区域中的坏点，进而可以避免追踪到的人脸框与实际人脸所在的区域存在较大的偏移，从而可以确保在第二图像帧中准确追踪到的与上述人脸贴合的人脸框。换言之，上述坏点可以为上述第一图像区域中的多个第一角点中的一个或者多个第一角点，上述一个或者多个第一角点中任一第一角点的第一位置信息与任一第一角点对应的第三角点的第三位置信息不匹配。

本发明实施例首先通过对上述第一图像帧中的多个第一角点中每个第一角点的第一位置信息进行追踪，可以在第二图像帧中找到上述每个第一角点所映射的第二角点的第二位置信息。由于上述人脸的运动较为灵活，为确保上述第一图像帧中的多个第一角点能够尽可能地被一一映射在上述第二图像帧中，可以进一步将每个第一角点所映射的第二角点反向变换到第一图像帧，以在第一图像帧中得到任一第一角点的位置匹配情况，即通过将在上述第二图像帧中所得到的每个第二角点，反向变换到上述第一图像帧中，以在上述第一图像帧中将上述每个第二角点所变换得到的角点确定为第三角点，并可以进一步在上述第一图像帧中确定所得到的多个第三角点的第三位置信息，进而可以进一步根据得到的上述每个第一角点的第一位置信息和上述每个第一角点对应的第三角点的第三位置信息，确定出目标变换矩阵；其中，上述目标变换矩阵可以为上述任一第一角点和上述任一第一角点对应的第三角点之间的位置匹配时所得到矩阵，可选地，上述目标变换矩阵还可以为上述多个第一角点中的任一个或多个第一角点和对应的第三角点之间位置不匹配时所得到的矩阵。因此，可以进一步根据上述目标变换矩阵对出现在上述第一图像帧中的图像区域(即人脸框)进行追踪，可以理解的是，通过反向变换，可以避免单一的光流追踪算法所造成的追踪过程中的人脸框的偏移，从而可以在上述第二图像帧中准确地定位到与上述人脸贴合的区域，即可以在第二图像帧中追踪到与上述第一图像区域对应的第二图像区域，进而可以提升对上述人脸进行追踪的准确性。

请参见图7，是本发明实施例提供的另一种图像数据处理方法的流程示意图。如图7所示，上述方法包括：

步骤S201，获取第一时刻包含目标对象的第一图像帧，并从上述第一图像帧中确定与上述目标对象相关联的第一图像区域。

步骤S202，从第一图像区域中确定多个第一角点，并在上述第一图像帧中确定每个第一角点的第一位置信息。

为便于理解，可以将从上述第一图像区域所提取出的多个第一角点存储在与上述第一图像帧对应的第一点集P1中，即该第一点集P1中所存储的多个第一角点可以为上述图5所对应实施例中显示界面200c中所显示出的多个第一角点，且上述目标终端可以进一步在上述第一图像帧中确定出的上述多个第一角点(即角点A1、角点A2、角点A3、角点A4、角点A5、角点A6)的第一位置信息。其中，上述每个第一角点的第一位置信息可以参见上述表1所示的每个第一角点的第一位置信息的分布表。即如上述表1所示，角点A1的第一位置信息为坐标(C1，B1)，角点A2的第一位置信息为坐标(C2，B2)，角点A3的第一位置信息为坐标(C3，B3)，角点A4的第一位置信息为坐标(C4，B4)，角点A5的第一位置信息为坐标(C5，B5)，角点A6的第一位置信息为坐标(C6，B6)。为便于理解，在上述点集P1中，可以将所存储的从上述第一图像区域中所提取出的M×N个第一角点中的每个第一角点统一表示为角点A_i，于是，每个第一角点的第一位置信息可以统一表示为(C_i，B_i)。其中，下标i的取值范围可以为大于等于1且小于等于M×N的自然数。

步骤S203，获取第二时刻包含上述目标对象的第二图像帧，并基于上述每个第一角点的第一位置信息，将上述每个第一角点映射到上述第二图像帧，并在上述第二图像帧中确定所映射得到的多个第二角点的第二位置信息。

其中，上述第二时刻为上述第一时刻的下一时刻。

同理，上述目标终端可以进一步将通过上述光流跟踪算法对第一图像帧中的每个第一角点进行角点追踪，以在第二图像帧中追踪到与每个第一角点所映射的第二角点，即可以将上述每个第一角点映射到第二图像帧中，并在上述第二图像帧中确定所映射得到的多个第二角点的第二位置信息。其中，上述每个第一角点与上述每个第二角点的映射关系可以参见上述表2所示的映射关系表。为便于理解，可以将通过该光流追踪算法所得到的每个第二角点存储在与上述第二图像帧对应的点集P2中。进一步地，上述目标终端可以在第一图像帧中确定出每个第二点集的第二位置信息，即可以得到上述点集P2中每个第二角点的第二位置信息，其中，各第二角点对应的第二位置信息可以为上述表3所示的各第二位置信息的分布表。同理，上述目标终端可以将上述多个第二角点中每个第二角点统一表示为角点A_i’，且每个第一角点所映射的第二位置信息可以统一表示为：(X_i，Y_i)。

其中，上述步骤S201-步骤S203的具体执行方式可以参见上述图2所对应实施例中对步骤S101-步骤S102的描述，这里将不再继续进行赘述。

步骤S204，基于上述每个第一角点的第一位置信息，和每个第二角点的第二位置信息，得到多个映射参量。

其中，上述多个映射参量中的任一个映射参量是基于一个第一角点的第一位置信息和一个第二角点的第二位置信息所得到的。

其中，上述多个映射参量中的每个映射参量可以通过上述公式(1.2)中的每个第一角点的第一位置信息(即在第一图像帧中的位置坐标(C_i，B_i))，和每个第一角点所映射的第二角点的第二位置信息(即在第二图像帧中的位置坐标(X_i，Y_i))所确定的。应当理解，上述公式(1.2)即为数学意义上能够表征两个点(即第一角点和第二角点)之间坐标映射关系的最小二乘法。因此，上述多个映射参量中的每个映射参量即为该目标终端通过该最小二乘法所确定出的每个第一角点与上述每个第一角点所映射的第二角点之间的坐标映射关系(即每个映射参量可以理解为基于每个第一角点的第一位置信息和相应的每个第二角点的第二位置信息所确定的位置上的映射关系)。

步骤S205，根据上述多个映射参量生成与上述多个第一角点对应的变换矩阵，并获取上述变换矩阵对应的逆矩阵，并将上述逆矩阵确定为第一变换矩阵。

其中，上述目标终端可以通过上述步骤S204中所得到的上述多个映射参量，进一步确定出变换矩阵T中的元素a和元素b的值，即得到上述公式(1.2)的值，从而可以根据上述公式(1.1)确定出与上述多个第一角点对应的变换矩阵。然后上述目标终端可以对该变换矩阵进行求逆运算，以得到与该变换矩阵对应的逆矩阵，从而可以得到能够将上述第二图像帧中的第二角点变换到第一图像帧的第一变换矩阵。

步骤S206，根据第一变换矩阵和每个第二角点的第二位置信息，将上述每个第二角点变换到上述第一图像帧，并在上述第一图像帧中确定所变换得到的多个第三角点的第三位置信息。

具体地，上述目标终端可以通过上述步骤S205中所生成的上述变换矩阵对应的逆矩阵(即上述第一变换矩阵)和每个第二角点的第二位置信息，将通过上述光流追踪算法所得到每个第二角点变换到(即反向映射到)第一图像帧中，以在上述第一图像帧中，得到每个第二角点所变换得到的第三角点的第三位置信息，并可以进一步确定上述多个第一角点中每个第一角点对应的第三角点，即在上述第一图像帧中，可以确定出每个第一角点与每个第三角点之间的映射关系。进一步地，请参见图8，是本发明实施例提供的一种获取第二图像区域的整体流程框架图。其中上述点集P1中的每个第一角点和上述点集P2中的每个第二角点以及点集P3中的每个第三角点之间的映射关系可以一并参见上述图6所示的各角点之间的映射关系的示意图。这里将不再继续进行赘述。

步骤S207，根据上述每个第一角点的第一位置信息和每个第三角点的第三位置信息，确定目标变换矩阵，并根据上述目标变换矩阵确定上述目标对象在上述第二图像帧中的图像区域。

其中，上述目标终端可以在上述第一图像帧中，基于上述每个第一角点的第一位置信息和上述每个第三角点的第三位置信息，得到多个位置误差，进而可以按照上述公式(1.4)中的误差计算公式得到图8所示的上述多个位置误差之和，进而可以将上述多个位置误差之和与图8所示的误差阈值进行比较，得到相应的比较结果(上述比较结果可以为上述步骤S105中的两种比较结果)。其中，若上述比较结果为上述多个位置误差之和大于上述误差阈值，则可以进一步基于上述多个位置误差中的每个位置误差，找到位置误差大于上述误差允许范围的目标位置误差。由于一个位置误差对应于一个第一角点和该第一角点对应的第三角点，因此，上述目标终端可以根据该目标位置误差，确定出该目标位置误差对应的第一角点，以在上述第一图像帧中，筛选出与目标位置误差对应的第一角点，并将筛选出的一个或多个第一角点确定为坏点。可见，上述坏点可以为上述多个第一角点中的一个或者多个第一角点，上述一个或者多个第一角点中任一第一角点的第一位置信息与其对应的第三角点的第三位置信息不匹配，可见，上述多个位置误差中的每个位置误差均可用于反映上述每个第一角点的第一位置信息，与对应的第三角点的第三位置信息之间的位置匹配情况；鉴于此，上述目标终端在确定出上述第一图像区域中的上述坏点之后，可以进一步去除上述第一图像区域中的坏点，即可以相应地在与上述第一图像帧对应的上述点集P1中对确定出的坏点进行过滤，并将去除上述坏点之后的剩余的第一角点确定为多个第一更新角点，以根据上述多个第一更新角点对图8所示的点集P1中的上述多个第一角点进行更新，并根据更新后的点集P1中所存储的每个第一更新角点，继续通过上述光流追踪算法，将上述每个第一更新角点重新映射到第二图像帧中，并在上述第二图像帧中确定所映射得到的多个第二更新角点的第二更新位置信息，进而可以根据上述每个第一更新角点的第一位置信息和每个第二更新角点的第二更新位置信息，重新计算得到最新的变换矩阵。然后，上述目标终端可以将该最新的变换矩阵对应的逆矩阵称之为第二变换矩阵，即该第二变换矩阵可以理解为新的第一变换矩阵，从而可以按照上述获取上述第三位置信息的具体步骤，得到多个第三更新角点中的每个第三更新角点的第三更新位置信息。从而可以根据上述每个第一更新角点的第一位置信息和上述每个第三更新角点的第三更新位置信息，生成图8所示的目标变换矩阵(此时，该目标变换矩阵可以为去除上述坏点之后的多个第一更新角点所对应的最新的变换矩阵)，进而可以并根据上述目标变换矩阵，和图8所示的第一图像区域中的人脸关键点进一步确定上述目标对象在上述第二图像帧中的图像区域。可以理解的是，目标对象在上述第二图像帧中的图像区域即为该人脸关键点在该第二图像帧中所构成的图像区域，即可以得到图8所示的第二图像区域。其中，应当理解，若该第一图像区域为上述图1所对应实施例中显示界面1(n-1)中的人脸框，则可以在显示界面1n中的第二图像帧中追踪到该人脸框对应的第二图像区域，即该第二图像区域可以为上述图1所对应实施例中的显示界面1n中的人脸框。

应当理解，上述多个位置误差中的每个位置误差可用于判断出上述第一图像帧的与上述每个位置误差所关联的第一角点与该第一角点所对应的第三角点之间的位置匹配情况，即存在图8所示的位置匹配和位置不匹配这两种情况。其中，确定上述目标变换矩阵的具体过程可参见上述图2所对应实施例中对确定上述目标变换矩阵的具体过程的描述，这里将不再继续进行赘述。

可选地，在去除上述第一图像区域中的坏点的过程中，上述目标终端还可以通过上述公式(1.3)进一步在第二图像帧中确定出具有位置不匹配特性的第二角点，从而可以间接地在上述第一图像帧中找到与上述具有位置不匹配特性的第二角点对应的第一角点，因此，可以间接地在第一图像帧中找到需要去除的坏点。换言之，上述目标终端在通过上述公式(1.1)和公式(1.1)得到变换矩阵之后，可以根据该变换矩阵的逆矩阵，将上述第二图像帧对应的点集P2中的每个第二角点映射到第一图像帧，以便于按照上述基于第一变换矩阵而找的存在与上述第一图像帧中的坏点。可选地，上述目标终端还可以直接根据该变换矩阵，进一步将与第一图像帧对应的点集P1中的每个第一角点变换到第二图像帧，进而可以得到上述每个第一角点通过该变换矩阵所得到第四角点(第四角点可以统一表示为a_i’)，并可以在第二图像帧中，确定出每个第四角点的第四位置信息，即该第四角点的第四位置信息可以统一表示为(c_i，b_i)。换言之，可选地，上述目标终端可以进一步根据上述变换矩阵，和上述每个第一角点的第一位置信息，确定出上述每个第一角点变换到上述第二图像帧中的每个第四角点的第四位置信息。即在第二图像帧中，每个第四角点的第四位置信息可能与通过上述光流跟踪算法所得到每个第一角点映射的第二角点的第二位置信息不匹配。鉴于此，在第二图像帧中，上述目标终端可以进一步根据上述每个第二角点的第二位置信息和上述每个第四角点的第四位置信息之间的位置匹配情况，在上述第二图像帧中确定出任一第二角点的第二位置信息与对应第四角点的第四位置信息不匹配的一个或者多个第二角点，进而可以将所确定出的一个或者多个第二角点称之为具有位置不匹配特性的第二角点，从而可以按照上述表2所示的第一角点与第二角点之间的映射关系，间接地在上述第一图像帧中找到与上述具有位置不匹配特性的第二角点对应的第一角点，从而可以间接地在第一图像帧中找到需要去除的坏点，进而可以按照上述基于去除坏点之后的剩余第一角点(即多个第一更新角点)的第一位置信息和对应第二更新角点的第二更新位置信息，重新计算变换矩阵，以生成目标变换矩阵。

其中，上述目标终端通过上述公式(1.3)进一步在第二图像帧中确定出具有位置不匹配特性的第二角点的具体过程可以为：基于上述公式(1.3)中的误差计算公式，从而可以输出与该误触计算公式对应的位置误差之和，即该位置误差之和可以是基于对每个第二角点所对应的位置误差进行求和后所确定得到的。因此，当每个第四角点的第四位置信息与对应的第二角点的第二位置信息不匹配时，可以在第二图像帧中挑选出具有位置不匹配特性的每个第二角点，并基于上述表2所示的每个第一角点与每个第二角点之间的映射关系，在上述第一图像帧中，查找与每个具有位置不匹配特性的第二角点所对应的第一角点，并将查找到的一个或多个第一角点确定为坏点，以便于在上述第一图像区域，去除上述坏点。

鉴于此，上述目标终端在基于上述公式(1.3)间接地确定出上述第一图像区域中的上述坏点，也可以基于上述公式(1.4)直接地在上述第一图像区域中找的需要去除的上述坏点。即本发明可以通过这两种方式的同时使用，可实现更加准确、有效地对上述第一图像区域中所存在的坏点进行去除。

应当理解，在去除上述坏点的过程中，上述目标终端可以根据去除上述坏点之后所最终得到的位置误差小于或等于上述误差阈值时，将得到的最新的变换矩阵确定为目标变换矩阵。可选地，上述目标终端还可以统计去除上述第一图像区域中的坏点的次数，若统计到上述次数大于或者等于次数阈值，则可以按照上述图8所示的流程框架图来多次重复执行上述步骤S201-步骤S207中的步骤，以将上述次数大于或者等于次数阈值时的所确定出的最新的变换矩阵确定为目标变换矩阵。

本发明实施例首先通过对上述第一图像帧中的每个第一角点的第一位置信息进行追踪，可以在第二图像帧中找到上述每个第一角点所映射的第二角点的第二位置信息。由于上述人脸的运动较为灵活，为确保上述第一图像帧中的多个第一角点能够尽可能地被一一映射在上述第二图像帧中，可以进一步将每个第一角点所映射的第二角点反向变换到第一图像帧，以在第一图像帧中得到任一第一角点的位置匹配情况，即通过将在上述第二图像帧中所得到的每个第二角点，反向变换到上述第一图像帧中，可以在上述第一图像帧中将上述每个第二角点所变换得到的角点确定为第三角点，并可以进一步在上述第一图像帧中确定所得到的多个第三角点的第三位置信息，进而可以进一步根据得到的上述每个第一角点的第一位置信息和上述每个第一角点对应的第三角点的第三位置信息，确定出目标变换矩阵；其中，上述目标变换矩阵可以为上述任一第一角点和上述任一第一角点对应的第三角点之间的位置匹配时所得到矩阵，可选地，上述目标变换矩阵还可以为上述多个第一角点中的任一个或多个第一角点和对应的第三角点之间位置不匹配时所得到的矩阵。因此，可以进一步根据上述目标变换矩阵对出现在上述第一图像帧中的图像区域(即人脸框)进行追踪，可以理解的是，通过反向变换，可以避免单一的光流追踪算法所造成的追踪过程中的人脸框的偏移，从而可以在上述第二图像帧中准确地定位到与上述人脸贴合的区域，即可以在第二图像帧中追踪到与上述人脸框贴合的图像区域，进而可以提升对上述人脸进行追踪的准确性。

进一步地，请参见图9，是本发明实施例提供的一种图像数据处理装置的结构示意图。如图9所示，上述图像数据处理装置1可以为上述图1所对应实施例中的目标终端。上述图像数据处理装置1可以包含：第一位置确定模块10，第二位置确定模块20，角点变换模块30，第三位置确定模块40，目标矩阵确定模块50和第二区域确定模块60；

第一位置确定模块10，用于获取第一时刻包含目标对象的第一图像帧，并从上述第一图像帧中获取多个第一角点的第一位置信息；

其中，第一位置确定模块10可以包括：第一区域确定单元101和第一位置确定单元102；

第一区域确定单元101，用于获取第一时刻包含目标对象的第一图像帧，并从上述第一图像帧中确定与上述目标对象相关联的第一图像区域；

其中，上述目标对象包括人脸；

上述第一区域确定单元101，包括：脸部区域确定子单元1011和关键点确定子单元1012；

上述脸部区域确定子单元1011，用于获取第一时刻包含上述人脸的第一图像帧，并在上述第一图像帧中确定上述人脸对应的脸部区域；

上述关键点确定子单元1012，用于基于神经网络模型从上述脸部区域中确定与上述人脸相关联的人脸关键点，并根据上述人脸关键点在上述脸部区域中的位置信息，确定上述人脸在上述第一图像帧中的第一图像区域。

其中，上述脸部区域确定子单元1011和关键点确定子单元1012的具体执行方式可参见上述图2所对应实施例中对步骤S101描述，这里将不再继续进行赘述。

第一位置确定单元102，用于从第一图像区域中确定多个第一角点，并在上述第一图像帧中确定每个第一角点的第一位置信息。

其中，上述第一位置确定单元102，包括：子区域划分子单元1021，角点提取子单元1022和位置确定子单元1023；

上述子区域划分子单元1021，用于将上述第一图像区域均匀划分为M个子区域，其中，M为大于等于2的自然数；

上述角点提取子单元1022，用于在上述M个子区域中的每个子区域内分别提取N个第一角点，得到M×N个第一角点，其中，N为大于等于3的自然数；

上述位置确定单元1023，用于在上述第一图像帧中确定上述M×N个第一角点中每个第一角点的第一位置信息。

其中，上述子区域划分子单元1021，角点提取子单元1022和位置确定子单元1023的具体执行方式可参见上述图2所对应实施例中对步骤S101的描述，这里将不再继续进行赘述。

第二位置确定模块20，用于获取第二时刻包含上述目标对象的第二图像帧，并在上述第二图像帧中获取多个第二角点的第二位置信息；

其中，第二位置确定模块20，具体用于获取第二时刻包含上述目标对象的第二图像帧，并基于上述每个第一角点的第一位置信息，将上述每个第一角点映射到上述第二图像帧，并在上述第二图像帧中确定所映射得到的多个第二角点的第二位置信息，上述第二时刻为上述第一时刻的下一时刻。

角点变换模块30，用于将上述多个第二角点变换到上述第一图像帧；

其中，上述角点变换模块30包括：映射参量生成单元301，变换矩阵生成单元302和角点变换单元303；

映射参量生成单元301，用于基于上述每个第一角点的第一位置信息，和每个第二角点的第二位置信息，得到多个映射参量，其中，上述多个映射参量中一个映射参量基于一个第一角点的第一位置信息和一个第二角点的第二位置信息得到；

变换矩阵生成单元302，用于根据上述多个映射参量生成与上述多个第一角点对应的变换矩阵，并获取上述变换矩阵对应的逆矩阵，并将上述逆矩阵确定为第一变换矩阵；

角点变换单元303，用于根据上述第一变换矩阵和上述每个第二角点的第二位置信息，将上述每个第二角点变换到上述第一图像帧。

其中，映射参量生成单元301，变换矩阵生成单元302和角点变换单元303的的具体执行方式可参见上述图2所对应实施例中对步骤S103的描述，这里将不再继续进行赘述。

第三位置确定模块40，用于在上述第一图像帧中确定所变换得到的多个第三角点的第三位置信息；

上述目标矩阵确定模块50，用于根据上述多个第一角点的第一位置信息和上述多个第三角点的第三位置信息，确定目标变换矩阵；

其中，上述述目标矩阵确定模块50，包括：对应关系确定单元501，坏点去除单元502，第一更新单元503，第二更新单元504和目标矩阵生成单元505；可选地，上述目标矩阵确定模块50还可以包含，次数统计单元506；

上述对应关系确定单元501，用于确定上述多个第一角点中每个第一角点对应的第三角点，其中，任一第一角点对应的第三角点是基于上述任一第一角点映射得到的第二角点所确定的；

上述坏点去除单元502，用于根据上述每个第一角点的第一位置信息和每个第三角点的第三位置信息，去除上述第一图像区域中的坏点；上述坏点为上述多个第一角点中的一个或者多个第一角点，上述一个或者多个第一角点中任一第一角点的第一位置信息与其对应的第三角点的第三位置信息不匹配；

其中，上述坏点去除单元502，包括：误差获取子单元5021，计算子单元5022、角点去除子单元5023和矩阵确定子单元5024；

上述误差获取子单元5021，用于根据上述每个第一角点的第一位置信息，和每个第三角点的第三位置信息，得到多个位置误差；上述多个位置误差中的任一位置误差是基于任一第一角点的第一位置信息和上述任一角点对应的第三角点的第三位置信息所确定的。

上述计算子单元5022，用于计算上述多个位置误差之和；

上述角点去除子单元5023，用于若上述多个位置误差之和大于误差阈值，则去除上述第一图像区域中的一个或者多个第一角点。

可选地，上述矩阵确定子单元5024，用于若上述多个位置误差之和小于或者等于误差阈值，则将与上述多个第一角点对应的变换矩阵确定为目标变换矩阵。

其中，上述误差获取子单元5021，计算子单元5022、角点去除子单元5023和矩阵确定子单元5024的具体执行方式可参见上述图2所对应实施例中对去除上述坏点的具体过程的描述，这里将不再继续进行赘述。

上述第一更新单元503，用于在上述第一图像区域中，将去除上述坏点之后所剩余的第一角点，确定为多个第一更新角点；上述多个第一更新角点中的一个更新角点是基于去除上述坏点之后所剩余的第一角点中的一个第一角点所确定的；

上述第二更新单元504，用于根据每个第一更新角点的第一位置信息，将上述每个第一更新角点映射到上述第二图像帧，并在上述第二图像帧中确定所映射得到的多个第二更新角点的第二更新位置信息；

上述目标矩阵生成单元505，用于根据上述每个第一更新角点的第一位置信息和每个第二更新角点的第二更新位置信息，生成目标变换矩阵。

其中，上述对应关系确定单元501，坏点去除单元502，第一更新单元503，第二更新单元504和目标矩阵生成单元505的具体执行方式可参见上述图2所对应实施例中对步骤S104的描述，这里将不再继续进行赘述。

上述次数统计单元206，用于统计去除上述第一图像区域中的坏点的次数，若统计到的上述次数大于或者等于次数阈值，则通知上述第一更新单元503执行在上述第一图像区域中，将去除上述坏点之后所剩余的第一角点，确定为多个第一更新角点。

其中，上述次数统计单元506的具体执行方式可参见上述图8所对应实施例中对统计上述去除上述坏点的次数的描述，这里将不再继续进行赘述。

上述区域确定模块60，用于根据上述目标变换矩阵确定上述目标对象在上述第二图像帧中的图像区域。

其中，上述第一位置确定模块10，第二位置确定模块20，角点变换模块30，第三位置确定模块40，目标矩阵确定模块50和,区域确定模块60的具体执行方式可参见上述图2所对应实施例中对步骤S101-步骤S104的描述，这里将不再继续进行赘述。

本发明实施例首先通过对上述第一图像帧中的每个第一角点的第一位置信息进行追踪，可以在第二图像帧中找到上述每个第一角点所映射的第二角点的第二位置信息。由于上述人脸的运动较为灵活，为确保上述第一图像帧中的多个第一角点能够尽可能地被一一映射在上述第二图像帧中，可以进一步将每个第一角点所映射的第二角点反向变换到第一图像帧，以在第一图像帧中得到任一第一角点的位置匹配情况，即通过将在上述第二图像帧中所得到的每个第二角点，反向变换到上述第一图像帧中，可以在上述第一图像帧中将上述每个第二角点所变换得到的角点确定为第三角点，并可以进一步在上述第一图像帧中确定所得到的多个第三角点的第三位置信息，进而可以进一步根据得到的上述每个第一角点的第一位置信息和上述每个第一角点对应的第三角点的第三位置信息，确定出目标变换矩阵；其中，上述目标变换矩阵可以为上述任一第一角点和上述任一第一角点对应的第三角点之间的位置匹配时所得到矩阵，可选地，上述目标变换矩阵还可以为上述多个第一角点中的任一个或多个第一角点和对应的第三角点之间位置不匹配时所得到的矩阵。因此，可以进一步根据上述目标变换矩阵对出现在上述第一图像帧中的图像区域(即人脸框)进行追踪，可以理解的是，通过反向变换，可以避免单一的光流追踪算法所造成的追踪过程中的人脸框的偏移，从而可以在上述第二图像帧中准确地定位到与上述人脸贴合的区域，即可以在第二图像帧中追踪到与上述人脸框贴合的图像区域，进而可以提升对上述人脸进行追踪的准确性。

进一步地，请参见图10，是本发明实施例提供的另一种图像数据处理装置的结构示意图。如图10所示，上述图像数据处理装置1000可以应用于上述图1对应实施例中的目标终端。上述图像数据处理装置1000可以包括：处理器1001，网络接口1004和存储器1005，此外，上述图像数据处理装置1000还可以包括：用户接口1003，和至少一个通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。其中，用户接口1003可以包括显示屏(Display)、键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1004可以是高速RAM存储器，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。存储器1005可选的还可以是至少一个位于远离前述处理器1001的存储装置。如图10所示，作为一种计算机存储介质的存储器1005中可以包括操作***、网络通信模块、用户接口模块以及设备控制应用程序。

在图10所示的图像数据处理装置1000中，网络接口1004可提供网络通讯功能；而用户接口1003主要用于为用户提供输入的接口；而处理器1001可以用于调用存储器1005中存储的设备控制应用程序，以实现：

获取第一时刻包含目标对象的第一图像帧，并从上述第一图像帧中获取多个第一角点的第一位置信息；

获取第二时刻包含上述目标对象的第二图像帧，并在上述第二图像帧中获取多个第二角点的第二位置信息；

将上述多个第二角点变换到上述第一图像帧，并在上述第一图像帧中确定所变换得到的多个第三角点的第三位置信息；

根据上述多个第一角点的第一位置信息和上述多个第三角点的第三位置信息，确定目标变换矩阵，并根据上述目标变换矩阵确定上述目标对象在上述第二图像帧中的图像区域。

应当理解，本发明实施例中所描述的图像数据处理装置1000可执行前文图2或图7所对应实施例中对上述图像数据处理方法的描述，也可执行前文图9所对应实施例中对上述图像数据处理装置1的描述，在此不再赘述。另外，对采用相同方法的有益效果描述，也不再进行赘述。

此外，这里需要指出的是：本发明实施例还提供了一种计算机存储介质，且上述计算机存储介质中存储有前文提及的图像数据处理装置1所执行的计算机程序，且上述计算机程序包括程序指令，当上述处理器执行上述程序指令时，能够执行前文图2或图7所对应实施例中对上述图像数据处理方法的描述，因此，这里将不再进行赘述。另外，对采用相同方法的有益效果描述，也不再进行赘述。对于本发明所涉及的计算机存储介质实施例中未披露的技术细节，请参照本发明方法实施例的描述。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，上述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，上述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。

以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (15)

1.一种图像数据处理方法，其特征在于，包括：

获取第一时刻包含目标对象的第一图像帧，并从所述第一图像帧中获取多个第一角点的第一位置信息；

获取第二时刻包含所述目标对象的第二图像帧，并在所述第二图像帧中获取多个第二角点的第二位置信息；

将所述多个第二角点变换到所述第一图像帧，并在所述第一图像帧中确定所变换得到的多个第三角点的第三位置信息；

根据所述多个第一角点的第一位置信息和所述多个第三角点的第三位置信息，确定目标变换矩阵，并根据所述目标变换矩阵确定所述目标对象在所述第二图像帧中的图像区域。

2.根据权利要求1所述的方法，其特征在于，所述获取第一时刻包含目标对象的第一图像帧，并从所述第一图像帧中获取多个第一角点的第一位置信息，包括：

获取第一时刻包含目标对象的第一图像帧，并从所述第一图像帧中确定与所述目标对象相关联的第一图像区域；

从第一图像区域中确定多个第一角点，并在所述第一图像帧中确定每个第一角点的第一位置信息。

3.根据权利要求2所述的方法，其特征在于，所述目标对象包括人脸；

所述获取第一时刻包含目标对象的第一图像帧，并从所述第一图像帧中确定与所述目标对象相关联的第一图像区域，包括：

获取第一时刻包含所述人脸的第一图像帧，并在所述第一图像帧中确定所述人脸对应的脸部区域；

基于神经网络模型从所述脸部区域中确定与所述人脸相关联的人脸关键点，并根据所述人脸关键点在所述脸部区域中的位置信息，确定所述人脸在所述第一图像帧中的第一图像区域。

4.根据权利要求2所述的方法，其特征在于，所述从所述第一图像区域中确定多个第一角点，并在所述第一图像帧中确定每个第一角点的第一位置信息，包括：

将所述第一图像区域均匀划分为M个子区域，其中，M为大于等于2的自然数；

在所述M个子区域中的每个子区域内分别提取N个第一角点，得到M×N个第一角点，其中，N为大于等于3的自然数；

在所述第一图像帧中确定所述M×N个第一角点中每个第一角点的第一位置信息。

5.根据权利要求4所述的方法，其特征在于，所述获取第二时刻包含所述目标对象的第二图像帧，并在所述第二图像帧中获取多个第二角点的第二位置信息，包括：

获取第二时刻包含所述目标对象的第二图像帧，并基于所述每个第一角点的第一位置信息，将所述每个第一角点映射到所述第二图像帧，并在所述第二图像帧中确定所映射得到的多个第二角点的第二位置信息，所述第二时刻为所述第一时刻的下一时刻。

6.根据权利要求1所述的方法，其特征在于，所述将所述多个第二角点变换到所述第一图像帧，包括：

基于所述多个第一角点中每个第一角点的第一位置信息，和所述多个第二角点中每个第二角点的第二位置信息，得到多个映射参量，其中，所述多个映射参量中一个映射参量基于一个第一角点的第一位置信息和一个第二角点的第二位置信息得到；

根据所述多个映射参量生成与所述多个第一角点对应的变换矩阵，并获取所述变换矩阵对应的逆矩阵，并将所述逆矩阵确定为第一变换矩阵；

根据所述第一变换矩阵和所述每个第二角点的第二位置信息，将所述每个第二角点变换到所述第一图像帧。

7.根据权利要求6所述的方法，其特征在于，所述根据所述多个第一角点的第一位置信息和所述多个第三角点的第三位置信息，确定目标变换矩阵，包括：

确定所述多个第一角点中每个第一角点对应的第三角点，其中，任一第一角点对应的第三角点基于所述任一第一角点映射得到的第二角点确定；

根据所述每个第一角点的第一位置信息和每个第三角点的第三位置信息，去除所述第一图像区域中的坏点；所述坏点为所述多个第一角点中的一个或者多个第一角点，所述一个或者多个第一角点中任一第一角点的第一位置信息与所述任一第一角点对应的第三角点的第三位置信息不匹配；

在所述第一图像区域中，将去除所述坏点之后所剩余的第一角点确定为多个第一更新角点；所述多个第一更新角点中的一个更新角点基于去除所述坏点之后所剩余的第一角点中的一个第一角点确定；

根据每个第一更新角点的第一位置信息，将所述每个第一更新角点映射到所述第二图像帧，并在所述第二图像帧中确定所映射得到的多个第二更新角点的第二更新位置信息；

根据所述每个第一更新角点的第一位置信息和每个第二更新角点的第二更新位置信息，生成目标变换矩阵。

8.根据权利要求7所述的方法，其特征在于，所述方法还包括：

统计去除所述第一图像区域中的坏点的次数，若统计到的所述次数大于或者等于次数阈值，则执行在所述第一图像区域中，将去除所述坏点之后所剩余的第一角点，确定为多个第一更新角点的步骤。

9.根据权利要求7所述的方法，其特征在于，所述根据所述每个第一角点的第一位置信息和所述每个第三角点的第三位置信息，去除所述第一图像区域中的坏点，包括：

根据所述每个第一角点的第一位置信息，和每个第三角点的第三位置信息，得到多个位置误差；所述多个位置误差中的任一位置误差基于任一第一角点的第一位置信息和所述任一第一角点对应的第三角点的第三位置信息确定；

计算所述多个位置误差之和；

若所述多个位置误差之和大于误差阈值，则去除所述第一图像区域中的一个或者多个第一角点。

10.根据权利要求9所述的方法，其特征在于，所述方法还包括：

若所述多个位置误差之和小于或者等于误差阈值，则将与所述多个第一角点对应的变换矩阵确定为目标变换矩阵。

11.一种图像数据处理装置，其特征在于，包括：

第一位置确定模块，用于获取第一时刻包含目标对象的第一图像帧，并从所述第一图像帧中获取多个第一角点的第一位置信息；

第二位置确定模块，用于获取第二时刻包含所述目标对象的第二图像帧，并在所述第二图像帧中获取多个第二角点的第二位置信息；

第三位置确定模块，用于将所述多个第二角点变换到所述第一图像帧，并在所述第一图像帧中确定所变换得到的多个第三角点的第三位置信息；

目标矩阵生成模块，用于根据所述每个第一角点的第一位置信息和每个第三角点的第三位置信息，确定目标变换矩阵；

区域确定模块，用于根据所述目标变换矩阵确定所述目标对象在所述第二图像帧中的图像区域。

12.根据权利要求11所述的装置，其特征在于，所述第一位置确定模块包括：

第一区域确定单元，用于获取第一时刻包含目标对象的第一图像帧，并从所述第一图像帧中确定与所述目标对象相关联的第一图像区域；

第一位置确定单元，用于从第一图像区域中确定多个第一角点，并在所述第一图像帧中确定每个第一角点的第一位置信息。

13.根据权利要求12所述的装置，其特征在于，所述目标对象包括人脸；

所述第一区域确定单元，包括：

脸部区域确定子单元，用于获取第一时刻包含所述人脸的第一图像帧，并在所述第一图像帧中确定所述人脸对应的脸部区域；

关键点确定子单元，用于基于神经网络模型从所述脸部区域中确定与所述人脸相关联的人脸关键点，并根据所述人脸关键点在所述脸部区域中的位置信息，确定所述人脸在所述第一图像帧中的第一图像区域。

14.一种图像数据处理装置，其特征在于，包括：处理器和存储器；

所述处理器和存储器相连，其中，所述存储器用于存储程序代码，所述处理器用于调用所述程序代码，以执行如权利要求1-10任一项所述的方法。

15.一种计算机存储介质，其特征在于，所述计算机存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时，执行如权利要求1-10任一项所述的方法。