CN114038025A - 数据处理方法、服务提供方法、装置、设备和存储介质 - Google Patents

Abstract

本发明实施例提供一种数据处理方法、服务提供方法、装置、设备和存储介质，该数据处理方法包括：处理设备获取包含目标对象的待检测图像序列，同时提取待检测图像序列在时间维度和空间维度上的信息，以获得待检测图像序列的图像特征。再确定图像特征的深度值，以根据深度值确定目标对象的类型。在上述方法中，待检测图像序列在时间维度和空间维度上的信息会完整的保留在图像特征中。再根据此信息丰富的图像特征进行目标对象类型的识别，从而能够准确确定出目标对象的类型，保证处理设备不会被特定类型的目标对象攻击。

Description

数据处理方法、服务提供方法、装置、设备和存储介质

技术领域

本发明涉及计算机技术领域，尤其涉及一种数据处理方法、服务提供方法、装置、设备和存储介质。

背景技术

人脸识别已经越来越多地应用在日常生活中，比如通过人脸识别技术实现考勤统计、人员管理等等。但在人脸识别的过程中，通常会存在非活体攻击的情况。以考勤统计场景为例，可以使用员工的照片或者视频等数据对人脸识别***发起非活体攻击，即让人脸识别***识别员工的照片或者视频，以达到伪装该员工实现考勤打卡的目的。

上述的非活体攻击会给人脸识别***的安全性带来隐患。因此，如何避免非活体攻击识别***就成为一个亟待解决的问题。

发明内容

有鉴于此，本发明实施例提供一种数据方法、服务提供方法、装置、设备和存储介质，用以保证目标对象分类的准确性，从而避免非活体的攻击。

第一方面，本发明实施例提供一种数据处理方法，包括：

获取待检测图像序列；

同时提取所述待检测图像序列在时间维度和空间维度上的信息，以获得所述待检测图像序列的图像特征；

确定所述图像特征的深度值；

根据所述深度值确定所述待检测图像序列中包含的目标对象的类型。

第二方面，本发明实施例提供一种数据处理装置，包括：

获取模块，用于获取待检测图像序列；

提取模块，用于同时提取所述待检测图像序列在时间维度和空间维度上的信息，以获得所述待检测图像序列的图像特征；

深度值确定模块，用于确定所述图像特征的深度值；

类型确定模块，用于根据所述深度值确定所述待检测图像序列中包含的目标对象的类型。

第三方面，本发明实施例提供一种电子设备，包括处理器和存储器，所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行时实现上述第一方面中的数据处理方法。该电子设备还可以包括通信接口，用于与其他设备或通信网络通信。

第四方面，本发明实施例提供了一种非暂时性机器可读存储介质，所述非暂时性机器可读存储介质上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器至少可以实现如第一方面所述的数据处理方法。

第五方面，本发明实施例提供一种服务提供方法，包括：

响应于用户触发的图像采集操作，采集待检测图像序列；

同时提取所述待检测图像序列在时间维度和空间维度上的信息，以获得所述待检测图像序列的图像特征；

输出所述图像特征的深度值，所述深度值反映所述待检测图像序列中包含的目标对象的类型。

第六方面，本发明实施例提供一种服务提供装置，包括：

采集模块，用于响应于用户触发的图像采集操作，采集待检测图像序列；

提取模块，用于同时提取所述待检测图像序列在时间维度和空间维度上的信息，以获得所述待检测图像序列的图像特征；

输出模块，用于输出所述图像特征的深度值，所述深度值反映所述待检测图像序列中包含的目标对象的类型。

第七方面，本发明实施例提供一种电子设备，包括处理器和存储器，所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行时实现上述第五方面中的服务提供方法。该电子设备还可以包括通信接口，用于与其他设备或通信网络通信。

第八方面，本发明实施例提供了一种非暂时性机器可读存储介质，所述非暂时性机器可读存储介质上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器至少可以实现如第五方面所述的服务提供方法。

第九方面，本发明实施例提供一种服务提供方法，包括：

接收用户输入的训练图像序列以及与所述训练图像序列对应的输入深度图像序列；

将所述训练图像序列输入预设模型中的第一特征提取网络，以由所述第一特征提取网络同时提取所述训练图像序列在时间维度和空间维度上的信息，得到第一图像特征；

将所述第一图像特征输入所述预设模型中的第二特征提取网络，以由所述第二特征提取网络同时提取所述第一图像特征在时间维度和空间维度上的信息，得到第二图像特征；

将所述第一图像特征和所述第二图像特征输入所述预设模型中的融合网络，以由所述融合网络对所述第一图像特征和所述第二图像特征进行特征融合；

将特征融合结果输入所述深度估计网络，以由所述深度估计网络输出所述训练图像序列对应的预测深度图像序列；

根据所述输入深度图像序列和所述预测深度图像序列，调整所述预设模型的模型参数；

输出所述模型参数。

第十方面，本发明实施例提供一种服务提供装置，包括：

接收模块，用于接收用户输入的训练图像序列以及与所述训练图像序列对应的输入深度图像序列；

输入模块，用于将所述训练图像序列输入预设模型中的第一特征提取网络，以由所述第一特征提取网络同时提取所述训练图像序列在时间维度和空间维度上的信息，得到第一图像特征；

将所述第一图像特征输入所述预设模型中的第二特征提取网络，以由所述第二特征提取网络同时提取所述第一图像特征在时间维度和空间维度上的信息，得到第二图像特征；

将所述第一图像特征和所述第二图像特征输入所述预设模型中的融合网络，以由所述融合网络对所述第一图像特征和所述第二图像特征进行特征融合；

将特征融合结果输入所述深度估计网络，以由所述深度估计网络输出所述训练图像序列对应的预测深度图像序列；

调整模块，用于根据所述输入深度图像序列和所述预测深度图像序列，调整所述预设模型的模型参数；

输出模块，用于输出所述模型参数。

第十一方面，本发明实施例提供一种电子设备，包括处理器和存储器，所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行时实现上述第九方面中的服务提供方法。该电子设备还可以包括通信接口，用于与其他设备或通信网络通信。

第十二方面，本发明实施例提供了一种非暂时性机器可读存储介质，所述非暂时性机器可读存储介质上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器至少可以实现如第九方面所述的服务提供方法。

本发明实施例提供的数据处理方法，处理设备获取包含目标对象的待检测图像序列，并同时提取待检测图像序列在时间维度和空间维度上的信息，以得到图像特征。再识别图像特征的深度值，以根据深度值确定目标对象的类型。也就是说待检测图像序列在时间维度和空间维度上的信息会完整的保留在图像特征中，不会出现信息的大量损失。再根据此信息丰富的图像特征进行目标对象类型的识别，从而能够准确确定出目标对象的类型，进一步也就保证了具有人脸识别功能的处理设备不会被特定类型的目标对象攻击。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种数据处理方法的流程图；

图2为本发明实施例提供的另一种数据处理方法的流程图；

图3为本发明实施例提供的一种预设模型的结构示意图；

图4为本发明实施例提供的一种图像特征提取方式的流程图；

图5为本发明实施例提供的另一种预设模型的结构示意图；

图6为本发明实施例提供的又一种预设模型的结构示意图；

图7为本发明实施例提供的又一种预设模型的结构示意图；

图8为本发明实施例提供的又一种数据处理方法的流程图；

图9为本发明实施例提供的一种服务提供方法的流程图；

图10为本发明实施例提供的又一种服务提供方法的流程图；

图11为本发明实施例提供的数据处理方法应用在考勤打卡场景下的示意图；

图12为本发明实施例提供的数据处理方法应用在零售场景下的示意图；

图13为本发明实施例提供的一种数据处理装置的结构示意图；

图14为与图13所示实施例提供的数据处理装置对应的电子设备的结构示意图；

图15为本发明实施例提供的一种服务提供装置的结构示意图；

图16为与图15所示实施例提供的服务提供装置对应的电子设备的结构示意图；

图17为本发明实施例提供的另一种服务提供装置的结构示意图；

图18为与图17所示实施例提供的服务提供装置对应的电子设备的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义，“多种”一般包含至少两种，但是不排除包含至少一种的情况。

应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

取决于语境，如在此所使用的词语“如果”、“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于识别”。类似地，取决于语境，短语“如果确定”或“如果识别(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当识别(陈述的条件或事件)时”或“响应于识别(陈述的条件或事件)”。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的商品或者***不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种商品或者***所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的商品或者***中还存在另外的相同要素。

在对本发明实施例提供的数据处理方法进行详细说明之前，还可以先对该数据处理方法的现实意义进行示例性说明：

对于具有人脸识别功能的处理设备，在背景技术中提及的考勤打卡场景下，员工B可以借助员工A的照片或者视频，使处理设备获取到非活体的员工A对应的图像序列，其中，图像序列中包含员工A的面部即为图像序列的目标对象。当处理设备进一步通过自身的人脸识别功能确定出图像序列中包含的目标对象是员工A时，便会认为员工A完成了考勤打卡，但这种打卡显然是一种作弊行为。此时，使用本发明提供的数据处理方法能够准确识别出图像序列中包含的员工是否是活体，再进一步确定员工的考勤打卡行为是否有效，从而避免了上述情况。

类似地，公司中的员工可以对于不同的工作区域具有不同的使用权限。比如员工A具有工作区域1的使用权限，而员工B不具有。则在实际中，员工B同样可以使用员工A的照片或者视频来攻击处理设备中的人脸识别***，从而使得自己也可以进入到工作区域1中。但这种显然也是不合规的，在这种情况下，也可以使用本发明提供的数据处理方法来避免上述情况。

当然，除了上述场景之外，任何通过人脸识别方式进行用户识别的场景都可以使用本发明提供的方法。对于一个更大的适用范围，任何存在识别图像序列中包含的目标对象是否是活体需求的场景都可以使用本发明提供的方法，并且目标对象也并不限定是人。

基于上述描述，下面结合附图对本发明的一些实施方式作详细说明。在各实施例之间不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。另外，下述各方法实施例中的步骤时序仅为一种举例，而非严格限定。

下述各实施例均以识别图像序列中包含的人物面部是否是活体的场景为例进行说明。则图1为本发明实施例提供的一种数据处理方法的流程图，本发明实施例提供的该数据处理方法可以由具有人脸识别功能的处理设备来执行。可以理解的是，该处理设备可以实现为软件、或者软件和硬件的组合。如图1所示，该方法包括如下步骤：

S101，获取待检测图像序列。

对于待检测图像序列的获取，可选地，处理设备可以配置有摄像头，则响应于用户对处理设备触发的权限验证操作，处理设备可以控制的摄像头采集图像序列，即待检测图像序列。可选地，用户还可以在终端设备上触发权限验证操作，并由终端设备采集待检测图像序列。再通过终端设备将待检测图像序列发送至处理设备。

其中，待检测图像序列实际上是一段较短时长的视频，比如2秒。并且待检测图像序列中可以包含目标对象，最常见的目标对象可以是人物面部。摄像头采集的待检测图像序列有可能对应于活体的人物面部，也有可能对应于非活体的人物面部，比如包含人物面部的照片或者视频，此时，这就需要进一步执行下述步骤来进行判断图像序列中的目标对象的类型，即是否是活体。

其中，可选地，用户可以通过点击或者语音指令等方式触发权限验证操作。并且对于不同的使用场景，需要进行验证的权限也可以是多种多样的，需要验证的权限比如可以是打卡权限或者工作区域的使用权限等等。

S102，同时提取待检测图像序列在时间维度和空间维度上的信息，以获得待检测图像序列的图像特征。

接着，处理设备可以将采集到的待检测图像序列作为一个整体进行特征提取，从而实现同时提取出待检测图像序列在时间维度和空间维度上的信息。为了后续描述简洁，本实施例中可以将待检测图像序列的图像特征称为目标图像特征。

经过特征提取后，待检测图像序列中在时间维度和空间维度上的信息都会较完整的保留在目标图像特征中。相比于先提取待检测图像序列在空间维度上的信息，再从提取结果中提取待检测图像序列在时间维度上的信息，本实施例中这种同时提取的方式，不会出现信息的大量损失。一种可选地同时提取多维度信息的方式为三维卷积，当然也可以是其他方式。

S103，确定图像特征的深度值。

S104，根据深度值确定待检测图像序列中包含的目标对象的类型。

再对此包含多维度信息的目标图像特征进行深度估计，以得到目标图像特征的深度值，以根据估计出的深度值确定待检测图像中包含的目标对象的类型。其中，目标对象的类型可以反映目标对象是否是活体。一种可选地类型确定方式，当深度值满足预设条件时，则可以确定目标对象是活体；否则确定目标对象为非活体。通过类型的判断可以知晓处理设备是否别被非活体的目标对象所攻击。

在实际应用中，步骤102中得到的目标图像特征具体可以表现为一个N*N的矩阵。经过深度值估计后，得到的深度值实际上是也是一个矩阵，即尺寸为N*N的深度值矩阵，也就是说目标图像特征中的每个元素都有与其唯一对应的深度值。则根据深度值矩阵中各元素的数值可以设定上述的预设条件为：深度值矩阵中各元素的数值之间的变化范围大于或等于预设范围，具体来说是最大值和最小值之间的差值大于或等于预设范围。其中，预设范围可以是一个较小的范围，比如0～0.5等等。

通过上述预设条件即可判断目标对象是否是活体的理由是：对于活体的人物面部，其是立体的，即面部中五官具有不同的凸出程度，从而使得深度值矩阵中各元素的数值有较大差异，即变化范围较大。举例来说，五官中的鼻子最为突出，则深度值矩阵中与鼻子对应的深度值最小，深度值矩阵中与其他部位对应的深度值较大。

相反的，对于非活体的人物面部，其是平面的，即面部中五官的凸出程度均相同，从而导致深度值矩阵中各元素的数值几乎是相同。但考虑到深度值估计的误差，则深度值矩阵中各元素的数值之间的差异较小，即变化范围较小。

本实施例中，处理设备获取包含目标对象的待检测图像序列，并通过三维卷积的方式对待检测图像序列进行特征提取，以得到图像特征。再识别图像特征的深度值，并根据深度值确定目标对象的类型。由于通过三维卷积可以同时提取出待检测图像序列在时间维度和空间维度上的信息，也就是说待检测图像序列中在时间维度和空间维度上的信息会保留在图像特征中，不会出现信息的大量损失，因此，再根据此信息丰富的图像特征进行目标对象类型的识别，从而能够准确确定出目标对象的类型，进一步也保证了处理设备不会被特定类型即非活体的目标对象攻击。

可选地，若按照上述方式确定出目标对象为非活体类型，表明出现了使用照片或是视频对处理设备进行攻击的情况，则可选地，处理设备可以直接忽略用户触发的权限验证操作做出，或者为用户展示权限验证失败的提示信息。

若确定出目标对象为活体类型，目标对象可以认为是触发权限验证操作的用户，则处理设备还可以进一步识别此目标对象的标识信息。其中，标识信息可以认为是触发权限验证操作的用户的身份信息。再根据标识信息与权限之间的预设对应关系，确定用户触发的权限验证操作是否有效。根据权限验证操作的有效性，执行与此权限验证操作对应的响应动作。容易理解的，对于不同的权限，其对应的响应动作也是不同的。

以考勤打卡场景为例，此时，权限操作即为考勤打卡操作。若目标对象是非活体的，则直接展示打卡失败的提示信息。若目标对象是活体的，则可以进一步确定目标对象的标识信息，根据此标识信息确定目标对象是否是本公司的员工，是否能够触发打卡操作的权限。若目标对象是本公司的员工，其自然具有触发打卡操作的权限，也即是用户触发的考勤打卡操作是有效的，则确定目标对象打卡成功。此种场景下，上述的处理设备具体可以是考勤机。

再以工作区域使用场景为例，此时，权限操作即为门禁权限的验证操作。若目标对象是非活体的，则直接为触发权限验证操作的用户展示提示信息为：不具有工作区域1的使用权限。若目标对象是活体的，则可以根据目标对象的标识信息确定目标对象是否是本公司的员工，其是否具有工作区域1的使用权限。若目标对象具有工作区域1的使用权限，也即是用户触发的门禁权限验证操作有效，则处理设备可以控制工作区域1开门，以使目标对象进入其中。且此种场景下，上述的处理设备具体可以是门禁***。

可选地，上述实施例中的步骤102可以借助预设模型来实现，也即是将待检测图像序列输入到预设模型中，以由预设模型提取待检测图像序列的图像特征。图像特征的提取具体是由预设模型中的特征提取网络实现的。同样的，上述实施例中的步骤103、步骤104也都可以借助预设模型实现。其中，预设模型可以是基于卷积神经网络的模型。

则图2为本发明实施例提供的另一种数据处理方法的流程图。如图2所示，该方法可以包括如下步骤：

S201，获取待检测图像序列。

上述步骤201的执行过程与前述实施例的相应步骤相似，可以参见如图1所示实施例中的相关描述，在此再不赘述。

S202，将待检测图像序列输入到预设模型中的特征提取网络，以由预设模型提取待检测图像序列的图像特征。

S203，将待检测图像序列的图像特征输入预设模型中的深度估计网络，以由深度估计网络估计图像特征的深度值。

S204，将深度值输入预设模型中的分类网络，以由分类网络确定目标对象的类型。

在得到待检测图像序列之后，可以将其输入至预测模型中，以由所述预测模型对待检测图像序列进行特征提取，即同时对待检测图像序列在时间维度和空间维度上的信息进行提取，以得到待检测图像序列的图像特征。接着，再将此待检测图像序列的图像特征输入预设模型中的深度估计网络，以由此深度估计网络估计图像特征的深度值。再将深度值输入预设模型的分类网络，以由分类网络进行二分类，即确定待检测图像序列中包含的目标对象是活体还是非活体。本实施例中的预设模型的模型结构可以如图3所示。并且本实施例未详细描述的部分，可参考对图1所示实施例的相关说明。

本实施例中，可以通过预设模型依次实现图像特征提取、深度值估计以及目标对象类型的识别。由于对待检测图像序列在时间维度和空间维度上的信息是同时提取的，使得提取出的图像特征中包含信息内容更丰富，维度更广，从而能够保证目标对象类型识别的准确性。

基于图2～图3所示的实施例，可选地，预测模型可以按照图4所示的方式提取出待检测图像序列的图像特征，该方式可以包括以下步骤：

S301，通过预设模型中的第一特征提取网络，对待检测图像序列进行三维卷积，得到第一图像特征。

S302，通过预设模型中的第二特征提取网络，对第一图像特征进行三维卷积，得到第二图像特征。

根据上述实施例中的描述可知，可以采用三维卷积的方式同时提取出待检测图像序列在时间维度和空间维度上的信息，则基于图5所示的预测模型，可以通过预设模型中的第一特征提取网络对输入的待检测图像序列进行三维卷积，得到第一图像特征。再将第一图像特征进一步输入至预测模型中的第二特征提取网络，并通过第二特征提取网络对第一图像特征进行三维卷积，得到第二图像特征。其中，第一特征提取网络以及第二特征提取网络都由至少一个卷积层构成。

需要说明的有，待检测图像序列可以通过较少次数的三维卷积得到第一图像特征；又可以通过较多次数的三维卷积得到第二图像特征，则第一图像特征可以认为是待检测图像序列的浅层特征，其通常能够反映待检测图像序列的颜色信息、纹理特征信息等等；相应的，第二图像特征可以认为是待检测图像序列的深层特征，其通常能够反映的是待检测图像序列的语义信息。可见，提取出的多个图像特征实际上是不同层级的图像特征。

S303，通过预设模型中的融合网络，融合第一图像特征和第二图像特征，得到待检测图像序列的图像特征。

最后，将层级不同的图像特征共同输入至预设模型中的融合网络，以由融合网络对二者进行融合，特征的融合简单来说就是特征的拼接。融合结果也即是步骤102中的待检测图像序列的图像特征。

本实施例中，通过不同的特征提取网络能够提取出不同层级的图像特征，再将不同层级的图像特征进行融合，得到的融合结果包括待检测图像序列在时间维度和空间维度上的信息，还包括待检测图像序列颜色、纹理、语义等不同方面的信息，使得融合结果中包含的内容更加丰富，也就进一步保证了目标对象类似识别的准确性。

可选地，由于经过三维卷积计算的次数不同，因此，第一图像特征的尺寸是大于第二图像特征的尺寸的。则为了保证特征融合的实现，基于图6所示的预测模型，还可以对第一图像特征进行以下处理：

将第一图像特征输入至预设模型中的采样网络，以由所述采样网络对第一图像特征进行下采样，以得到采样结果。其中，采样网络设置于第一特征提取网络与第二特征提取网络之间。经过下采样，从而使得采样结果与第二图像特征具有相同的尺寸。此时，则可以进一步将采样结果和第二图像特征输入至预设模型中的融合网络，以由融合网络进行融合得到待检测图像序列的图像特征。

需要说明的有，图4～图6所示实施例中提供的预设模型中包含两个特征提取网络。但本发明并不会对特征提取网络的数量进行限定，其也可以是3个或3个以上。当特征提取网络为3个时，预设模型的结构可以如图7所示。

另外，无论预设模型中特征提取网络的个数如何，多个特征提取网络中的任一特征提取网络M1所提取出的特征都会输入至预设模型中的两个不同的网络中，即特征提取网络M1提取出的特征在输入至融合网络的同时，还会输入至下一级特征提取网络M2中。并且可选地，每个特征提取网络之后还设置有一个下采样网络，通过下采样可以保证输入到融合网络中的特征都具有相同的尺寸。

其中，由第一特征提取网络以及采样网络共同组成一个特征提取模块，当然第一特征提取网络以及采样网络也组成一个特征提取模块。

根据上述各实施例的描述可知，预设模型在确定目标对象类型的过程中起重要作用。则图7为本发明实施例提供的又一种数据处理方法的流程图。该方法实际上是一种模型训练方法，用于训练上述的预设模型。本实施例中，预设模型的结构可以如图5～图6所示。如图8所示，该方法可以包括如下步骤：

S401，将训练图像序列输入第一特征提取网络，以由第一特征提取网络对训练图像序列进行三维卷积，得到第三图像特征。

S402，将第三图像特征输入第二特征提取网络，以由第二特征提取网络对第三图像特征进行三维卷积，得到第四图像特征。

S403，将第三图像特征和第四图像特征输入融合网络，以由融合网络对第三图像特征和第四图像特征进行特征融合。

S404，将特征融合结果输入深度估计网络，深度估计网络输出训练图像序列对应的预测深度图像序列。

S405，根据与训练图像序列对应的输入深度图像序列和预测深度图像序列，调整预设模型的模型参数。

训练图像序列可以通过互联网搜索得到，也可以是历史考勤打卡时采集到的图像序列。同时还可以获取每个训练图像序列对应的深度图像序列，即输入深度图像序列。并且对于训练图像序列，还可以对其中包含的目标对象是否是活体进行标注，此时标注的类型实际为真实类型。

然后，将训练图像序列输入第一特征提取网络，以提取出第三图像特征；再将第三图像特征输入第二特征提取网络，以提取出第四图像特征。其中，第三图像特征和第四图像特征是不用层级的特征，用于反映待检测图像序列不同方面的信息。再将第三图像特征和第四图像特征输入融合网络，以得到融合结果。并由预设模型中的深度估计网络对融合结果进行深度估计，从而输出预测深度图像序列。此时，预设模型可以直接根据预设深度图像序列中包含的深度值的变化范围预测目标对象的类型，此类型实际上为预测类型。

同时，还可以根据预测深度图像序列与输入深度图像序列计算损失值，并根据损失值调整预设模型的模型参数。具体来说是调整第一特征提取网络、第二特征提取网络、融合网络以及深度估计网络的参数。

可选地，深度估计网络也可以单独训练得到，此时深度估计网络的参数可以是固定的，上述计算出的损失值则用于调整预测模型中的第一特征提取网络、第二特征提取网络、融合网络的参数。

另外，在实际应用中，输入深度图像序列通常与训练样本序列具有相同的尺寸，其的尺寸是大于预测深度图像序列的尺寸的。因此，一种可选地方式，可以将预测深度图像序列进行上采样，以使其的尺寸与输入深度图像序列相同，进一步根据上采样后的输入深度图像序列以及预测深度图像序列计算损失值。

但另一种可选地更为常用的方式，可以直接对输入深度图像序列进行下采样，使得下采样后的输入深度图像序列与预测深度图像序列具有相同的尺寸，进一步根据下采样后的输入深度图像序列以及预测深度图像序列计算损失值。

可选地，深度估计网络输出的预测深度图像序列还可以输入预设模型中的分类网络，并由分类网络预测训练图像序列中包含的目标对象的类型，此类型实际上为预测类型。最终，根据用户标注的目标对象的真实类型与分类网络输出的预测类型计算损失值，并根据此损失值进一步调整预设模型的参数。此时，实际上是调整模型中各个网络的参数。

本实施例中，基于如图5或图6所示的预设模型，第一特征提取网络与第二特征提取网络会分别提取出不同层级的图像特征，将二者融合后，融合结果中不仅包括待检测图像序列在时间维度和空间维度上的信息，还包括待检测图像序列颜色、纹理、语义等不同方面的信息。融合结果中丰富的信息可以保证预设模型的训练效果，也就进一步保证了后续对目标对象类型识别的准确性。

如图8所示的预设模型训练方法可以在图1～图7所示数据处理方法的基础上执行，也可以脱离上述数据处理方法单独执行。在实际应用中，一些用户比如企业管理者可以存在训练预设模型的需求。在得到上述预设模型后，可以将其部署于相应的硬件设备上，即可建立起公司内部的权限申请***，比如考勤打卡***或者门禁***等等。

则为了满足用户的模型训练需求，图9为本发明实施例提供的一种服务提供方法的流程图。本发明实施例提供的该服务提供方法可以由训练设备来执行。可以理解的是，该训练设备可以实现为软件、或者软件和硬件的组合。此训练设备可以理解成一个提供模型训练服务的服务平台。如图9所示，该方法可以包括如下步骤：

S501，接收用户输入的训练图像序列以及与训练图像序列对应的输入深度图像序列。

S502，将训练图像序列预设模型中的第一特征提取网络，以由第一特征提取网络同时提取训练图像序列在时间维度和空间维度上的信息，得到第一图像特征。

S503，将第一图像特征输入预设模型中的第二特征提取网络，以由第二特征提取网络同时提取第一图像特征在时间维度和空间维度上的信息，得到第二图像特征。

S404，将第一图像特征和第二图像特征输入预设模型中的融合网络，以由融合网络对第一图像特征和第二图像特征进行特征融合。

S505，将特征融合结果输入深度估计网络，以由深度估计网络输出训练图像序列对应的预测深度图像序列。

S506，根据输入深度图像序列和预测深度图像序列，调整预设模型的模型参数。

S507，输出模型参数。

具体地，训练图像序列以及其对应的输入深度图像序列可以由用户收集。在训练图像序列输入预设模型并依次经过特征提取网络、融合网络以及深度估计网络后，深度估计网络可以输出预设深度图像序列，并可以直接根据预设深度图像序列中包含的深度值的变化范围实现目标对象类型的预测。其中，各特征提取网络在分别提取第一图像特征和第二图像特征时，都可以采用三维卷积的方式。

此时，基于深度估计网络输出的预设深度图像序列以及用户获取的输入深度图像序列可以调整预设模型的模型参数，以使预设模型收敛。并且预设模型的模型参数也会同步展示给用户，也即是使训练设备为用户提供模型训练服务。其中，训练设备也可以理解为上述各实施例中的处理设备。

需要说明的有，本实施例中的第一图像特征即为图8所示实施例中的第三图像特征；第二图像特征即为图8所示实施例中的第四图像特征。

可选地，对于深度估计网络输出的预设深度图像序列，其还可以进一步输入预设模型中的分类网络，以由分类网络实现目标对象的分类。此时，可以根据用户对目标对象标注的类型与分类网络输出的目标对象的类型，调整预设模型的模型参数，以使预设模型收敛。此时预设模型的结构可以如图5或图6所示。

本实施例未详细描述的部分，可参考对图8所示实施例的相关说明。该技术方案的执行过程和技术效果参见图8所示实施例中的描述，在此不再赘述。

除了上述的预设模型训练服务之外，对于上述提及的考勤打卡和工作区域使用场景，用户还有可能存在活体判断服务的需求，则还可以按照上述图1～图7所提供的实施例为用户提供目标对象的类型检测服务，其中，目标对象的类型能够反映其是否是活体。

对于提供类型检测服务的情况下，图10为本发明实施例提供的另一种服务提供方法的流程图。本发明实施例提供的该服务提供方法可以由处理设备来执行。处理设备可以理解成一个提供类型检测服务的服务平台。如图10所示，该方法可以包括如下步骤：

S601，响应于用户触发的图像采集操作，采集待检测图像序列。

S602，同时提取待检测图像序列在时间维度和空间维度上的信息，以获得待检测图像序列的图像特征。

S603，输出图像特征的深度值，深度值反映待检测图像序列中包含的目标对象的类型。

具体来说，用户可以对处理设备触发图像采集操作，以使处理设备上配置的摄像头采集待检测图像序列。其中，根据应用场景的不同，图像采集操作可以是用户触发的摄像头开启操作，也可以是上述实施例中的权限验证操作等等。

然后，待检测图像序列进行特征提取以及深度值预测后，可以得到并输出深度值。其中，深度值具体表现为一个深度值矩阵。则一种可选地方式，用户可以直接根据深度值矩阵中元素数值之间的变化范围是否大于预设范围来确定待检测图像序列中的目标对象的类型，其中类型反映目标对象是否是活体。此种方式中，处理设备并没有直接输出的目标对象的类型，输出的是一个能够反应目标对象类型的间接结果，也即是间接为用户提供了目标对象的类型检测服务。

另一种可选地方式，处理设备在向用户输出深度值的同时，还可以自动执行根据深度值确定目标对象类型的步骤。而处理设备确定类型的过程实际上与上述人工判定的过程是相同的。

又一种可选地方式，根据上述描述可知，由于对待检测图像序列的特征提取以及深度值估计都可以由预设模型来完成，因此，可以将估计出的深度值输入到预设模型中的分类网络，以由分类网络根据估计出的深度值进行分类，从而得到目标对象的类型。

在上述两种方式中，处理设备可以直接输出目标对象的类型，从而为用户提供了目标对象的类型检测服务。并且用户也可以将处理设备输出的目标对象类型，与自己根据处理设备输出的深度值确定出的目标对象类型进行比对，从而实现一个类型的检验过程。

另外，本实施例未详细描述的部分，可参考对图1至图7所示实施例的相关说明。该技术方案的执行过程和技术效果参见图1至图7所示实施例中的描述，在此不再赘述。

为便于理解，结合考勤打卡场景对以上提供的数据处理方法的具体实现进行示例性说明。下述内容可以结合图11理解。

首先，公司的员工A可以对处理设备触发权限申请操作，即员工A在打卡设备提供的界面上触发打卡操作，此时，处理设备上的摄像头会启动并开始对员工A的面部进行拍摄，以得到待检测图像序列，且图像序列中员工A的面部即为目标对象。然后，可以通过三维卷积的方式，同时提取待检测图像序列在时间维度和空间维度上的信息，也即是提取出待检测图像序列的图像特征。

其中，待检测图像序列的图像特征可以通过包含多个特征提取网络的预设模型提取出来。预设模型的模型结构可以由图5所示。

具体来说，将待检测图像序列输入预设模型的第一特征提取网络，以由第一特征提取网络提取第一图像特征。再将第一图像特征输入预设模型中的第二特提取网络，以得到第二图像特征。将第一图像特征和第二图像特征输入融合网络，融合结果即为待检测图像序列的图像特征。

可选地，为了保证第一图像特征和第二图像特征之间融合的准确性，在第一特征提取网络之后还设置有一个采样网络，用于对第一图像特征进行下采样，并将下采样结果与第二图像特征进行融合。此时，预设模型的结构可以由图6所示。

接着，可以进一步估计待检测图像序列的图像特征的深度值，深度值的估计可以由预设模型中的深度估计网络完成。并且估计出的深度值具体来说是一个深度值矩阵。此时，矩阵中各元素的数值之间的变化范围大于预设范围，预设模型中包含的分类网络会输出员工A的面部为活体。最终，打卡设备会进一步根据待检测图像序列识别图像序列中包含的员工是员工A，从而使员工A完成打卡，打卡设备可以向员工A输出打卡成功的提示信息。

类似的，还可以结合零售场景对以上提供的数据处理方法的具体实现进行示例性说明。下述内容可以结合图12理解。

用户可以在处理设备即自动贩卖机上选购商品，之后自动贩卖机上可以出现等待支付的操作界面，比如具有一个“请支付”字样的虚拟按键。此时，用户点击此按键也即是触发了支付权限的验证操作，此时，操作界面会相应的变为图像采集界面，从而实现待检测图像序列即用户的面部图像序列的采集。

接着，再借助预设模型对此待检测图像序列进行特征提取，并对提取出的图像特征进行深度值估计。最终自动贩卖机可以根据深度值确定出待检测图像序列中的目标对象是活体的。则可以根据识别用户的标识信息，从而获得与标识信息对应的支付账户，并从支付账户中间扣款，用户也即是完成了支付操作。自动贩卖机的操作界面上会显示支付成功的提示信息。

本场景中具体的实现过程也可以参见图1～图7以及图11中的相关描述。

以下将详细描述本发明的一个或多个实施例的数据处理装置。本领域技术人员可以理解，这些数据处理装置均可使用市售的硬件组件通过本方案所教导的步骤进行配置来构成。

图13为本发明实施例提供的一种数据处理装置的结构示意图，如图13所示，该装置包括：

获取模块11，用于获取待检测图像序列。

提取模块12，用于同时提取所述待检测图像序列在时间维度和空间维度上的信息，以获得所述待检测图像序列的图像特征。

深度值确定模块13，用于确定所述图像特征的深度值。

类型确定模块14，用于根据所述深度值确定所述待检测图像序列中包含的目标对象的类型。

可选地，所述提取模块12具体用于：将所述待检测图像序列输入到预设模型中，以由所述预设模型提取所述待检测图像序列的图像特征。

其中，所述目标对象的类型反映所述目标对象是否为活体。

可选地，所述提取模块12具体用于：通过所述预设模型中的第一特征提取网络，对所述待检测图像序列进行三维卷积，得到第一图像特征；

通过所述预设模型中的第二特征提取网络，对所述第一图像特征进行三维卷积，得到第二图像特征；

通过所述预设模型中的融合网络，融合所述第一图像特征和所述第二图像特征，得到所述待检测图像序列的图像特征。

可选地，所述提取模块12具体用于：通过所述预设模型中的采样网络，对所述第一图像特征进行下采样；以及通过所述预设模型中的融合网络，对所述采样结果和所述第二图像特征，得到所述待检测图像序列的图像特征。

可选地，所述深度值确定模块13具体用于：将所述待检测图像序列的图像特征输入所述预设模型中的深度估计网络，以由所述深度估计网络估计所述图像特征的深度值。

所述类型确定模块14，用于将所述深度值输入所述预设模型中的分类网络，以由所述分类网络确定所述目标对象的类型。

可选地，所述获取模块11具体用于：响应于用户触发的权限验证操作，获取待检测图像序列。

所述装置还包括：识别模块21和有效性确定模块22。

所述识别模型21，用于若所述目标对象为活体类型，则识别所述目标对象的标识信息

所述有效性确定模块22，用于根据所述标识信息确定所述权限验证操作的有效性。

可选地，所述权限验证操作包含考勤打卡操作。

所述装置还包括：展示模块23，用于若所述考勤打卡操作有效，则展示打卡成功的提示信息。

可选地，所述权限验证操作包含门禁权限的验证操作。

所述展示模块23还包括：若所述门禁权限的验证操作有效，则展示所述用户具有所述门禁权限的提示信息。可选地，所述权限验证操作包含支付权限的验证操作。

所述展示模块23还包括：若所述支付权限的验证操作有效，则展示支付成功的提示信息。

可选地，所述装置还包括：输入模块24和调整模块25。

所述输入模块24，用于将训练图像序列输入所述第一特征提取网络，以由所述第一特征提取网络对所述训练图像序列进行三维卷积，得到第三图像特征；

将所述第三图像特征输入所述第二特征提取网络，以由所述第二特征提取网络对所述第三图像特征进行三维卷积，得到第四图像特征；

将所述第三图像特征和所述第四图像特征输入所述融合网络，以由所述融合网络对所述第三图像特征和所述第四图像特征进行特征融合；

将特征融合结果输入所述深度估计网络，所述深度估计网络输出所述训练图像序列对应的预测深度图像序列；

所述调整模块25，用于根据与所述训练图像序列对应的输入深度图像序列和所述预测深度图像序列，调整所述预设模型的模型参数。

可选地，所述输入模块24还用于：将所述预测深度图像序列输入所述分类网络，以由所述分类网络输出所述训练图像序列中包含的目标对象的类型。

所述调整模块25还用于：根据用户对所述目标对象标注的类型与所述分类网络输出的所述目标对象的类型，调整所述预设模型的模型参数。

图13所示装置可以执行图1至图8所示实施例的方法，本实施例未详细描述的部分，可参考对图1至图8所示实施例的相关说明。该技术方案的执行过程和技术效果参见图1至图8所示实施例中的描述，在此不再赘述。

以上描述了数据处理装置的内部功能和结构，在一个可能的设计中，数据处理装置的结构可实现为一电子设备，如图14所示，该电子设备可以包括：处理器31和存储器32。其中，所述存储器32用于存储支持该电子设备执行上述图1至图8所示实施例中提供的数据处理方法的程序，所述处理器31被配置为用于执行所述存储器32中存储的程序。

所述程序包括一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器31执行时能够实现如下步骤：

获取待检测图像序列；

同时提取所述待检测图像序列在时间维度和空间维度上的信息，以获得所述待检测图像序列的图像特征；

确定所述图像特征的深度值；

根据所述深度值确定所述待检测图像序列中包含的目标对象的类型。

可选地，所述处理器31还用于执行前述图1至图8所示实施例中的全部或部分步骤。

其中，所述电子设备的结构中还可以包括通信接口33，用于该电子设备与其他设备或通信网络通信。

另外，本发明实施例提供了一种计算机存储介质，用于储存上述电子设备所用的计算机软件指令，其包含用于执行上述图1至图8所示方法实施例中数据处理方法所涉及的程序。

以下将详细描述本发明的一个或多个实施例的服务提供装置。本领域技术人员可以理解，这些服务提供装置均可使用市售的硬件组件通过本方案所教导的步骤进行配置来构成。

图15为本发明实施例提供的一种服务提供装置的结构示意图，如图15所示，该装置包括：

采集模块41，用于响应于用户触发的图像采集操作，采集待检测图像序列。

提取模块42，用于同时提取所述待检测图像序列在时间维度和空间维度上的信息，以获得所述待检测图像序列的图像特征。

输出模块43，用于输出所述图像特征的深度值，所述深度值反映所述待检测图像序列中包含的目标对象的类型。

可选地，所述装置还包括：确定模块44，用于根据所述深度值确定所述待检测图像序列中包含的目标对象的类型。

所述输出模块43，用于输出所述目标对象的类型。

其中，所述目标对象的类型反映所述目标对象是否为活体。

图15所示装置可以执行图10所示实施例的方法，本实施例未详细描述的部分，可参考对图10所示实施例的相关说明。该技术方案的执行过程和技术效果参见图10所示实施例中的描述，在此不再赘述。

以上描述了服务提供装置的内部功能和结构，在一个可能的设计中，服务提供装置的结构可实现为一电子设备，如图16所示，该电子设备可以包括：处理器51和存储器52。其中，所述存储器52用于存储支持该电子设备执行上述图10所示实施例中提供的服务提供方法的程序，所述处理器51被配置为用于执行所述存储器52中存储的程序。

所述程序包括一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器51执行时能够实现如下步骤：

响应于用户触发的图像采集操作，采集待检测图像序列；

同时提取所述待检测图像序列在时间维度和空间维度上的信息，以获得所述待检测图像序列的图像特征；

输出所述图像特征的深度值，所述深度值反映所述待检测图像序列中包含的目标对象的类型。

可选地，所述处理器51还用于执行前述图9所示实施例中的全部或部分步骤。

其中，所述电子设备的结构中还可以包括通信接口53，用于该电子设备与其他设备或通信网络通信。

另外，本发明实施例提供了一种计算机存储介质，用于储存上述电子设备所用的计算机软件指令，其包含用于执行上述图10所示方法实施例中服务提供方法所涉及的程序。

图17为本发明实施例提供的另一种服务提供装置的结构示意图，如图17所示，该装置包括：

接收模块61，用于接收用户输入的训练图像序列以及与所述训练图像序列对应的输入深度图像序列。

输入模块62，用于将所述训练图像序列输入预设模型中的第一特征提取网络，以由所述第一特征提取网络同时提取所述训练图像序列在时间维度和空间维度上的信息，得到第一图像特征；

将所述第一图像特征输入所述预设模型中的第二特征提取网络，以由所述第二特征提取网络同时提取所述第一图像特征在时间维度和空间维度上的信息，得到第二图像特征；

将所述第一图像特征和所述第二图像特征输入所述预设模型中的融合网络，以由所述融合网络对所述第一图像特征和所述第二图像特征进行特征融合；

将特征融合结果输入所述深度估计网络，以由所述深度估计网络输出所述训练图像序列对应的预测深度图像序列。

调整模块63，用于根据所述输入深度图像序列和所述预测深度图像序列，调整所述预设模型的模型参数。

输出模块64，用于输出所述模型参数。

可选地，所述输入模块62，还用于将所述预测深度图像输入所述分类网络，以由所述分类网络输出所述训练图像序列中包含的目标对象的类型。

所述调整模块63，还用于根据用户对所述目标对象标注的类型与所述分类网络输出的所述目标对象的类型，调整所述预设模型的模型参数。

图17所示装置可以执行图9所示实施例的方法，本实施例未详细描述的部分，可参考对图9所示实施例的相关说明。该技术方案的执行过程和技术效果参见图9所示实施例中的描述，在此不再赘述。

以上描述了服务提供装置的内部功能和结构，在一个可能的设计中，服务提供装置的结构可实现为一电子设备，如图18所示，该电子设备可以包括：处理器71和存储器72。其中，所述存储器72用于存储支持该电子设备执行上述图9所示实施例中提供的服务提供方法的程序，所述处理器71被配置为用于执行所述存储器72中存储的程序。

所述程序包括一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器71执行时能够实现如下步骤：

接收用户输入的训练图像序列以及与所述训练图像序列对应的输入深度图像序列；

将所述训练图像序列输入预设模型中的第一特征提取网络，以由所述第一特征提取网络同时提取所述训练图像序列在时间维度和空间维度上的信息，得到第一图像特征；

将所述第一图像特征输入所述预设模型中的第二特征提取网络，以由所述第二特征提取网络同时提取所述第一图像特征在时间维度和空间维度上的信息，得到第二图像特征；

将所述第一图像特征和所述第二图像特征输入所述预设模型中的融合网络，以由所述融合网络对所述第一图像特征和所述第二图像特征进行特征融合；

将特征融合结果输入所述深度估计网络，以由所述深度估计网络输出所述训练图像序列对应的预测深度图像序列；

根据所述输入深度图像序列和所述预测深度图像序列，调整所述预设模型的模型参数；

输出所述模型参数。

可选地，所述处理器51还用于执行前述图9所示实施例中的全部或部分步骤。

其中，所述电子设备的结构中还可以包括通信接口73，用于该电子设备与其他设备或通信网络通信。

另外，本发明实施例提供了一种计算机存储介质，用于储存上述电子设备所用的计算机软件指令，其包含用于执行上述图9所示方法实施例中服务提供方法所涉及的程序。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (26)

1.一种数据处理方法，其特征在于，包括：

获取待检测图像序列；

同时提取所述待检测图像序列在时间维度和空间维度上的信息，以获得所述待检测图像序列的图像特征；

确定所述图像特征的深度值；

根据所述深度值确定所述待检测图像序列中包含的目标对象的类型。

2.根据权利要求1所述的方法，其特征在于，所述目标对象的类型反映所述目标对象是否为活体。

3.根据权利要求2所述的方法，其特征在于，所述同时提取所述待检测图像序列在时间维度和空间维度上的信息，以获得所述待检测图像序列的图像特征，包括：

将所述待检测图像序列输入到预设模型中，以由所述预设模型提取所述待检测图像序列的图像特征。

4.根据权利要求3所述的方法，其特征在于，所述预设模型提取所述待检测图像序列的图像特征的步骤，包括：

通过所述预设模型中的第一特征提取网络，对所述待检测图像序列进行三维卷积，得到第一图像特征；

通过所述预设模型中的第二特征提取网络，对所述第一图像特征进行三维卷积，得到第二图像特征；

通过所述预设模型中的融合网络，融合所述第一图像特征和所述第二图像特征，得到所述待检测图像序列的图像特征。

5.根据权利要求4所述的方法，其特征在于，所述通过所述预设模型中的融合网络，融合所述第二图像特征和所述第三图像特征，得到所述待检测图像序列的图像特征，包括：

通过所述预设模型中的采样网络，对所述第一图像特征进行下采样；

通过所述预设模型中的融合网络，对所述采样结果和所述第二图像特征，得到所述待检测图像序列的图像特征。

6.根据权利要求4所述的方法，其特征在于，所述确定所述图像特征的深度值，包括：

将所述待检测图像序列的图像特征输入所述预设模型中的深度估计网络，以由所述深度估计网络估计所述图像特征的深度值；

所述根据所述深度值确定所述待检测图像序列中包含的目标对象的类型，包括：

将所述深度值输入所述预设模型中的分类网络，以由所述分类网络确定所述目标对象的类型。

7.根据权利要求1至6中任一项所述的方法，其特征在于，所述获取待检测图像序列，包括：

响应于用户触发的权限验证操作，获取待检测图像序列；

所述方法还包括：

若所述目标对象为活体类型，则识别所述目标对象的标识信息；

根据所述标识信息确定所述权限验证操作的有效性。

8.根据权利要求7所述的方法，其特征在于，所述权限验证操作包含考勤打卡操作；所述方法还包括：

若所述考勤打卡操作有效，则展示打卡成功的提示信息。

9.根据权利要求7所述的方法，其特征在于，所述权限验证操作包含门禁权限的验证操作；所述方法还包括：

若所述门禁权限的验证操作有效，则展示所述用户具有所述门禁权限的提示信息。

10.根据权利要求7所述的方法，其特征在于，所述权限验证操作包含支付权限的验证操作；所述方法还包括：

若所述支付权限的验证操作有效，则展示支付成功的提示信息。

11.根据权利要求6所述的方法，其特征在于，所述方法还包括：

将训练图像序列输入所述第一特征提取网络，以由所述第一特征提取网络对所述训练图像序列进行三维卷积，得到第三图像特征；

将所述第三图像特征输入所述第二特征提取网络，以由所述第二特征提取网络对所述第三图像特征进行三维卷积，得到第四图像特征；

将所述第三图像特征和所述第四图像特征输入所述融合网络，以由所述融合网络对所述第三图像特征和所述第四图像特征进行特征融合；

将特征融合结果输入所述深度估计网络，所述深度估计网络输出所述训练图像序列对应的预测深度图像序列；

根据与所述训练图像序列对应的输入深度图像序列和所述预测深度图像序列，调整所述预设模型的模型参数。

12.根据权利要求10所述的方法，其特征在于，所述方法还包括：

将所述预测深度图像序列输入所述分类网络，以由所述分类网络输出所述训练图像序列中包含的目标对象的类型；

根据用户对所述目标对象标注的类型与所述分类网络输出的所述目标对象的类型，调整所述预设模型的模型参数。

13.一种服务提供方法，其特征在于，应用于包括：

响应于用户触发的图像采集操作，采集待检测图像序列；

同时提取所述待检测图像序列在时间维度和空间维度上的信息，以获得所述待检测图像序列的图像特征；

输出所述图像特征的深度值，所述深度值反映所述待检测图像序列中包含的目标对象的类型。

14.根据权利要求13所述的方法，其特征在于，所述方法还包括：

根据所述深度值确定所述待检测图像序列中包含的目标对象的类型；

输出所述目标对象的类型。

15.根据权利要求14所述的方法，其特征在于，所述目标对象的类型反映所述目标对象是否为活体。

16.一种服务提供方法，其特征在于，包括：

接收用户输入的训练图像序列以及与所述训练图像序列对应的输入深度图像序列；

将所述训练图像序列输入预设模型中的第一特征提取网络，以由所述第一特征提取网络同时提取所述训练图像序列在时间维度和空间维度上的信息，得到第一图像特征；

将所述第一图像特征输入所述预设模型中的第二特征提取网络，以由所述第二特征提取网络同时提取所述第一图像特征在时间维度和空间维度上的信息，得到第二图像特征；

将所述第一图像特征和所述第二图像特征输入所述预设模型中的融合网络，以由所述融合网络对所述第一图像特征和所述第二图像特征进行特征融合；

将特征融合结果输入所述深度估计网络，以由所述深度估计网络输出所述训练图像序列对应的预测深度图像序列；

根据所述输入深度图像序列和所述预测深度图像序列，调整所述预设模型的模型参数；

输出所述模型参数。

17.根据权利要求16所述的方法，其特征在于，所述方法还包括：

将所述预测深度图像输入所述分类网络，以由所述分类网络输出所述训练图像序列中包含的目标对象的类型；

根据用户对所述目标对象标注的类型与所述分类网络输出的所述目标对象的类型，调整所述预设模型的模型参数。

18.一种数据处理装置，其特征在于，包括：

获取模块，用于获取待检测图像序列；

提取模块，用于同时提取所述待检测图像序列在时间维度和空间维度上的信息，以获得所述待检测图像序列的图像特征；

深度值确定模块，用于确定所述图像特征的深度值；

类型确定模块，用于根据所述深度值确定所述待检测图像序列中包含的目标对象的类型。

19.一种电子设备，其特征在于，包括：拍摄组件、存储器、处理器；其中，所述拍摄组件用于拍摄待检测图像序列；

所述存储器上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如权利要求1至12中任一项所述的数据处理方法。

20.一种非暂时性机器可读存储介质，其特征在于，所述非暂时性机器可读存储介质上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如权利要求1至12中任一项所述的数据处理方法。

21.一种服务提供装置，其特征在于，包括：

采集模块，用于响应于用户触发的图像采集操作，采集待检测图像序列；

提取模块，用于同时提取所述待检测图像序列在时间维度和空间维度上的信息，以获得所述待检测图像序列的图像特征；

输出模块，用于输出所述图像特征的深度值，所述深度值反映所述待检测图像序列中包含的目标对象的类型。

22.一种电子设备，其特征在于，包括：存储器、处理器；其中，所述存储器上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如权利要求13至15中任一项所述的服务提供方法。

23.一种非暂时性机器可读存储介质，其特征在于，所述非暂时性机器可读存储介质上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如权利要求13至15中任一项所述的服务提供方法。

24.一种服务提供装置，其特征在于，包括：

接收模块，用于接收用户输入的训练图像序列以及与所述训练图像序列对应的输入深度图像序列；

输入模块，用于将所述训练图像序列输入预设模型中的第一特征提取网络，以由所述第一特征提取网络同时提取所述训练图像序列在时间维度和空间维度上的信息，得到第一图像特征；

将所述第一图像特征输入所述预设模型中的第二特征提取网络，以由所述第二特征提取网络同时提取所述第一图像特征在时间维度和空间维度上的信息，得到第二图像特征；

将所述第一图像特征和所述第二图像特征输入所述预设模型中的融合网络，以由所述融合网络对所述第一图像特征和所述第二图像特征进行特征融合；

将特征融合结果输入所述深度估计网络，以由所述深度估计网络输出所述训练图像序列对应的预测深度图像序列；

调整模块，用于根据所述输入深度图像序列和所述预测深度图像序列，调整所述预设模型的模型参数；

输出模块，用于输出所述模型参数。

25.一种电子设备，其特征在于，包括：存储器、处理器；其中，所述存储器上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如权利要求16或17所述的服务提供方法。

26.一种非暂时性机器可读存储介质，其特征在于，所述非暂时性机器可读存储介质上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如权利要求16或17所述的服务提供方法。

Images