CN117710634A - 一种视频散斑活体深度相机及电子设备 - Google Patents

Abstract

一种视频散斑活体深度相机及电子设备，其特征在于，包括：散斑投射器，用于以不同功率或波长投射出散斑；散斑接收器，用于接收所述散斑的反射信号，生成散斑图；处理器，用于对所述散斑图进行检测，获得感兴趣区域，对所述感兴趣区域内相邻的多个像素点组成散斑组，对多个图像帧中的感兴趣区域构建N个散斑组的亮度变化向量，将所述亮度变化向量作为活体检测分类器的输入，判断所述特征向量表征的M个图像帧中的目标对象是否为活体；其中，所述亮度变化向量还包括每一图像帧对应的所述功率或波长。本发明具有抗干扰能力强、对各类假体都有很好的识别效果的优点。

Description

一种视频散斑活体深度相机及电子设备

技术领域

本发明涉及人体生物特征识别技术领域，具体地，涉及一种视频散斑活体深度相机及电子设备。

背景技术

利用散斑进行活体识别是一种先进的技术，它基于散斑的特性，通过获取、处理和分析散斑图像，实现对生物体的识别和分类。这种技术具有非接触、高精度和高效率的特点，在医疗、安全、生物认证等领域得到了广泛的应用。

在散斑图像的获取过程中，需要使用合适的光源和光学***，并保证光源和***的清洁和稳定。通过对散斑图像的处理和分析，可以提取出生物体的特征，并进行分类和识别。散斑技术的优势在于其安全性高、难以复制和非接触式。由于散斑特征是与个体生理结构紧密相关的，因此难以复制和伪造。同时，散斑技术是一种非接触式的生物识别技术，不会对人体造成任何伤害。

目前，散斑技术已经在金融、安防、医疗等多个领域得到广泛应用。例如，在金融领域，可以通过散斑技术进行身份验证，提高交易的安全性；在安防领域，可以通过散斑技术进行人员识别，提高安防效率；在医疗领域，可以通过散斑技术进行疾病诊断，提高诊断的准确性。

但利用散斑进行活体识别也存在一些挑战，如光照条件、噪声干扰、特征提取和分类器的设计以及应用场景的多样性等。

以上背景技术内容的公开仅用于辅助理解本发明的发明构思及技术方案，其并不必然属于本专利申请的现有技术，在没有明确的证据表明上述内容在本专利申请的申请日已经公开的情况下，上述背景技术不应当用于评价本申请的新颖性和创造性。

发明内容

为此，本发明对多帧散斑图检测目标对象，检测出连续多帧目标对象后，对感兴趣区域的多个散斑点组成的散斑组计算亮度，构建散斑组的亮度随时间、所述功率或波长变化的向量，并根据亮度变化向量判断目标对象是否为活体，具有抗干扰能力强、对各类假体都有很好的识别效果的优点。

第一方面，本发明提供一种视频散斑活体深度相机，其特征在于，包括：

一种视频散斑活体深度相机，其特征在于，包括：

散斑投射器，用于以不同功率或波长投射出散斑；

散斑接收器，用于接收所述散斑的反射信号，生成散斑图；

处理器，用于对所述散斑图进行检测，获得感兴趣区域，对所述感兴趣区域内相邻的多个像素点组成散斑组，对多个图像帧中的感兴趣区域构建N个散斑组的亮度变化向量，将所述亮度变化向量作为活体检测分类器的输入，判断所述特征向量表征的M个图像帧中的目标对象是否为活体；其中，所述亮度变化向量还包括每一图像帧对应的所述功率或波长。

可选地，所述的一种视频散斑活体深度相机，其特征在于，当所述散斑投射器以不同功率投射散斑时，功率变化不低于10％。

可选地，所述的一种视频散斑活体深度相机，其特征在于，所述处理器在处理时包括：

步骤S1：获取待检测视频；

步骤S2：将所述待检测视频中的第一帧图像作为待检测帧；

步骤S3：对所述待检测帧进行目标检测，判断所述待检测帧中是否包含目标对象；如果是，则定位对目标区域并执行步骤S4，否则，执行步骤S5；

步骤S4：将所述待检测帧作为初始帧，利用特征点检测算法提取所述初始帧中的应选特征点，将所述初始帧中定位出的目标区域作为跟踪区域，将所述待检测视频中初始帧的下一帧作为待跟踪帧，并执行步骤S6；

步骤S5：将所述待检测视频中的下一帧图像作为待检测帧，并执行步骤S3；

步骤S6：利用跟踪算法得到所述待跟踪帧的候选特征点，判断所述待跟踪帧中的应选特征点的数量是否满足第一预设条件，其中，所述应选特征点是所述候选特征点中满足第二预设条件的特征点，其中，所述第二预设条件为与所述待跟踪帧的上一帧中对应的应选特征点的距离小于或者等于S，如果所述待跟踪帧中的应选特征点的数量满足第一预设条件，确定所述待跟踪帧中跟踪到目标对象，根据所述待跟踪帧中的应选特征点的位置确定所述待跟踪帧上的目标区域，并执行步骤S7，否则，确定所述待跟踪帧中未跟踪到目标对象，将所述待跟踪帧的下一帧作为待检测帧，并执行步骤S3；

步骤S7：获取所述待跟踪帧上的目标区域中的感兴趣区域，并执行步骤S8；

步骤S8：判断跟踪到目标的图像帧的数量是否等于M，如果是，则执行步骤S9，否则，执行步骤S10；

步骤S9：在图像帧上将相邻的X个散斑划分为散斑组，并对所述散斑组内计算亮度，对所述散斑组构建亮度随时间、所述功率或波长变化的向量，得到N个散斑组的亮度变化向量，并执行步骤S11；

步骤S10，获取所述待跟踪帧的下一帧，并将所述待跟踪帧的下一帧作为新的待跟踪帧，并执行步骤S6；

步骤S11，将所述亮度变化向量作为活体检测分类器的输入，判断所述特征向量表征的M个图像帧中的目标对象是否为活体，其中，所述活体检测分类器是使用预先获取的从真实目标对象和/或攻击目标对象提取得到的特征向量训练得到的。

可选地，所述的一种视频散斑活体深度相机，其特征在于，步骤S9中散斑组根据血管分布情况进行划分。

可选地，所述的一种视频散斑活体深度相机，其特征在于，步骤S9中散斑组中散斑的数量与目标对象的深度值成反比。

可选地，所述的一种视频散斑活体深度相机，其特征在于，步骤S9包括：

步骤S91：根据感兴趣区域内的散斑点分布，将固定数量相邻的多个散斑划分散斑组；

步骤S92：对M个图像帧中的所述感兴趣区域的散斑组计算亮度，获得所述散斑组的亮度变化向量；

步骤S93：对所述感兴趣区域的所有散斑组进行计算，得到N组亮度变化向量，并执行步骤S11。

可选地，所述的一种视频散斑活体深度相机，其特征在于，所述活体检测分类器在训练时的神经网络包括：第一反向残差模块、第一池化层、第二反向残差模块、第二池化层、第三反向残差模块、第一叠加层、第三池化层、第四反向残差模块、第二叠加层、第四池化层、第五反向残差模块、第三卷积层、第五池化层、随机丢弃层、分类器、第一卷积层、第二卷积层；其中，所述第一反向残差模块输出到所述第一池化层和所述第一卷积层，所述第一卷积层和所述第三反向残差模块输入所述第一叠加层，所述第二反向残差模块输出到所述第二卷积层和所述第二池化层，所述第二卷积层和所述第四反向残差模块输入所述第二叠加层；所述分类器输出活体概率和假体概率。

可选地，所述的一种视频散斑活体深度相机，其特征在于，在步骤S11中，还将多个散斑组的位置关系与所述亮度变化向量一同作为活体检测分类器的输入。

可选地，所述的一种视频散斑活体深度相机，其特征在于，在步骤S11中，根据所述散斑组的位置，对所述亮度变化向量分别赋予不同的权重值。

第二方面，本发明提供一种电子设备，其特征在于，包括前述任意一项所述视频散斑活体深度相机。

与现有技术相比，本发明具有如下的有益效果：

本发明利用多帧散斑图之间的变化进行活体检测，利用了散斑在不同深度、不同材质表面的效果不同，并且随时间变化的特性也不同，判断目标对象是否为活体，比利用单个散斑特性或单帧散斑图进行活体识别具有更好的效果，同时由于是多帧散斑间的对比，对于高仿的三维假体(如高仿真硅胶手模、橡胶手模等)具有更好的识别效果。

本发明可以对三维硅胶手模，三维塑料手模，三维橡胶手模，三维硅胶套，二维平面假手做出假体的判断,能够有效的抓住活体真人手和攻击假体的本质特征,对于各类攻击假体具有广泛的抵挡作用。

本发明可以有效的降低环境光照给算法所带来的影响,在白天黑夜以及各种极端光照之下,能够稳定的工作而不受影响。

本发明投射出不同功率或波长的散斑，充分利用真人与假体对光线的反射特性不同的性质，更好地区分真人与假体。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明实施例中一种视频散斑活体深度相机的结构示意图；

图2为本发明实施例中一种处理器处理的步骤流程图；

图3为本发明实施例中一种散斑图；

图4为本发明实施例中一种散斑组示意图；

图5为本发明实施例中一种真人皮肤反射的散斑亮度随时间变化图示意图；

图6为本发明实施例中一种硅胶手模假体反射的散斑亮度随时间的变化示意图；

图7为本发明实施例中一种神经网络的结构示意图；

图8为本发明实施例中一种反向残差模块的结构示意图；

图9为本发明实施例中一种得到N个散斑组的亮度变化向量的步骤流程图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应所述理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例，例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

本发明实施例提供的一种视频散斑活体检测深度模组的方法，旨在解决现有技术中存在的问题。

下面以具体地实施例对本发明的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本发明的实施例进行描述。

本发明对多帧散斑图检测目标对象，检测出连续多帧目标对象后，对感兴趣区域的多个散斑点组成的散斑组计算亮度，构建散斑组的亮度随时间、所述功率或波长变化的向量，并根据亮度变化向量判断目标对象是否为活体，具有抗干扰能力强、对各类假体都有很好的识别效果的优点。

图1为本发明实施例中一种视频散斑活体深度相机的结构示意图。如图1所示，本发明实施例中一种视频散斑活体深度相机包括：

散斑投射器，用于以不同功率或波长投射出散斑。

具体地说，散斑投射器用于投射预设图案的散斑。散斑既可以为稀疏散斑，也可以为稠密散斑。散斑投射器可以投射出不同的功率或波长的光斑。散斑投射器可以是投射不是功率的散斑，也可以投射不同波长的散斑，而并不是需要同时满足上述两个条件。在投射散斑时，散斑投射器需要周期性地投射不同的功率或波长的散斑。

当所述散斑投射器以不同功率投射散斑时，功率变化不低于10％。对于假体，其反射特性较为一致，而人的皮肤则会更加复杂。通过不同功率的散斑照射在目标对象上，根据反射信号的区别，也可以用于评价是否为假体。在调整功率时，过小的变化幅度难以在散斑图上获得清晰的变化，而过大的变化幅度会导致成像质量明显下降。优选地，不低于10％的变化幅度可以达到在不同散斑图上区分出假体的效果。

当所述散斑投射器以不同波长投射散斑时，不同的波长变化不低于20％。与调节功率类似，当波长变化时，假体与真人的反射效果也明显不同，可以用于识别假体。由于真人皮肤特性，当波长变化不低于20％时，可以在散斑图上形成较明显的区别，用于散斑图上的活体识别。

散斑接收器，用于接收所述散斑的反射信号，生成散斑图。

具体地说，散斑接收器用于接收散斑投射器投射出的散斑的反射信号，从而获得散斑图。

处理器，用于对所述散斑图进行检测，获得感兴趣区域，对所述感兴趣区域内相邻的多个像素点组成散斑组，对多个图像帧中的感兴趣区域构建N个散斑组的亮度变化向量，将所述亮度变化向量作为活体检测分类器的输入，判断所述特征向量表征的M个图像帧中的目标对象是否为活体；其中，所述亮度变化向量还包括每一图像帧对应的所述功率或波长。

具体地说，对散斑图进行检测，获得感兴趣区域。感兴趣区域可以是完整的目标对象区域，也可以是目标对象的部分区域。本实施例中的“多个图像帧”是指至少两个图像帧，并且包含不同功率或波长投射出的散斑信号。N是感兴趣区域内的所有散斑组的数量，也可以是其中部分散斑组的数量。散斑组的亮度以散斑组内多个散斑的平均亮度计算。亮度变化向量中包含亮度、时间(或顺序)、功率或波长等参数。所述活体检测分类器是使用预先获取的从真实目标对象和/或攻击目标对象提取得到的特征向量训练得到的。

图2为本发明实施例中一种处理器处理的步骤流程图。如图2所示，本发明实施例中一种处理器处理的步骤包括：

步骤S1：获取待检测视频。

在本步骤中，从数据源中提取出待检测的视频。视频可以是一个实时视频流，也可以是预先录制的视频。视频既可以是本地实时获得的视频，也可以是其他终端采集后发送过来的视频。待检测视频可以为任意长度的视频，只要其中一部分满足需求即可。待检测视频可以是完整的一段视频，也可以是经过剪辑的视频。待检测视频是散斑图构成的视频。散斑图是由红外光斑投射信号生成的，包含有目标对象的信息。目标对象可以为人脸、手掌、瞳孔等任意人体部位。如图3所示，散斑图是由多个不连续的散斑的图案组成，与连续的红外图、RGB图等具有明显区别。同时，散斑的形状包含了目标对象的深度信息，可以更好地用于活体检测。

目标对象的深度值需要在预设的范围内，如果超出预设的范围，则可能导致目标对象的信号较弱，难以进行有效的信号提取。对于散斑图而言，可以直接利用视差原理计算得到每个散斑点对象的深度值，从而可以评估是否满足需求。

步骤S2：将所述待检测视频中的第一帧图像作为待检测帧。

在本步骤中，按照待检测视频中的图像帧在视频中的时间先后顺序，或指定的起始时间点，选择最早的第一帧图像作为待检测帧。

步骤S3：对所述待检测帧进行目标检测，判断所述待检测帧中是否包含目标对象；如果是，则定位对目标区域并执行步骤S4，否则，执行步骤S5。

在本步骤中，对选定的帧进行目标检测。这涉及使用图像处理或机器学习技术来识别和定位视频中的目标对象。如果待检测帧中包含目标对象，算法会定位目标区域并进入下一步骤S4；否则，将返回到步骤S5，继续检测下一帧。

在进行目标检测时，根据应用场景选择合适的目标检测模型。比如检测人脸时，采用目标检测模型；检测手掌时，采用手掌检测模型；检测瞳孔时，采用瞳孔检测模型。需要说明的是，由于本实施例采用的散斑图，因此目标检测模型需要是可以应用于散斑图的模型，而非传统的基于红外图或RGB图像的目标检测模型。

在部分实施例中，还同时获得红外图或RGB图。红外图或RGB图与散斑图是对齐的。通过在红外图或RGB图上检测目标对象，判断散斑图上是否包含目标对象。如果在红外图或RGB图上检测到目标对象，就可以获得目标区域，再利用对应关系，获得散斑图上的目标区域。

由于目标检测算法需要耗费的时间较长，如果对待检测视频中的每一帧均进行目标检测，则完成活体检测需要耗费大量的时间，导致活体检测的效率很低。而使用目标检测算法在一个待检测帧上检测到目标对象后，即对后续的图像帧使用目标跟踪算法跟踪目标对象，能明显缩短活体检测的时间，从而提高活体检测的效率。

步骤S4：将所述待检测帧作为初始帧，利用特征点检测算法提取所述初始帧中的应选特征点，将所述初始帧中定位出的目标区域作为跟踪区域，将所述待检测视频中初始帧的下一帧作为待跟踪帧，并执行步骤S6。

在本步骤中，将步骤S3中检测出的待检测帧作为目标跟踪的初始帧。将初始帧中的目标区域作为跟踪区域，基于所述跟踪区域即对初始帧的下一帧进行跟踪，从而得到初始帧的下一帧中的目标对象。在进行目标跟踪时，与前述步骤类似，可以采用适用于散斑图的目标跟踪算法。在部分实施例中，在进行目标跟踪时，还可以采用适用于RGB图或红外图的目标跟踪算法，再根据RGB图或红外图与散斑图的对应关系，获得应选特征点。

步骤S5：将所述待检测视频中的下一帧图像作为待检测帧，并执行步骤S3。

在本步骤中，我们将待检测视频中的下一帧图像作为新的待检测帧，然后返回步骤S3，继续进行目标检测。

步骤S6：利用跟踪算法得到所述待跟踪帧的候选特征点，判断所述待跟踪帧中的应选特征点的数量是否满足第一预设条件，其中，所述应选特征点是所述候选特征点中满足第二预设条件的特征点，其中，所述第二预设条件为与所述待跟踪帧的上一帧中对应的应选特征点的距离小于或者等于S，如果所述待跟踪帧中的应选特征点的数量满足第一预设条件，确定所述待跟踪帧中跟踪到目标对象，根据所述待跟踪帧中的应选特征点的位置确定所述待跟踪帧上的目标区域，并执行步骤S7，否则，确定所述待跟踪帧中未跟踪到目标对象，将所述待跟踪帧的下一帧作为待检测帧，并执行步骤S3。

在本步骤中，利用跟踪算法得到待跟踪帧的候选特征点，然后判断待跟踪帧中的应选特征点的数量是否满足第一预设条件。如果满足，我们就确定待跟踪帧中跟踪到了目标对象，并根据应选特征点的位置确定待跟踪帧上的目标区域；如果不满足，我们就确定待跟踪帧中未跟踪到目标对象，然后将待跟踪帧的下一帧作为新的待检测帧，返回步骤S3。

步骤S7：获取所述待跟踪帧上的目标区域中的感兴趣区域，并执行步骤S8。

在本步骤中，感兴趣区域是目标区域的一部分。由于目标区域通常是包含目标对象及部分背景在内的区域，而背景及部分目标对象对于本实施例中的活体判定无实际意义，但会干扰后续的比例判断，因此需要在感兴趣区域中利用特征点识别出更小的感兴趣区域。比如对于人脸，识别出多个关键之间的区域作为感兴趣区域；对于手掌，识别出手掌的关键点作为感兴趣区域。感兴趣区域是目标区域中随时间变动最大的部分。感兴趣区域的范围随目标对象的类型不同而不同。

步骤S8：判断跟踪到目标的图像帧的数量是否等于M，如果是，则执行步骤S9，否则，执行步骤S10。

在本步骤中，每跟踪到一帧包含目标对象的图像帧，则判断到目前为止，跟踪到目标对象的图像帧的数量是否达到预设的M，其中，M的具体数值可以根据活体检测的需要进行设置，在本实施例中不对M的具体数值进行限定。当跟踪到目标对象的图像帧的数量达到预设的M值时，执行步骤S9和S10，对M个图像帧进行提取。当跟踪到目标对象的帧数尚未达到预设的M值时，继续对当前帧的下一帧进行目标对象跟踪，直到跟踪到目标对象的图像帧的数量达到预设的M值。

步骤S9：在图像帧上将相邻的X个散斑划分为散斑组，并对所述散斑组内计算亮度，对所述散斑组构建亮度随时间、所述功率或波长变化的向量，得到N个散斑组的亮度变化向量，并执行步骤S11。

在本步骤中，将相邻的多个散斑划分为散斑组，从而可以对同一个散斑组内的多个散斑计算亮度。在计算亮度时，可以将散斑组内进行平均计算，获得散斑组的平均亮度度。由于散斑是不连续的，因此在计算平均亮度时根据散斑组内的多个散斑的像素点计算。比如，散斑组内有3个散斑，每个散斑由3000个像素点组成，合计9000个像素点，并且9000个像素点的亮度总和为900000，则平均亮度为10。在计算亮度时，也可以将散斑组内的亮度作为亮度矩阵，获得亮度变化矩阵。本说明书中的亮度变化向量包含矩阵的形式，不再进行区分。如图4所示，在划分散斑组时，将相邻的X个散斑划为同一散斑组，以方便进行各类计算。

对真人手掌和硅胶手模分别拍摄了一组图像，并在这两组图像中的每一帧图像分别提取一组像素点。对于每一张图像，沿着所画的横线提取横线上的这组像素点的散斑图亮度作为纵坐标的值，将横线的横向位置(即X轴方向)作为横坐标，将每一组的多帧图像的亮度分别画到同一个坐标轴上，得到真人和攻击假体的散斑亮度的随着时间变化的特性分别如图5和图6所示。从图5中可以看出，散斑照射到真人皮肤上之后，由于皮肤中的毛细血管处于一个血液流动的动态变化的状态所导致的光学特性的动态变化，所以真人活体所反射的散斑亮度处在一个动态变化之中；对比之下，从图6中可以看出，3D硅胶手模假体由于不具备真人皮肤的这一特性，因此激光散斑的反射亮度也始终处于一种稳定的状态。

在对所述散斑组构建亮度随时间、所述功率或波长变化的向量时，以每个散斑组为对象，记录其亮度随时间的变化关系，得到亮度随时间的向量。在图像帧的感兴趣区域内共提取出N个散斑组，则可得到N个散斑组的变化向量。本步骤中提取的像素点表示了感兴趣区域内每个散斑组的特征，相比于整个散斑数据，具有更小的计算量，并且结果相当。

在部分实施例中，散斑组根据血管分布情况进行划分。对于人体而言，血管的流动造成的变化是因不同个体、不同部位而不同的。在进行散斑组划分时，根据血管的位置进行划分。人脸与手掌的血管分布不同，因此划分方式也不同。需要说明的人，不同人的人脸或手掌的血管分布，尤其是毛细血管的分布位置不完全相同，因此本实施例在划分时，按照血管所在的区域进行划分。对于粗血管，散斑组按照更狭长的方式进行划分；而对于细血管，散斑组按照更接近方形的方式进行划分。

在部分实施例中，散斑组中散斑的数量与目标对象的深度值成反比。通过散斑可以直接计算得到散斑点的深度值。将感兴趣区域内的多个散斑点的深度值取平均，得到目标对象的深度值。在选取多个散斑点时，既可以取感兴趣区域内的所有散斑点，又可以按照一定的规则选取部分散斑点。当目标对象的深度值越大时，一个散斑组内的散斑数量越少。当目标对象的深度值越小时，一个散斑组内的散斑数量越多。本实施例可以根据目标对象的深度值对散斑组中的散斑数量进行调整，可以保证亮度变化向量准确地将相同特性的散斑进行识别，减少计算量，提高效率。

步骤S10，获取所述待跟踪帧的下一帧，并将所述待跟踪帧的下一帧作为新的待跟踪帧，并执行步骤S6。

在本步骤中，当跟踪到人脸的帧数尚未达到预设的M值时，继续对当前待跟踪帧的下一帧进行人脸跟踪。

步骤S11，将所述亮度变化向量作为活体检测分类器的输入，判断所述特征向量表征的M个图像帧中的目标对象是否为活体，其中，所述活体检测分类器是使用预先获取的从真实目标对象和/或攻击目标对象提取得到的特征向量训练得到的。

在本步骤中，将亮度变化向量作为活体检测分类器的输入，判断这M个图像帧中的目标对象是否为活体。这个活体检测分类器是使用预先从真实目标对象和/或攻击目标对象提取得到的特征向量训练得到的，可以将活体检测当做二分类问题处理，针对输入的任意一个特征向量，均可以判断所述特征向量表征的M个图像帧中的目标对象是否为活体。

在部分实施例中，还将多个散斑组的位置关系与所述亮度变化向量一同作为活体检测分类器的输入。相比于前述实施例，本实施例的亮度变化向量不仅表示单个散斑组的亮度随时间变化情况，还可以横向表示不同位置处的散斑组之间的亮度关系，从而形成更加立体的亮度变化空间，大幅提高对假体的识别效果。

在部分实施例中，在步骤S11中，根据所述散斑组的位置，对所述亮度变化向量分别赋予不同的权重值。对于人体而言，血管的流动造成的变化是因不同个体、不同部位而不同的。权重在设置时，根据血管的位置进行权重分析。血管越粗，附近散斑组的权重越大；血管越细，附近散斑组的权重越小。人脸与手掌的血管分布不同，因此权重的设置也完全不同。需要说明的人，不同人的人脸或手掌的血管分布，尤其是毛细血管的分布位置不完全相同，因此本实施例在设置权重时，以血管附近的区域对相邻的若干个散斑组赋予相同的权重值。比如，将散斑组根据位置分为3类：靠近粗血管、靠近细血管、周围无血管，并分别给予不同的权重值。本实施例通过对不同的散斑组的亮度变化向量赋予不同的权重值，可以使得变化明显的位置更易被识别，更好地识别出假体，并能够提高识别效率。

图7为本发明实施例中一种神经网络的结构示意图。如图7所示，本发明实施例中一种神经网络用于训练深度学习模型，包括：第一反向残差模块、第一池化层、第二反向残差模块、第二池化层、第三反向残差模块、第一叠加层、第三池化层、第四反向残差模块、第二叠加层、第四池化层、第五反向残差模块、第三卷积层、第五池化层、随机丢弃层、分类器、第一卷积层、第二卷积层；其中，所述第一反向残差模块输出到所述第一池化层和所述第一卷积层，所述第一卷积层和所述第三反向残差模块输入所述第一叠加层，所述第二反向残差模块输出到所述第二卷积层和所述第二池化层，所述第二卷积层和所述第四反向残差模块输入所述第二叠加层；所述分类器输出活体概率和假体概率。

需要说明的是，本领域技术人员可以根据图像大小调节池化层数，从而在训练速度与训练效果之间取得平衡。

深度学习模型在训练时的神经网络设计具有以下显著优点：

逐层预训练：深度学习模型采用逐层预训练的训练机制，这使得其能够克服传统神经网络容易过拟合及训练速度慢的问题。

自动特征学习：通过逐层数据预训练，深度学习模型能够自动地学习到数据的初级特征，从而克服了人工设计特征费时、费力的传统方式。

分布式数据学习：深度学习模型能够更有效地在分布式数据上进行学习，使得学习效率达到指数级。

深层建模能力：与浅层建模方式相比，深层建模能够更细致和高效地表示实际的复杂非线性问题。这意味着深度学习模型在处理复杂的现实问题时，如图像识别、语音识别等，具有更强的性能。

本实施例使得深度学习模型在处理复杂任务时具有更高的效率和准确性。

图8为本发明实施例中一种反向残差模块的结构示意图。如图8所示，本发明实施例中一种反向残差模块包括：第一子卷积层、第一批量归一化层、第一非线性激活层、第二子卷积层、第二批量归一化层、第二非线性激活层、第三子卷积层、第三批量归一化层、第一子叠加层；其中，所述第一子卷积层输出到所述第一批量归一化层，所述第一子卷积层和所述第三批量归一化层输入到所述第一叠加层。

本实施例中的反向残差模块可以是前述实施例中第一反向残差模块、所述第二反向残差模块、所述第三反向残差模块、所述第四反向残差模块、所述第五反向残差模块中的任意一或多个。

本实施例具有至少以下明显的优点：

减少模型参数量：逆残差模块通过对残差连接进行可逆变换，可以有效地减少模型的参数量。传统的残差模块需要大量的卷积层，使得需要大量的参数。而逆残差模块通过倒置残差结构，即先进行投影卷积升维，然后通过深度卷积，最后再使用投影卷积降维，从而有效地减少了参数量。

提高模型性能：逆残差模块的设计使得网络在训练过程中不会出现梯度消失或梯度***的问题，从而可以训练非常深的网络。这有助于提高模型的性能。

实现复杂度低：逆残差模块的实现主要通过两层相同或不同的卷积层和一个跳跃连接来完成，其实现相对简单，计算复杂度较低。

因此，实施例有效解决了深度网络训练中的梯度问题和参数过多的问题，提高了模型的性能，并且实现起来相对简单，这使得它在处理复杂任务时具有很高的实用价值。

图9为本发明实施例中一种得到N个散斑组的亮度变化向量的步骤流程图。如图9所示，本发明实施例中一种得到N个散斑组的亮度变化向量的步骤包括：

步骤S91：根据感兴趣区域内的散斑点分布，将固定数量相邻的多个散斑划分散斑组。

在本步骤中，首先需要对感兴趣区域内的散斑点进行统计和分析。可以通过计算每个散斑点的坐标值。在对散斑进行划分时，根据血管的分布进行。需要说明的是，由于本实话例采用的是散斑图，无法直接获得感兴趣区域内的血管分布。但由于不同人员的血管分布存存在一定的相似性，本实施例采用预设的血管分布对散斑点进行划分。即本实施例中还包含标准血管分布图，从而对所有的感兴趣区域进行匹配，以对散斑点进行划分。每个散斑组中散斑的数量是相同的，以更好地评估多个不同散斑组之间的对比。

步骤S92：对M个图像帧中的所述感兴趣区域的散斑组计算亮度，获得所述散斑组的亮度变化向量。

在这个步骤中，计算每个散斑组内多个散斑点的亮度值。与前述实施例相同，本步骤既可以求取散斑组内的亮度平均值，又可以将多个亮度值视为整体进行识别。将M个图像帧上该散斑组的亮度组成矩阵，获得每个散斑组的亮度变化向量。这个向量可以表示散斑组在不同帧之间的亮度变化情况。

步骤S93：对所述感兴趣区域的所有散斑组进行计算，得到N组亮度变化向量，并执行步骤S11。

在这个步骤中，需要对感兴趣区域的所有散斑组进行提取，以得到N组亮度变化向量。将这些亮度变化向量存储在一个矩阵中，以便后续步骤S11的处理。

本实施例对具有高度趋同性的散斑点划分为一个散斑组，得到N组亮度变化向量，可以更准确并高效地计算，更好地分析散斑点的分布和变化情况，从而提高后续处理的准确性，并且可以降低计算量，提高计算效率。

本发明实施例还提供了一种电子设备，该电子设备包括上述任一实施例提供的视频散斑活体深度相机，该电子设备可以为机器人、智能汽车、手机、无人机、平板电脑和数码相机等任意一种电子设备。本发明所提供的视频散斑活体深度相机，对多帧散斑图检测目标对象，检测出连续多帧目标对象后，对感兴趣区域的多个散斑点组成的散斑组计算亮度，构建散斑组的亮度随时间、所述功率或波长变化的向量，并根据亮度变化向量判断目标对象是否为活体，具有抗干扰能力强、对各类假体都有很好的识别效果的优点。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (10)

1.一种视频散斑活体深度相机，其特征在于，包括：

散斑投射器，用于以不同功率或波长投射出散斑；

散斑接收器，用于接收所述散斑的反射信号，生成散斑图；

处理器，用于对所述散斑图进行检测，获得感兴趣区域，对所述感兴趣区域内相邻的多个像素点组成散斑组，对多个图像帧中的感兴趣区域构建N个散斑组的亮度变化向量，将所述亮度变化向量作为活体检测分类器的输入，判断所述特征向量表征的M个图像帧中的目标对象是否为活体；其中，所述亮度变化向量还包括每一图像帧对应的所述功率或波长。

2.根据权利要求1所述的一种视频散斑活体深度相机，其特征在于，当所述散斑投射器以不同功率投射散斑时，功率变化不低于10％。

3.根据权利要求1所述的一种视频散斑活体深度相机，其特征在于，所述处理器在处理时包括：

步骤S1：获取待检测视频；

步骤S2：将所述待检测视频中的第一帧图像作为待检测帧；

步骤S3：对所述待检测帧进行目标检测，判断所述待检测帧中是否包含目标对象；如果是，则定位对目标区域并执行步骤S4，否则，执行步骤S5；

步骤S4：将所述待检测帧作为初始帧，利用特征点检测算法提取所述初始帧中的应选特征点，将所述初始帧中定位出的目标区域作为跟踪区域，将所述待检测视频中初始帧的下一帧作为待跟踪帧，并执行步骤S6；

步骤S5：将所述待检测视频中的下一帧图像作为待检测帧，并执行步骤S3；

步骤S6：利用跟踪算法得到所述待跟踪帧的候选特征点，判断所述待跟踪帧中的应选特征点的数量是否满足第一预设条件，其中，所述应选特征点是所述候选特征点中满足第二预设条件的特征点，其中，所述第二预设条件为与所述待跟踪帧的上一帧中对应的应选特征点的距离小于或者等于S，如果所述待跟踪帧中的应选特征点的数量满足第一预设条件，确定所述待跟踪帧中跟踪到目标对象，根据所述待跟踪帧中的应选特征点的位置确定所述待跟踪帧上的目标区域，并执行步骤S7，否则，确定所述待跟踪帧中未跟踪到目标对象，将所述待跟踪帧的下一帧作为待检测帧，并执行步骤S3；

步骤S7：获取所述待跟踪帧上的目标区域中的感兴趣区域，并执行步骤S8；

步骤S8：判断跟踪到目标的图像帧的数量是否等于M，如果是，则执行步骤S9，否则，执行步骤S10；

步骤S9：在图像帧上将相邻的X个散斑划分为散斑组，并对所述散斑组内计算亮度，对所述散斑组构建亮度随时间、所述功率或波长变化的向量，得到N个散斑组的亮度变化向量，并执行步骤S11；

步骤S10，获取所述待跟踪帧的下一帧，并将所述待跟踪帧的下一帧作为新的待跟踪帧，并执行步骤S6；

步骤S11，将所述亮度变化向量作为活体检测分类器的输入，判断所述特征向量表征的M个图像帧中的目标对象是否为活体，其中，所述活体检测分类器是使用预先获取的从真实目标对象和/或攻击目标对象提取得到的特征向量训练得到的。

4.根据权利要求3所述的一种视频散斑活体深度相机，其特征在于，步骤S9中散斑组根据血管分布情况进行划分。

5.根据权利要求3所述的一种视频散斑活体深度相机，其特征在于，步骤S9中散斑组中散斑的数量与目标对象的深度值成反比。

6.根据权利要求3所述的一种视频散斑活体深度相机，其特征在于，步骤S9包括：

步骤S91：根据感兴趣区域内的散斑点分布，将固定数量相邻的多个散斑划分散斑组；

步骤S92：对M个图像帧中的所述感兴趣区域的散斑组计算亮度，获得所述散斑组的亮度变化向量；

步骤S93：对所述感兴趣区域的所有散斑组进行计算，得到N组亮度变化向量，并执行步骤S11。

7.根据权利要求1所述的一种视频散斑活体深度相机，其特征在于，所述活体检测分类器在训练时的神经网络包括：第一反向残差模块、第一池化层、第二反向残差模块、第二池化层、第三反向残差模块、第一叠加层、第三池化层、第四反向残差模块、第二叠加层、第四池化层、第五反向残差模块、第三卷积层、第五池化层、随机丢弃层、分类器、第一卷积层、第二卷积层；其中，所述第一反向残差模块输出到所述第一池化层和所述第一卷积层，所述第一卷积层和所述第三反向残差模块输入所述第一叠加层，所述第二反向残差模块输出到所述第二卷积层和所述第二池化层，所述第二卷积层和所述第四反向残差模块输入所述第二叠加层；所述分类器输出活体概率和假体概率。

8.根据权利要求3所述的一种视频散斑活体深度相机，其特征在于，在步骤S11中，还将多个散斑组的位置关系与所述亮度变化向量一同作为活体检测分类器的输入。

9.根据权利要求3所述的一种视频散斑活体深度相机，其特征在于，在步骤S11中，根据所述散斑组的位置，对所述亮度变化向量分别赋予不同的权重值。

10.一种电子设备，其特征在于，包括权利要求1至9中任意一项所述视频散斑活体深度相机。