CN112241657A - 一种指纹防伪方法和电子设备 - Google Patents

Abstract

本申请提供了一种指纹防伪方法和电子设备，该方法包括：电子设备检测到用户的第一操作；该电子设备响应于该第一操作，获取指纹图像和触控信号；该电子设备根据该指纹图像和触控信号，确定该指纹图像为真手指的指纹图像或者假手指的指纹图像。本申请实施例的指纹防伪方法，有助于提高识别假指纹的准确度。

Description

一种指纹防伪方法和电子设备

技术领域

本申请涉及电子设备领域，并且更具体地，涉及一种指纹防伪方法和电子设备。

背景技术

指纹作为一种很常用的生物特征，已经被广泛应用在手机解锁、金融、门禁等领域的身份认证中。但是，目前的指纹匹配识别***往往较难识别真假指纹，容易面临欺诈攻击的风险。

例如，目前逐渐被采用的屏下或屏内光学指纹方案，是利用光学原理(光的反射和折射)捕获屏幕上方手指的二维指纹图像，容易遭到低成本、易制作的假指纹攻击(尤其硅胶等材料制作的3D假指纹)，用户资产、财产等面临损失风险，影响面较广。

发明内容

本申请提供一种指纹防伪方法和电子设备，有助于提高识别假指纹的准确度。

第一方面，提供了一种指纹防伪方法，该方法应用于电子设备，该方法包括：该电子设备获取指纹图像和多帧触控信号；该电子设备根据该指纹图像和该多帧触控信号，确定该指纹图像为真手指的指纹图像或者假手指的指纹图像。

在一些可能的实现方式中，该方法包括：电子设备检测到第一操作；响应于该第一操作，该电子设备获取指纹图像和多帧触控信号；该电子设备根据该指纹图像和该多帧触控信号，确定所述指纹图像为真手指的指纹图像或者假手指的指纹图像。

需要说明的是，所述第一操作包括但不限于用户通过触摸或按压或以预设距离接近电子设备的屏幕、电源键等器件的操作，以使电子设备感知到该操作之后能够触发采集指纹图像和多帧触控信号。

本申请实施例中的指纹防伪方法，通过获取的指纹图像和触控信号来判断指纹图像是否为来自活体手指，有助于提升假指纹检测的准确度，有效防御目前指纹匹配识别方案面临的假指纹攻击。同时，无需引入其他新硬件，避免了成本过高。

结合第一方面，在第一方面的某些实现方式中，该多帧触控信号包括：在采集该指纹图像时同步采集的多帧触控信号；或者，在采集该指纹图像时同步采集的多帧触控信号，以及在采集该指纹图像之前缓存的多帧触控信号。

结合第一方面，在第一方面的某些实现方式中，该指纹图像为非首张指纹图像，该触控信号为采集首张指纹图像时同步采集的多帧触控信号。

结合第一方面，在第一方面的某些实现方式中，该电子设备获取指纹图像和多帧触控信号之后，该方法还包括：该电子设备根据该电子设备的屏幕状态或者触控采集频率，对该多帧触控信号进行预处理，该预处理包括插值、补零、下采样处理中的一种或者多种。

需要说明的是，上述预处理的结果是增加或减少多帧触控信号的帧数，以满足后续使用要求，本申请实施例并不对上述预处理的具体实现方式进行限定，例如也可以通过复制至少一份的方式实现触控信号帧数的增加。

结合第一方面，在第一方面的某些实现方式中，该电子设备获取指纹图像和多帧触控信号之后，该方法还包括：该电子设备截取预定帧数或预定大小的触控信号。

需要说明的是，该电子设备可以在对多帧触控信号进行预处理之后截取预定帧数或预定大小的触控信号，也可以是在截取预定帧数或预定大小的触控信号之后对该截取后的触控信号再进行上述预处理。其中，预定大小可以是针对每帧触控信号的尺寸设置的一个预定值，例如，假设触控信号用数学矩阵表示时为A*B大小的矩阵(A和B为大于0的整数)，截取后为a*b大小的矩阵(a和b为分别小于或者等于A和B，且大于0的整数)。

结合第一方面，在第一方面的某些实现方式中，该电子设备中保存多模态网络，该多模态网络包括指纹图像子网络和触控信号子网络，该电子设备确定该指纹图像为真手指的指纹图像或者假手指的指纹图像，包括：该电子设备将该指纹图像送入指纹图像子网络中进行处理，得到第一特征向量；该电子设备将该多帧触控信号送入触控信号子网络中进行处理，得到第二特征向量；该电子设备对该第一特征向量和该第二特征向量进行融合，得到第三特征向量；该电子设备对该第三特征向量进行分类，得到分类结果；该电子设备根据该分类结果，确定该指纹图像为真手指的指纹图像或者假手指的指纹图像。

需要说明的是，电子设备对该第一特征向量和该第二特征向量进行融合时，还可以对该第一特征向量和该第二特征向量进行加权，以得到第三特征向量。示例地，将该第一特征向量乘以第一加权系数，将该第二特征向量乘以第二加权系数，然后将分别乘以加权系数后的第一、第二特性向量进行融合，得到第三特征向量。

结合第一方面，在第一方面的某些实现方式中，该电子设备根据该分类结果，确定该指纹图像为真手指的指纹图像或者假手指的指纹图像，包括：若该分类结果包括第一置信度，且该第一置信度大于或者等于第一阈值，该电子设备确定该指纹图像为真手指的指纹图像，该第一置信度为该指纹图像为真手指的指纹图像的置信度；或者，若该分类结果包括第二置信度，且该第二置信度大于或者等于第二阈值，该电子设备确定该指纹图像为假手指的指纹图像，该第二置信度为该指纹图像为假手指的指纹图像的置信度；其中，该第一阈值和该第二阈值为可调节的。

需要说明的是，该第一阈值和该第二阈值为可调节的，具体实现方式如电子设备根据屏幕状态或其他信息(如指纹图像的质量、触控信号的强弱等)确定该第一阈值或第二阈值的大小等。当然，它们也可以是固定的预设值。

在一些可能的实现方式中，该电子设备确定该指纹图像为真手指的指纹图像或者假手指的指纹图像，包括：该电子设备将该指纹图像送入指纹图像子网络中进行处理，得到第一分类结果；电子设备将该多帧触控信号送入触控信号子网络中进行处理，得到第二分类结果；该电子设备根据该第一分类结果和该第二分类结果，确定该指纹图像为真手指的指纹图像或者假手指的指纹图像。

本申请实施例中，通过将指纹图像和触控信号送入多模态网络中进行指纹防伪处理，相比于基于单模(如单独基于指纹图像)进行指纹防伪处理的方法，有助于提高真指纹判断和假指纹判断的准确率。

结合第一方面，在第一方面的某些实现方式中，该方法还包括：该电子设备将该指纹图像和该触控信号送入该多模态网络之前，对该指纹图像和该多帧触控信号进行融合；该电子设备将该指纹图像和该多帧触控信号送入该多模态网络之后，对该指纹图像和该多帧触控信号进行分离。

本申请实施例中，电子设备可以对触控信号和指纹图像进行融合，这样可能在一定程度上降低数据传输到多模态网络的复杂度，以简化实现。

在一些可能的实现方式中，该电子设备在将该指纹图像和该多帧触控信号送入多模态网络之后，对该指纹图像和该多帧触控信号进行分离，然后将分离后的指纹图像送入指纹图像子网络中，将分离后的多帧触控信号送入触控信号子网络中。

结合第一方面，在第一方面的某些实现方式中，该电子设备获取指纹图像和多帧触控信号之后，该方法还包括：该电子设备对该指纹图像和该多帧触控信号进行归一化处理。

在一些可能的实现方式中，该电子设备对该指纹图像和该多帧触控信号进行归一化处理，包括：该电子设备将该指纹图像对应的数据的元素值归一化到第一范围内；该电子设备将该多帧触控信号对应的数据的元素值归一化到第二范围内。

在一些可能的实现方式中，该第一范围和该第二范围相同。

结合第一方面，在第一方面的某些实现方式中，当该电子设备确定该指纹图像为假手指的指纹图像时，该方法还包括：该电子设备向用户发出假指纹提示信息；或者，该电子设备向用户发出操作失败提示信息。

需要说明的是，上述向用户发出操作失败提示信息，具体如解锁手机时提示用户指纹/身份认证失败、解锁失败，支付时提示用户指纹/身份认证失败、支付失败等。

本申请实施例中，当电子设备确定该指纹图像为假手指的指纹图像时，可以向用户发出提示信息，有助于防御3D假指纹或者2D假指纹的攻击。

结合第一方面，在第一方面的某些实现方式中，当该电子设备确定该指纹图像为真手指的指纹图像时，该方法还包括：该电子设备确定该指纹图像和用户预设的指纹图像匹配；该电子设备确定用户身份认证通过。

结合第一方面，在第一方面的某些实现方式中，该多帧触控信号用于表征触控强度、触控强度的变化趋势、触控形状或者触控形状变化趋势中的一种或者多种。

第二方面，提供了一种指纹防伪方法，该方法应用于电子设备，该电子设备包括安全区域，该方法包括：该安全区域获取指纹图像和多帧触控信号；该安全区域根据该指纹图像和该多帧触控信号，确定该指纹图像为真手指的指纹图像或者假手指的指纹图像。

在一些可能的实现方式中，该安全区域可以为可信执行环境TEE。

本申请实施例中的指纹防伪方法，通过获取的指纹图像和触控信号来判断指纹图像是否来自活体手指，有助于提升假指纹检测的准确度，有效防御目前指纹匹配识别方案面临的假指纹攻击。同时，无需引入其他新硬件，避免了成本过高。

结合第二方面，在第二方面的某些实现方式中，该电子设备还包括***侧，该安全区域获取该指纹图像和该多帧触控信号，包括：该安全区域接收指示信息并根据该指示信息，从存储位置获取该指纹图像和该多帧触控信号，该指示信息用于指示该存储位置，该存储位置存储有该指纹图像和该多帧触控信号；或者，该安全区域接收该***侧发送的该指纹图像和该多帧触控信号。

在一些可能的实现方式中，该***侧为富执行环境REE。

结合第二方面，在第二方面的某些实现方式中，该多帧触控信号包括：在采集该指纹图像时同步采集的多帧触控信号；或者，在采集该指纹图像时同步采集的多帧触控信号，以及在采集该指纹图像之前缓存的多帧触控信号。

结合第二方面，在第二方面的某些实现方式中，该指纹图像为非首张指纹图像，该触控信号为采集首张指纹图像时同步采集的多帧触控信号。

结合第二方面，在第二方面的某些实现方式中，该安全区域获取指纹图像和多帧触控信号之后，该方法还包括：该安全区域根据该电子设备的屏幕状态或者触控采集频率，对该多帧触控信号进行预处理，该预处理包括插值、补零、下采样处理中的一种或者多种。

结合第二方面，在第二方面的某些实现方式中，该安全区域获取指纹图像和多帧触控信号之后，该方法还包括：该安全区域截取预定帧数或预定大小的触控信号。

结合第二方面，在第二方面的某些实现方式中，该安全区域中保存多模态网络，该多模态网络包括指纹图像子网络和触控信号子网络，该安全区域确定该指纹图像为真手指的指纹图像或者假手指的指纹图像，包括：该安全区域将该指纹图像送入指纹图像子网络中进行处理，得到第一特征向量；该安全区域将该触控信号送入触控信号子网络中进行处理，得到第二特征向量；该安全区域对该第一特征向量和该第二特征向量进行融合，得到第三特征向量；该安全区域对该第三特征向量进行分类，得到分类结果；该安全区域根据该分类结果，确定该指纹图像为真手指的指纹图像或者假手指的指纹图像。

结合第二方面，在第二方面的某些实现方式中，该安全区域根据该分类结果，确定该指纹图像为真手指的指纹图像或者假手指的指纹图像，包括：若该分类结果包括第一置信度，且该第一置信度大于或者等于第一阈值，该安全区域确定该指纹图像为真手指的指纹图像，该第一置信度为该指纹图像为真手指的指纹图像的置信度；或者，若该分类结果包括第二置信度，且该第二置信度大于或者等于第二阈值，该安全区域确定该指纹图像为假手指的指纹图像，该第二置信度为该指纹图像为假手指的指纹图像的置信度；其中，该第一阈值和该第二阈值为可调节的。

结合第二方面，在第二方面的某些实现方式中，该方法还包括：该安全区域将该指纹图像和该触控信号送入该多模态网络之前，对该指纹图像和该触控信号进行融合；该安全区域将该指纹图像和该触控信号送入该多模态网络之后，对该指纹图像和该触控信号进行分离。

结合第二方面，在第二方面的某些实现方式中，该安全区域获取指纹图像和多帧触控信号之后，该方法还包括：该安全区域对该指纹图像和该触控信号进行归一化处理。

在一些可能的实现方式中，该安全区域对该指纹图像和该触控信号进行归一化处理，包括：该安全区域将该指纹图像对应的数据的元素值归一化到第一范围内；该安全区域将该触控信号对应的数据的元素值归一化到第二范围内。

在一些可能的实现方式中，该第一范围和该第二范围相同。

结合第二方面，在第二方面的某些实现方式中，当该安全区域确定该指纹图像为假手指的指纹图像时，该方法还包括：该电子设备向用户发出假指纹提示信息；或者，该电子设备向用户发出操作失败提示信息。

结合第二方面，在第二方面的某些实现方式中，当该电子设备确定该指纹图像为真手指的指纹图像时，该方法还包括：该安全区域确定该指纹图像和用户预设的指纹图像匹配；该电子设备确定用户身份认证通过。

结合第二方面，在第二方面的某些实现方式中，该多帧触控信号用于表征触控强度、触控强度的变化趋势、触控形状或者触控形状变化趋势中的一种或者多种。

第三方面，本技术方案提供了一种指纹防伪装置，该装置包含在电子设备中，该装置具有实现上述第一方面及上述第一方面的可能实现方式中电子设备行为的功能。功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块或单元。

第四方面，本技术方案提供了一种指纹防伪装置，该装置包含在电子设备中，该装置具有实现上述第二方面及上述第二方面的可能实现方式中电子设备行为的功能。功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块或单元。

第五方面，本技术方案提供了一种电子设备，包括：一个或多个处理器；存储器；多个应用程序；以及一个或多个计算机程序。其中，一个或多个计算机程序被存储在存储器中，一个或多个计算机程序包括指令。当指令被执行时，使得电子设备执行上述第一方面任一项可能的实现中的指纹防伪方法。

第六方面，本技术方案提供了一种电子设备，包括：一个或多个处理器；存储器；多个应用程序；以及一个或多个计算机程序。其中，一个或多个计算机程序被存储在存储器中，一个或多个计算机程序包括指令。当指令被执行时，使得电子设备执行上述第二方面任一项可能的实现中的指纹防伪方法。

第七方面，本技术方案提供了一种电子设备，包括一个或多个处理器和一个或多个存储器。该一个或多个存储器与一个或多个处理器耦合，一个或多个存储器用于存储计算机程序代码，计算机程序代码包括计算机指令，当一个或多个处理器执行计算机指令时，使得电子设备执行上述第一方面任一项可能的实现中的指纹防伪方法。

第八方面，本技术方案提供了一种电子设备，包括一个或多个处理器和一个或多个存储器。该一个或多个存储器与一个或多个处理器耦合，一个或多个存储器用于存储计算机程序代码，计算机程序代码包括计算机指令，当一个或多个处理器执行计算机指令时，使得电子设备执行上述第二方面任一项可能的实现中的指纹防伪方法。

第九方面，本技术方案提供了一种计算机存储介质，包括计算机指令，当计算机指令在电子设备上运行时，使得电子设备执行上述第一方面或第二方面任一项可能的实现中的指纹防伪方法。

第十方面，本技术方案提供了一种计算机程序产品，当计算机程序产品在电子设备上运行时，使得电子设备执行上述第一方面或第二方面任一项可能的设计中的指纹防伪方法。

第十一方面，提供了一种芯片***，该芯片***包括：至少一个处理器、至少一个存储器和接口电路，该接口电路负责该芯片***与外界的信息交互，该至少一个存储器、该接口电路和该至少一个处理器通过线路互联，该至少一个存储器中存储有指令；该指令被该至少一个处理器执行，以进行上述第一方面的方法中在该电子设备的操作。

附图说明

图1是本申请实施例提供的电子设备的结构示意图。

图2是本申请实施例提供的一组GUI。

图3是本申请实施例提供的另一组GUI。

图4是本申请实施例提供的另一组GUI。

图5是本申请实施例提供的指纹防伪方法的示意性流程图。

图6是本申请实施例提供的指纹防伪方法的另一示意性流程图。

图7是本申请实施例提供的待判定样本对通过多模态网络得到分类结果的示意图。

图8是本申请实施例提供的待判定样本对通过多模态网络得到分类结果的示意图。

图9是本申请实施例的指纹防伪方法的另一示意性流程图。

图10是本申请实施例中通过联合训练得到多模态网络的过程的示意图。

图11是本申请实施例中通过单独训练得到多模态网络的过程的示意图。

图12是本申请实施例提供的电子设备的示意性框图。

具体实施方式

以下实施例中所使用的术语只是为了描述特定实施例的目的，而并非旨在作为对本申请的限制。如在本申请的说明书和所附权利要求书中所使用的那样，单数表达形式“一个”、“一种”、“所述”、“上述”、“该”和“这一”旨在也包括例如“一个或多个”这种表达形式，除非其上下文中明确地有相反指示。还应当理解，在本申请以下各实施例中，“至少一个”、“一个或多个”是指一个、两个或两个以上。术语“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系；例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B的情况，其中A、B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。

在本说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。

以下介绍了电子设备、用于这样的电子设备的用户界面、和用于使用这样的电子设备的实施例。在一些实施例中，电子设备可以是还包含其它功能诸如个人数字助理和/或音乐播放器功能的便携式电子设备，诸如手机、平板电脑、具备无线通讯功能的可穿戴电子设备(如智能手表)等。便携式电子设备的示例性实施例包括但不限于搭载

或者其它操作***的便携式电子设备。上述便携式电子设备也可以是其它便携式电子设备，诸如膝上型计算机(Laptop)等。还应当理解的是，在其他一些实施例中，上述电子设备也可以不是便携式电子设备，而是台式计算机。

示例性的，图1示出了电子设备100的结构示意图。电子设备100可以包括处理器110，外部存储器接口120，内部存储器121，通用串行总线(universal serial bus，USB)接口130，充电管理模块140，电源管理模块141，电池142，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，传感器模块180，按键190，马达191，指示器192，摄像头193，显示屏194，以及用户标识模块(subscriber identification module，SIM)卡接口195等。

可以理解的是，本申请实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中，电子设备100可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。

处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器(application processor，AP)，调制解调处理器，图形处理器(graphics processingunit，GPU)，图像信号处理器(image signal processor，ISP)，控制器，视频编解码器，数字信号处理器(digital signal processor，DSP)，基带处理器，和/或神经网络处理器(neural-network processing unit，NPU)等。其中，不同的处理单元可以是独立的部件，也可以集成在一个或多个处理器中。在一些实施例中，电子设备101也可以包括一个或多个处理器110。其中，控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。在其他一些实施例中，处理器110中还可以设置存储器，用于存储指令和数据。示例性地，处理器110中的存储器可以为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从所述存储器中直接调用。这样就避免了重复存取，减少了处理器110的等待时间，因而提高了电子设备101处理数据或执行指令的效率。

本申请实施例中富执行环境(rich execution environment，REE)中运行的客户端应用(client application，CA)和可信执行环境(trusted execution environment，TEE)中运行的可信应用(trusted application，TA)的动作都涉及到处理器110，具体动作描述可以参考下文中的实施例。

应理解，REE是针对多功能性和丰富性创建的开放环境，并执行电子设备的操作***(如Android OS、iOS等)，在电子设备生产以后向第三方服务器开放下载。

还应理解，TEE是全球平台组织(global platform，GP)针对电子设备的REE提出的概念，是一个与REE并存但相互孤立的运行环境，其中运行安全操作***(trusted OS)，能为富操作***(rich OS)提供安全服务，可通过一组硬件和软件的组合，保证各种敏感数据在其中被安全传输、存储、处理，保证TA执行的机密性、完整性和数据访问权限端到端的安全。由于具有自身的执行空间，其安全级别要高于为Rich OS，但比起安全元件(secureelement，SE)要低些。

TEE中运行的是一系列TA，不同于REE中的一般应用，TEE可为这些TA提供安全服务，如应用执行的完整性、安全存储、与输入输出设备的安全交互、密钥管理、加密算法、与REE中的CA安全通信等。

其中，TA是运行在TEE中，能为REE中的CA或TEE中的其他TA提供安全相关服务的应用。CA运行在REE中，可通过TEE的客户端应用程序编程接口(client applicationprogramming interface，TEE client API)调用或访问TEE中TA(s)的应用，TEE clientAPI可以为REE访问TEE的接口。

在一些实施例中，处理器110可以包括一个或多个接口。接口可以包括集成电路间(inter-integrated circuit，I2C)接口，集成电路间音频(inter-integrated circuitsound，I2S)接口，脉冲编码调制(pulse code modulation，PCM)接口，通用异步收发传输器(universal asynchronous receiver/transmitter，UART)接口，移动产业处理器接口(mobile industry processor interface，MIPI)，通用输入输出(general-purposeinput/output，GPIO)接口，SIM卡接口，和/或USB接口等。其中，USB接口130是符合USB标准规范的接口，具体可以是Mini USB接口，Micro USB接口，USB Type C接口等。USB接口130可以用于连接充电器为电子设备101充电，也可以用于电子设备101与***设备之间传输数据。该USB接口130也可以用于连接耳机，通过耳机播放音频。

可以理解的是，本申请实施例示意的各模块间的接口连接关系，只是示意性说明，并不构成对电子设备100的结构限定。在本申请另一些实施例中，电子设备100也可以采用上述实施例中不同的接口连接方式，或多种接口连接方式的组合。

充电管理模块140用于从充电器接收充电输入。其中，充电器可以是无线充电器，也可以是有线充电器。在一些有线充电的实施例中，充电管理模块140可以通过USB接口130接收有线充电器的充电输入。在一些无线充电的实施例中，充电管理模块140可以通过电子设备100的无线充电线圈接收无线充电输入。充电管理模块140为电池142充电的同时，还可以通过电源管理模块141为电子设备供电。

电源管理模块141用于连接电池142，充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入，为处理器110，内部存储器121，外部存储器，显示屏194，摄像头193，和无线通信模块160等供电。电源管理模块141还可以用于监测电池容量，电池循环次数，电池健康状态(漏电，阻抗)等参数。在其他一些实施例中，电源管理模块141也可以设置于处理器110中。在另一些实施例中，电源管理模块141和充电管理模块140也可以设置于同一个器件中。

电子设备100的无线通信功能可以通过天线1，天线2，移动通信模块150，无线通信模块160，调制解调处理器以及基带处理器等实现。

天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。例如：可以将天线1复用为无线局域网的分集天线。在另外一些实施例中，天线可以和调谐开关结合使用。

移动通信模块150可以提供应用在电子设备100上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器，开关，功率放大器，低噪声放大器(low noise amplifier，LNA)等。移动通信模块150可以由天线1接收电磁波，并对接收的电磁波进行滤波，放大等处理，传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大，经天线1转为电磁波辐射出去。在一些实施例中，移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中，移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。

无线通信模块160可以提供应用在电子设备100上的包括无线局域网(wirelesslocal area networks，WLAN)(如无线保真(wireless fidelity，Wi-Fi)网络)，蓝牙(bluetooth，BT)，全球导航卫星***(global navigation satellite system，GNSS)，调频(frequency modulation，FM)，近距离无线通信技术(near field communication，NFC)，红外技术(infrared，IR)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波，将电磁波信号调频以及滤波处理，将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号，对其进行调频，放大，经天线2转为电磁波辐射出去。

电子设备100通过GPU，显示屏194，以及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏194和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。

显示屏194用于显示图像，视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，LCD)，有机发光二极管(organic light-emittingdiode，OLED)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的，AMOLED)，柔性发光二极管(flex light-emittingdiode，FLED)，Miniled，MicroLed，Micro-oLed，量子点发光二极管(quantum dot lightemitting diodes，QLED)等。在一些实施例中，电子设备100可以包括1个或多个显示屏194。

在本申请的一些实施例中，当显示面板采用OLED、AMOLED、FLED等材料时，上述图1中的显示屏194可以被弯折。这里，上述显示屏194可以被弯折是指显示屏可以在任意部位被弯折到任意角度，并可以在该角度保持，例如，显示屏194可以从中部左右对折。也可以从中部上下对折。本申请中，将可以被弯折的显示屏称为可折叠显示屏。其中，该触摸显示屏可以是一块屏幕，也可以是多块屏幕拼凑在一起组合成的显示屏，在此不做限定。

电子设备100的显示屏194可以是一种柔性屏，目前，柔性屏以其独特的特性和巨大的潜力而备受关注。柔性屏相对于传统屏幕而言，具有柔韧性强和可弯曲的特点，可以给用户提供基于可弯折特性的新交互方式，可以满足用户对于电子设备的更多需求。对于配置有可折叠显示屏的电子设备而言，电子设备上的可折叠显示屏可以随时在折叠形态下的小屏和展开形态下大屏之间切换。因此，用户在配置有可折叠显示屏的电子设备上使用分屏功能，也越来越频繁。

电子设备100可以通过ISP，摄像头193，视频编解码器，GPU，显示屏194以及应用处理器等实现拍摄功能。

ISP用于处理摄像头193反馈的数据。例如，拍照时，打开快门，光线通过镜头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将所述电信号传递给ISP处理，转化为肉眼可见的图像。ISP还可以对图像的噪点，亮度，肤色进行算法优化。ISP还可以对拍摄场景的曝光，色温等参数优化。在一些实施例中，ISP可以设置在摄像头193中。

摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，CMOS)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB，YUV等格式的图像信号。在一些实施例中，电子设备100可以包括1个或多个摄像头193。

数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号。例如，当电子设备100在频点选择时，数字信号处理器用于对频点能量进行傅里叶变换等。

视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样，电子设备100可以播放或录制多种编码格式的视频，例如：动态图像专家组(moving picture experts group，MPEG)1，MPEG2，MPEG3，MPEG4等。

NPU为神经网络(neural-network，NN)计算处理器，通过借鉴生物神经网络结构，例如借鉴人脑神经元之间传递模式，对输入信息快速处理，还可以不断的自学习。通过NPU可以实现电子设备100的智能认知等应用，例如：图像识别，人脸识别，语音识别，文本理解等。

外部存储器接口120可以用于连接外部存储卡，例如Micro SD卡，实现扩展电子设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信，实现数据存储功能。例如将音乐，视频等文件保存在外部存储卡中。

内部存储器121可以用于存储一个或多个计算机程序，该一个或多个计算机程序包括指令。处理器110可以通过运行存储在内部存储器121的上述指令，从而使得电子设备101执行本申请一些实施例中所提供的指纹防伪方法，以及各种应用以及数据处理等。内部存储器121可以包括存储程序区和存储数据区。其中，存储程序区可存储操作***；该存储程序区还可以存储一个或多个应用(比如图库、联系人等)等。存储数据区可存储电子设备101使用过程中所创建的数据(比如照片，联系人等)等。此外，内部存储器121可以包括高速随机存取存储器，还可以包括非易失性存储器，例如一个或多个磁盘存储部件，闪存部件，通用闪存存储器(universal flash storage，UFS)等。在一些实施例中，处理器110可以通过运行存储在内部存储器121的指令，和/或存储在设置于处理器110中的存储器的指令，来使得电子设备101执行本申请实施例中所提供的指纹防伪方法，以及其他应用及数据处理。电子设备100可以通过音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，以及应用处理器等实现音频功能。例如音乐播放，录音等。

本申请实施例中，内部存储器或者外部存储器可以对应用程序以及用户数据进行存储，具体存储的过程可以参考下文的实施例。

传感器模块180可以包括压力传感器180A，陀螺仪传感器180B，气压传感器180C，磁传感器180D，加速度传感器180E，距离传感器180F，接近光传感器180G，指纹传感器180H，温度传感器180J，触控传感器180K，环境光传感器180L，骨传导传感器180M等。

其中，压力传感器180A用于感受压力信号，可以将压力信号转换成电信号。在一些实施例中，压力传感器180A可以设置于显示屏194。压力传感器180A的种类很多，如电阻式压力传感器，电感式压力传感器，电容式压力传感器等。电容式压力传感器可以是包括至少两个具有导电材料的平行板。当有力作用于压力传感器180A，电极之间的电容改变。电子设备100根据电容的变化确定压力的强度。当有触摸操作作用于显示屏194，电子设备100根据压力传感器180A检测所述触摸操作强度。电子设备100也可以根据压力传感器180A的检测信号计算触摸的位置。在一些实施例中，作用于相同触摸位置，但不同触摸操作强度的触摸操作，可以对应不同的操作指令。例如：当有触摸操作强度小于第一压力阈值的触摸操作作用于短消息应用图标时，执行查看短消息的指令。当有触摸操作强度大于或等于第一压力阈值的触摸操作作用于短消息应用图标时，执行新建短消息的指令。

陀螺仪传感器180B可以用于确定电子设备100的运动姿态。在一些实施例中，可以通过陀螺仪传感器180B确定电子设备100围绕三个轴(即，X，Y和Z轴)的角速度。陀螺仪传感器180B可以用于拍摄防抖。示例性的，当按下快门，陀螺仪传感器180B检测电子设备100抖动的角度，根据角度计算出镜头模组需要补偿的距离，让镜头通过反向运动抵消电子设备100的抖动，实现防抖。陀螺仪传感器180B还可以用于导航，体感游戏场景。

加速度传感器180E可检测电子设备100在各个方向上(一般为三轴)加速度的大小。当电子设备100静止时可检测出重力的大小及方向。还可以用于识别电子设备姿态，应用于横竖屏切换，计步器等应用。

环境光传感器180L用于感知环境光亮度。电子设备100可以根据感知的环境光亮度自适应调节显示屏194亮度。环境光传感器180L也可用于拍照时自动调节白平衡。环境光传感器180L还可以与接近光传感器180G配合，检测电子设备100是否在口袋里，以防误触。

指纹传感器180H用于采集指纹。电子设备100可以利用采集的指纹图像实现指纹解锁，访问应用锁，指纹拍照，指纹接听来电等。

本申请实施例中，电子设备上指纹应用的动作涉及到指纹传感器，例如指纹图像获取等。

温度传感器180J用于检测温度。在一些实施例中，电子设备100利用温度传感器180J检测的温度，执行温度处理策略。例如，当温度传感器180J上报的温度超过阈值，电子设备100执行降低位于温度传感器180J附近的处理器的性能，以便降低功耗实施热保护。在另一些实施例中，当温度低于另一阈值时，电子设备100对电池142加热，以避免低温导致电子设备100异常关机。在其他一些实施例中，当温度低于又一阈值时，电子设备100对电池142的输出电压执行升压，以避免低温导致的异常关机。

触控传感器180K，也称“触控面板”。触控传感器180K可以设置于显示屏194，由触控传感器180K与显示屏194组成触摸屏，也称“触控屏”。触控传感器180K用于检测作用于其上或附近的触摸操作。触控传感器可以将检测到的触摸操作传递给应用处理器，以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中，触控传感器180K也可以设置于电子设备100的表面，与显示屏194所处的位置不同。

触摸屏(或者，触控屏)可以采集用户在其上触摸或接近的操作动作。比如用户使用手指、触笔等任何适合的物体或附件在触控面板上或接近触控面板的位置的操作动作，并根据预先设定的程式驱动相应的连接装置。可选的，触控面板可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸操作，并将检测到的触摸操作转换为电信号，以及将所述电信号传送给触摸控制器；触摸控制器从触摸检测装置上接收所述电信号，并将它转换成触点坐标，再送给处理器110。所述触摸控制器还可以接收处理器110发来的命令并执行。此外，可以采用电阻式、电容式、红外线(infrared)以及表面声波等多种类型实现触控面板。

本申请实施例中，电子设备上指纹应用的动作涉及到触控传感器，例如触控信号获取等。

按键190包括开机键，音量键等。按键190可以是机械按键。也可以是触摸式按键。电子设备100可以接收按键输入，产生与电子设备100的用户设置以及功能控制有关的键信号输入。

图2示出了手机的一组图形用户界面(graphical user interface，GUI)，其中，图2中的(a)至图2中的(d)示出了用户进行指纹解锁时的过程。

参见图2中的(a)所示，该GUI为手机的锁屏界面，其中，该锁屏界面包括触摸屏201和指纹解锁区域202，该指纹解锁区域202用于检测用户输入的指纹。

应理解，本申请实施例中锁屏状态可以是对于电子设备上锁的情况，上锁的情况包括但不限于：用户设置密码、指纹匹配识别或者脸部匹配识别等。示例性的，当该电子设备处于上锁时，用户在电子设备的桌面上操作完成后，可以点击电源键，该电子设备检测到用户点击电源键的操作后，进入锁屏状态。

或者，该电子设备一段时间内没有检测到用户操作，则自动进入锁屏状态。当电子设备处于锁屏状态时，其屏幕可以是熄灭的，也可以是点亮的。示例性的，用户按下电源键后，该电子设备可以点亮并提示其输入密码，此时该电子设备还是处于锁屏状态，但是其触摸显示屏是点亮的；示例性的，另一个用户输入密码错误后，此时该电子设备还是处于锁屏状态，但是其触摸显示屏还是点亮的。

还应理解，本申请实施例中的指纹解锁区域202可以在触摸屏201上，也可以在手机的侧面或背面等位置，本申请实施例对此并不作任何限定。

本申请实施例中以指纹匹配识别为例进行说明。

参见图2中的(b)，当手机检测到用户在指纹解锁区域202的触控操作后，手机的指纹传感器可以采集用户的指纹图像，手机的触控传感器可以采集触控信号，手机可以根据采集的该指纹图像以及触控信号，确定该指纹是否为活体(或者，是否为活体手指的指纹)。

参见图2中的(c)，当手机确定该指纹不是活体手指的指纹时，可以在触摸屏上通过提醒窗口203提醒用户“解锁失败”，或者，参见图2中的(d)所示，当手机确定该指纹不是活体手指的指纹时，可以在触摸屏上通过提醒窗口204提醒用户“检测到假指纹”。

一个实施例中，当手机提醒用户“指纹解锁失败”或者“检测到假指纹”后，手机可以显示密码输入界面，从而让用户通过输入密码的方式进行解锁。

一个实施例中，当手机确定该指纹是活体手指的指纹时，手机的触摸屏可以显示手机的桌面。

以上图2中的(a)至(d)介绍了在亮屏状态下，手机在指纹解锁区域202检测到用户的操作后，通过采集指纹图像和触控信号进行真指纹或者假指纹判断的过程。下面结合图3中的(a)至(d)介绍手机在灭屏状态下，在指纹解锁区域202检测到用户的触控操作后进行真指纹和假指纹的判断的示意图。

参见图3中的(a)所示的GUI，该GUI为手机灭屏状态。

应理解，本申请实施例中，手机的锁屏状态可以分为亮屏状态和灭屏状态，如图2中的(a)所示的GUI可以是手机锁屏状态中的亮屏状态，当然也可以是在其他业务操作(如支付等)过程中的亮屏状态；如图3中的(a)所示可以是手机锁屏状态下的灭屏状态。

参见图3中的(b)所示，当手机在指纹解锁区域202检测到用户的触控操作后，手机的指纹传感器可以采集指纹图像以及触控信号，从而确定该指纹图像是否为活体手指的指纹图像。

一个实施例中，手机在灭屏状态下采集的触控信号和手机在亮屏状态下采集的触控信号可以不同，示例性的，在亮屏状态下，手机可以使用第一采集频率进行采集，在灭屏状态下可以使用第二采集频率进行采集，该第一采集频率和该第二采集频率可以不同。在单位时间内，亮屏状态下和灭屏状态下采集的触控信号的帧数可以是不一样的，手机在灭屏状态下采集到触控信号后可以先对触控信号进行预处理，从而再根据指纹图像和预处理后的触控信号进行手指是否为活体(或者，该指纹是否为活体手指的指纹)的判断，以下实施例中会详细描述电子设备根据屏幕状态对触控信号进行预处理的过程。

参见图3中的(c)所示，当手机确定该指纹不是活体手指的指纹时，可以在触摸屏上通过提醒窗口301提醒用户“指纹解锁失败”，或者，参见图3中的(d)所示，当手机确定该指纹不是活体手指的指纹时，可以在触摸屏上通过提醒窗口302提醒用户“检测到假指纹”。

一个实施例中，当手机提醒用户“指纹解锁失败”或者“检测到假指纹”后，手机可以显示密码输入界面，从而让用户通过输入密码的方式进行解锁。

一个实施例中，当手机确定该指纹是活体手指的指纹时，手机的触摸屏可以显示手机的桌面。

需要说明的是，本申请实施例中所述的“指纹不是活体”或“不是活体手指的指纹”，可以理解为用户将2D或3D假指纹放置在指纹解锁区域202上进行按压，试图进行指纹匹配以解锁手机等，其中2D假指纹是以真手指为模板，使用印泥、碳粉等材料制作出来的假***，3D假指纹是以真手指为模板，使用硅胶、乳胶等材料制作出来的假***，具体制作方法这里不再赘述。

图4示出了手机的另一组GUI，其中，图4中的(a)至图4中的(d)示出了用户通过手机进行转账时的过程。

参见图4中的(a)所示的GUI，该GUI为手机的某个应用程序(application，APP)的支付界面，其中，手机检测到用户点击控件401的操作后，显示如图4中的(b)所示的界面。

参见图4中的(b)所示的GUI，当手机检测到用户点击控件401的操作后，可以显示提醒窗口402，其中，提醒窗口402中通过文字提醒用户“请输入指纹”。

当手机检测到用户在指纹解锁区域的触控操作后，手机的指纹传感器可以采集用户的指纹图像，手机的触控传感器可以采集触控信号，手机可以根据采集的该指纹图像以及触控信号，确定该指纹是否为活体手指的指纹。

参见图4中的(c)，当手机确定该指纹不是活体手指的指纹时，可以在触摸屏上通过提醒窗口403提醒用户“转账失败”，或者，参见图2中的(d)所示，当手机确定该指纹不是活体手指的指纹时，可以在触摸屏上通过提醒窗口404提醒用户“检测到假指纹”。

一个实施例中，当手机提醒用户“转账失败”或者“检测到假指纹”后，手机可以显示密码输入界面，从而让用户通过输入密码的方式进行转账操作。

一个实施例中，当手机确定该指纹是活体手指的指纹时，手机可以进行转账操作，并在转账成功后向用户发出转账成功的提醒。

图5示出了本申请实施例提供的指纹防伪方法500的示意性流程图，如图5所示，该方法500包括：

S510，电子设备检测到第一操作。

一个实施例中，该第一操作包括但不限于用户通过触摸、按压或以预设距离接近电子设备的屏幕、电源键等器件的操作，以使电子设备感知到该操作之后能够触发采集指纹图像和多帧触控信号。

应理解，本申请实施例中的“多帧触控信号”中的“多帧”可以指采集到的触控信号的帧数是多帧。例如，图2至图4中手机的触控传感器采集的触控信号的帧数可以为多帧。

示例性的，如图2中的(b)或者图3中的(b)所示，该第一操作可以为用户在指纹解锁区域202的触摸或者按压操作。

S520，电子设备响应于该第一操作，获取指纹图像和触控信号。

该触控信号可以用于表征触控信号的强度、触控信号的强度的变化趋势、指纹触控形状、指纹触控形状的变化趋势、按压形变、按压形变的变化趋势等等。

示例性的，如图1所示，电子设备100基于用户的第一操作产生指纹中断后，在检测到用户的第一操作后，触发指纹传感器180H采集指纹图像，并且触发触控传感器180K采集触控信号。

应理解，触控传感器180K采集触控信号，可以为电子设备上的某个实体(如***侧的负责管理传感器的模块，或者其他具有类似功能的模块)通知触控传感器开始采集触控信号，触控信号包括至少一帧触控信号，即一张指纹图像对应至少一帧触控信号。

本申请实施例中，电子设备获取触控信号的方式包括但不限于以下几种方式：

方式一

电子设备的***侧获取到触控信号，并将其直接发送给电子设备的安全区域(更具体地，安全区域的指纹应用)。

这里所述的安全区域可以是安全等级较高的TEE，安全区域中的指纹应用可以是TEE中的一个TA，***侧可以是安全等级较低的REE。

需要注意的是，电子设备的***侧是在指纹图像和触控信号采集完成后，获取该触控信号并发送到其他区域。

方式二

电子设备的***侧向安全区域发送便于该安全区域自行获取该触控信号的关联信息，例如，***侧在触控传感器采集触控信号并将其保存在某个特定存储区中之后，将该特定存储区的相关信息(如存储位置)发送给该安全区域，以使该安全区域(更具体的，该安全区域中的指纹应用)自行从该特定存储区中读取触控信号。

方式三

电子设备的***侧直接向安全区域发送获取触控信号的指令，该安全区域直接获取触控传感器采集的触控信号。

应理解，以上方式一到方式三中，也可以是电子设备上的其他功能模块来实现上述***侧的动作，本申请实施例对此不进行限定。

还应理解，电子设备获取指纹图像的方式与获取触控信号的方式类似，为了简洁，在此不再赘述。

还应理解，电子设备获取指纹图像和触控信号的具体实现，可以是采用以上任一种方式一起获取指纹图像和触控信号，也可以是采用以上任一种方式单独获取指纹图像以及采用以上任一种方式单独获取触控信号。

还应理解，本申请实施例中，可以是***侧先获取传感器采集的指纹图像和触控信号，然后将指纹图像和触控信号发送给安全区域(更具体地，安全区域的指纹应用)；或者，将指纹图像和触控信号的相关信息(如存储位置)发送给安全区域；也可以是电子设备的其他功能模块获取传感器采集的指纹图像和触控信号，然后将指纹图像和触控信号发送给该安全区域；或者，将其的相关信息发送给该安全区域。本申请实施例中，对该安全区域从何处接收的触控信号或者指纹图像，或者，指纹图像和触控信号的相关信息并不作任何限定。

还应理解，本申请实施例中，电子设备获取指纹图像和触控信号，可以包括上面所述的通过指纹传感器和触控传感器分别采集指纹图像和触控信号，还可以包括把上面所述的将指纹图像和触控信号，或者指纹图像和触控信号的相关信息发送到安全区域以方便指纹应用进行后续处理。其中，采集指纹图像和触控信号的具体实现中，可以是电子设备检测到手指按压到指纹传感器上后，同时触发这两个传感器同步地分别采集指纹图像和触控信号。而在此之前，电子设备可能还会检测到手指按压屏幕(非指纹传感器位置)或悬浮在屏幕上方一定距离或电源键被按下等其他触控中断事件，从而使触控传感器进行触控信号的采集，采集的这些触控信号被缓存到电子设备中暂时保存下来，当缓存空间占满时，最前面的触控信号会被清除，最新采集的触控信号则被保存进来，缓存空间中保存的触控信号可能在后面步骤S530中被用于与每次采集指纹图像时同步采集的触控信号组成一个触控信号序列，当然，也可以不使用这部分缓存的触控信号。

S530，电子设备根据该指纹图像和触控信号，确定该指纹图像为真手指的指纹图像或者假手指的指纹图像。

一个实施例中，电子设备可以基于多模态网络判断该指纹图像和该触控信号是否同时符合假指纹或者真指纹的按压特征。

示例性的，电子设备将指纹图像和触控信号组成一个待判定样本对，电子设备确定待判定样本对的特征与假指纹的特征的匹配度大于或者等于第一阈值时，确定该指纹图像为假手指的指纹图像，或者，确定该指纹图像不是活体手指的指纹图像，其中，多模态网络可以是使用大量的、具有相同分布的判定样本对，基于深度学习(例如，卷积神经网络(convolutional neural networks，CNN))训练得到的一个网络，上面所述的判定样本对的特征或假指纹的特征可以是基于神经网络得到的一个特征集，可以理解为一个多维的特征向量，即将待判定样本对或假指纹映射到一个多维的特征空间中进行表示。

应理解，该第一阈值可以理解为一个置信度，电子设备确定待判定样本对的特征与假指纹的特征的匹配度大于或者等于第一阈值，也可以理解为电子设备确定该指纹图像为假手指的指纹图像的置信度大于或者等于第一阈值时，电子设备确定该指纹图像时假手指的指纹图像，或者，确定该指纹图像不是活体手指的指纹图像。

还应理解，该第一阈值为可调节的，具体实现方式如电子设备根据屏幕状态或其他信息(如指纹图像的质量、触控信号的强弱等)确定该第一阈值的大小等。当然，第一阈值也可以是固定的预设值。

示例性的，电子设备判断指纹图像的特征与假指纹的指纹图像的特征的匹配度大于或者等于第二阈值，且触控信号的特征(如强度、强度趋势变化等)与假指纹对应的触控信号的特征的匹配度大于或者等于第三阈值时，确定该指纹图像为假手指的指纹图像，或者，确定该指纹图像不是活体手指的指纹图像，其中，多模态网络是由使用大量指纹图像训练得到的指纹图像子网络与使用大量触控信号训练得到的触控信号子网络组成的网络，上面所述的(假指纹的)指纹图像的特征或触控信号的特征可以是基于神经网络得到的一个特征集，可以理解为一个多维的特征向量，即将(假指纹的)指纹图像或触控信号映射到一个多维的特征空间中进行表示。

应理解，上述示例是以假指纹对应的阈值为参考进行判断，当然也可以使用真指纹对应的阈值作为参考进行判断，本申请实施例对此并不进行限定。

一个实施例中，若电子设备确定该指纹图像为假手指的指纹图像，电子设备向用户发出用户身份认证失败，或者，发出假指纹提示信息。

应理解，用户身份认证(指纹认证)的过程包括指纹匹配和指纹防伪两个过程，上述方法500主要是针对指纹防伪的过程进行说明。指纹匹配过程是将获取到的指纹图像与电子设备保存的用户的指纹图像进行匹配，若匹配成功，则可以确定该指纹为用户的指纹；而指纹防伪是电子设备判断该指纹是活体的指纹，还是假指纹(或者，还是3D假指纹或者2D假指纹)。

示例性的，当电子设备确定获取到的指纹图像与电子设备保存的用户的指纹图像匹配，且电子设备确定待判定样本对的特征与假指纹的特征的匹配度大于或者等于第一阈值时，电子设备可以确定用户身份认证通过。

示例性的，当电子设备确定获取到的指纹图像与电子设备保存的用户的指纹图像匹配，且电子设备确定指纹图像的特征与假指纹的指纹图像的特征的匹配度大于或者等于第二阈值，触控信号的特征(如强度、强度趋势变化等)与假指纹对应的触控信号的特征的匹配度大于或者等于第三阈值时，电子设备可以确定用户身份认证通过。

还应理解，指纹匹配和指纹防伪的过程可以同时进行，也可以先进行指纹匹配后进行指纹防伪，还可以先进行指纹防伪后进行指纹匹配，本申请实施例对此不作任何限定。

一个实施例中，指纹匹配和指纹防伪的过程可以是并行的，即指纹匹配和指纹防伪的过程可以同时进行。当电子设备判断出指纹匹配成功并且该指纹为真指纹后，电子设备可以继续进行下一步操作(例如，解锁成功后进入桌面、进行支付操作等等)；当电子设备判断出指纹匹配失败或者指纹为假指纹后，电子设备可以向用户发出假指纹提示信息，或者，电子设备可以提示用户操作失败。

一个实施例中，指纹匹配和指纹防伪的过程可以是串行的，即可以先进行指纹匹配，当指纹匹配成功时可以继续进行指纹防伪，若指纹防伪结果为真指纹，则电子设备可以继续进行下一步操作(例如，解锁成功后进入桌面、进行支付操作等等)，否则不允许进行下一步操作；当指纹匹配失败时，则可以重新采集下一张指纹图像继续进行指纹匹配，直到指纹匹配成功后再进行指纹防伪处理过程。

或者，也可以先进行指纹防伪处理，当指纹防伪结果为真指纹时可以继续进行指纹匹配，若指纹匹配成功，则电子设备可以进行下一步操作(例如，解锁成功后进入桌面、进行支付操作等等)，否则不允许进行下一步操作；当指纹防伪结果为假指纹时，则可以重新采集下一张指纹图像和触控信号继续进行指纹防伪处理，指纹防伪结果为真指纹后再进行指纹匹配过程。

一个实施例中，若电子设备在进行指纹匹配过程中确定指纹匹配失败，则可以进行下一张指纹图像以及对应触控信号的获取，重复上述S520-S530。关于对应触控信号的获取，示例性的，电子设备可以将采集的下一张指纹图像与采集上一张指纹图像时同步采集的触控信号组成新的待判定样本，或者，可以将采集的下一张指纹图像与采集下一张指纹图像时同步采集的触控信号组成新的待判定样本对；或者，也可以将采集的下一张指纹图像与采集下一张指纹图像时同步采集的触控信号，以及采集上一张指纹图像时同步采集的触控信号组成待判定样本对。

一个实施例中，用户在输入指纹的过程中，电子设备可以通过提醒窗口向用户提醒“请将手指向左旋转”或者“请将手指向右旋转”。电子设备可以通过向用户提醒向左或者向右旋转手指，用户手指在指纹解锁区域按压或者触摸的时间变长，从而电子设备可以获取更多的指纹图像以及对应的触控信号。

一个实施例中，如图4中的(c)所示，手机通过提醒窗口403提醒用户“转账失败”后，可以继续向用户提醒“请重新输入指纹”。当手机检测到用户的再一次按压操作后，手机可以进行指纹图像以及对应触控信号的获取，重复上述S520-S530。

还应理解，本申请实施例中，采集上一张指纹图像时同步采集的触控信号可以指在指纹传感器采集上一张指纹图像的时间段内，触控传感器采集的触控信号；采集下一张指纹图像时同步采集的触控信号可以指在指纹传感器采集下一张指纹图像的时间段内，触控传感器采集的触控信号。

还应理解，上述下一张指纹图像可以指非首张指纹图像，下一张指纹图像可以是用户的一次按压操作中采集的第二张、第三张…指纹图像，或者，下一张指纹图像也可以是预设时间内用户的下一次按压操作中采集的指纹图像等等。

还应理解，本申请实施例并不限定指纹图像和触控信号的获取方式，该获取方式可以为针对屏内/屏下光学指纹方案、也可以为其他指纹方案，如超声波方案、射频方案或者电容方案等等。

本申请实施例的指纹防伪方法，电子设备可以通过获取的指纹图像和触控信号来判断指纹图像是否来自活体手指。相比于单独基于指纹图像来判断指纹图像是否来自活体手指，更有助于提升假指纹检测的准确度，能有效防御目前指纹匹配识别方案面临的假指纹攻击，从而避免可能给用户带来的资产或财产损失。同时，无需引入其他新硬件，避免了成本过高。

图6示出了本申请实施例提供的指纹防伪的方法600的示意性流程图，方法600可以是方法500中S530的具体实现方式。该方法600包括：

S610，电子设备可以将获取到的指纹图像和触控信号组成一个待判定样本对。

示例性的，如果电子设备获取的是第一张指纹图像，则可以将其同步采集的至少一帧触控信号组成待判定样本对，或者，将其与同步采集的触控信号以及本次采集之前缓存的至少一帧触控信号组成待判定的样本对。

示例性的，如果电子设备获取的不是第一张指纹图像(例如，电子设备对第一张指纹图像认证失败后重新采集的第二张指纹图像)，则可以类似于上述第一张指纹图像的处理方式，将重新采集的指纹图像和重新采集的触控信号组成新的带判定样本对；或者，也可以将重新采集的指纹图像、重新采集的触控信号和之前缓存的触控信号组成新的待判定样本对；或者，还可以将重新采集的指纹图像和为第一张指纹图像对应的触控信号组成新的待判定样本对；或者，还可以将重新采集的指纹图像和采集第一张指纹图像之前缓存的触控信号组成新的待判定样本对。

可选地，在该电子设备将获取到的指纹图像和触控信号组成一个待判定样本对之前，该方法还包括：

该电子设备根据屏幕状态或者触控采集频率，对该触控信号进行预处理。

应理解，上述屏幕状态可以包括亮屏和灭屏状态，还可以包括上锁或解锁等状态，上述触控采集频率为触控传感器采集触控信号时的工作频率。

一个实施例中，电子设备在亮屏状态时可以采用第一采集频率采集触控信号，在灭屏状态下可以采用第二采集频率采集触控信号，该第一采集频率和该第二采集频率可以不同。

应理解，该第一采集频率和该第二采集频率也可以相同。在该第一采集频率和该第二采集频率相同时，电子设备可以不对该多帧触控信号进行预处理。

示例性的，电子设备在亮屏状态时可以使用120Hz采样，在灭屏状态时可以使用60Hz采样，如果本次采集的触控信号是灭屏状态下采集的，则需要对这些触控信号进行预处理。

一个实施例中，预处理可以包括插值处理、补零、复制、下采样、求平均值处理等等处理手段。

应理解，本申请实施例并不对预处理的具体方式进行限定，也不对插值、补零、下采样等各种预处理手段的具体方式进行限定。

还应理解，本申请实施例中插值处理可以是在多帧触控信号中的第一触控信号和第二触控信号之间添加一个或者多个数值。示例性的，该第一触控信号和第二触控信号为多帧触控信号中相邻的两帧触控信号。电子设备可以在相邻的两帧触控信号之间***相邻两帧触控信号的平均值或者相邻两帧触控信号中前一帧的数值等等方式。

还应理解，本申请实施例中复制处理可以将每帧触控信号进行至少一份的复制，从原来的12345……变为1122334455……，具体复制方式不限定。

还应理解，以上行频率值仅仅是示意性的，实际实现中也可能使用其他值，那么，插值、补零、复制、下采样等手段也可能相应变化。

还应理解，在屏幕状态不同时采集到的触控信号可能有差异，因此可能需要通过上述的预处理对触控信号进行处理。

示例性地，若训练多模态网络时使用的判定样本为A屏幕状态下获取的原始数据，则使用该训练好的多模态网络进行指纹防伪处理时，对B屏幕状态下采集的触控信号可能需要使用合适的上述预处理，对触控信号的帧数进行相应的增加或减少，对A屏幕状态下采集的触控信号可能不需要做上述预处理；若训练样本使用的数据是A屏幕状态下采集后经过上述预处理(如下采样或抽样，如每相邻两帧或多帧抽取一帧触控信号)生成的数据，则使用中对A屏幕状态下采集的触控信号也需要做同样的预处理，而B屏幕状态下采集的触控信号可能不需要做任何预处理。

可选地，在该电子设备将获取到的指纹图像和触控信号组成一个待判定样本对之前，该方法还包括：

该电子设备截取预定帧数或者预定大小的触控信号。

应理解，预定大小可以是针对每帧触控信号的尺寸设置的一个预定值，例如，假设触控信号用数学矩阵表示时为A*B大小的矩阵(A和B为大于0的整数)，截取后为a*b大小的矩阵(a和b为分别小于或者等于A和B，且大于0的整数)。

示例性的，每帧触控信号可以用数学矩阵表示为16*16大小的矩阵，该电子设备可以从该16*16大小的矩阵中截取8*8大小的矩阵作为每帧触控信号的有效信息。

示例性的，电子设备获取了P帧触控信号，预定帧数为Q帧，其中，P和Q均为正整数。当P大于Q时，电子设备可以截取这P帧触控信号的前Q帧触控信号，中间Q帧触控信号或者后Q帧触控信号。

应理解，本申请实施例中，电子设备对触控信号进行预处理和电子设备截取预定帧数或者预定大小的触控信号之间并没有实际的先后顺序。

示例性的，基于以上实例，当P小于Q时，电子设备可以先对这P帧触控信号进行预处理，再从预处理后的触控信号中截取前Q帧触控信号，中间Q帧触控信号或者后Q帧触控信号。

当然，当P小于Q时，也可以使用其他方式截取预定帧数的触控信号，示例性的，该电子设备可以先截取这P帧触控信号中的P’帧(P大于P’)，然后对截取后的这P’帧触控信号进行预处理，从而得到Q帧触控信号。

S620，该电子设备对该指纹图像和触控信号进行归一化处理。

一个实施例中，电子设备对指纹图像和触控信号统一归一化，例如，将两者的数据或数据矩阵都归一化到第一范围。

另一个实施例中，电子设备将指纹图像和触控信号分别归一化，例如，将指纹图像的数据或数据矩阵归一化到第二范围内，将触控信号的数据或数据矩阵归一化到第三范围内。

可选地，在对触控信号归一化之前，可以对触控信号进行特殊截断处理，例如，当电子设备获取的触控信号的数据或数据矩阵中的某些元素大于X时，将该元素的值设置为第一阈值(如X)；当触控信号的数据或数据矩阵中的某些元素小于Y时，将该元素的值设置为第二阈值(如Y)，其中，X大于Y。

可选地，在对触控信号归一化之前，可以根据触控信号是否存在异常确定是否进行特殊的校准处理，例如，当触控信号的数据或数据矩阵中超过或低于某特定值的元素的数量大于或等于预设数量时，确定存在异常，则可以进行校准处理，如全部取反(负数变正数等)等方式，本申请实施例不进行限定。

应理解，指纹图像和触控信号都可以通过数学方式进行表示，例如以一维数组或多维矩阵的方式来表示指纹图像和触控信号对应的数据或数据矩阵。

还应理解，电子设备对指纹图像也可能做截取处理，如截取预设大小的指纹图像。

还应理解，电子设备对该指纹图像和触控信号进行归一化处理和电子设备对触控信号进行预处理或者截取处理的先后顺序并不限定。

S630，该电子设备将指纹图像和触控信号进行融合。

一个实施例中，电子设备对指纹图像和触控信号进行融合的方式包括但不限于将指纹图像数据和多帧触控信号数据进行拼接(例如，指纹图像在前、触控信号在后；或者触控信号在前，指纹图像在后等等)。

需要说明的是，该指纹图像和触控信号是经过上述步骤处理后得到的。

示例地，电子设备可以从指纹图像数据中截取矩阵大小为M*N的有效信息，其中，M和N为正整数；电子设备可以从多帧触控信号数据拼接后的数据中截取矩阵大小为P*N的有效信息，P为正整数，被截取后的指纹图像和触控信号融合后变为(M+P)*N大小的矩阵。

应理解，本申请实施例中对指纹图像和触控信号的融合方式并不限于以上举例，还可以有其他融合方式，本申请实施例对此并不作任何限定。

还应理解，S630为可选步骤，指纹图像和触控信号也可以不进行融合，电子设备可以直接将两组数据送到多模态网络中。

本申请实施例中，电子设备可以对触控信号和指纹图像进行融合，这样可能在一定程度上降低数据传输到多模态网络的复杂度，以简化实现。

S640，该电子设备基于多模态网络对该指纹图像和触控信号进行处理，从而确定该手指是否为活体。

一个实施例中，若电子设备基于上述步骤S630对指纹图像和触控信号进行了融合，则电子设备在将指纹图像和触控信号送入多模态网络中对应的子网络之前，可以先进行数据分离，以便于分别输入到对应的子网络中进行处理。

图7示出了本申请实施例提供的通过多模态网络对待判定样本对进行处理以得到分类结果的示意图。图7所示的过程可以是对上述S640的一种实现过程的描述。

电子设备可以利用指纹图像和触控信号同时判断，即判断待判定样本对的特征与假指纹的特征的匹配度是否大于或者等于第一阈值。当电子设备判断待判定样本对的特征与假指纹的特征的匹配度大于或者等于第一阈值时，电子设备可以确定该指纹图像为假手指的指纹图像，或者，确定该指纹图像不是活体手指的指纹图像。

应理解，本申请实施例中，电子设备可以根据待判定样本对的特征与假指纹的特征的匹配度判断，也可以根据待判定样本对的特征与真指纹的特征的匹配度判断。例如，当电子设备判断待判定样本对的特征与真指纹的特征的匹配度大于或者等于某个阈值时，电子设备可以确定其为真指纹(或者，电子设备可以确定该手指是活体)。

示例性的，电子设备在接收到本次的待判定样本对时，调用电子设备中预置的多模态网络(例如，一组深度网络的参数)，(可经过信号分离)将指纹图像和触控信号分别输入两个对应的子网络通道(例如，指纹图像子网络和触控信号子网络)中，指纹图像子网络可以输出第一特征向量，触控信号子网络可以输出第二特征向量。电子设备将两个通道上分别输出的特征向量进行融合(或者，合并)得到第三特征向量，最后经过该多模态网络的分类层(例如，softmax函数、sigmoid函数或其他具有分类作用的函数)进行分类处理输出一个分类结果。此外，本申请实施例中还可以对两个子网络输出的特征向量进行加权后得到融合的特征向量，以得到最终的判断结果，具体方式请参考后面图10所示的实施例。

例如，分类结果为1代表为真指纹，分类结果为0代表为假指纹；或者，分类结果为真指纹的置信度(属于真指纹的概率)或者假指纹的置信度(属于假指纹的概率)。电子设备可以根据分类结果来判断结果是真指纹或者假指纹。例如，当分类结果为假指纹的概率为96％，其大于预设的阈值95％，则可以确定结果为假指纹。

又例如，分类结果为1代表真指纹，分类结果为2代表2D假指纹，分类结果为3代表3D假指纹；或者，分类结果为真指纹的置信度、2D假指纹的置信度或者3D假指纹的置信度。

应理解，上述多模态网络包括的指纹图像子网络和触控信号子网络，可以通过深度学习网络实现，更具体地，可通过卷积神经网络实现，如可以使用卷积层、池化层、全连接层等来组成该神经网络，最后两个子网络再通过一层或多层网络(如全连接层)联合起来，本申请实施例不对具体方式进行限定。

图8示出了本申请实施例提供的待判定样本对通过多模态网络得到分类结果的示意图。图8所示的过程可以是对上述S640的另一种实现过程的描述。

电子设备可以利用指纹图像和触控信号单独判断，即判断指纹图像中的特征与假指纹图像的特征的匹配度是否大于或者等于第二阈值，同时判断触控信号中的特征(如强度、强度变化趋势等)与假指纹对应的触控信号的特征(如强度、强度变化趋势等)的匹配度是否大于或者等于第三阈值。当指纹图像中的特征与假指纹图像的特征的匹配度大于或者等于第二阈值，且触控信号的特征与假指纹对应的触控信号的特征的匹配度大于或者等于第三阈值时，电子设备可以确定该指纹图像为假手指的指纹图像，或者，确定该指纹图像不是活体手指的指纹图像。

应理解，本申请实施例中，电子设备也可以判断指纹图像中的特征与真指纹图像的特征的匹配度以及触控信号的特征(如强度、强度变化趋势等)与真指纹对应的触控信号的特征(如强度、强度变化趋势等)的匹配度。例如，当指纹图像中的特征与真指纹图像的特征的匹配度大于或者等于第四阈值，且触控信号的特征(如强度、强度变化趋势等)与真指纹对应的触控信号的特征(如强度、强度变化趋势等)的匹配度大于或者等于第五阈值时，电子设备可以确定其为真指纹(或者，电子设备可以确定该手指是活体)。

示例性的，电子设备在接收到本次的待判定样本对时，调用电子设备中预置的多模态网络(例如，两组深度网络的参数)，(可经过信号分离)将指纹图像和触控信号分别输入两个对应的子网络通道(例如，指纹图像子网络和触控信号子网络)中，经过指纹图像子网络输出第四特征向量，经过触控信号子网络输出第五特征向量，电子设备可以分别对第四特征向量和第五特征向量进行分类处理，从而得到第一分类结果和第二分类结果。例如，分类结果为1代表为真指纹，分类结果为0代表为假指纹；或者，分类结果为真指纹的置信度(属于真指纹的概率)或者假指纹的置信度(属于假指纹的概率)。电子设备可以根据这两个分类结果来判断结果是真指纹或者假指纹。

例如，当指纹图像子网络输出的第一分类结果为0，且触控信号子网络输出的第二分类结果为0时，电子设备可以确定结果为假指纹；或者，当指纹图像子网络输出的第一分类结果为0，且触控信号子网络输出的第二分类结果为1时，电子设备可以确定结果为假指纹；或者，当指纹图像子网络输出的第一分类结果为1，且触控信号子网络输出的第二分类结果为0时，电子设备可以确定结果为假指纹；或者，当指纹图像子网络输出的第一分类结果为1，且触控信号子网络输出的第二分类结果为1时，电子设备可以确定结果为真指纹。当然，两个子网络输出的分类结果也可以是真指纹和/或假指纹的置信度，然后电子设备根据置信度得到最终的判断结果，本申请实施例对此不进行限定。此外，本申请实施例中还可以对两个子网络输出的分类结果进行加权后得到最终的判断结果，具体方式请参考后面图11所示的实施例。

又例如，当指纹图像子网络输出的第一分类结果为假指纹的概率为95％，且触控信号子网络输出的第二分类结果为假指纹的概率为96％，两个分类结果输出的假指纹的概率均大于或者等于95％，则电子设备可以确定结果为假指纹。

应理解，上述多模态网络包括的指纹图像子网络和触控信号子网络，可以认为是一个相对独立的网络，可以分别通过深度学习网络实现，更具体地，可通过卷积神经网络实现，具体同上，不再赘述。

图9示出了本申请实施例的指纹防伪方法900的另一示意性流程图，方法900中结合实际使用过程(例如，指纹解锁)中的指纹匹配的过程以及指纹防伪的过程进行说明，如图9所示，该方法900包括：

S910，电子设备检测到手指的触控操作。

示例性的，该触控操作可以为手指在屏幕某特定位置(如指纹传感器上方屏幕或者其他位置)按下、以特定距离悬浮在屏幕上某特定位置等动作。

S921，电子设备触发指纹传感器采集指纹图像。

应理解，本申请实施例中，对电子设备触发指纹传感器采集指纹图像的方式并不作任何限定。

S922，该电子设备获取指纹传感器采集的指纹图像。

S923，该电子设备基于指纹匹配识别模块对指纹图像进行匹配。

示例性的，该电子设备可以对该指纹图像和用户预先保存在电子设备中的指纹图像进行比对，当该指纹图像的特征和用户预先保存在电子设备中的指纹图像的特征的匹配度大于或者等于某个阈值时，电子设备可以确定该指纹图像和用户的指纹图像匹配，则电子设备对该指纹图像的匹配通过；反之，若该指纹图像的特征和用户预先保存在电子设备中的指纹图像的特征的匹配度小于某个阈值时，电子设备可以确定该指纹图像和用户的指纹图像不匹配，则电子设备对该指纹图像的匹配失败。

应理解，本申请实施例中，该电子设备基于指纹匹配识别模块对指纹图像进行匹配的过程可以参考现有的指纹匹配过程，本申请实施例对此并不做任何限定。

S924，若该电子设备确定该指纹图像与用户预先保存的指纹图像不匹配，则该电子设备重新获取下一张指纹图像，即重新执行S921-S923的步骤。

应理解，S921-S924为指纹匹配的过程。

应理解，本申请实施例中，指纹匹配的过程可以与现有的指纹匹配的方法相同，或者也可以是未来可能使用的其他指纹匹配的方法，本申请实施例对指纹匹配的过程并不作任何限定。

S931，电子设备触发触控传感器采集触控信号。

S932，电子设备获取该触控传感器采集的触控信号。

应理解，电子设备检测到手指按压到指纹传感器上后，可以同时触发指纹传感器和触控传感器同步地采集指纹图像和触控信号。而在此之前，电子设备可能还会检测到手指按压屏幕(非指纹传感器位置)或悬浮在屏幕上方一定距离或电源键被按下等其他触控中断事件，从而使触控传感器进行触控信号的采集。采集的这些触控信号被缓存到电子设备中暂时保存下来，当缓存空间占满时，最前面的触控信号会被清除，最新采集的触控信号则被保存进来，这部分缓存的触控信号可能在后面被用于与每次采集指纹图像时同步采集的触控信号组成一个触控信号序列，当然，也可以不使用这部分缓存的触控信号。

还应理解，S921和S931可以在***侧(如REE)中进行，S922和S932可以是安全区域(如TEE，或者更具体地是安全区域中的指纹应用)的动作，示例地，安全区域从***侧接收其获取到的传感器采集的触控信号和指纹图像，或者，从***侧接收触控信号和指纹图像的相关信息(如位置)后从特定位置读取触控信号和指纹图像，或者，从***侧接收指纹图像和触控信号中的任一种，并根据***侧发送的另一种数据的相关信息读取对应的另一种数据。当然，电子设备中具备其他模块替代***侧实现上述功能，本申请实施例对此不进行限定。

S933，电子设备将获取的指纹图像和触控信号进行归一化处理。

应理解，在电子设备将获取的指纹图像和触控信号进行归一化处理之前，该电子设备将获取的指纹图像和触控信号组成一个待判定样本对，具体方式可以参考上述方法600中S610的描述，为了简洁，在此不再赘述。

还应理解，电子设备将获取的指纹图像和触控信号进行归一化处理可以参考上述方法600中S620的描述，为了简洁，在此不再赘述。

S934，电子设备将指纹图像及其对应的触控信号进行融合。

应理解，电子设备对指纹图像及其对应的触控信号进行融合的方式可以参考上述方法600中S630的描述，为了简洁，在此不再赘述。

S935，电子设备基于多模态网络，对指纹图像和触控信号进行处理，得到处理结果。

应理解，具体的处理方式可以参考上述方法600中S640以及图7或图8的描述，为了简洁，在此不再赘述。

应理解，S931-S935为指纹防伪处理过程。

S940，若S923中电子设备确定指纹图像与用户预先保存的指纹图像匹配，则电子设备可以确定基于该处理结果进行真指纹或者假指纹的判断。

S950，电子设备基于该处理结果，判断该手指对应的指纹是否为真指纹。

应理解，若电子设备确定为真指纹，则电子设备可以进行相应的业务操作，例如，用户使用在线支付时，电子设备可以提醒用户输入指纹，在指纹匹配成功且确定为真指纹的情况下，电子设备可以完成支付操作。反之，若电子设备确定为假指纹，则电子设备可以发出支付失败的提示信息，或者，电子设备可以发出假指纹的提示信息。

还应理解，上述方法900中介绍的指纹防伪方法中，指纹匹配和指纹防伪的过程可以是并行的，即指纹匹配和指纹防伪的过程可以同时进行，当电子设备判断出指纹匹配成功并且该指纹为真指纹后，电子设备可以继续进行下一步操作(例如，解锁成功后进入桌面、进行支付操作等等)；当电子设备判断出指纹匹配失败或者指纹为假指纹后，电子设备可以向用户发出假指纹提示信息，或者，电子设备可以提示用户操作失败。

一个实施例中，指纹匹配和指纹防伪的过程可以是串行的，即可以先进行指纹匹配，当指纹匹配成功时可以继续进行指纹防伪，若指纹防伪结果为真指纹，则电子设备可以继续进行下一步操作(例如，解锁成功后进入桌面、进行支付操作等等)，否则不允许进行下一步操作；当指纹匹配失败时，则可以重新采集下一张指纹图像继续进行指纹匹配，直到指纹匹配成功后再进行指纹防伪处理过程。

或者，也可以先进行指纹防伪处理，当指纹防伪结果为真指纹时可以继续进行指纹匹配，若指纹匹配成功，则电子设备可以进行下一步操作(例如，解锁成功后进入桌面、进行支付操作等等)，否则不允许进行下一步操作；当指纹防伪结果为假指纹时，则可以重新采集下一张指纹图像和触控信号继续进行指纹防伪处理，指纹防伪结果为真指纹后再进行指纹匹配过程。

本申请实施例的指纹防伪方法，电子设备可以基于多模态网络对获取的指纹图像和多帧触控信号进行判断，确定该指纹图像是否来自活体手指。相比于单独使用指纹图像来判断，更有助于提升假指纹检测的准确度，能有效防御目前指纹匹配识别方案面临的假指纹攻击，从而避免可能给用户带来的资产或财产损失。同时，无需引入其他新硬件，避免了成本过高。

以上结合图2至图9介绍了本申请实施例中的指纹防伪过程，该指纹防伪过程中使用的多模态网络可以是基于深度学习网络(示例地，如卷积神经网络)训练得到的，具体地，是使用大量的指纹图像与触控信号组成的样本对进行学习，最终得到网络结构、各层权重等参数。下面介绍本申请实施例中的多模态网络的训练过程。

一个实施例中，可以对指纹图像和触控信号进行联合训练得到多模态网络。

图10示出了本申请实施例中通过联合训练得到多模态网络的过程的示意图，如图10所示，该过程包括：

S1001，将每次按压采集到的指纹图像以及对应的触控信号组成一个训练样本对。

该训练样本对可以是真指纹训练样本对，也可以是假指纹训练样本对，大量的训练样本对组成了真指纹训练集和假指纹训练集，真指纹训练样本集中可以包括一个或者多个真指纹训练样本对，假指纹训练集中可以包括一个或者多个假指纹训练样本对。

S1002，将训练集中的训练样本对依次输入到多模态网络。

该多模态网络可以分为两个子网络，一个子网络为指纹图像子网络，另一个子网络是触控信号子网络。

应理解，多模态网络包括的指纹图像子网络和触控信号子网络，可以通过深度学习网络实现，更具体地，可通过卷积神经网络实现，如可以使用卷积层、池化层、全连接层等来组成该神经网络，最后两个子网络再通过一层或多层网络(如全连接层)联合起来，本申请实施例不对具体方式进行限定。

应理解，若训练样本对中的指纹图像和触控信号是融合的，则在对将指纹图像和触控信号分别输出到指纹图像子网络和触控信号子网络之前，可以先对指纹图像和触控信号进行分离，再输入到对应的子网络中。

S1003，将训练样本对中的指纹图像和触控信号通过对应的子网络通道分别输入到两个子网络中进行独立的特征学习与提取。

S1004，指纹图像经过指纹图像子网络后可以输出学习到的指纹图像相关特征向量，触控信号经过触控信号子网络后可以输出触控信号相关特征向量。

S1005，将S1004输出的两类特征向量进行融合，得到一个特征向量。

需要说明的是，电子设备对该指纹图像相关特征向量(记为第一特征向量)和该触控信号相关特征向量(记为第二特征向量)进行融合时，还可以对该第一特征向量和该第二特征向量进行加权，以得到第三特征向量。

示例地，将该第一特征向量乘以第一加权系数，将该第二特征向量乘以第二加权系数，然后将分别乘以加权系数后的第一、第二特性向量进行融合，得到第三特征向量。其实，第一加权系数和第二加权系数可以不相等或者两者之和为1(以最大值为1的百分比重为例)，本申请实施例对两者的具体取值不进行限定。

S1006，反复学习后，可以得到一个训练好的多模态网络。

在实际使用过程中，需要将每次采集的指纹图像与对应的触控信号组成的待判定样本对(经过归一化与融合后)输入到该多模态网络中进行匹配处理，若待判定样本对的特征能够匹配假指纹对应的特征，则判定该指纹为假指纹，以进行拦截处理；或者，若待判定样本对的特征能够匹配真指纹对应的特征，则判定该指纹为真指纹。

一个实施例中，可以对指纹图像和触控信号进行单独训练得到多模态网络。

图11示出了本申请实施例中通过单独训练得到多模态网络的过程的示意图，如图11所示，该过程包括：

S1101，将每次按压采集到的指纹图像以及对应的触控信号组成一个训练样本对。

S1102，将训练集中的训练样本对依次输入到多模态网络。

应理解，S1101和S1102可以参考上述S1001和S1002的描述，为了简洁，在此不再赘述。

S1103，将训练样本对中的指纹图像输入到指纹图像子网络中进行独立的特征学习，将训练样本对中的触控信号输入到触控信号子网络中进行独立的特征学习。

应理解，多模态网络包括的指纹图像子网络和触控信号子网络，可以认为是一个相对独立的网络，可以分别通过深度学习网络实现，更具体地，可通过卷积神经网络实现，具体同上，不再赘述。

S1104，反复学习后，指纹图像子网络输出一组最佳的指纹图像网络参数，触控信号子网络输出一组最佳的触控信号网络参数。

S1105，指纹图像网络参数和触控信号网络参数共同组成了该多模态网络。

需要说明的是，电子设备将该指纹图像网络参数和该触控信号网络参数共同组成多模态网络时，也可以对两种参数进行加权，本申请实施例对两者的具体加权系数不进行限定。

可以理解为，上述两种加权可以在实际使用过程中实现对两个子网络的输出结果的相应加权，示例地，通过指纹图像子网络得到第一判断结果，通过触控信号子网络得到第二判断结果，该第一判断结果和该第二判断结果分别经过上述相应的加权后得到最终的判断结果，即该多模态网络的判断结果。

在实际使用过程中，需要将每次采集的指纹图像与对应的触控信号序列分别输入到这两个子网络中进行匹配处理，若采集到的指纹图像匹配假指纹对应的指纹图像的特征，且触控信号的特征匹配假指纹对应的触控信号的特征，则判定该指纹为假指纹，以进行拦截处理；或者，若采集到的指纹图像匹配真指纹对应的指纹图像的特征，且触控信号的特征匹配真指纹对应的触控信号的特征，则判定该指纹为真指纹。

本申请实施例的指纹防伪方法，电子设备可以基于多模态网络对获取的指纹图像和多帧触控信号进行判断，确定该指纹图像是否来自活体手指。相比于单独使用指纹图像来判断，更有助于提升假指纹检测的准确度，能有效防御目前指纹匹配识别方案面临的假指纹攻击，从而避免可能给用户带来的资产或财产损失。同时，无需引入其他新硬件，避免了成本过高。

可以理解的是，电子设备为了实现上述功能，其包含了执行各个功能相应的硬件和/或软件模块。结合本文中所公开的实施例描述的各示例的算法步骤，本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以结合实施例对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

本实施例可以根据上述方法示例对电子设备进行功能模块的划分，例如，可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块可以采用硬件的形式实现。需要说明的是，本实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

在采用对应各个功能划分各个功能模块的情况下，图12示出了上述实施例中涉及的电子设备1200的一种可能的组成示意图，如图12所示，该电子设备1200可以包括：获取单元1201和确定单元1202。

其中，获取单元1201可以用户支持电子设备执行上述步骤S520等，和/或用于本文所描述的技术的其他过程。

确定单元1202可以用户支持电子设备执行上述步骤S530等，和/或用于本文所描述的技术的其他过程。

需要说明的是，上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应功能模块的功能描述，在此不再赘述。

本实施例提供的电子设备，用于执行上述指纹防伪方法，因此可以达到与上述实现方法相同的效果。

在采用集成的单元的情况下，电子设备可以包括处理模块、存储模块和通信模块。其中，处理模块可以用于对电子设备的动作进行控制管理，例如，可以用于支持电子设备执行上述获取单元1201和确定单元1202执行的步骤。存储模块可以用于支持电子设备执行存储程序代码和数据等。通信模块，可以用于支持电子设备与其他设备的通信。

其中，处理模块可以是处理器或控制器。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，数字信号处理(digital signal processing，DSP)和微处理器的组合等等。存储模块可以是存储器。通信模块具体可以为射频电路、蓝牙芯片、Wi-Fi芯片等与其他电子设备交互的设备。

本实施例还提供一种计算机存储介质，该计算机存储介质中存储有计算机指令，当该计算机指令在电子设备上运行时，使得电子设备执行上述相关方法步骤实现上述实施例中的指纹防伪方法。

本实施例还提供了一种计算机程序产品，当该计算机程序产品在计算机上运行时，使得计算机执行上述相关步骤，以实现上述实施例中的指纹防伪方法。

另外，本申请的实施例还提供一种装置，这个装置具体可以是芯片，组件或模块，该装置可包括相连的处理器和存储器；其中，存储器用于存储计算机执行指令，当装置运行时，处理器可执行存储器存储的计算机执行指令，以使芯片执行上述各方法实施例中的指纹防伪方法。

其中，本实施例提供的电子设备、计算机存储介质、计算机程序产品或芯片均用于执行上文所提供的对应的方法，因此，其所能达到的有益效果可参考上文所提供的对应的方法中的有益效果，此处不再赘述。

通过以上实施方式的描述，所属领域的技术人员可以了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个装置，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是一个物理单元或多个物理单元，即可以位于一个地方，或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上内容，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (27)

1.一种指纹防伪方法，所述方法应用于电子设备，其特征在于，包括：

所述电子设备获取指纹图像和多帧触控信号；

所述电子设备根据所述指纹图像和所述多帧触控信号，确定所述指纹图像为真手指的指纹图像或者假手指的指纹图像。

2.根据权利要求1所述的方法，其特征在于，所述多帧触控信号包括：

在采集所述指纹图像时同步采集的多帧触控信号；或者，

在采集所述指纹图像时同步采集的多帧触控信号，以及在采集所述指纹图像之前缓存的多帧触控信号。

3.根据权利要求1所述的方法，其特征在于，所述指纹图像为非首张指纹图像，所述触控信号为采集首张指纹图像时同步采集的多帧触控信号。

4.根据权利要求1至3中任一项所述的方法，其特征在于，所述电子设备获取指纹图像和多帧触控信号之后，所述方法还包括：

所述电子设备根据所述电子设备的屏幕状态或者触控采集频率，对所述多帧触控信号进行预处理，所述预处理包括插值、补零、下采样处理中的一种或者多种。

5.根据权利要求1至4中任一项所述的方法，其特征在于，所述电子设备获取指纹图像和多帧触控信号之后，所述方法还包括：

所述电子设备截取预定帧数或预定大小的触控信号。

6.根据权利要求1至5中任一项所述的方法，其特征在于，所述电子设备中保存多模态网络，所述多模态网络包括指纹图像子网络和触控信号子网络，所述电子设备确定所述指纹图像为真手指的指纹图像或者假手指的指纹图像，包括：

所述电子设备将所述指纹图像送入指纹图像子网络中进行处理，得到第一特征向量；

所述电子设备将所述多帧触控信号送入触控信号子网络中进行处理，得到第二特征向量；

所述电子设备对所述第一特征向量和所述第二特征向量进行融合，得到第三特征向量；

所述电子设备对所述第三特征向量进行分类，得到分类结果；

所述电子设备根据所述分类结果，确定所述指纹图像为真手指的指纹图像或者假手指的指纹图像。

7.根据权利要求6所述的方法，其特征在于，所述电子设备根据所述分类结果，确定所述指纹图像为真手指的指纹图像或者假手指的指纹图像，包括：

若所述分类结果包括第一置信度，且所述第一置信度大于或者等于第一阈值，所述电子设备确定所述指纹图像为真手指的指纹图像，所述第一置信度为所述指纹图像为真手指的指纹图像的置信度；或者，

若所述分类结果包括第二置信度，且所述第二置信度大于或者等于第二阈值，所述电子设备确定所述指纹图像为假手指的指纹图像，所述第二置信度为所述指纹图像为假手指的指纹图像的置信度；

其中，所述第一阈值和所述第二阈值为可调节的。

8.根据权利要求6或7所述的方法，其特征在于，所述方法还包括：

所述电子设备将所述指纹图像和所述多帧触控信号送入所述多模态网络之前，对所述指纹图像和所述多帧触控信号进行融合；

所述电子设备将所述指纹图像和所述多帧触控信号送入所述多模态网络之后，对所述指纹图像和所述多帧触控信号进行分离。

9.根据权利要求1所述的方法，其特征在于，所述电子设备获取指纹图像和多帧触控信号之后，所述方法还包括：

所述电子设备对所述指纹图像和所述多帧触控信号进行归一化处理。

10.根据权利要求1至9中任一项所述的方法，其特征在于，当所述电子设备确定所述指纹图像为假手指的指纹图像时，所述方法还包括：

所述电子设备向用户发出假指纹提示信息；或者，

所述电子设备向用户发出操作失败提示信息。

11.根据权利要求1至9中任一项所述的方法，其特征在于，当所述电子设备确定所述指纹图像为真手指的指纹图像时，所述方法还包括：

所述电子设备确定所述指纹图像和用户预设的指纹图像匹配；

所述电子设备确定用户身份认证通过。

12.根据权利要求1至11中任一项所述的方法，其特征在于，所述多帧触控信号用于表征触控强度、触控强度的变化趋势、触控形状或者触控形状变化趋势中的一种或者多种。

13.一种电子设备，其特征在于，包括：

一个或多个处理器；

一个或多个存储器；

所述一个或多个存储器存储有一个或多个计算机程序，所述一个或多个计算机程序包括指令，当所述指令被所述一个或多个处理器执行时，使得所述电子设备执行以下步骤：

获取指纹图像和多帧触控信号；

根据所述指纹图像和所述多帧触控信号，确定所述指纹图像为真手指的指纹图像或者假手指的指纹图像。

14.根据权利要求13所述的电子设备，其特征在于，所述多帧触控信号包括：

在采集所述指纹图像时同步采集的多帧触控信号；或者，

在采集所述指纹图像时同步采集的多帧触控信号，以及在采集所述指纹图像之前缓存的多帧触控信号。

15.根据权利要求13所述的电子设备，其特征在于，所述指纹图像为非首张指纹图像，所述触控信号为采集首张指纹图像时同步采集的多帧触控信号。

16.根据权利要求13至15中任一项所述的电子设备，其特征在于，当所述指令被所述一个或多个处理器执行时，使得所述电子设备还执行以下步骤：

在获取所述指纹图像和所述多帧触控信号之后，根据所述电子设备的屏幕状态或者触控采集频率，对所述多帧触控信号进行预处理，所述预处理包括插值、补零、下采样处理中的一种或者多种。

17.根据权利要求13至16中任一项所述的电子设备，其特征在于，当所述指令被所述一个或多个处理器执行时，使得所述电子设备还执行以下步骤：

在获取所述指纹图像和所述多帧触控信号之后，截取预定帧数或预定大小的触控信号。

18.根据权利要求13至17中任一项所述的电子设备，其特征在于，所述电子设备中保存多模态网络，所述多模态网络包括指纹图像子网络和触控信号子网络，当所述指令被所述一个或多个处理器执行时，使得所述电子设备还执行以下步骤：

将所述指纹图像送入指纹图像子网络中进行处理，得到第一特征向量；

将所述多帧触控信号送入触控信号子网络中进行处理，得到第二特征向量；

对所述第一特征向量和所述第二特征向量进行融合，得到第三特征向量；

对所述第三特征向量进行分类，得到分类结果；

根据所述分类结果，确定所述指纹图像为真手指的指纹图像或者假手指的指纹图像。

19.根据权利要求18所述的电子设备，其特征在于，当所述指令被所述一个或多个处理器执行时，使得所述电子设备还执行以下步骤：

若所述分类结果包括第一置信度，且所述第一置信度大于或者等于第一阈值，确定所述指纹图像为真手指的指纹图像，所述第一置信度为所述指纹图像为真手指的指纹图像的置信度；或者，

若所述分类结果包括第二置信度，且所述第二置信度大于或者等于第二阈值，确定所述指纹图像为假手指的指纹图像，所述第二置信度为所述指纹图像为假手指的指纹图像的置信度；

其中，所述第一阈值和所述第二阈值为可调节的。

20.根据权利要求18或19所述的电子设备，其特征在于，当所述指令被所述一个或多个处理器执行时，使得所述电子设备还执行以下步骤：

在将所述指纹图像和所述多帧触控信号送入所述多模态网络之前，对所述指纹图像和所述多帧触控信号进行融合；

在将所述指纹图像和所述多帧触控信号送入所述多模态网络之后，对所述指纹图像和所述多帧触控信号进行分离。

21.根据权利要求13所述的电子设备，其特征在于，当所述指令被所述一个或多个处理器执行时，使得所述电子设备还执行以下步骤：

在获取所述指纹图像和所述多帧触控信号之后，对所述指纹图像和所述多帧触控信号进行归一化处理。

22.根据权利要求13至21中任一项所述的电子设备，其特征在于，当所述指令被所述一个或多个处理器执行时，使得所述电子设备还执行以下步骤：

在确定所述指纹图像为假手指的指纹图像时，向用户发出假指纹提示信息，或者，向用户发出操作失败提示信息。

23.根据权利要求13至21中任一项所述的电子设备，其特征在于，当所述指令被所述一个或多个处理器执行时，使得所述电子设备还执行以下步骤：

在确定所述指纹图像为真手指的指纹图像时，确定所述指纹图像和用户预设的指纹图像匹配；

确定用户身份认证通过。

24.根据权利要求13至23中任一项所述的电子设备，其特征在于，所述多帧触控信号用于表征触控强度、触控强度的变化趋势、触控形状或者触控形状变化趋势中的一种或者多种。

25.一种计算机存储介质，其特征在于，包括计算机指令，当所述计算机指令在电子设备上运行时，使得所述电子设备执行如权利要求1至12中任一项所述的指纹防伪方法。

26.一种计算机程序产品，其特征在于，当所述计算机程序产品在计算机上运行时，使得所述计算机执行如权利要求1至12中任一项所述的指纹防伪方法。

27.一种芯片***，其特征在于，所述芯片***包括至少一个处理器，当程序指令在所述至少一个处理器中执行时，使得如权利要求1至12中任一所述的方法在所述电子设备上的功能得以实现。

Images