CN109872160A - 电子支付方法及装置 - Google Patents

Abstract

本发明提供了一种电子支付方法及装置，涉及电子支付技术领域。该方法应用于配置有图像采集器的终端，当监测到用户触发的支付操作时，通过图像采集器获取场景图像；当利用预训练好的支付手势识别模型判断场景图像包含有支付手势时，从场景图像中提取支付手势对应的人脸图像；将支付手势对应的人脸图像与触发支付操作的用户预存的人脸图像进行比对；如果比对一致，则进行支付操作。这种支付手势和人脸图像双认证的支付方式，确保了支付的安全性；该支付方法只需在终端上配置图像采集器即可获得用户的支付手势和人脸图像，降低了上述支付方法对终端性能的要求。

Description

电子支付方法及装置

技术领域

本发明涉及电子支付技术领域，尤其是涉及一种电子支付方法及装置。

背景技术

随着人工智能及计算机技术的不断发展与进步，人们对支付便捷性有了新的需求，涌现出了许多电子支付方法，如扫码支付、指纹支付和人脸支付等支付方法。在这些电子支付方法中，指纹支付在实际支付操作时，只需在支付确认时，通过认证指纹即可完成付款，简单便捷。但是，指纹支付要求终端上安装有指纹传感器，指纹传感器的精度、灵敏度和响应速度直接影响到指纹支付的进度和成功性，也就是说指纹支付依赖于指纹传感器才得以实现，进而导致了该指纹支付方法对终端性能要求较高，同时也提升了终端的造价。

发明内容

有鉴于此，本发明的目的在于提供一种电子支付方法，以缓解了指纹支付对终端的性能要求较高的技术问题。

第一方面，本发明实施例提供了一种电子支付方法，该方法应用于终端，终端配置有图像采集器，该方法包括：当监测到用户触发的支付操作时，通过图像采集器获取场景图像；通过预训练好的支付手势识别模型判断场景图像是否包含有支付手势；其中，支付手势为触发支付操作的用户预存的支付手势；如果是，从场景图像中提取支付手势对应的人脸图像；将支付手势对应的人脸图像与触发支付操作的用户预存的人脸图像进行比对；如果比对一致，则进行支付操作。

结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，通过预训练好的支付手势识别模型判断场景图像是否包含有支付手势的步骤，包括：将场景图像输入预训练好的支付手势识别模型中；检测到手势支付识别模型输出信息包含支付手势标记时，确定场景图像包含有支付手势；其中，支付手势标记包括该支付手势的区域框。

结合第一方面的第一种可能的实施方式，本发明实施例提供了第一方面的第二种可能的实施方式，其中，支付手势识别模型的训练过程包括：获取支付手势样本图像；其中，支付手势样本图像包含支付手势样本，支付手势样本标注有支付手势样本标记；应用手势样本图像训练初始识别模型，得到训练好的支付手势识别模型。

结合第一方面，本发明实施例提供了第一方面的第三种可能的实施方式，其中，从场景图像中提取支付手势对应的人脸图像的步骤，包括：利用预编译的人体关键点检测算法对场景图像进行人体关键点标记；其中，人体关键点包括人体骨骼点；将属于同一人员的人体关键点进行关键点连接，得到属于同一人员的人体关键点的人员轮廓图；在人员轮廓图中，提取支付手势对应的人脸图像。

结合第一方面，本发明实施例提供了第一方面的第四种可能的实施方式，其中，从场景图像中提取支付手势对应的人脸图像的步骤，包括：识别场景图像中的摆出支付手势人员的人脸图像；提取摆出支付手势人员的人脸图像中面积最大的人脸图像；提取面积最大的人脸图像中距离场景图像中心点最近的人脸图像作为支付手势对应的人脸图像。

结合第一方面，本发明实施例提供了第一方面的第五种可能的实施方式，其中，将支付手势对应的人脸图像与触发支付操作的用户预存的人脸图像进行比对的步骤，包括：检测支付手势对应的人脸图像与触发支付操作的用户预存的人脸图像的相似性；如果相似性超过预设相似阈值，确定支付手势对应的人脸图像与触发支付操作的用户预存的人脸图像一致。

第二方面，本发明实施例还提供一种电子支付装置，该装置应用于终端，终端配置有图像采集器，该装置包括：获取模块，用于当监测到用户触发的支付操作时，通过图像采集器获取场景图像；判断模块，用于通过预训练好的支付手势识别模型判断场景图像是否包含有支付手势；其中，支付手势为触发支付操作的用户预存的支付手势；提取模块，用于如果判断模块判断场景图像包含有支付手势，从场景图像中提取支付手势对应的人脸图像；比对模块，用于将支付手势对应的人脸图像与触发支付操作的用户预存的人脸图像进行比对；支付模块，用于如果比对模块比对一致，则进行支付操作。

结合第二方面，本发明实施例提供了第二方面的第一种可能的实施方式，其中，判断模块还用于：将场景图像输入预训练好的支付手势识别模型中；检测到手势支付识别模型输出信息包含支付手势标记时，确定所述场景图像包含有支付手势；其中，支付手势标记包括该支付手势的区域框。

结合第二方面，本发明实施例提供了第二方面的第二种可能的实施方式，其中，提取模块还用于：利用预编译的人体关键点检测算法对场景图像进行人体关键点标记；其中，人体关键点包括人体骨骼点；将属于同一人员的人体关键点进行关键点连接，得到属于同一人员的人体关键点的人员轮廓图；在人员轮廓图中，提取支付手势对应的人脸图像。

结合第二方面，本发明实施例提供了第二方面的第三种可能的实施方式，其中，提取模块还用于：识别场景图像中的摆出支付手势人员的人脸图像；提取摆出支付手势人员的人脸图像中面积最大的人脸图像；提取面积最大的人脸图像中距离场景图像中心点最近的人脸图像作为支付手势对应的人脸图像。

第三方面，本发明实施例提供了一种服务器，该服务器包括存储器以及处理器，该存储器用于存储支持处理器执行第一方面所述方法的程序，该处理器被配置为用于执行该存储器中存储的程序。

第四方面，本发明实施例还提供一种计算机存储介质，用于存储计算机程序指令，当计算机执行所示计算机程序指令时，执行如第一方面所述的方法。

本发明实施例带来了以下有益效果：

本发明实施例所提供的上述电子支付方法及装置，应用于配置有图像采集器的终端，当监测到用户触发的支付操作时，通过图像采集器获取场景图像；当利用预训练好的支付手势识别模型判断场景图像包含有支付手势时，从场景图像中提取支付手势对应的人脸图像；将支付手势对应的人脸图像与触发支付操作的用户预存的人脸图像进行比对；如果比对一致，则进行支付操作。这种支付手势和人脸图像双认证的支付方式，确保了支付的安全性；该支付方法只需在终端上配置图像采集器即可获得用户的支付手势和人脸图像，降低了上述支付方法对终端性能的要求。

本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书以及附图中所特别指出的结构来实现和获得。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种电子支付方法的流程图；

图2为本发明实施例提供的另一种电子支付方法的流程图；

图3为本发明实施例提供的另一种电子支付方法的流程图；

图4为本发明实施例提供的一种电子支付装置的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

目前，用户多采用电子支付方法代替现金支付，常用的电子支付方法有扫码支付、人脸支付和指纹支付，其中，指纹支付在实际支付操作时，只需在支付确认时，通过认证指纹即可完成付款，简单便捷。但是，指纹支付要求终端上安装有指纹传感器，指纹传感器的精度、灵敏度和响应速度直接影响到指纹支付的进度和成功性，也就是说指纹支付依赖于指纹传感器才得以实现，进而导致了该指纹支付方法对终端性能要求较高，同时也提升了终端的造价。

为便于对本实施例进行理解，首先对本发明实施例所公开的一种电子支付方法进行详细介绍。

实施例一：

本实施例提供了一种电子支付方法，参考图1所示的一种电子支付方法的流程图。该方法应用于终端，终端配置有图像采集器，该方法包括以下步骤：

步骤S102，当监测到用户触发的支付操作时，通过图像采集器获取场景图像；

具体实现时，用户可以通过终端上安装的网购等网站应用程序进入支付界面来触发支付操作，用户也可以利用终端通过扫描商家的支付二维码、进入商家的支付链接等方式来触发支付操作；当终端为公共的可用于支付的终端时，如自动售货机等设备时，用户可以通过输入支付账号或触发终端读取银行卡等方式触发支付操作。此外，该场景图像可以通过图像采集器拍摄得到的，也可以从视频中截取的多个视频帧图像得到的，该视频也可以通过图像采集器获得。

步骤S104，通过预训练好的支付手势识别模型判断场景图像是否包含有支付手势；其中，支付手势为触发支付操作的用户预存的支付手势；

具体实现时，该支付手势识别模型可以通过多种机器学***台上，该终端可以利用用户输入的身份账号或银行***等访问该云平台上，以获取预存的支付手势。

步骤S106，如果是，从场景图像中提取支付手势对应的人脸图像；具体实现时，可以通过识别场景图像中人脸位置和支付手势的相对位置，确认支付手势和人脸位置直线距离最近的人脸为支付手势对应的人脸。也可以利用深度学习算法确定与支付手势对应的人脸图像。

步骤S108，将支付手势对应的人脸图像与触发支付操作的用户预存的人脸图像进行比对；具体实现时，用户预存的人脸图像通常为用户在自己的身份账号下预先设定的人脸图像。该预先设定的人脸同样可以存储在终端上，可以存储在身份账号对应云平台上。

步骤S110，如果比对一致，则进行支付操作。

本实施例所提供的电子支付方法，应用于配置有图像采集器的终端，当监测到用户触发的支付操作时，通过图像采集器获取场景图像；当利用预训练好的支付手势识别模型判断场景图像包含有支付手势时，从场景图像中提取支付手势对应的人脸图像；将支付手势对应的人脸图像与触发支付操作的用户预存的人脸图像进行比对；如果比对一致，则进行支付操作。这种支付手势和人脸图像双认证的支付方式，确保了支付的安全性；该支付方法只需在终端上配置图像采集器即可获得用户的支付手势和人脸图像，降低了上述支付方式对终端性能的要求。

本实施例还提供了另一种电子支付方法，该方法在上述实施例的基础上实现，如图2所示的另一种电子支付方法的流程图，该方法包括如下步骤：

步骤S202，当监测到用户触发的支付操作时，通过图像采集器获取场景图像；

步骤S204，将场景图像输入预训练好的支付手势识别模型中；

具体实现时，该支付手势识别模型可以对场景图像中的手势进行识别，并输出场景图像中支付手势的区域框位置标记。其中，该支付手势识别模型可以通过下述步骤01和步骤02训练得到：

步骤01，获取支付手势样本图像；其中，支付手势样本图像包含支付手势样本，支付手势样本标注有支付手势样本标记；

具体实现时，支付手势样本图像可以通过用户的图像数据库获得，也可以通过截取用户视频帧得到；上述用户的图像数据库和用户视频帧均可以通过图像采集器获得，该支付手势样本图像中包含一个或多个支付手势样本，该支付手势样本标注有该支付手势样本所在的区域框标记。

步骤02，应用手势样本图像训练初始识别模型，得到训练好的支付手势识别模型。

具体地，该初始识别模型可以为逻辑回归、决策树、神经网络等模型。在训练过程中，可以利用TensorFlow框架(符号数字***框架)，通过基于卷积神经网络的物体检测方法，如RCNN(Regions with CNN，目标物检测)、fast RCNN或faster RCNN等物体检测方法对初始识别模型进行训练。

以faster RCNN物体检测方法训练初始识别模型为例，选取faster RCNN对手势样本图像进行目标检测，将手势样本图像输入到Faster RCNN网络模型中，首先经过基础卷积神经网络，如VGG模型，Resnet模型等，提取手势样本图像的特征，其次经过区域生成网络得到候选框，再重新利用上述手势样本图像的特征，经过建议窗口将候选框中提取特征，最终得到每个候选框有两个一定维数特征的全连接层，其中，一个全连接层用来预测手势中的支付手势，另一个全连接层用来预测支付手势出现的区域框的位置坐标。

在训练过程中，可以通过识别损失函数对训练过程进行监督，该识别损失函数可以为平方损失函数、交叉熵损失函数或归一化指数函数(softmax函数)等；当识别损失函数输出的损失值收敛或者满足预设的损失值阈值时，即可确定模型训练完成，得到训练好的支付识别模型。例如该识别损失函数可以包括预测支付手势的目标损失函数和预测支付手势的区域框的位置的回归损失函数。上述识别损失函数可以利用随机梯度下降的方式来优化，以实现对支付手势识别模型的优化。

步骤S206，检测手势支付识别模型输出信息是否包含支付手势标记；如果是，执行步骤S208；如果否，执行步骤S222；

步骤S208，确定场景图像包含有支付手势；其中，支付手势标记包括该支付手势的区域框。

步骤S210，利用预编译的人体关键点检测算法对场景图像进行人体关键点标记；

具体实现时，该人体关键点可以为预先设定的人体骨骼点；人体骨骼点可以根据实际需要进行选取，为了便于对人体关键点进行索引，可以预先为人体关键点进行索引编号，表1示出了一种人体关键点的索引编号：

表1

0/鼻子	1/脖子	2/右肩	3/右肘	4/右腕	5/左肩
						6/左肘	7/左腕	8/右跨	9/右膝盖	10/右脚踝	11/左跨
12/左膝盖	13/左脚踝	14/右眼	15/左眼	16/右耳	17/左耳

上述人体关键点检测算法可以为在几何先验的基础上基于模型匹配的思想预先编译的，例如Pictorial Structure(图像结构)算法或深度学习算法。在对人体关键点标记的过程中，可以利用自顶而下的标记方式，先检测出场景图像中的人，再对单个人进行人体关键点标记，如RMPE(Regional Multi-Person Pose Estimation、区域多人姿态预估算法)和Mask RCNN等算法，也可以利用自底向上的标记方式，如Open Pose(开放人体姿态)算法，先对场景图像中的所有的人体关键点进行标记，再识别每个人体关键点所属的人员。

以基于Open Pose的多人人体关键点检测算法为例，将场景图像输入至该检测算法中，首先经过卷积神经网络提取特征，得到一组人体关键点的特征图，其次该算法输出两个支路，一个分支输出热图，表示骨骼关节区域出现关键点的置信度；另一个支路代表连接关节点的向量。上述人体关键点的特征图中标记有每个人体关键点的位置坐标和索引编号，索引编号可以参考表1所示的索引编号。该位置坐标的原点可以为场景图像的中心点，可以为场景图像中边角上的一点(如左上角)。

步骤S212，将属于同一人员的人体关键点进行关键点连接，得到属于同一人员的人体关键点的人员轮廓图；

具体实现时，在对人体关键点进行关键点连接的过程中，可以利用上述Open Pose的多人人体关键点检测算法中的热图，基于匈牙利算法将将同一个人的关节点连接起来得到同一人员的人体关键点的人员轮廓图。

步骤S214，在人员轮廓图中，提取支付手势对应的人脸图像。

具体实现时，在提取支付手势对应的人脸图像的过程中，可以确认包含有支付手势标记的人员轮廓图为支付手势对应的人员轮廓图；也可以通过判断支付手势标记的区域框与左右手腕位置的直线距离来确定支付手势对应的人员轮廓图，即确认与支付手势标记的区域框距离最近的左右手腕对应的人员轮廓图为支付手势对应的人员轮廓图；进而可以基于上述人员轮廓图中的鼻子和/或左右耳和/或脖子的位置坐标，确定和提取上述支付手势对应的人脸图像。

此外，从场景图像中提取支付手势对应的人脸图像的另一种方式可以由步骤11、步骤12和步骤13实现：

步骤11，识别场景图像中的摆出支付手势人员的人脸图像；

具体实现时，可以利用场景图像中标记的一个或多个支付手势标记中支付手势的区域框的位置信息，确定支付手势的手腕位置，利用人体关键点检测算法或者深度学习算法对该手腕连接的手肘部和肩颈部等关节点进行识别，进而确定该手腕对应的人脸区域，进一步，可以利用上述人体关键点检测算法通过确定耳鼻喉等关键点确定人脸图像，也可以直接利用人脸识别模型对手腕对应的人脸区域进行人脸检测和识别，以确定人脸图像。

步骤12，提取摆出支付手势人员的人脸图像中面积最大的人脸图像；

步骤13，提取面积最大的人脸图像中距离场景图像中心点最近的人脸图像作为支付手势对应的人脸图像。

具体实现时，可以对上述人脸图像的人脸轮廓进行面积计算，该人脸轮廓可以是由上述人体关键点检测算法通过确定耳鼻喉等关键点简单连线得到，也可以由人脸识别模型对人脸进行人脸轮廓提起得到，在人脸面积计算时可以利用面积积分算法或计算像素点的方式，计算一个或多个摆出支付手势人员的人脸图像，并在面积最大的人脸图像中，将距离场景图像中心点最近的人脸图像确定为支付手势对应的人脸图像。在确定距离的过程中，可以通过计算面积最大的人脸图像中心点到场景图像中心点的距离来实现。

步骤S216，检测支付手势对应的人脸图像与触发支付操作的用户预存的人脸图像的相似性；

在检测人脸图像的相似性的过程中，可以提取支付手势对应的人脸图像的人脸特征值和触发支付操作的用户预存的人脸图像的人脸特征值；通过比对上述两种人脸特征值，计算得到支付手势对应的人脸图像与触发支付操作的用户预存的人脸图像的相似性。

步骤S218，如果相似性超过预设相似阈值，确定支付手势对应的人脸图像与触发支付操作的用户预存的人脸图像一致。

由于在采集场景图像时，可能会存在一定程度的人脸遮挡和拍摄角度或拍摄光线不佳等问题，上述问题可能会导致场景图像中支付手势对应的人脸图像与摆出该支付手势的用户真实人脸有一定的误差，为了缓解可能存在的人脸认证困难的问题，通常预设相似阈值为一个小于100％的数值，例如相似阈值预设为90％。

步骤S220，如果比对一致，则进行支付操作。

步骤S222，结束支付操作。

本实施例所提供的电子支付方法，着重对场景图像中的人员进行检测，通过人脸面积比较的方式确定支付用户的人脸图像，有效排除了场景图像中其他人员摆出用户支付手势而导致支付操作错误的可能性。

基于用户使用电子支付的应用场景，图3示出了另一种电子支付方法的流程图。该方法包括以下步骤：

步骤S300，用户利用图像采集器拍摄用户视频或用户图像；该图像采集器可以为终端配置的带光学传感器的摄像头；

步骤S302，图形采集器对用户图像或用户视频进行处理，得到场景图像；具体处理过程可以为将用户视频分成多个视频帧，同一视频下的多个视频帧可视作为一组场景图像；

步骤S304，导入支付手势识别模型；

其中，支付手势识别模型的训练过程包括以下步骤21、步骤22和步骤23：

步骤21，采集人员通过图像采集器拍摄支付手势样本图像，具体地，也可以用数据库或视频帧中获取支付手势样本图像。

步骤22，对支付手势样本图像进行支付手势样本标记；支付手势样本标记主要有区域框标记；

步骤23，利用支付手势样本图像训练初始识别模型，得到训练好的支付手势识别模型。

步骤S306，对场景图像进行支付手势识别，并标识支付手势标记；

步骤S308，对场景图像进行人体关键点检测，确定支付手势对应的人脸区域；

步骤S310，从支付手势对应的人脸区域中提取摆出支付手势的人脸图像；

步骤S312，获取用户身份账户下预存的支付人脸图像；该预存的支付人脸图像可以从身份账户所连接的云平台中获取；

步骤S314，对摆出支付手势的人脸图像和预存的支付人脸图像进行人脸识别；

步骤S316，确认触发支付操作的用户身份；

步骤S318，执行用户的支付操作。

本实施例提供的电子支付方法以目前在终端中流行且容易获取的视频和图像作为媒介，采用基于深度学习的方法进行手势和人脸的自动识别，无需支付人员在终端上进行支付操作，实现了零接触手势支付的支付方式，使用户支付更加便捷。在支付过程中，通过人体关键点检测算法将用户的脸与手的位置相关联，并采用支付手势和支付人脸的双重保障进行支付前的身份确认，防止场景图像中其他人做出支付手势引起的误识别，从而提高了支付的准确性及安全性。

实施例二

本发明实施例还提供一种电子支付装置，如图4所示的一种电子支付装置的结构示意图，该装置应用于终端，终端配置有图像采集器，该装置包括：

获取模块402，用于当监测到用户触发的支付操作时，通过图像采集器获取场景图像；

判断模块404，用于通过预训练好的支付手势识别模型判断场景图像是否包含有支付手势；其中，支付手势为触发支付操作的用户预存的支付手势；

提取模块406，用于如果判断模块判断场景图像包含有支付手势，从场景图像中提取支付手势对应的人脸图像；

比对模块408，用于将支付手势对应的人脸图像与触发支付操作的用户预存的人脸图像进行比对；

支付模块410，用于如果比对模块比对一致，则进行支付操作。

具体实现时，判断模块还用于：将场景图像输入预训练好的支付手势识别模型中；检测到手势支付识别模型输出信息包含支付手势标记时，确定所述场景图像包含有支付手势；其中，支付手势标记包括该支付手势的区域框。

进一步，提取模块还用于：利用预编译的人体关键点检测算法对场景图像进行人体关键点标记；其中，人体关键点包括人体骨骼点；将属于同一人员的人体关键点进行关键点连接，得到属于同一人员的人体关键点的人员轮廓图；在人员轮廓图中，提取支付手势对应的人脸图像。

进一步，提取模块还用于：识别场景图像中的摆出支付手势人员的人脸图像；提取摆出支付手势人员的人脸图像中面积最大的人脸图像作为支付手势对应的人脸图像。

本发明实施例提供的电子支付装置，与上述实施例提供的电子支付方法具有相同的技术特征，所以也能解决相同的技术问题，达到相同的技术效果。

本发明实施例还提供了一种服务器，该服务器包括存储器以及处理器，上述存储器用于存储支持处理器执行上述实施例一所述方法的程序，上述处理器被配置为用于执行该存储器中存储的程序。

进一步，本发明实施例还提供一种计算机存储介质，用于存储计算机程序指令，当计算机执行所示计算机程序指令时，执行如上述实施例一所述的方法。

本发明实施例所提供的电子支付方法及装置的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。

为描述的方便和简洁，上述描述的装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

上述附图中的流程图和结构框图显示了根据本发明的多个实施例的方法、装置和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。

在本申请所提供的几个实施例中，应该理解到，所揭露方法和装置，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种电子支付方法，其特征在于，所述方法应用于终端，所述终端配置有图像采集器，所述方法包括：

当监测到用户触发的支付操作时，通过所述图像采集器获取场景图像；

通过预训练好的支付手势识别模型判断所述场景图像是否包含有支付手势；其中，所述支付手势为触发所述支付操作的用户预存的支付手势；

如果是，从所述场景图像中提取所述支付手势对应的人脸图像；

将所述支付手势对应的人脸图像与触发所述支付操作的用户预存的人脸图像进行比对；

如果比对一致，则进行所述支付操作。

2.根据权利要求1所述的方法，其特征在于，通过预训练好的支付手势识别模型判断所述场景图像是否包含有支付手势的步骤包括：

将所述场景图像输入预训练好的支付手势识别模型中；

检测到所述手势支付识别模型输出信息包含支付手势标记时，确定所述场景图像包含有支付手势；其中，所述支付手势标记包括该支付手势的区域框。

3.根据权利要求2所述的方法，其特征在于，所述支付手势识别模型的训练过程包括：

获取支付手势样本图像；其中，所述支付手势样本图像包含支付手势样本，所述支付手势样本标注有支付手势样本标记；

应用所述手势样本图像训练初始识别模型，得到训练好的支付手势识别模型。

4.根据权利要求1所述的方法，其特征在于，从所述场景图像中提取所述支付手势对应的人脸图像的步骤，包括：

利用预编译的人体关键点检测算法对所述场景图像进行人体关键点标记；其中，所述人体关键点包括人体骨骼点；

将属于同一人员的人体关键点进行关键点连接，得到所述属于同一人员的人体关键点的人员轮廓图；

在所述人员轮廓图中，基于人体关键点检测算法进行提取所述支付手势对应的人脸图像。

5.根据权利要求1所述的方法，其特征在于，从所述场景图像中提取所述支付手势对应的人脸图像的步骤，包括：

识别所述场景图像中的摆出所述支付手势人员的人脸图像；

提取所述摆出所述支付手势人员的人脸图像中面积最大的人脸图像；

提取所述面积最大的人脸图像中距离所述场景图像中心点最近的人脸图像作为所述支付手势对应的人脸图像。

6.根据权利要求1所述的方法，其特征在于，将所述支付手势对应的人脸图像与触发所述支付操作的用户预存的人脸图像进行比对的步骤，包括：

检测所述支付手势对应的人脸图像与触发所述支付操作的用户预存的人脸图像的相似性；

如果所述相似性超过预设相似阈值，确定所述支付手势对应的人脸图像与触发所述支付操作的用户预存的人脸图像一致。

7.一种电子支付装置，其特征在于，所述装置应用于终端，所述终端配置有图像采集器，所述装置包括：

获取模块，用于当监测到用户触发的支付操作时，通过所述图像采集器获取场景图像；

判断模块，用于通过预训练好的支付手势识别模型判断所述场景图像是否包含有支付手势；其中，所述支付手势为触发所述支付操作的用户预存的支付手势；

提取模块，用于如果所述判断模块判断所述场景图像包含有支付手势，从所述场景图像中提取所述支付手势对应的人脸图像；

比对模块，用于将所述支付手势对应的人脸图像与触发所述支付操作的用户预存的人脸图像进行比对；

支付模块，用于如果所述比对模块比对一致，则进行所述支付操作。

8.根据权利要求7所述的装置，其特征在于，所述判断模块还用于：

将所述场景图像输入预训练好的支付手势识别模型中；

检测到所述手势支付识别模型输出信息包含支付手势标记时，确定所述场景图像包含有支付手势；其中，所述支付手势标记包括该支付手势的区域框。

9.根据权利要求7所述的装置，其特征在于，所述提取模块还用于：

利用预编译的人体关键点检测算法对所述场景图像进行人体关键点标记；其中，所述人体关键点包括人体骨骼点；

将属于同一人员的人体关键点进行关键点连接，得到所述属于同一人员的人体关键点的人员轮廓图；

在所述人员轮廓图中，提取所述支付手势对应的人脸图像。

10.根据权利要求7所述的装置，其特征在于，所述提取模块还用于：

识别所述场景图像中的摆出所述支付手势人员的人脸图像；

提取所述摆出所述支付手势人员的人脸图像中面积最大的人脸图像；

提取所述面积最大的人脸图像中距离所述场景图像中心点最近的人脸图像作为所述支付手势对应的人脸图像。