CN114758424A - 基于多重校验机制的智能支付设备及其支付方法 - Google Patents

基于多重校验机制的智能支付设备及其支付方法 Download PDF

Info

Publication number
CN114758424A
CN114758424A CN202210663952.6A CN202210663952A CN114758424A CN 114758424 A CN114758424 A CN 114758424A CN 202210663952 A CN202210663952 A CN 202210663952A CN 114758424 A CN114758424 A CN 114758424A
Authority
CN
China
Prior art keywords
feature map
iris
face
characteristic
map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210663952.6A
Other languages
English (en)
Other versions
CN114758424B (zh
Inventor
应旭斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhonglvlian Zhejiang Ecological Technology Co ltd
Original Assignee
Zhonglvlian Zhejiang Ecological Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhonglvlian Zhejiang Ecological Technology Co ltd filed Critical Zhonglvlian Zhejiang Ecological Technology Co ltd
Priority to CN202210663952.6A priority Critical patent/CN114758424B/zh
Publication of CN114758424A publication Critical patent/CN114758424A/zh
Application granted granted Critical
Publication of CN114758424B publication Critical patent/CN114758424B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/14—Payment architectures specially adapted for billing systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/38—Payment protocols; Details thereof
    • G06Q20/40—Authorisation, e.g. identification of payer or payee, verification of customer or shop credentials; Review and approval of payers, e.g. check credit lines or negative lists
    • G06Q20/401—Transaction verification
    • G06Q20/4014—Identity check for transactions
    • G06Q20/40145—Biometric identity checks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Accounting & Taxation (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Finance (AREA)
  • Health & Medical Sciences (AREA)
  • General Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Strategic Management (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Tourism & Hospitality (AREA)
  • Educational Administration (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Computer Security & Cryptography (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及智能支付的领域，其具体地公开了一种基于多重校验机制的智能支付设备及其支付方法，所述智能支付设备通过深度神经网络模型来从待校验对象的人脸图像和眼球区域图像中挖掘深层的局部隐含关联特征信息，以结合人脸识别和虹膜识别来提高支付的安全性和便利性，并且在此过程中，为了提高融合的效果以提高分类的准确性，进一步使用基于自注意力的数据密集簇机制对虹膜特征图进行加权，这样可以通过所述虹膜特征图内的数据密集簇的自适应依赖来提升融合后的特征图对于分类目标函数的参数自适应变化性以提高分类准确性，这样提高支付的安全性和便利性。

Description

基于多重校验机制的智能支付设备及其支付方法
技术领域
本发明涉及智能支付的领域，且更为具体地，涉及一种基于多重校验机制的智能支付设备及其支付方法。
背景技术
公共交通，尤其是地铁作为现在交通事业中的重要组成部分，在解决道路拥挤问题与提高通行效率方面起到关键性作用，但乘车支付的形式及支付速度成为一个备受关注的问题。支付的快慢与便捷不仅影响上车时间还决定着乘客的乘车体验，更决定着人们出行效率，对道路通行能力也会带来一定的影响。
目前乘坐公交的支付方式大多是现金、刷卡、扫码支付，而在乘坐过程中往往会出现一些不确定因素，如忘带公交卡、手机欠费、手机关机、扫码时的识别错误等，这些都会给我们的出行带来不便以至于无法支付，导致不能乘车的尴尬局面。
因此，期待一种用于公共交通领域的智能支付设备，其能够以无感支付的方式来进行运作以提高人们乘车出行的支付效率，让出行更加方便。
发明内容
为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种基于多重校验机制的智能支付设备及其支付方法，其通过深度神经网络模型来从待校验对象的人脸图像和眼球区域图像中挖掘深层的局部隐含关联特征信息，以结合人脸识别和虹膜识别来提高支付的安全性和准确性，并且在此过程中，为了提高融合的效果以提高分类的准确性，进一步使用基于自注意力的数据密集簇机制对虹膜特征图进行加权，这样可以通过所述虹膜特征图内的数据密集簇的自适应依赖来提升融合后的特征图对于分类目标函数的参数自适应变化性以提高分类准确性，这样提高支付的安全性和便利性。
根据本申请的一个方面，提供了一种基于多重校验机制的智能支付设备，其包括：
人脸采集模块，用于获取由智能支付设备的摄像头采集的待校验对象的人脸图像；
人脸检测模块，用于将所述待校验对象的人脸图像通过作为人脸区域检测网络的第一卷积神经网络模型以得到人脸特征图；
眼球区域提取模块，用于基于眼球在所述人脸图像中的位置，从所述人脸特征图提取对应于所述眼球的眼球区域特征图；
眼球区域像素增强模块，用于将所述眼球区域特征图通过作为像素增强器的生成器模型以得到生成眼球区域图像；
虹膜特征提取模块，用于将所述生成眼球区域图像通过具有显著性检测模块的第二卷积神经网络模型以得到虹膜特征图；
特征分布校正模块，用于基于所述人脸特征图，使用基于自注意力的数据密集簇机制对所述虹膜特征图进行加权以得到加权后虹膜特征图，其中，所述使用基于自注意力的数据密集簇机制对虹膜特征图进行加权基于所述人脸特征图和所述虹膜特征图之间的按位置点乘所得到的空间交互特征图，以及，所述人脸特征图和所述虹膜特征图之间的距离来进行；
特征分布融合模块，用于融合所述加权后虹膜特征图和所述人脸特征图以得到分类特征图；
校验结果生成模块，用于将所述分类特征图通过分类器以得到分类结果，所述分类结果为待检验对象对应于数据库中的对象标签；以及
支付模块，用于基于所述对象标签所关联的支付账户中的金额，支付乘车所需的费用。
在上述基于多重校验机制的智能支付设备中，所述第一卷积神经网络模型为FastR-CNN、Faster R-CNN或RetinaNet。
在上述基于多重校验机制的智能支付设备中，所述虹膜特征提取模块，进一步用于以所述第二卷积神经网络的各层对输入数据进行如下方式的编码：以所述第二卷积神经网络的各层的第一卷积单元以第一卷积核对所述输入数据进行卷积编码以得到卷积特征图；以所述第二卷积神经网络的各层的第二卷积单元以第二卷积核对所述卷积特征图进行卷机编码以得到再卷积特征图，其中，所述第一卷积单元和所述第二卷积单元形成所述显著性特征检测模块，所述第一卷积核的尺寸大于所述第二卷积核的尺寸；以所述第二卷积神经网络的各层的池化单元对所述再卷积特征图进行基于局部特征矩阵的均值池化以得到池化特征图；以及，以所述第二卷积神经网络的各层的激活单元对所述池化特征图中各个位置的特征值进行非线性激活以得到激活特征图；其中，所述第二卷积神经网络的最后一层的输出为所述虹膜特征图。
在上述基于多重校验机制的智能支付设备中，所述特征分布校正模块，包括：空间交互特征图生成单元，用于计算所述人脸特征图和所述虹膜特征图之间的按位置点乘以得到所述空间交互特征图；数据差异性度量单元，用于计算所述所述人脸特征图和所述虹膜特征图之间欧式距离的平方根；注意力单元，用于以所述空间交互特征图中各个位置的特征值分别除以所述所述人脸特征图和所述虹膜特征图之间欧式距离的平方根以得到注意力特征图；指数运算单元，用于计算以所述注意力特征图中各个位置的特征值为幂的自然指数函数值以得到指数注意力特征图；第一类概率单元，用于将所述指数注意力特征图通过所述分类器以得到第一类概率指数；第二类概率单元，用于将所述虹膜特征图通过所述分类器以得到第二类概率指数；作用单元，用于计算所述第一类概率指数和所述第二类概率指数之间的乘积作为所述虹膜特征图的加权系数；以及，校正单元，用于以所述加权系数对所述虹膜特征图进行加权以得到所述加权后虹膜特征图。
在上述基于多重校验机制的智能支付设备中，所述特征分布校正模块，进一步用于以如下公式使用基于自注意力的数据密集簇机制对所述虹膜特征图进行加权以得到所述加权后虹膜特征图；
其中，所述公式为：
Figure 100002_DEST_PATH_IMAGE002
其中F face 表示所述人脸特征图，F iris 表示所述虹膜特征图，
Figure 100002_DEST_PATH_IMAGE004
表示点乘，softmax(·)表示特征图通过分类器得到的概率值，d(·,·)表示特征图之间的距离，exp(·)表示特征图的指数运算，所述特征图的指数运算表示计算以特征图中各个位置的特征值为幂的自然指数函数值，特征图除以参数表示以特征图中各个位置的特征值分别除以参数。
在上述基于多重校验机制的智能支付设备中，所述特征分布融合模块，进一步用于：以如下公式融合所述加权后虹膜特征图和所述人脸特征图以得到所述分类特征图；
其中，所述公式为：
F=αwF iris +βF face
其中，F为所述分类特征图，F iris 为所述虹膜特征图，F face 为所述人脸特征图，wF iris 表示所述加权后虹膜特征图，“+”表示所述加权后虹膜特征图和所述人脸特征图相对应位置处的元素相加，α和β为用于控制所述加权后虹膜特征图和所述人脸特征图之间的平衡的加权参数。
在上述基于多重校验机制的智能支付设备中，所述校验结果生成模块，进一步用于：所述分类器以如下公式对所述分类特征图进行处理以生成分类结果，其中，所述公式为：softmax{(W n , B n ):...:(W 1, B 1)|Project(F)}，其中Project(F)表示将所述分类特征图投影为向量，W 1至W n 为各层全连接层的权重矩阵，B 1至B n 表示各层全连接层的偏置矩阵。
在上述基于多重校验机制的智能支付设备中，所述支付模块，进一步用于响应于所述对象标签所关联的支付账户中的金额小于所述乘车所需的费用，生成费用不足提示。
根据本申请的另一方面，一种基于多重校验机制的智能支付设备的支付方法，其包括：
获取由智能支付设备的摄像头采集的待校验对象的人脸图像；
将所述待校验对象的人脸图像通过作为人脸区域检测网络的第一卷积神经网络模型以得到人脸特征图；
基于眼球在所述人脸图像中的位置，从所述人脸特征图提取对应于所述眼球的眼球区域特征图；
将所述眼球区域特征图通过作为像素增强器的生成器模型以得到生成眼球区域图像；
将所述生成眼球区域图像通过具有显著性检测模块的第二卷积神经网络模型以得到虹膜特征图；
基于所述人脸特征图，使用基于自注意力的数据密集簇机制对所述虹膜特征图进行加权以得到加权后虹膜特征图，其中，所述使用基于自注意力的数据密集簇机制对虹膜特征图进行加权基于所述人脸特征图和所述虹膜特征图之间的按位置点乘所得到的空间交互特征图，以及，所述人脸特征图和所述虹膜特征图之间的距离来进行；
融合所述加权后虹膜特征图和所述人脸特征图以得到分类特征图；
将所述分类特征图通过分类器以得到分类结果，所述分类结果为待检验对象对应于数据库中的对象标签；以及
基于所述对象标签所关联的支付账户中的金额，支付乘车所需的费用。
在上述基于多重校验机制的智能支付设备的支付方法中，所述第一卷积神经网络模型为Fast R-CNN、Faster R-CNN或RetinaNet。
在上述基于多重校验机制的智能支付设备的支付方法中，将所述生成眼球区域图像通过具有显著性检测模块的第二卷积神经网络模型以得到虹膜特征图，包括：以所述第二卷积神经网络的各层对输入数据进行如下方式的编码：以所述第二卷积神经网络的各层的第一卷积单元以第一卷积核对所述输入数据进行卷积编码以得到卷积特征图；以所述第二卷积神经网络的各层的第二卷积单元以第二卷积核对所述卷积特征图进行卷机编码以得到再卷积特征图，其中，所述第一卷积单元和所述第二卷积单元形成所述显著性特征检测模块，所述第一卷积核的尺寸大于所述第二卷积核的尺寸；以所述第二卷积神经网络的各层的池化单元对所述再卷积特征图进行基于局部特征矩阵的均值池化以得到池化特征图；以及，以所述第二卷积神经网络的各层的激活单元对所述池化特征图中各个位置的特征值进行非线性激活以得到激活特征图；其中，所述第二卷积神经网络的最后一层的输出为所述虹膜特征图。
在上述基于多重校验机制的智能支付设备的支付方法中，基于所述人脸特征图，使用基于自注意力的数据密集簇机制对所述虹膜特征图进行加权以得到加权后虹膜特征图，包括：计算所述人脸特征图和所述虹膜特征图之间的按位置点乘以得到所述空间交互特征图；计算所述所述人脸特征图和所述虹膜特征图之间欧式距离的平方根；以所述空间交互特征图中各个位置的特征值分别除以所述所述人脸特征图和所述虹膜特征图之间欧式距离的平方根以得到注意力特征图；计算以所述注意力特征图中各个位置的特征值为幂的自然指数函数值以得到指数注意力特征图；将所述指数注意力特征图通过所述分类器以得到第一类概率指数；将所述虹膜特征图通过所述分类器以得到第二类概率指数；计算所述第一类概率指数和所述第二类概率指数之间的乘积作为所述虹膜特征图的加权系数；以及，以所述加权系数对所述虹膜特征图进行加权以得到所述加权后虹膜特征图。
在上述基于多重校验机制的智能支付设备的支付方法中，基于所述人脸特征图，使用基于自注意力的数据密集簇机制对所述虹膜特征图进行加权以得到加权后虹膜特征图，包括：以如下公式使用基于自注意力的数据密集簇机制对所述虹膜特征图进行加权以得到所述加权后虹膜特征图；
其中，所述公式为：
Figure 291546DEST_PATH_IMAGE002
其中F face 表示所述人脸特征图，F iris 表示所述虹膜特征图，
Figure 317009DEST_PATH_IMAGE004
表示点乘，softmax(·)表示特征图通过分类器得到的概率值，d(·,·)表示特征图之间的距离，exp(·)表示特征图的指数运算，所述特征图的指数运算表示计算以特征图中各个位置的特征值为幂的自然指数函数值，特征图除以参数表示以特征图中各个位置的特征值分别除以参数。
在上述基于多重校验机制的智能支付设备的支付方法中，融合所述加权后虹膜特征图和所述人脸特征图以得到分类特征图，包括：以如下公式融合所述加权后虹膜特征图和所述人脸特征图以得到所述分类特征图；
其中，所述公式为：
F=αwF iris +βF face
其中，F为所述分类特征图，F iris 为所述虹膜特征图，F face 为所述人脸特征图，wF iris 表示所述加权后虹膜特征图，“+”表示所述加权后虹膜特征图和所述人脸特征图相对应位置处的元素相加，α和β为用于控制所述加权后虹膜特征图和所述人脸特征图之间的平衡的加权参数。
在上述基于多重校验机制的智能支付设备的支付方法中，将所述分类特征图通过分类器以得到分类结果，包括：所述分类器以如下公式对所述分类特征图进行处理以生成分类结果；
其中，所述公式为：softmax{(W n , B n ):...:(W 1, B 1)|Project(F)}，其中Project(F)表示将所述分类特征图投影为向量，W 1至W n 为各层全连接层的权重矩阵，B 1至B n 表示各层全连接层的偏置矩阵。
在上述基于多重校验机制的智能支付设备的支付方法中，基于所述对象标签所关联的支付账户中的金额，支付乘车所需的费用，包括：响应于所述对象标签所关联的支付账户中的金额小于所述乘车所需的费用，生成费用不足提示。
与现有技术相比，本申请提供的基于多重校验机制的智能支付设备及其支付方法，其通过深度神经网络模型来从待校验对象的人脸图像和眼球区域图像中挖掘深层的局部隐含关联特征信息，以结合人脸识别和虹膜识别来提高支付的安全性和准确性，并且在此过程中，为了提高融合的效果以提高分类的准确性，进一步使用基于自注意力的数据密集簇机制对虹膜特征图进行加权，这样可以通过所述虹膜特征图内的数据密集簇的自适应依赖来提升融合后的特征图对于分类目标函数的参数自适应变化性以提高分类准确性，这样提高支付的安全性和便利性。
附图说明
通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
图1为根据本申请实施例的基于多重校验机制的智能支付设备的应用场景图。
图2为根据本申请实施例的基于多重校验机制的智能支付设备的框图。
图3为根据本申请实施例的基于多重校验机制的智能支付设备中特征分布校正模块的框图。
图4为根据本申请实施例的基于多重校验机制的智能支付设备的支付方法的流程图。
图5为根据本申请实施例的基于多重校验机制的智能支付设备的支付方法的架构示意图。
具体实施方式
下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。
场景概述
如前所述，公共交通，尤其是地铁作为现在交通事业中的重要组成部分，在解决道路拥挤问题与提高通行效率方面起到关键性作用，但乘车支付的形式及支付速度成为一个备受关注的问题。支付的快慢与便捷不仅影响上车时间还决定着乘客的乘车体验，更决定着人们出行效率，对道路通行能力也会带来一定的影响。
目前乘坐公交的支付方式大多是现金、刷卡、扫码支付，而在乘坐过程中往往会出现一些不确定因素，如忘带公交卡、手机欠费、手机关机、扫码时的识别错误等，这些都会给我们的出行带来不便以至于无法支付，导致不能乘车的尴尬局面。因此，期待一种用于公共交通领域的智能支付设备，其能够以无感支付的方式来进行运作以提高人们乘车出行的支付效率，让出行更加方便。
相应地，考虑到刷脸支付是常用的无感支付手段，但在公共交通领域，刷脸支付却无法很好地满足应用场景要求。究其原因，本申请发明人发现人们在出行时会做各式各样的装饰，例如女性会化妆打扮、穿戴遮阳设备，这使得在刷脸支付时无法准确地识别人脸，导致无法支付或者错误支付。因此，在本申请中，本申请发明热尝试结合了人脸识别和虹膜识别来提高支付的安全性和便利性。
具体地，在本申请的技术方案中，首先，通过智能支付设备的摄像头采集待校验对象的人脸图像。然后，使用在图像的局部隐含特征提取方面具有优异表现的卷积神经网络来对所述待校验对象的人脸图像进行隐含特征的深层挖掘。应可以理解，基于深度学习的目标检测方法依据网络中是否使用锚窗将网络分为基于锚窗（Anchor-based）与无锚窗（Anchor-free）两大类。基于锚窗的方法如Fast R-CNN、Faster R-CNN、RetinaNet等，基于无锚窗的方法如 CenterNet、ExtremeNet、 RepPoints等。其中，使用基于锚窗的方法能够使得网络之间进行目标分类与边界框坐标的回归，加入先验使得训练稳定，并且其还能够有效地提高网络目标的召回能力，对于小目标检测来说提升非常明显。因此，在本申请的技术方案中，将所述待校验对象的人脸图像通过作为人脸区域检测网络的第一卷积神经网络模型以得到人脸特征图。特别地，这里，所述第一卷积神经网络模型为Fast R-CNN、FasterR-CNN或RetinaNet。
然后，进一步基于眼球在所述人脸图像中的位置，从所述人脸特征图提取对应于所述眼球的眼球区域特征图。这里，利用了卷积神经网络在提取特征的位置不变形，因此，所述人脸特征图中的对应于眼球的眼球区域特征图可以根据原图像中所述眼球在所述人脸图像中的位置来确定。应可以理解，由于通常所采集的所述待校验对象的人脸图像中的眼球图像的分辨率不高，无法清晰地识别虹膜，因此，在本申请的技术方案中，进一步将所述眼球区域特征图通过作为像素增强器的生成器模型以得到生成眼球区域图像。
这样，再将所述生成眼球区域图像通过具有显著性检测模块的第二卷积神经网络模型中进行局部高维隐含特征提取，以得到虹膜特征图。具体地，在本申请实施例中，以所述第二卷积神经网络的各层的第一卷积单元以第一卷积核对所述输入数据进行卷积编码以得到卷积特征图；再以所述第二卷积神经网络的各层的第二卷积单元以第二卷积核对所述卷积特征图进行卷机编码以得到再卷积特征图，其中，所述第一卷积单元和所述第二卷积单元形成所述显著性特征检测模块，所述第一卷积核的尺寸大于所述第二卷积核的尺寸；接着，以所述第二卷积神经网络的各层的池化单元对所述再卷积特征图进行基于局部特征矩阵的均值池化以得到池化特征图；以及，然后，以所述第二卷积神经网络的各层的激活单元对所述池化特征图中各个位置的特征值进行非线性激活以得到激活特征图；其中，所述第二卷积神经网络的最后一层的输出为所述虹膜特征图。
应可以理解，在获得虹膜特征图时，通过候选框作为参考窗提取图像中的局部区域，再通过分辨率增强和显著性检测获得虹膜特征图，这就使得虹膜特征图在数据密集程度上要高于人脸特征图，如果直接融合人脸特征图F face 和虹膜特征图F iris ，可能导致融合特征图相对于人脸特征图和虹膜特征图的分类偏差。
因此，使用基于自注意力的数据密集簇机制对虹膜特征图进行加权，具体为：
Figure 893483DEST_PATH_IMAGE002
其中F face 表示所述人脸特征图，F iris 表示所述虹膜特征图，
Figure 23113DEST_PATH_IMAGE004
表示点乘，softmax(·)表示特征图通过分类器得到的概率值，d(·,·)表示特征图之间的距离，exp(·)表示特征图的指数运算，所述特征图的指数运算表示计算以特征图中各个位置的特征值为幂的自然指数函数值，特征图除以参数表示以特征图中各个位置的特征值分别除以参数。
这里，该基于自注意力的数据密集簇机制使能基于参考窗的局部特征与整体特征的空间交互，并通过特征图距离表示的数据相异性的度量来表达数据密集对象实例之间的相似度。通过以其对虹膜特征图加权后再与人脸特征图融合，可以通过虹膜特征图内的数据密集簇的自适应依赖来提升融合后的特征图对于分类目标函数的参数自适应变化性，从而提高分类准确性。
然后，融合所述加权后虹膜特征图和所述人脸特征图以得到分类特征图，再将所述分类特征图通过分类器以获得用于表示待检验对象对应于数据库中的对象标签的分类结果。进一步地，基于所述对象标签所关联的支付账户中的金额，支付乘车所需的费用。在本申请实施例中，响应于所述对象标签所关联的支付账户中的金额小于所述乘车所需的费用，生成费用不足提示。
基于此，本申请提出了一种基于多重校验机制的智能支付设备，其包括：人脸采集模块，用于获取由智能支付设备的摄像头采集的待校验对象的人脸图像；人脸检测模块，用于将所述待校验对象的人脸图像通过作为人脸区域检测网络的第一卷积神经网络模型以得到人脸特征图；眼球区域提取模块，用于基于眼球在所述人脸图像中的位置，从所述人脸特征图提取对应于所述眼球的眼球区域特征图；眼球区域像素增强模块，用于将所述眼球区域特征图通过作为像素增强器的生成器模型以得到生成眼球区域图像；虹膜特征提取模块，用于将所述生成眼球区域图像通过具有显著性检测模块的第二卷积神经网络模型以得到虹膜特征图；特征分布校正模块，用于基于所述人脸特征图，使用基于自注意力的数据密集簇机制对所述虹膜特征图进行加权以得到加权后虹膜特征图，其中，所述使用基于自注意力的数据密集簇机制对虹膜特征图进行加权基于所述人脸特征图和所述虹膜特征图之间的按位置点乘所得到的空间交互特征图，以及，所述人脸特征图和所述虹膜特征图之间的距离来进行；特征分布融合模块，用于融合所述加权后虹膜特征图和所述人脸特征图以得到分类特征图；校验结果生成模块，用于将所述分类特征图通过分类器以得到分类结果，所述分类结果为待检验对象对应于数据库中的对象标签；以及，支付模块，用于基于所述对象标签所关联的支付账户中的金额，支付乘车所需的费用。
图1图示了根据本申请实施例的基于多重校验机制的智能支付设备的应用场景图。如图1所示，在该应用场景中，首先，通过智能支付设备（例如，如图1中所示意的T）中的摄像头（例如，如图1中所示意的C）采集待校验对象的人脸图像。然后，将获取的所述待校验对象的人脸图像输入至部署有基于多重校验机制的智能支付算法的服务器中（例如，如图1中所示意的云服务器S），其中，所述服务器能够以基于多重校验机制的智能支付算法对所述待校验对象的人脸图像进行处理，以生成用于表示待检验对象对应于数据库中的对象标签的分类结果，进而，基于所述对象标签所关联的支付账户中的金额，支付乘车所需的费用。
在介绍了本申请的基本原理之后，下面将参考附图来具体介绍本申请的各种非限制性实施例。
示例性***
图2图示了根据本申请实施例的基于多重校验机制的智能支付设备的框图。如图2所示，根据本申请实施例的基于多重校验机制的智能支付设备 200，包括：人脸采集模块210，用于获取由智能支付设备的摄像头采集的待校验对象的人脸图像；人脸检测模块220，用于将所述待校验对象的人脸图像通过作为人脸区域检测网络的第一卷积神经网络模型以得到人脸特征图；眼球区域提取模块 230，用于基于眼球在所述人脸图像中的位置，从所述人脸特征图提取对应于所述眼球的眼球区域特征图；眼球区域像素增强模块 240，用于将所述眼球区域特征图通过作为像素增强器的生成器模型以得到生成眼球区域图像；虹膜特征提取模块 250，用于将所述生成眼球区域图像通过具有显著性检测模块的第二卷积神经网络模型以得到虹膜特征图；特征分布校正模块 260，用于基于所述人脸特征图，使用基于自注意力的数据密集簇机制对所述虹膜特征图进行加权以得到加权后虹膜特征图，其中，所述使用基于自注意力的数据密集簇机制对虹膜特征图进行加权基于所述人脸特征图和所述虹膜特征图之间的按位置点乘所得到的空间交互特征图，以及，所述人脸特征图和所述虹膜特征图之间的距离来进行；特征分布融合模块 270，用于融合所述加权后虹膜特征图和所述人脸特征图以得到分类特征图；校验结果生成模块 280，用于将所述分类特征图通过分类器以得到分类结果，所述分类结果为待检验对象对应于数据库中的对象标签；以及，支付模块 290，用于基于所述对象标签所关联的支付账户中的金额，支付乘车所需的费用。
具体地，在本申请实施例中，所述人脸采集模块 210和所述人脸检测模块 220，用于获取由智能支付设备的摄像头采集的待校验对象的人脸图像，并将所述待校验对象的人脸图像通过作为人脸区域检测网络的第一卷积神经网络模型以得到人脸特征图。如前所述，考虑到刷脸支付是常用的无感支付手段，但在公共交通领域，刷脸支付却无法很好地满足应用场景要求。究其原因，是由于人们在出行时会做各式各样的装饰，例如女性会化妆打扮、穿戴遮阳设备，这使得在刷脸支付时无法准确地识别人脸，导致无法支付或者错误支付。因此，在本申请的技术方案中，期望结合人脸识别和虹膜识别来提高支付的安全性和准确性。
具体地，在本申请的技术方案中，首先，通过智能支付设备的摄像头采集待校验对象的人脸图像。然后，使用在图像的局部隐含特征提取方面具有优异表现的卷积神经网络来对所述待校验对象的人脸图像进行隐含特征的深层挖掘。应可以理解，基于深度学习的目标检测方法依据网络中是否使用锚窗将网络分为基于锚窗（Anchor-based）与无锚窗（Anchor-free）两大类。所述基于锚窗的方法如Fast R-CNN、Faster R-CNN、RetinaNet等，所述基于无锚窗的方法如 CenterNet、ExtremeNet、 RepPoints等。其中，使用所述基于锚窗的方法能够使得网络之间进行目标分类与边界框坐标的回归，加入先验使得训练稳定，并且其还能够有效地提高网络目标的召回能力，对于小目标检测来说提升非常明显。因此，在本申请的技术方案中，将所述待校验对象的人脸图像通过作为人脸区域检测网络的第一卷积神经网络模型中进行处理，以提取出所述人脸图像中的局部高维隐含特征分布，以得到人脸特征图。特别地，这里，所述第一卷积神经网络模型为Fast R-CNN、Faster R-CNN或RetinaNet。
具体地，在本申请实施例中，所述眼球区域提取模块 230和所述眼球区域像素增强模块 240，用于基于眼球在所述人脸图像中的位置，从所述人脸特征图提取对应于所述眼球的眼球区域特征图，并将所述眼球区域特征图通过作为像素增强器的生成器模型以得到生成眼球区域图像。也就是，为了结合人脸识别和虹膜识别来提高支付的安全性和准确性，进一步基于眼球在所述人脸图像中的位置，从所述人脸特征图提取对应于所述眼球的眼球区域特征图。应可以理解，这里，利用了卷积神经网络在提取特征的位置不变形，因此，在本申请的技术方案中，所述人脸特征图中的对应于眼球的眼球区域特征图可以根据原图像中所述眼球在所述人脸图像中的位置来确定。
然后，应可以理解，由于通常所采集的所述待校验对象的人脸图像中的眼球图像的分辨率不高，无法清晰地识别虹膜，因此，在本申请的技术方案中，进一步将所述眼球区域特征图通过作为像素增强器的生成器模型以得到生成特征增强后的眼球区域图像。
具体地，在本申请实施例中，所述虹膜特征提取模块 250，用于将所述生成眼球区域图像通过具有显著性检测模块的第二卷积神经网络模型以得到虹膜特征图。也就是，在本申请的技术方案中，这样，再将所述生成眼球区域图像通过具有显著性检测模块的第二卷积神经网络模型中进行局部高维隐含特征提取，以得到对应于眼球区域的虹膜特征图。
更具体地，在本申请实施例中，所述虹膜特征提取模块，进一步用于以所述第二卷积神经网络的各层对输入数据进行如下方式的编码：以所述第二卷积神经网络的各层的第一卷积单元以第一卷积核对所述输入数据进行卷积编码以得到卷积特征图；以所述第二卷积神经网络的各层的第二卷积单元以第二卷积核对所述卷积特征图进行卷机编码以得到再卷积特征图，其中，所述第一卷积单元和所述第二卷积单元形成所述显著性特征检测模块，所述第一卷积核的尺寸大于所述第二卷积核的尺寸；以所述第二卷积神经网络的各层的池化单元对所述再卷积特征图进行基于局部特征矩阵的均值池化以得到池化特征图；以及，以所述第二卷积神经网络的各层的激活单元对所述池化特征图中各个位置的特征值进行非线性激活以得到激活特征图；其中，所述第二卷积神经网络的最后一层的输出为所述虹膜特征图。
具体地，在本申请实施例中，所述特征分布校正模块 260，用于基于所述人脸特征图，使用基于自注意力的数据密集簇机制对所述虹膜特征图进行加权以得到加权后虹膜特征图，其中，所述使用基于自注意力的数据密集簇机制对虹膜特征图进行加权基于所述人脸特征图和所述虹膜特征图之间的按位置点乘所得到的空间交互特征图，以及，所述人脸特征图和所述虹膜特征图之间的距离来进行。应可以理解，在获得所述虹膜特征图时，通过候选框作为参考窗提取图像中的局部区域，再通过分辨率增强和显著性检测获得所述虹膜特征图，这就使得所述虹膜特征图在数据密集程度上要高于所述人脸特征图，如果直接融合所述人脸特征图F face 和所述虹膜特征图F iris ，可能导致融合特征图相对于所述人脸特征图和所述虹膜特征图的分类偏差。因此，在本申请的技术方案中，进一步使用基于自注意力的数据密集簇机制对虹膜特征图进行加权。
相应地，在一个具体示例中，首先，计算所述人脸特征图和所述虹膜特征图之间的按位置点乘以得到所述空间交互特征图。接着，计算所述所述人脸特征图和所述虹膜特征图之间欧式距离的平方根。然后，以所述空间交互特征图中各个位置的特征值分别除以所述所述人脸特征图和所述虹膜特征图之间欧式距离的平方根以得到注意力特征图。接着，计算以所述注意力特征图中各个位置的特征值为幂的自然指数函数值以得到指数注意力特征图。然后，将所述指数注意力特征图通过所述分类器以得到第一类概率指数。接着，将所述虹膜特征图通过所述分类器以得到第二类概率指数。然后，计算所述第一类概率指数和所述第二类概率指数之间的乘积作为所述虹膜特征图的加权系数。最后，以所述加权系数对所述虹膜特征图进行加权以得到所述加权后虹膜特征图。应可以理解，基于所述自注意力的数据密集簇机制使能基于参考窗的局部特征与整体特征的空间交互，并通过特征图距离表示的数据相异性的度量来表达数据密集对象实例之间的相似度。这样，通过以其对所述虹膜特征图加权后再与所述人脸特征图融合，可以通过所述虹膜特征图内的数据密集簇的自适应依赖来提升融合后的特征图对于分类目标函数的参数自适应变化性，从而提高分类准确性。
更具体地，在本申请实施例中，所述特征分布校正模块，进一步用于：以如下公式使用基于自注意力的数据密集簇机制对所述虹膜特征图进行加权以得到所述加权后虹膜特征图；
其中，所述公式为：
Figure 650535DEST_PATH_IMAGE002
其中F face 表示所述人脸特征图，F iris 表示所述虹膜特征图，
Figure 112478DEST_PATH_IMAGE004
表示点乘，softmax(·)表示特征图通过分类器得到的概率值，d(·,·)表示特征图之间的距离，exp(·)表示特征图的指数运算，所述特征图的指数运算表示计算以特征图中各个位置的特征值为幂的自然指数函数值，特征图除以参数表示以特征图中各个位置的特征值分别除以参数。
图3图示了根据本申请实施例的基于多重校验机制的智能支付设备中特征分布校正模块的框图。如图3所示，所述特征分布校正模块 260，包括：空间交互特征图生成单元261，用于计算所述人脸特征图和所述虹膜特征图之间的按位置点乘以得到所述空间交互特征图；数据差异性度量单元 262，用于计算所述所述人脸特征图和所述虹膜特征图之间欧式距离的平方根；注意力单元 263，用于以所述空间交互特征图中各个位置的特征值分别除以所述所述人脸特征图和所述虹膜特征图之间欧式距离的平方根以得到注意力特征图；指数运算单元264，用于计算以所述注意力特征图中各个位置的特征值为幂的自然指数函数值以得到指数注意力特征图；第一类概率单元 265，用于将所述指数注意力特征图通过所述分类器以得到第一类概率指数；第二类概率单元 266，用于将所述虹膜特征图通过所述分类器以得到第二类概率指数；作用单元 267，用于计算所述第一类概率指数和所述第二类概率指数之间的乘积作为所述虹膜特征图的加权系数；以及，校正单元 268，用于以所述加权系数对所述虹膜特征图进行加权以得到所述加权后虹膜特征图。
具体地，在本申请实施例中，所述特征分布融合模块 270，用于融合所述加权后虹膜特征图和所述人脸特征图以得到分类特征图。应可以理解，这样，通过使用所述基于自注意力的数据密集簇机制对所述虹膜特征图加权后再与所述人脸特征图融合，可以通过所述虹膜特征图内的数据密集簇的自适应依赖来提升融合后的所述分类特征图对于分类目标函数的参数自适应变化性，从而提高分类准确性。
更具体地，在本申请实施例中，所述特征分布融合模块，进一步用于：以如下公式融合所述加权后虹膜特征图和所述人脸特征图以得到所述分类特征图；
其中，所述公式为：
F=αwF iris +βF face
其中，F为所述分类特征图，F iris 为所述虹膜特征图，F face 为所述人脸特征图，wF iris 表示所述加权后虹膜特征图，“+”表示所述加权后虹膜特征图和所述人脸特征图相对应位置处的元素相加，α和β为用于控制所述加权后虹膜特征图和所述人脸特征图之间的平衡的加权参数。
具体地，在本申请实施例中，所述校验结果生成模块 280和所述支付模块 290，用于将所述分类特征图通过分类器以得到分类结果，所述分类结果为待检验对象对应于数据库中的对象标签，并基于所述对象标签所关联的支付账户中的金额，支付乘车所需的费用。也就是，在本申请的技术方案中，在得到所述分类特征图后，进一步将所述分类特征图通过分类器中以获得用于表示待检验对象对应于数据库中的对象标签的分类结果，进而，基于所述对象标签所关联的支付账户中的金额，支付乘车所需的费用。相应地，在一个具体示例中，响应于所述对象标签所关联的支付账户中的金额小于所述乘车所需的费用，生成费用不足提示。
更具体地，在本申请实施例中，所述分类器以如下公式对所述分类特征图进行处理以生成分类结果；
所述公式为：softmax{(W n , B n ):...:(W 1, B 1)|Project(F)}，其中Project(F)表示将所述分类特征图投影为向量，W 1至W n 为各层全连接层的权重矩阵，B 1至B n 表示各层全连接层的偏置矩阵。
综上，基于本申请实施例的所述基于多重校验机制的智能支付设备 200被阐明，其通过深度神经网络模型来从待校验对象的人脸图像和眼球区域图像中挖掘深层的局部隐含关联特征信息，以结合人脸识别和虹膜识别来提高支付的安全性和准确性，并且在此过程中，为了提高融合的效果以提高分类的准确性，进一步使用基于自注意力的数据密集簇机制对虹膜特征图进行加权，这样可以通过所述虹膜特征图内的数据密集簇的自适应依赖来提升融合后的特征图对于分类目标函数的参数自适应变化性，从而提高分类准确性。
如上所述，根据本申请实施例的基于多重校验机制的智能支付设备 200可以实现在各种终端设备中，例如基于多重校验机制的智能支付算法的服务器等。在一个示例中，根据本申请实施例的基于多重校验机制的智能支付设备 200可以作为一个软件模块和/或硬件模块而集成到终端设备中。例如，该基于多重校验机制的智能支付设备 200可以是该终端设备的操作***中的一个软件模块，或者可以是针对于该终端设备所开发的一个应用程序；当然，该基于多重校验机制的智能支付设备 200同样可以是该终端设备的众多硬件模块之一。
替换地，在另一示例中，该基于多重校验机制的智能支付设备 200与该终端设备也可以是分立的设备，并且该基于多重校验机制的智能支付设备 200可以通过有线和/或无线网络连接到该终端设备，并且按照约定的数据格式来传输交互信息。
示例性方法
图4图示了基于多重校验机制的智能支付设备的支付方法的流程图。如图4所示，根据本申请实施例的基于多重校验机制的智能支付设备的支付方法，包括步骤：S110，获取由智能支付设备的摄像头采集的待校验对象的人脸图像；S120，将所述待校验对象的人脸图像通过作为人脸区域检测网络的第一卷积神经网络模型以得到人脸特征图；S130，基于眼球在所述人脸图像中的位置，从所述人脸特征图提取对应于所述眼球的眼球区域特征图；S140，将所述眼球区域特征图通过作为像素增强器的生成器模型以得到生成眼球区域图像；S150，将所述生成眼球区域图像通过具有显著性检测模块的第二卷积神经网络模型以得到虹膜特征图；S160，基于所述人脸特征图，使用基于自注意力的数据密集簇机制对所述虹膜特征图进行加权以得到加权后虹膜特征图，其中，所述使用基于自注意力的数据密集簇机制对虹膜特征图进行加权基于所述人脸特征图和所述虹膜特征图之间的按位置点乘所得到的空间交互特征图，以及，所述人脸特征图和所述虹膜特征图之间的距离来进行；S170，融合所述加权后虹膜特征图和所述人脸特征图以得到分类特征图；S180，将所述分类特征图通过分类器以得到分类结果，所述分类结果为待检验对象对应于数据库中的对象标签；以及，S190，基于所述对象标签所关联的支付账户中的金额，支付乘车所需的费用。
图5图示了根据本申请实施例的基于多重校验机制的智能支付设备的支付方法的架构示意图。如图5所示，在所述基于多重校验机制的智能支付设备的支付方法的网络架构中，首先，将获得的所述待校验对象的人脸图像（例如，如图5中所示意的P1）通过作为人脸区域检测网络的第一卷积神经网络模型（例如，如图5中所示意的CNN1）以得到人脸特征图（例如，如图5中所示意的F1）；接着，基于眼球在所述人脸图像中的位置，从所述人脸特征图提取对应于所述眼球的眼球区域特征图（例如，如图5中所示意的F2）；然后，将所述眼球区域特征图通过作为像素增强器的生成器模型（例如，如图5中所示意的GM）以得到生成眼球区域图像（例如，如图5中所示意的F3）；接着，将所述生成眼球区域图像通过具有显著性检测模块的第二卷积神经网络模型（例如，如图5中所示意的CNN2）以得到虹膜特征图（例如，如图5中所示意的F4）；然后，基于所述人脸特征图，使用基于自注意力的数据密集簇机制（例如，如图5中所示意的DCM）对所述虹膜特征图进行加权以得到加权后虹膜特征图（例如，如图5中所示意的F）；接着，融合所述加权后虹膜特征图和所述人脸特征图以得到分类特征图（例如，如图5中所示意的FC）；然后，将所述分类特征图通过分类器（例如，如图5中所示意的分类器）以得到分类结果，所述分类结果为待检验对象对应于数据库中的对象标签；以及，最后，基于所述对象标签所关联的支付账户中的金额，支付乘车所需的费用。将获得的所述当前时间点的输入信号波形（例如，如图5中所示意的IN1）和输出信号波形（例如，如图4中所示意的IN2）分别输入卷积神经网络（例如，如图4中所示意的CNN）以获得输入信号特征图（例如，如图4中所示意的F1）和输出信号特征图（例如，如图4中所示意的F2）；接着，分别对所述输入信号特征图和所述输出信号特征图进行沿通道维度的池化以获得输入特征矩阵（例如，如图4中所示意的M1）和输出特征矩阵（例如，如图4中所示意的M2）；然后，将所述眼球区域特征图通过作为像素增强器的生成器模型以得到生成眼球区域图像（例如，如图4中所示意的MT1）；接着，将获得的所述当期时间点之前的一系列预定时间点的输入信号波形（例如，如图4中所示意的IN3）和输出信号波形（例如，如图4中所示意的IN4）分别以处理所述当前时间点的输入信号波形和输出信号波形的方式进行处理，以获得第二转移矩阵至第n转移矩阵（例如，如图4中所示意的MT2-MTn）；然后，融合所述加权后虹膜特征图和所述人脸特征图以得到分类特征图（例如，如图4中所示意的MD）；接着，对所述距离矩阵进行相关坐标估计以获得分类矩阵（例如，如图4中所示意的MC）；以及，最后，将所述分类矩阵通过用于回归的编码器（例如，如图4中所示意的E）以获得所需的PWN激励波的占空比。
更具体地，在步骤S110和步骤S120中，获取由智能支付设备的摄像头采集的待校验对象的人脸图像，并将所述待校验对象的人脸图像通过作为人脸区域检测网络的第一卷积神经网络模型以得到人脸特征图。应可以理解，考虑到刷脸支付是常用的无感支付手段，但在公共交通领域，刷脸支付却无法很好地满足应用场景要求。究其原因，是由于人们在出行时会做各式各样的装饰，例如女性会化妆打扮、穿戴遮阳设备，这使得在刷脸支付时无法准确地识别人脸，导致无法支付或者错误支付。因此，在本申请的技术方案中，期望结合人脸识别和虹膜识别来提高支付的安全性和准确性。
具体地，在本申请的技术方案中，首先，通过智能支付设备的摄像头采集待校验对象的人脸图像。然后，使用在图像的局部隐含特征提取方面具有优异表现的卷积神经网络来对所述待校验对象的人脸图像进行隐含特征的深层挖掘。应可以理解，基于深度学习的目标检测方法依据网络中是否使用锚窗将网络分为基于锚窗（Anchor-based）与无锚窗（Anchor-free）两大类。所述基于锚窗的方法如Fast R-CNN、Faster R-CNN、RetinaNet等，所述基于无锚窗的方法如 CenterNet、ExtremeNet、 RepPoints等。其中，使用所述基于锚窗的方法能够使得网络之间进行目标分类与边界框坐标的回归，加入先验使得训练稳定，并且其还能够有效地提高网络目标的召回能力，对于小目标检测来说提升非常明显。因此，在本申请的技术方案中，将所述待校验对象的人脸图像通过作为人脸区域检测网络的第一卷积神经网络模型中进行处理，以提取出所述人脸图像中的局部高维隐含特征分布，以得到人脸特征图。特别地，这里，所述第一卷积神经网络模型为Fast R-CNN、Faster R-CNN或RetinaNet。
更具体地，在步骤S130和步骤S140中，基于眼球在所述人脸图像中的位置，从所述人脸特征图提取对应于所述眼球的眼球区域特征图，并将所述眼球区域特征图通过作为像素增强器的生成器模型以得到生成眼球区域图像。也就是，为了结合人脸识别和虹膜识别来提高支付的安全性和准确性，进一步基于眼球在所述人脸图像中的位置，从所述人脸特征图提取对应于所述眼球的眼球区域特征图。应可以理解，这里，利用了卷积神经网络在提取特征的位置不变形，因此，在本申请的技术方案中，所述人脸特征图中的对应于眼球的眼球区域特征图可以根据原图像中所述眼球在所述人脸图像中的位置来确定。
然后，应可以理解，由于通常所采集的所述待校验对象的人脸图像中的眼球图像的分辨率不高，无法清晰地识别虹膜，因此，在本申请的技术方案中，进一步将所述眼球区域特征图通过作为像素增强器的生成器模型以得到生成特征增强后的眼球区域图像。
更具体地，在步骤S150中，将所述生成眼球区域图像通过具有显著性检测模块的第二卷积神经网络模型以得到虹膜特征图。也就是，在本申请的技术方案中，这样，再将所述生成眼球区域图像通过具有显著性检测模块的第二卷积神经网络模型中进行局部高维隐含特征提取，以得到对应于眼球区域的虹膜特征图。
更具体地，在步骤S160中，基于所述人脸特征图，使用基于自注意力的数据密集簇机制对所述虹膜特征图进行加权以得到加权后虹膜特征图，其中，所述使用基于自注意力的数据密集簇机制对虹膜特征图进行加权基于所述人脸特征图和所述虹膜特征图之间的按位置点乘所得到的空间交互特征图，以及，所述人脸特征图和所述虹膜特征图之间的距离来进行。应可以理解，在获得所述虹膜特征图时，通过候选框作为参考窗提取图像中的局部区域，再通过分辨率增强和显著性检测获得所述虹膜特征图，这就使得所述虹膜特征图在数据密集程度上要高于所述人脸特征图，如果直接融合所述人脸特征图F face 和所述虹膜特征图F iris ，可能导致融合特征图相对于所述人脸特征图和所述虹膜特征图的分类偏差。因此，在本申请的技术方案中，进一步使用基于自注意力的数据密集簇机制对虹膜特征图进行加权。
相应地，在一个具体示例中，首先，计算所述人脸特征图和所述虹膜特征图之间的按位置点乘以得到所述空间交互特征图。接着，计算所述所述人脸特征图和所述虹膜特征图之间欧式距离的平方根。然后，以所述空间交互特征图中各个位置的特征值分别除以所述所述人脸特征图和所述虹膜特征图之间欧式距离的平方根以得到注意力特征图。接着，计算以所述注意力特征图中各个位置的特征值为幂的自然指数函数值以得到指数注意力特征图。然后，将所述指数注意力特征图通过所述分类器以得到第一类概率指数。接着，将所述虹膜特征图通过所述分类器以得到第二类概率指数。然后，计算所述第一类概率指数和所述第二类概率指数之间的乘积作为所述虹膜特征图的加权系数。最后，以所述加权系数对所述虹膜特征图进行加权以得到所述加权后虹膜特征图。应可以理解，基于所述自注意力的数据密集簇机制使能基于参考窗的局部特征与整体特征的空间交互，并通过特征图距离表示的数据相异性的度量来表达数据密集对象实例之间的相似度。这样，通过以其对所述虹膜特征图加权后再与所述人脸特征图融合，可以通过所述虹膜特征图内的数据密集簇的自适应依赖来提升融合后的特征图对于分类目标函数的参数自适应变化性，从而提高分类准确性。
更具体地，在步骤S170中，融合所述加权后虹膜特征图和所述人脸特征图以得到分类特征图。应可以理解，这样，通过使用所述基于自注意力的数据密集簇机制对所述虹膜特征图加权后再与所述人脸特征图融合，可以通过所述虹膜特征图内的数据密集簇的自适应依赖来提升融合后的所述分类特征图对于分类目标函数的参数自适应变化性，从而提高分类准确性。
更具体地，在步骤S180和步骤S190中，将所述分类特征图通过分类器以得到分类结果，所述分类结果为待检验对象对应于数据库中的对象标签，并基于所述对象标签所关联的支付账户中的金额，支付乘车所需的费用。也就是，在本申请的技术方案中，在得到所述分类特征图后，进一步将所述分类特征图通过分类器中以获得用于表示待检验对象对应于数据库中的对象标签的分类结果，进而，基于所述对象标签所关联的支付账户中的金额，支付乘车所需的费用。相应地，在一个具体示例中，响应于所述对象标签所关联的支付账户中的金额小于所述乘车所需的费用，生成费用不足提示。
综上，基于本申请实施例的所述基于多重校验机制的智能支付设备的支付方法被阐明，其通过深度神经网络模型来从待校验对象的人脸图像和眼球区域图像中挖掘深层的局部隐含关联特征信息，以结合人脸识别和虹膜识别来提高支付的安全性和准确性，并且在此过程中，为了提高融合的效果以提高分类的准确性，进一步使用基于自注意力的数据密集簇机制对虹膜特征图进行加权，这样可以通过所述虹膜特征图内的数据密集簇的自适应依赖来提升融合后的特征图对于分类目标函数的参数自适应变化性以提高分类准确性，这样提高支付的安全性和便利性。
以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。
本申请中涉及的器件、装置、设备、***的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、***。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (10)

1.一种基于多重校验机制的智能支付设备，其特征在于，包括：
人脸采集模块，用于获取由智能支付设备的摄像头采集的待校验对象的人脸图像；
人脸检测模块，用于将所述待校验对象的人脸图像通过作为人脸区域检测网络的第一卷积神经网络模型以得到人脸特征图；
眼球区域提取模块，用于基于眼球在所述人脸图像中的位置，从所述人脸特征图提取对应于所述眼球的眼球区域特征图；
眼球区域像素增强模块，用于将所述眼球区域特征图通过作为像素增强器的生成器模型以得到生成眼球区域图像；
虹膜特征提取模块，用于将所述生成眼球区域图像通过具有显著性检测模块的第二卷积神经网络模型以得到虹膜特征图；
特征分布校正模块，用于基于所述人脸特征图，使用基于自注意力的数据密集簇机制对所述虹膜特征图进行加权以得到加权后虹膜特征图，其中，所述使用基于自注意力的数据密集簇机制对虹膜特征图进行加权基于所述人脸特征图和所述虹膜特征图之间的按位置点乘所得到的空间交互特征图，以及，所述人脸特征图和所述虹膜特征图之间的距离来进行；
特征分布融合模块，用于融合所述加权后虹膜特征图和所述人脸特征图以得到分类特征图；
校验结果生成模块，用于将所述分类特征图通过分类器以得到分类结果，所述分类结果为待检验对象对应于数据库中的对象标签；以及
支付模块，用于基于所述对象标签所关联的支付账户中的金额，支付乘车所需的费用。
2.根据权利要求1所述的基于多重校验机制的智能支付设备，其中，所述第一卷积神经网络模型为Fast R-CNN、Faster R-CNN或RetinaNet。
3.根据权利要求2所述的基于多重校验机制的智能支付设备，其中，所述虹膜特征提取模块，进一步用于以所述第二卷积神经网络的各层对输入数据进行如下方式的编码：
以所述第二卷积神经网络的各层的第一卷积单元以第一卷积核对所述输入数据进行卷积编码以得到卷积特征图；
以所述第二卷积神经网络的各层的第二卷积单元以第二卷积核对所述卷积特征图进行卷机编码以得到再卷积特征图，其中，所述第一卷积单元和所述第二卷积单元形成所述显著性特征检测模块，所述第一卷积核的尺寸大于所述第二卷积核的尺寸；
以所述第二卷积神经网络的各层的池化单元对所述再卷积特征图进行基于局部特征矩阵的均值池化以得到池化特征图；以及
以所述第二卷积神经网络的各层的激活单元对所述池化特征图中各个位置的特征值进行非线性激活以得到激活特征图；
其中，所述第二卷积神经网络的最后一层的输出为所述虹膜特征图。
4.根据权利要求3所述的基于多重校验机制的智能支付设备，其中，所述特征分布校正模块，包括：
空间交互特征图生成单元，用于计算所述人脸特征图和所述虹膜特征图之间的按位置点乘以得到所述空间交互特征图；
数据差异性度量单元，用于计算所述所述人脸特征图和所述虹膜特征图之间欧式距离的平方根；
注意力单元，用于以所述空间交互特征图中各个位置的特征值分别除以所述所述人脸特征图和所述虹膜特征图之间欧式距离的平方根以得到注意力特征图；
指数运算单元，用于计算以所述注意力特征图中各个位置的特征值为幂的自然指数函数值以得到指数注意力特征图；
第一类概率单元，用于将所述指数注意力特征图通过所述分类器以得到第一类概率指数；
第二类概率单元，用于将所述虹膜特征图通过所述分类器以得到第二类概率指数；
作用单元，用于计算所述第一类概率指数和所述第二类概率指数之间的乘积作为所述虹膜特征图的加权系数；以及
校正单元，用于以所述加权系数对所述虹膜特征图进行加权以得到所述加权后虹膜特征图。
5.根据权利要求3所述的基于多重校验机制的智能支付设备，其中，所述特征分布校正模块，进一步用于以如下公式使用基于自注意力的数据密集簇机制对所述虹膜特征图进行加权以得到所述加权后虹膜特征图；
其中，所述公式为：
Figure DEST_PATH_IMAGE002
其中F face 表示所述人脸特征图，F iris 表示所述虹膜特征图,
Figure DEST_PATH_IMAGE004
表示点乘，softmax(·)表示特征图通过分类器得到的概率值，d(·,·)表示特征图之间的距离，exp(·)表示特征图的指数运算，所述特征图的指数运算表示计算以特征图中各个位置的特征值为幂的自然指数函数值，特征图除以参数表示以特征图中各个位置的特征值分别除以参数。
6.根据权利要求5所述的基于多重校验机制的智能支付设备，其中，所述特征分布融合模块，进一步用于：以如下公式融合所述加权后虹膜特征图和所述人脸特征图以得到所述分类特征图；
其中，所述公式为：
F=αwF iris +βF face
其中，F为所述分类特征图，F iris 为所述虹膜特征图，F face 为所述人脸特征图，wF iris 表示所述加权后虹膜特征图，“+”表示所述加权后虹膜特征图和所述人脸特征图相对应位置处的元素相加，α和β为用于控制所述加权后虹膜特征图和所述人脸特征图之间的平衡的加权参数。
7.根据权利要求6所述的基于多重校验机制的智能支付设备，其中，所述校验结果生成模块，进一步用于：所述分类器以如下公式对所述分类特征图进行处理以生成分类结果；
其中，所述公式为：softmax{(W n , B n ):...:(W 1, B 1)|Project(F)}，其中Project(F)表示将所述分类特征图投影为向量，W 1至W n 为各层全连接层的权重矩阵，B 1至B n 表示各层全连接层的偏置矩阵。
8.根据权利要求7所述的基于多重校验机制的智能支付设备，其中，所述支付模块，进一步用于响应于所述对象标签所关联的支付账户中的金额小于所述乘车所需的费用，生成费用不足提示。
9.一种基于多重校验机制的智能支付设备的支付方法，其特征在于，包括：
获取由智能支付设备的摄像头采集的待校验对象的人脸图像；
将所述待校验对象的人脸图像通过作为人脸区域检测网络的第一卷积神经网络模型以得到人脸特征图；
基于眼球在所述人脸图像中的位置，从所述人脸特征图提取对应于所述眼球的眼球区域特征图；
将所述眼球区域特征图通过作为像素增强器的生成器模型以得到生成眼球区域图像；
将所述生成眼球区域图像通过具有显著性检测模块的第二卷积神经网络模型以得到虹膜特征图；
基于所述人脸特征图，使用基于自注意力的数据密集簇机制对所述虹膜特征图进行加权以得到加权后虹膜特征图，其中，所述使用基于自注意力的数据密集簇机制对虹膜特征图进行加权基于所述人脸特征图和所述虹膜特征图之间的按位置点乘所得到的空间交互特征图，以及，所述人脸特征图和所述虹膜特征图之间的距离来进行；
融合所述加权后虹膜特征图和所述人脸特征图以得到分类特征图；
将所述分类特征图通过分类器以得到分类结果，所述分类结果为待检验对象对应于数据库中的对象标签；以及
基于所述对象标签所关联的支付账户中的金额，支付乘车所需的费用。
10.根据权利要求9所述的基于多重校验机制的智能支付设备的支付方法，其中，基于所述人脸特征图，使用基于自注意力的数据密集簇机制对所述虹膜特征图进行加权以得到加权后虹膜特征图，包括：
计算所述人脸特征图和所述虹膜特征图之间的按位置点乘以得到所述空间交互特征图；
计算所述所述人脸特征图和所述虹膜特征图之间欧式距离的平方根；
以所述空间交互特征图中各个位置的特征值分别除以所述所述人脸特征图和所述虹膜特征图之间欧式距离的平方根以得到注意力特征图；
计算以所述注意力特征图中各个位置的特征值为幂的自然指数函数值以得到指数注意力特征图；
将所述指数注意力特征图通过所述分类器以得到第一类概率指数；
将所述虹膜特征图通过所述分类器以得到第二类概率指数；
计算所述第一类概率指数和所述第二类概率指数之间的乘积作为所述虹膜特征图的加权系数；以及
以所述加权系数对所述虹膜特征图进行加权以得到所述加权后虹膜特征图。
CN202210663952.6A 2022-06-14 2022-06-14 基于多重校验机制的智能支付设备及其支付方法 Active CN114758424B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210663952.6A CN114758424B (zh) 2022-06-14 2022-06-14 基于多重校验机制的智能支付设备及其支付方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210663952.6A CN114758424B (zh) 2022-06-14 2022-06-14 基于多重校验机制的智能支付设备及其支付方法

Publications (2)

Publication Number Publication Date
CN114758424A true CN114758424A (zh) 2022-07-15
CN114758424B CN114758424B (zh) 2022-09-02

Family

ID=82336349

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210663952.6A Active CN114758424B (zh) 2022-06-14 2022-06-14 基于多重校验机制的智能支付设备及其支付方法

Country Status (1)

Country Link
CN (1) CN114758424B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115272831A (zh) * 2022-09-27 2022-11-01 成都中轨轨道设备有限公司 接触网悬挂状态监测图像的传输方法及***
CN115471674A (zh) * 2022-09-20 2022-12-13 浙江科达利实业有限公司 基于图像处理的新能源车二氧化碳管的性能监测***
CN115984952A (zh) * 2023-03-20 2023-04-18 杭州叶蓁科技有限公司 基于球结膜血管图像识别的眼动跟踪***及其方法
CN117894107A (zh) * 2024-03-14 2024-04-16 山东新竹智能科技有限公司 智能建筑安防监控***及方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180137335A1 (en) * 2016-11-11 2018-05-17 Samsung Electronics Co., Ltd. Method and apparatus with iris region extraction
CN108446667A (zh) * 2018-04-04 2018-08-24 北京航空航天大学 基于生成对抗网络数据增强的人脸表情识别方法和装置
CN110781784A (zh) * 2019-10-18 2020-02-11 高新兴科技集团股份有限公司 基于双路注意力机制的人脸识别方法、装置及设备
CN112200161A (zh) * 2020-12-03 2021-01-08 北京电信易通信息技术股份有限公司 一种基于混合注意力机制的人脸识别检测方法
CN112966643A (zh) * 2021-03-23 2021-06-15 成都天佑路航轨道交通科技有限公司 基于自适应加权的人脸和虹膜融合识别方法及装置
CN113591747A (zh) * 2021-08-06 2021-11-02 合肥工业大学 一种基于深度学习的多场景虹膜识别方法
CN114565041A (zh) * 2022-02-28 2022-05-31 上海嘉甲茂技术有限公司 基于互联网金融的支付大数据分析***及其分析方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180137335A1 (en) * 2016-11-11 2018-05-17 Samsung Electronics Co., Ltd. Method and apparatus with iris region extraction
CN108446667A (zh) * 2018-04-04 2018-08-24 北京航空航天大学 基于生成对抗网络数据增强的人脸表情识别方法和装置
CN110781784A (zh) * 2019-10-18 2020-02-11 高新兴科技集团股份有限公司 基于双路注意力机制的人脸识别方法、装置及设备
CN112200161A (zh) * 2020-12-03 2021-01-08 北京电信易通信息技术股份有限公司 一种基于混合注意力机制的人脸识别检测方法
CN112966643A (zh) * 2021-03-23 2021-06-15 成都天佑路航轨道交通科技有限公司 基于自适应加权的人脸和虹膜融合识别方法及装置
CN113591747A (zh) * 2021-08-06 2021-11-02 合肥工业大学 一种基于深度学习的多场景虹膜识别方法
CN114565041A (zh) * 2022-02-28 2022-05-31 上海嘉甲茂技术有限公司 基于互联网金融的支付大数据分析***及其分析方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
MD. ZAHIDUR RAHMAN，AND ETC: "Distinguishing a Person by Face and Iris Using Fusion Approach", 《2019 INTERNATIONAL CONFERENCE ON SUSTAINABLE TECHNOLOGIES FOR INDUSTRY 4.0 (STI)》 *
肖珂等: "基于深度学习的虹膜人脸多特征融合识别", 《计算机工程与设计》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115471674A (zh) * 2022-09-20 2022-12-13 浙江科达利实业有限公司 基于图像处理的新能源车二氧化碳管的性能监测***
CN115272831A (zh) * 2022-09-27 2022-11-01 成都中轨轨道设备有限公司 接触网悬挂状态监测图像的传输方法及***
CN115984952A (zh) * 2023-03-20 2023-04-18 杭州叶蓁科技有限公司 基于球结膜血管图像识别的眼动跟踪***及其方法
CN115984952B (zh) * 2023-03-20 2023-11-24 杭州叶蓁科技有限公司 基于球结膜血管图像识别的眼动跟踪***及其方法
CN117894107A (zh) * 2024-03-14 2024-04-16 山东新竹智能科技有限公司 智能建筑安防监控***及方法

Also Published As

Publication number Publication date
CN114758424B (zh) 2022-09-02

Similar Documents

Publication Publication Date Title
CN114758424B (zh) 基于多重校验机制的智能支付设备及其支付方法
EP3690740B1 (en) Method for optimizing hyperparameters of auto-labeling device which auto-labels training images for use in deep learning network to analyze images with high precision, and optimizing device using the same
CN111931664A (zh) 混贴票据图像的处理方法、装置、计算机设备及存储介质
EP3844669A1 (en) Method and system for facilitating recognition of vehicle parts based on a neural network
CN108230291B (zh) 物体识别***训练方法、物体识别方法、装置和电子设备
CN109886330B (zh) 文本检测方法、装置、计算机可读存储介质和计算机设备
CN111667001A (zh) 目标重识别方法、装置、计算机设备和存储介质
CN114211975A (zh) 用于电动汽车的充电报警***及其工作方法
CN104143091A (zh) 基于改进mLBP的单样本人脸识别方法
CN112567398A (zh) 用于匹配不同输入数据的技术
CN112861970A (zh) 一种基于特征融合的细粒度图像分类方法
CN114022713A (zh) 模型训练方法、***、设备及介质
CN112183542A (zh) 基于文本图像的识别方法、装置、设备和介质
CN111275070B (zh) 一种基于局部特征匹配的签名验证方法及设备
CN115690714A (zh) 一种基于区域聚焦的多尺度道路目标检测方法
Gayathri et al. Novel deep learning model for vehicle and pothole detection
CN117475236A (zh) 用于矿产资源勘探的数据处理***及其方法
CN111985448A (zh) 车辆图像识别方法、装置、计算机设备及可读存储介质
US20230196841A1 (en) Behavior recognition artificial intelligence network system and method for efficient recognition of hand signals and gestures
Wang et al. Text detection algorithm based on improved YOLOv3
CN111126173A (zh) 一种高精度人脸检测方法
CN116229554A (zh) 基于用户牙齿的身份认证方法
CN110555462A (zh) 基于卷积神经网络的无固定多字符验证码识别方法
CN111681645A (zh) 情绪识别模型训练方法、情绪识别方法、装置及电子设备
CN111126310B (zh) 一种基于场景迁移的行人性别识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant