CN114758424B - 基于多重校验机制的智能支付设备及其支付方法 - Google Patents
基于多重校验机制的智能支付设备及其支付方法 Download PDFInfo
- Publication number
- CN114758424B CN114758424B CN202210663952.6A CN202210663952A CN114758424B CN 114758424 B CN114758424 B CN 114758424B CN 202210663952 A CN202210663952 A CN 202210663952A CN 114758424 B CN114758424 B CN 114758424B
- Authority
- CN
- China
- Prior art keywords
- feature map
- iris
- face
- map
- convolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000007246 mechanism Effects 0.000 title claims abstract description 94
- 238000012795 verification Methods 0.000 title claims abstract description 61
- 238000000034 method Methods 0.000 title claims abstract description 52
- 210000005252 bulbus oculi Anatomy 0.000 claims abstract description 109
- 238000003062 neural network model Methods 0.000 claims abstract description 18
- 230000004927 fusion Effects 0.000 claims abstract description 13
- 230000008569 process Effects 0.000 claims abstract description 12
- 238000013527 convolutional neural network Methods 0.000 claims description 56
- 238000001514 detection method Methods 0.000 claims description 46
- 238000010586 diagram Methods 0.000 claims description 46
- 230000003993 interaction Effects 0.000 claims description 30
- 230000006870 function Effects 0.000 claims description 21
- 238000000605 extraction Methods 0.000 claims description 19
- 239000011159 matrix material Substances 0.000 claims description 19
- 238000013528 artificial neural network Methods 0.000 claims description 17
- 238000012937 correction Methods 0.000 claims description 15
- 239000003623 enhancer Substances 0.000 claims description 14
- 230000004913 activation Effects 0.000 claims description 11
- 238000011176 pooling Methods 0.000 claims description 11
- 230000004044 response Effects 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 230000001815 facial effect Effects 0.000 claims description 4
- 230000009471 action Effects 0.000 claims description 3
- 238000005259 measurement Methods 0.000 claims description 3
- 230000003044 adaptive effect Effects 0.000 abstract description 20
- 230000000694 effects Effects 0.000 abstract description 6
- 210000000887 face Anatomy 0.000 description 6
- 230000001939 inductive effect Effects 0.000 description 5
- 238000007792 addition Methods 0.000 description 4
- 230000001680 brushing effect Effects 0.000 description 3
- 238000005034 decoration Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000005065 mining Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 102100033620 Calponin-1 Human genes 0.000 description 1
- 102100033591 Calponin-2 Human genes 0.000 description 1
- 101000945318 Homo sapiens Calponin-1 Proteins 0.000 description 1
- 101000945403 Homo sapiens Calponin-2 Proteins 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 210000001508 eye Anatomy 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000005215 recombination Methods 0.000 description 1
- 230000006798 recombination Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000004804 winding Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q20/00—Payment architectures, schemes or protocols
- G06Q20/08—Payment architectures
- G06Q20/14—Payment architectures specially adapted for billing systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q20/00—Payment architectures, schemes or protocols
- G06Q20/38—Payment protocols; Details thereof
- G06Q20/40—Authorisation, e.g. identification of payer or payee, verification of customer or shop credentials; Review and approval of payers, e.g. check credit lines or negative lists
- G06Q20/401—Transaction verification
- G06Q20/4014—Identity check for transactions
- G06Q20/40145—Biometric identity checks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/26—Government or public services
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Accounting & Taxation (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Finance (AREA)
- Health & Medical Sciences (AREA)
- General Business, Economics & Management (AREA)
- General Health & Medical Sciences (AREA)
- Strategic Management (AREA)
- Biomedical Technology (AREA)
- Software Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- Development Economics (AREA)
- Economics (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Molecular Biology (AREA)
- Tourism & Hospitality (AREA)
- Educational Administration (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Computer Security & Cryptography (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及智能支付的领域,其具体地公开了一种基于多重校验机制的智能支付设备及其支付方法,所述智能支付设备通过深度神经网络模型来从待校验对象的人脸图像和眼球区域图像中挖掘深层的局部隐含关联特征信息,以结合人脸识别和虹膜识别来提高支付的安全性和便利性,并且在此过程中,为了提高融合的效果以提高分类的准确性,进一步使用基于自注意力的数据密集簇机制对虹膜特征图进行加权,这样可以通过所述虹膜特征图内的数据密集簇的自适应依赖来提升融合后的特征图对于分类目标函数的参数自适应变化性以提高分类准确性,这样提高支付的安全性和便利性。
Description
技术领域
本发明涉及智能支付的领域,且更为具体地,涉及一种基于多重校验机制的智能支付设备及其支付方法。
背景技术
公共交通,尤其是地铁作为现在交通事业中的重要组成部分,在解决道路拥挤问题与提高通行效率方面起到关键性作用,但乘车支付的形式及支付速度成为一个备受关注的问题。支付的快慢与便捷不仅影响上车时间还决定着乘客的乘车体验,更决定着人们出行效率,对道路通行能力也会带来一定的影响。
目前乘坐公交的支付方式大多是现金、刷卡、扫码支付,而在乘坐过程中往往会出现一些不确定因素,如忘带公交卡、手机欠费、手机关机、扫码时的识别错误等,这些都会给我们的出行带来不便以至于无法支付,导致不能乘车的尴尬局面。
因此,期待一种用于公共交通领域的智能支付设备,其能够以无感支付的方式来进行运作以提高人们乘车出行的支付效率,让出行更加方便。
发明内容
为了解决上述技术问题,提出了本申请。本申请的实施例提供了一种基于多重校验机制的智能支付设备及其支付方法,其通过深度神经网络模型来从待校验对象的人脸图像和眼球区域图像中挖掘深层的局部隐含关联特征信息,以结合人脸识别和虹膜识别来提高支付的安全性和准确性,并且在此过程中,为了提高融合的效果以提高分类的准确性,进一步使用基于自注意力的数据密集簇机制对虹膜特征图进行加权,这样可以通过所述虹膜特征图内的数据密集簇的自适应依赖来提升融合后的特征图对于分类目标函数的参数自适应变化性以提高分类准确性,这样提高支付的安全性和便利性。
根据本申请的一个方面,提供了一种基于多重校验机制的智能支付设备,其包括:
人脸采集模块,用于获取由智能支付设备的摄像头采集的待校验对象的人脸图像;
人脸检测模块,用于将所述待校验对象的人脸图像通过作为人脸区域检测网络的第一卷积神经网络模型以得到人脸特征图;
眼球区域提取模块,用于基于眼球在所述人脸图像中的位置,从所述人脸特征图提取对应于所述眼球的眼球区域特征图;
眼球区域像素增强模块,用于将所述眼球区域特征图通过作为像素增强器的生成器模型以得到生成眼球区域图像;
虹膜特征提取模块,用于将所述生成眼球区域图像通过具有显著性检测模块的第二卷积神经网络模型以得到虹膜特征图;
特征分布校正模块,用于基于所述人脸特征图,使用基于自注意力的数据密集簇机制对所述虹膜特征图进行加权以得到加权后虹膜特征图,其中,所述使用基于自注意力的数据密集簇机制对虹膜特征图进行加权基于所述人脸特征图和所述虹膜特征图之间的按位置点乘所得到的空间交互特征图,以及,所述人脸特征图和所述虹膜特征图之间的距离来进行;
特征分布融合模块,用于融合所述加权后虹膜特征图和所述人脸特征图以得到分类特征图;
校验结果生成模块,用于将所述分类特征图通过分类器以得到分类结果,所述分类结果为待检验对象对应于数据库中的对象标签;以及
支付模块,用于基于所述对象标签所关联的支付账户中的金额,支付乘车所需的费用。
在上述基于多重校验机制的智能支付设备中,所述第一卷积神经网络模型为FastR-CNN、Faster R-CNN或RetinaNet。
在上述基于多重校验机制的智能支付设备中,所述虹膜特征提取模块,进一步用于以所述第二卷积神经网络的各层对输入数据进行如下方式的编码:以所述第二卷积神经网络的各层的第一卷积单元以第一卷积核对所述输入数据进行卷积编码以得到卷积特征图;以所述第二卷积神经网络的各层的第二卷积单元以第二卷积核对所述卷积特征图进行卷机编码以得到再卷积特征图,其中,所述第一卷积单元和所述第二卷积单元形成所述显著性特征检测模块,所述第一卷积核的尺寸大于所述第二卷积核的尺寸;以所述第二卷积神经网络的各层的池化单元对所述再卷积特征图进行基于局部特征矩阵的均值池化以得到池化特征图;以及,以所述第二卷积神经网络的各层的激活单元对所述池化特征图中各个位置的特征值进行非线性激活以得到激活特征图;其中,所述第二卷积神经网络的最后一层的输出为所述虹膜特征图。
在上述基于多重校验机制的智能支付设备中,所述特征分布校正模块,包括:空间交互特征图生成单元,用于计算所述人脸特征图和所述虹膜特征图之间的按位置点乘以得到所述空间交互特征图;数据差异性度量单元,用于计算所述人脸特征图和所述虹膜特征图之间欧式距离的平方根;注意力单元,用于以所述空间交互特征图中各个位置的特征值分别除以所述人脸特征图和所述虹膜特征图之间欧式距离的平方根以得到注意力特征图;指数运算单元,用于计算以所述注意力特征图中各个位置的特征值为幂的自然指数函数值以得到指数注意力特征图;第一类概率单元,用于将所述指数注意力特征图通过所述分类器以得到第一类概率指数;第二类概率单元,用于将所述虹膜特征图通过所述分类器以得到第二类概率指数;作用单元,用于计算所述第一类概率指数和所述第二类概率指数之间的乘积作为所述虹膜特征图的加权系数;以及,校正单元,用于以所述加权系数对所述虹膜特征图进行加权以得到所述加权后虹膜特征图。
在上述基于多重校验机制的智能支付设备中,所述特征分布校正模块,进一步用于以如下公式使用基于自注意力的数据密集簇机制对所述虹膜特征图进行加权以得到所述加权后虹膜特征图;
其中,所述公式为:
其中F face 表示所述人脸特征图,F iris 表示所述虹膜特征图,表示点乘,softmax(·)表示特征图通过分类器得到的概率值,d(·,·)表示特征图之间的距离,exp(·)表示特征图的指数运算,所述特征图的指数运算表示计算以特征图中各个位置的特征值为幂的自然指数函数值,特征图除以参数表示以特征图中各个位置的特征值分别除以参数。
在上述基于多重校验机制的智能支付设备中,所述特征分布融合模块,进一步用于:以如下公式融合所述加权后虹膜特征图和所述人脸特征图以得到所述分类特征图;
其中,所述公式为:
F=αwF
iris
+βF
face
其中,F为所述分类特征图,F iris 为所述虹膜特征图,F face 为所述人脸特征图,wF iris 表示所述加权后虹膜特征图,“+”表示所述加权后虹膜特征图和所述人脸特征图相对应位置处的元素相加,α和β为用于控制所述加权后虹膜特征图和所述人脸特征图之间的平衡的加权参数。
在上述基于多重校验机制的智能支付设备中,所述校验结果生成模块,进一步用于:所述分类器以如下公式对所述分类特征图进行处理以生成分类结果,其中,所述公式为:softmax{(W n , B n ):...:(W 1, B 1)|Project(F)},其中Project(F)表示将所述分类特征图投影为向量,W 1至W n 为各层全连接层的权重矩阵,B 1至B n 表示各层全连接层的偏置矩阵。
在上述基于多重校验机制的智能支付设备中,所述支付模块,进一步用于响应于所述对象标签所关联的支付账户中的金额小于所述乘车所需的费用,生成费用不足提示。
根据本申请的另一方面,一种基于多重校验机制的智能支付设备的支付方法,其包括:
获取由智能支付设备的摄像头采集的待校验对象的人脸图像;
将所述待校验对象的人脸图像通过作为人脸区域检测网络的第一卷积神经网络模型以得到人脸特征图;
基于眼球在所述人脸图像中的位置,从所述人脸特征图提取对应于所述眼球的眼球区域特征图;
将所述眼球区域特征图通过作为像素增强器的生成器模型以得到生成眼球区域图像;
将所述生成眼球区域图像通过具有显著性检测模块的第二卷积神经网络模型以得到虹膜特征图;
基于所述人脸特征图,使用基于自注意力的数据密集簇机制对所述虹膜特征图进行加权以得到加权后虹膜特征图,其中,所述使用基于自注意力的数据密集簇机制对虹膜特征图进行加权基于所述人脸特征图和所述虹膜特征图之间的按位置点乘所得到的空间交互特征图,以及,所述人脸特征图和所述虹膜特征图之间的距离来进行;
融合所述加权后虹膜特征图和所述人脸特征图以得到分类特征图;
将所述分类特征图通过分类器以得到分类结果,所述分类结果为待检验对象对应于数据库中的对象标签;以及
基于所述对象标签所关联的支付账户中的金额,支付乘车所需的费用。
在上述基于多重校验机制的智能支付设备的支付方法中,所述第一卷积神经网络模型为Fast R-CNN、Faster R-CNN或RetinaNet。
在上述基于多重校验机制的智能支付设备的支付方法中,将所述生成眼球区域图像通过具有显著性检测模块的第二卷积神经网络模型以得到虹膜特征图,包括:以所述第二卷积神经网络的各层对输入数据进行如下方式的编码:以所述第二卷积神经网络的各层的第一卷积单元以第一卷积核对所述输入数据进行卷积编码以得到卷积特征图;以所述第二卷积神经网络的各层的第二卷积单元以第二卷积核对所述卷积特征图进行卷机编码以得到再卷积特征图,其中,所述第一卷积单元和所述第二卷积单元形成所述显著性特征检测模块,所述第一卷积核的尺寸大于所述第二卷积核的尺寸;以所述第二卷积神经网络的各层的池化单元对所述再卷积特征图进行基于局部特征矩阵的均值池化以得到池化特征图;以及,以所述第二卷积神经网络的各层的激活单元对所述池化特征图中各个位置的特征值进行非线性激活以得到激活特征图;其中,所述第二卷积神经网络的最后一层的输出为所述虹膜特征图。
在上述基于多重校验机制的智能支付设备的支付方法中,基于所述人脸特征图,使用基于自注意力的数据密集簇机制对所述虹膜特征图进行加权以得到加权后虹膜特征图,包括:计算所述人脸特征图和所述虹膜特征图之间的按位置点乘以得到所述空间交互特征图;计算所述人脸特征图和所述虹膜特征图之间欧式距离的平方根;以所述空间交互特征图中各个位置的特征值分别除以所述人脸特征图和所述虹膜特征图之间欧式距离的平方根以得到注意力特征图;计算以所述注意力特征图中各个位置的特征值为幂的自然指数函数值以得到指数注意力特征图;将所述指数注意力特征图通过所述分类器以得到第一类概率指数;将所述虹膜特征图通过所述分类器以得到第二类概率指数;计算所述第一类概率指数和所述第二类概率指数之间的乘积作为所述虹膜特征图的加权系数;以及,以所述加权系数对所述虹膜特征图进行加权以得到所述加权后虹膜特征图。
在上述基于多重校验机制的智能支付设备的支付方法中,基于所述人脸特征图,使用基于自注意力的数据密集簇机制对所述虹膜特征图进行加权以得到加权后虹膜特征图,包括:以如下公式使用基于自注意力的数据密集簇机制对所述虹膜特征图进行加权以得到所述加权后虹膜特征图;
其中,所述公式为:
其中F face 表示所述人脸特征图,F iris 表示所述虹膜特征图,表示点乘,softmax(·)表示特征图通过分类器得到的概率值,d(·,·)表示特征图之间的距离,exp(·)表示特征图的指数运算,所述特征图的指数运算表示计算以特征图中各个位置的特征值为幂的自然指数函数值,特征图除以参数表示以特征图中各个位置的特征值分别除以参数。
在上述基于多重校验机制的智能支付设备的支付方法中,融合所述加权后虹膜特征图和所述人脸特征图以得到分类特征图,包括:以如下公式融合所述加权后虹膜特征图和所述人脸特征图以得到所述分类特征图;
其中,所述公式为:
F=αwF
iris
+βF
face
其中,F为所述分类特征图,F iris 为所述虹膜特征图,F face 为所述人脸特征图,wF iris 表示所述加权后虹膜特征图,“+”表示所述加权后虹膜特征图和所述人脸特征图相对应位置处的元素相加,α和β为用于控制所述加权后虹膜特征图和所述人脸特征图之间的平衡的加权参数。
在上述基于多重校验机制的智能支付设备的支付方法中,将所述分类特征图通过分类器以得到分类结果,包括:所述分类器以如下公式对所述分类特征图进行处理以生成分类结果;
其中,所述公式为:softmax{(W n , B n ):...:(W 1, B 1)|Project(F)},其中Project(F)表示将所述分类特征图投影为向量,W 1至W n 为各层全连接层的权重矩阵,B 1至B n 表示各层全连接层的偏置矩阵。
在上述基于多重校验机制的智能支付设备的支付方法中,基于所述对象标签所关联的支付账户中的金额,支付乘车所需的费用,包括:响应于所述对象标签所关联的支付账户中的金额小于所述乘车所需的费用,生成费用不足提示。
与现有技术相比,本申请提供的基于多重校验机制的智能支付设备及其支付方法,其通过深度神经网络模型来从待校验对象的人脸图像和眼球区域图像中挖掘深层的局部隐含关联特征信息,以结合人脸识别和虹膜识别来提高支付的安全性和准确性,并且在此过程中,为了提高融合的效果以提高分类的准确性,进一步使用基于自注意力的数据密集簇机制对虹膜特征图进行加权,这样可以通过所述虹膜特征图内的数据密集簇的自适应依赖来提升融合后的特征图对于分类目标函数的参数自适应变化性以提高分类准确性,这样提高支付的安全性和便利性。
附图说明
通过结合附图对本申请实施例进行更详细的描述,本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解,并且构成说明书的一部分,与本申请实施例一起用于解释本申请,并不构成对本申请的限制。在附图中,相同的参考标号通常代表相同部件或步骤。
图1为根据本申请实施例的基于多重校验机制的智能支付设备的应用场景图。
图2为根据本申请实施例的基于多重校验机制的智能支付设备的框图。
图3为根据本申请实施例的基于多重校验机制的智能支付设备中特征分布校正模块的框图。
图4为根据本申请实施例的基于多重校验机制的智能支付设备的支付方法的流程图。
图5为根据本申请实施例的基于多重校验机制的智能支付设备的支付方法的架构示意图。
具体实施方式
下面,将参考附图详细地描述根据本申请的示例实施例。显然,所描述的实施例仅仅是本申请的一部分实施例,而不是本申请的全部实施例,应理解,本申请不受这里描述的示例实施例的限制。
场景概述
如前所述,公共交通,尤其是地铁作为现在交通事业中的重要组成部分,在解决道路拥挤问题与提高通行效率方面起到关键性作用,但乘车支付的形式及支付速度成为一个备受关注的问题。支付的快慢与便捷不仅影响上车时间还决定着乘客的乘车体验,更决定着人们出行效率,对道路通行能力也会带来一定的影响。
目前乘坐公交的支付方式大多是现金、刷卡、扫码支付,而在乘坐过程中往往会出现一些不确定因素,如忘带公交卡、手机欠费、手机关机、扫码时的识别错误等,这些都会给我们的出行带来不便以至于无法支付,导致不能乘车的尴尬局面。因此,期待一种用于公共交通领域的智能支付设备,其能够以无感支付的方式来进行运作以提高人们乘车出行的支付效率,让出行更加方便。
相应地,考虑到刷脸支付是常用的无感支付手段,但在公共交通领域,刷脸支付却无法很好地满足应用场景要求。究其原因,本申请发明人发现人们在出行时会做各式各样的装饰,例如女性会化妆打扮、穿戴遮阳设备,这使得在刷脸支付时无法准确地识别人脸,导致无法支付或者错误支付。因此,在本申请中,本申请发明热尝试结合了人脸识别和虹膜识别来提高支付的安全性和便利性。
具体地,在本申请的技术方案中,首先,通过智能支付设备的摄像头采集待校验对象的人脸图像。然后,使用在图像的局部隐含特征提取方面具有优异表现的卷积神经网络来对所述待校验对象的人脸图像进行隐含特征的深层挖掘。应可以理解,基于深度学习的目标检测方法依据网络中是否使用锚窗将网络分为基于锚窗(Anchor-based)与无锚窗(Anchor-free)两大类。基于锚窗的方法如Fast R-CNN、Faster R-CNN、RetinaNet等,基于无锚窗的方法如 CenterNet、ExtremeNet、 RepPoints等。其中,使用基于锚窗的方法能够使得网络之间进行目标分类与边界框坐标的回归,加入先验使得训练稳定,并且其还能够有效地提高网络目标的召回能力,对于小目标检测来说提升非常明显。因此,在本申请的技术方案中,将所述待校验对象的人脸图像通过作为人脸区域检测网络的第一卷积神经网络模型以得到人脸特征图。特别地,这里,所述第一卷积神经网络模型为Fast R-CNN、FasterR-CNN或RetinaNet。
然后,进一步基于眼球在所述人脸图像中的位置,从所述人脸特征图提取对应于所述眼球的眼球区域特征图。这里,利用了卷积神经网络在提取特征的位置不变形,因此,所述人脸特征图中的对应于眼球的眼球区域特征图可以根据原图像中所述眼球在所述人脸图像中的位置来确定。应可以理解,由于通常所采集的所述待校验对象的人脸图像中的眼球图像的分辨率不高,无法清晰地识别虹膜,因此,在本申请的技术方案中,进一步将所述眼球区域特征图通过作为像素增强器的生成器模型以得到生成眼球区域图像。
这样,再将所述生成眼球区域图像通过具有显著性检测模块的第二卷积神经网络模型中进行局部高维隐含特征提取,以得到虹膜特征图。具体地,在本申请实施例中,以所述第二卷积神经网络的各层的第一卷积单元以第一卷积核对所述输入数据进行卷积编码以得到卷积特征图;再以所述第二卷积神经网络的各层的第二卷积单元以第二卷积核对所述卷积特征图进行卷机编码以得到再卷积特征图,其中,所述第一卷积单元和所述第二卷积单元形成所述显著性特征检测模块,所述第一卷积核的尺寸大于所述第二卷积核的尺寸;接着,以所述第二卷积神经网络的各层的池化单元对所述再卷积特征图进行基于局部特征矩阵的均值池化以得到池化特征图;以及,然后,以所述第二卷积神经网络的各层的激活单元对所述池化特征图中各个位置的特征值进行非线性激活以得到激活特征图;其中,所述第二卷积神经网络的最后一层的输出为所述虹膜特征图。
应可以理解,在获得虹膜特征图时,通过候选框作为参考窗提取图像中的局部区域,再通过分辨率增强和显著性检测获得虹膜特征图,这就使得虹膜特征图在数据密集程度上要高于人脸特征图,如果直接融合人脸特征图F face 和虹膜特征图F iris ,可能导致融合特征图相对于人脸特征图和虹膜特征图的分类偏差。
因此,使用基于自注意力的数据密集簇机制对虹膜特征图进行加权,具体为:
其中F face 表示所述人脸特征图,F iris 表示所述虹膜特征图,表示点乘,softmax(·)表示特征图通过分类器得到的概率值,d(·,·)表示特征图之间的距离,exp(·)表示特征图的指数运算,所述特征图的指数运算表示计算以特征图中各个位置的特征值为幂的自然指数函数值,特征图除以参数表示以特征图中各个位置的特征值分别除以参数。
这里,该基于自注意力的数据密集簇机制使能基于参考窗的局部特征与整体特征的空间交互,并通过特征图距离表示的数据相异性的度量来表达数据密集对象实例之间的相似度。通过以其对虹膜特征图加权后再与人脸特征图融合,可以通过虹膜特征图内的数据密集簇的自适应依赖来提升融合后的特征图对于分类目标函数的参数自适应变化性,从而提高分类准确性。
然后,融合所述加权后虹膜特征图和所述人脸特征图以得到分类特征图,再将所述分类特征图通过分类器以获得用于表示待检验对象对应于数据库中的对象标签的分类结果。进一步地,基于所述对象标签所关联的支付账户中的金额,支付乘车所需的费用。在本申请实施例中,响应于所述对象标签所关联的支付账户中的金额小于所述乘车所需的费用,生成费用不足提示。
基于此,本申请提出了一种基于多重校验机制的智能支付设备,其包括:人脸采集模块,用于获取由智能支付设备的摄像头采集的待校验对象的人脸图像;人脸检测模块,用于将所述待校验对象的人脸图像通过作为人脸区域检测网络的第一卷积神经网络模型以得到人脸特征图;眼球区域提取模块,用于基于眼球在所述人脸图像中的位置,从所述人脸特征图提取对应于所述眼球的眼球区域特征图;眼球区域像素增强模块,用于将所述眼球区域特征图通过作为像素增强器的生成器模型以得到生成眼球区域图像;虹膜特征提取模块,用于将所述生成眼球区域图像通过具有显著性检测模块的第二卷积神经网络模型以得到虹膜特征图;特征分布校正模块,用于基于所述人脸特征图,使用基于自注意力的数据密集簇机制对所述虹膜特征图进行加权以得到加权后虹膜特征图,其中,所述使用基于自注意力的数据密集簇机制对虹膜特征图进行加权基于所述人脸特征图和所述虹膜特征图之间的按位置点乘所得到的空间交互特征图,以及,所述人脸特征图和所述虹膜特征图之间的距离来进行;特征分布融合模块,用于融合所述加权后虹膜特征图和所述人脸特征图以得到分类特征图;校验结果生成模块,用于将所述分类特征图通过分类器以得到分类结果,所述分类结果为待检验对象对应于数据库中的对象标签;以及,支付模块,用于基于所述对象标签所关联的支付账户中的金额,支付乘车所需的费用。
图1图示了根据本申请实施例的基于多重校验机制的智能支付设备的应用场景图。如图1所示,在该应用场景中,首先,通过智能支付设备(例如,如图1中所示意的T)中的摄像头(例如,如图1中所示意的C)采集待校验对象的人脸图像。然后,将获取的所述待校验对象的人脸图像输入至部署有基于多重校验机制的智能支付算法的服务器中(例如,如图1中所示意的云服务器S),其中,所述服务器能够以基于多重校验机制的智能支付算法对所述待校验对象的人脸图像进行处理,以生成用于表示待检验对象对应于数据库中的对象标签的分类结果,进而,基于所述对象标签所关联的支付账户中的金额,支付乘车所需的费用。
在介绍了本申请的基本原理之后,下面将参考附图来具体介绍本申请的各种非限制性实施例。
示例性***
图2图示了根据本申请实施例的基于多重校验机制的智能支付设备的框图。如图2所示,根据本申请实施例的基于多重校验机制的智能支付设备 200,包括:人脸采集模块210,用于获取由智能支付设备的摄像头采集的待校验对象的人脸图像;人脸检测模块220,用于将所述待校验对象的人脸图像通过作为人脸区域检测网络的第一卷积神经网络模型以得到人脸特征图;眼球区域提取模块 230,用于基于眼球在所述人脸图像中的位置,从所述人脸特征图提取对应于所述眼球的眼球区域特征图;眼球区域像素增强模块 240,用于将所述眼球区域特征图通过作为像素增强器的生成器模型以得到生成眼球区域图像;虹膜特征提取模块 250,用于将所述生成眼球区域图像通过具有显著性检测模块的第二卷积神经网络模型以得到虹膜特征图;特征分布校正模块 260,用于基于所述人脸特征图,使用基于自注意力的数据密集簇机制对所述虹膜特征图进行加权以得到加权后虹膜特征图,其中,所述使用基于自注意力的数据密集簇机制对虹膜特征图进行加权基于所述人脸特征图和所述虹膜特征图之间的按位置点乘所得到的空间交互特征图,以及,所述人脸特征图和所述虹膜特征图之间的距离来进行;特征分布融合模块 270,用于融合所述加权后虹膜特征图和所述人脸特征图以得到分类特征图;校验结果生成模块 280,用于将所述分类特征图通过分类器以得到分类结果,所述分类结果为待检验对象对应于数据库中的对象标签;以及,支付模块 290,用于基于所述对象标签所关联的支付账户中的金额,支付乘车所需的费用。
具体地,在本申请实施例中,所述人脸采集模块 210和所述人脸检测模块 220,用于获取由智能支付设备的摄像头采集的待校验对象的人脸图像,并将所述待校验对象的人脸图像通过作为人脸区域检测网络的第一卷积神经网络模型以得到人脸特征图。如前所述,考虑到刷脸支付是常用的无感支付手段,但在公共交通领域,刷脸支付却无法很好地满足应用场景要求。究其原因,是由于人们在出行时会做各式各样的装饰,例如女性会化妆打扮、穿戴遮阳设备,这使得在刷脸支付时无法准确地识别人脸,导致无法支付或者错误支付。因此,在本申请的技术方案中,期望结合人脸识别和虹膜识别来提高支付的安全性和准确性。
具体地,在本申请的技术方案中,首先,通过智能支付设备的摄像头采集待校验对象的人脸图像。然后,使用在图像的局部隐含特征提取方面具有优异表现的卷积神经网络来对所述待校验对象的人脸图像进行隐含特征的深层挖掘。应可以理解,基于深度学习的目标检测方法依据网络中是否使用锚窗将网络分为基于锚窗(Anchor-based)与无锚窗(Anchor-free)两大类。所述基于锚窗的方法如Fast R-CNN、Faster R-CNN、RetinaNet等,所述基于无锚窗的方法如 CenterNet、ExtremeNet、 RepPoints等。其中,使用所述基于锚窗的方法能够使得网络之间进行目标分类与边界框坐标的回归,加入先验使得训练稳定,并且其还能够有效地提高网络目标的召回能力,对于小目标检测来说提升非常明显。因此,在本申请的技术方案中,将所述待校验对象的人脸图像通过作为人脸区域检测网络的第一卷积神经网络模型中进行处理,以提取出所述人脸图像中的局部高维隐含特征分布,以得到人脸特征图。特别地,这里,所述第一卷积神经网络模型为Fast R-CNN、Faster R-CNN或RetinaNet。
具体地,在本申请实施例中,所述眼球区域提取模块 230和所述眼球区域像素增强模块 240,用于基于眼球在所述人脸图像中的位置,从所述人脸特征图提取对应于所述眼球的眼球区域特征图,并将所述眼球区域特征图通过作为像素增强器的生成器模型以得到生成眼球区域图像。也就是,为了结合人脸识别和虹膜识别来提高支付的安全性和准确性,进一步基于眼球在所述人脸图像中的位置,从所述人脸特征图提取对应于所述眼球的眼球区域特征图。应可以理解,这里,利用了卷积神经网络在提取特征的位置不变形,因此,在本申请的技术方案中,所述人脸特征图中的对应于眼球的眼球区域特征图可以根据原图像中所述眼球在所述人脸图像中的位置来确定。
然后,应可以理解,由于通常所采集的所述待校验对象的人脸图像中的眼球图像的分辨率不高,无法清晰地识别虹膜,因此,在本申请的技术方案中,进一步将所述眼球区域特征图通过作为像素增强器的生成器模型以得到生成特征增强后的眼球区域图像。
具体地,在本申请实施例中,所述虹膜特征提取模块 250,用于将所述生成眼球区域图像通过具有显著性检测模块的第二卷积神经网络模型以得到虹膜特征图。也就是,在本申请的技术方案中,这样,再将所述生成眼球区域图像通过具有显著性检测模块的第二卷积神经网络模型中进行局部高维隐含特征提取,以得到对应于眼球区域的虹膜特征图。
更具体地,在本申请实施例中,所述虹膜特征提取模块,进一步用于以所述第二卷积神经网络的各层对输入数据进行如下方式的编码:以所述第二卷积神经网络的各层的第一卷积单元以第一卷积核对所述输入数据进行卷积编码以得到卷积特征图;以所述第二卷积神经网络的各层的第二卷积单元以第二卷积核对所述卷积特征图进行卷机编码以得到再卷积特征图,其中,所述第一卷积单元和所述第二卷积单元形成所述显著性特征检测模块,所述第一卷积核的尺寸大于所述第二卷积核的尺寸;以所述第二卷积神经网络的各层的池化单元对所述再卷积特征图进行基于局部特征矩阵的均值池化以得到池化特征图;以及,以所述第二卷积神经网络的各层的激活单元对所述池化特征图中各个位置的特征值进行非线性激活以得到激活特征图;其中,所述第二卷积神经网络的最后一层的输出为所述虹膜特征图。
具体地,在本申请实施例中,所述特征分布校正模块 260,用于基于所述人脸特征图,使用基于自注意力的数据密集簇机制对所述虹膜特征图进行加权以得到加权后虹膜特征图,其中,所述使用基于自注意力的数据密集簇机制对虹膜特征图进行加权基于所述人脸特征图和所述虹膜特征图之间的按位置点乘所得到的空间交互特征图,以及,所述人脸特征图和所述虹膜特征图之间的距离来进行。应可以理解,在获得所述虹膜特征图时,通过候选框作为参考窗提取图像中的局部区域,再通过分辨率增强和显著性检测获得所述虹膜特征图,这就使得所述虹膜特征图在数据密集程度上要高于所述人脸特征图,如果直接融合所述人脸特征图F face 和所述虹膜特征图F iris ,可能导致融合特征图相对于所述人脸特征图和所述虹膜特征图的分类偏差。因此,在本申请的技术方案中,进一步使用基于自注意力的数据密集簇机制对虹膜特征图进行加权。
相应地,在一个具体示例中,首先,计算所述人脸特征图和所述虹膜特征图之间的按位置点乘以得到所述空间交互特征图。接着,计算所述人脸特征图和所述虹膜特征图之间欧式距离的平方根。然后,以所述空间交互特征图中各个位置的特征值分别除以所述人脸特征图和所述虹膜特征图之间欧式距离的平方根以得到注意力特征图。接着,计算以所述注意力特征图中各个位置的特征值为幂的自然指数函数值以得到指数注意力特征图。然后,将所述指数注意力特征图通过所述分类器以得到第一类概率指数。接着,将所述虹膜特征图通过所述分类器以得到第二类概率指数。然后,计算所述第一类概率指数和所述第二类概率指数之间的乘积作为所述虹膜特征图的加权系数。最后,以所述加权系数对所述虹膜特征图进行加权以得到所述加权后虹膜特征图。应可以理解,基于所述自注意力的数据密集簇机制使能基于参考窗的局部特征与整体特征的空间交互,并通过特征图距离表示的数据相异性的度量来表达数据密集对象实例之间的相似度。这样,通过以其对所述虹膜特征图加权后再与所述人脸特征图融合,可以通过所述虹膜特征图内的数据密集簇的自适应依赖来提升融合后的特征图对于分类目标函数的参数自适应变化性,从而提高分类准确性。
更具体地,在本申请实施例中,所述特征分布校正模块,进一步用于:以如下公式使用基于自注意力的数据密集簇机制对所述虹膜特征图进行加权以得到所述加权后虹膜特征图;
其中,所述公式为:
其中F face 表示所述人脸特征图,F iris 表示所述虹膜特征图,表示点乘,softmax(·)表示特征图通过分类器得到的概率值,d(·,·)表示特征图之间的距离,exp(·)表示特征图的指数运算,所述特征图的指数运算表示计算以特征图中各个位置的特征值为幂的自然指数函数值,特征图除以参数表示以特征图中各个位置的特征值分别除以参数。
图3图示了根据本申请实施例的基于多重校验机制的智能支付设备中特征分布校正模块的框图。如图3所示,所述特征分布校正模块 260,包括:空间交互特征图生成单元261,用于计算所述人脸特征图和所述虹膜特征图之间的按位置点乘以得到所述空间交互特征图;数据差异性度量单元 262,用于计算所述人脸特征图和所述虹膜特征图之间欧式距离的平方根;注意力单元 263,用于以所述空间交互特征图中各个位置的特征值分别除以所述人脸特征图和所述虹膜特征图之间欧式距离的平方根以得到注意力特征图;指数运算单元264,用于计算以所述注意力特征图中各个位置的特征值为幂的自然指数函数值以得到指数注意力特征图;第一类概率单元 265,用于将所述指数注意力特征图通过所述分类器以得到第一类概率指数;第二类概率单元 266,用于将所述虹膜特征图通过所述分类器以得到第二类概率指数;作用单元 267,用于计算所述第一类概率指数和所述第二类概率指数之间的乘积作为所述虹膜特征图的加权系数;以及,校正单元 268,用于以所述加权系数对所述虹膜特征图进行加权以得到所述加权后虹膜特征图。
具体地,在本申请实施例中,所述特征分布融合模块 270,用于融合所述加权后虹膜特征图和所述人脸特征图以得到分类特征图。应可以理解,这样,通过使用所述基于自注意力的数据密集簇机制对所述虹膜特征图加权后再与所述人脸特征图融合,可以通过所述虹膜特征图内的数据密集簇的自适应依赖来提升融合后的所述分类特征图对于分类目标函数的参数自适应变化性,从而提高分类准确性。
更具体地,在本申请实施例中,所述特征分布融合模块,进一步用于:以如下公式融合所述加权后虹膜特征图和所述人脸特征图以得到所述分类特征图;
其中,所述公式为:
F=αwF
iris
+βF
face
其中,F为所述分类特征图,F iris 为所述虹膜特征图,F face 为所述人脸特征图,wF iris 表示所述加权后虹膜特征图,“+”表示所述加权后虹膜特征图和所述人脸特征图相对应位置处的元素相加,α和β为用于控制所述加权后虹膜特征图和所述人脸特征图之间的平衡的加权参数。
具体地,在本申请实施例中,所述校验结果生成模块 280和所述支付模块 290,用于将所述分类特征图通过分类器以得到分类结果,所述分类结果为待检验对象对应于数据库中的对象标签,并基于所述对象标签所关联的支付账户中的金额,支付乘车所需的费用。也就是,在本申请的技术方案中,在得到所述分类特征图后,进一步将所述分类特征图通过分类器中以获得用于表示待检验对象对应于数据库中的对象标签的分类结果,进而,基于所述对象标签所关联的支付账户中的金额,支付乘车所需的费用。相应地,在一个具体示例中,响应于所述对象标签所关联的支付账户中的金额小于所述乘车所需的费用,生成费用不足提示。
更具体地,在本申请实施例中,所述分类器以如下公式对所述分类特征图进行处理以生成分类结果;
所述公式为:softmax{(W n , B n ):...:(W 1, B 1)|Project(F)},其中Project(F)表示将所述分类特征图投影为向量,W 1至W n 为各层全连接层的权重矩阵,B 1至B n 表示各层全连接层的偏置矩阵。
综上,基于本申请实施例的所述基于多重校验机制的智能支付设备 200被阐明,其通过深度神经网络模型来从待校验对象的人脸图像和眼球区域图像中挖掘深层的局部隐含关联特征信息,以结合人脸识别和虹膜识别来提高支付的安全性和准确性,并且在此过程中,为了提高融合的效果以提高分类的准确性,进一步使用基于自注意力的数据密集簇机制对虹膜特征图进行加权,这样可以通过所述虹膜特征图内的数据密集簇的自适应依赖来提升融合后的特征图对于分类目标函数的参数自适应变化性,从而提高分类准确性。
如上所述,根据本申请实施例的基于多重校验机制的智能支付设备 200可以实现在各种终端设备中,例如基于多重校验机制的智能支付算法的服务器等。在一个示例中,根据本申请实施例的基于多重校验机制的智能支付设备 200可以作为一个软件模块和/或硬件模块而集成到终端设备中。例如,该基于多重校验机制的智能支付设备 200可以是该终端设备的操作***中的一个软件模块,或者可以是针对于该终端设备所开发的一个应用程序;当然,该基于多重校验机制的智能支付设备 200同样可以是该终端设备的众多硬件模块之一。
替换地,在另一示例中,该基于多重校验机制的智能支付设备 200与该终端设备也可以是分立的设备,并且该基于多重校验机制的智能支付设备 200可以通过有线和/或无线网络连接到该终端设备,并且按照约定的数据格式来传输交互信息。
示例性方法
图4图示了基于多重校验机制的智能支付设备的支付方法的流程图。如图4所示,根据本申请实施例的基于多重校验机制的智能支付设备的支付方法,包括步骤:S110,获取由智能支付设备的摄像头采集的待校验对象的人脸图像;S120,将所述待校验对象的人脸图像通过作为人脸区域检测网络的第一卷积神经网络模型以得到人脸特征图;S130,基于眼球在所述人脸图像中的位置,从所述人脸特征图提取对应于所述眼球的眼球区域特征图;S140,将所述眼球区域特征图通过作为像素增强器的生成器模型以得到生成眼球区域图像;S150,将所述生成眼球区域图像通过具有显著性检测模块的第二卷积神经网络模型以得到虹膜特征图;S160,基于所述人脸特征图,使用基于自注意力的数据密集簇机制对所述虹膜特征图进行加权以得到加权后虹膜特征图,其中,所述使用基于自注意力的数据密集簇机制对虹膜特征图进行加权基于所述人脸特征图和所述虹膜特征图之间的按位置点乘所得到的空间交互特征图,以及,所述人脸特征图和所述虹膜特征图之间的距离来进行;S170,融合所述加权后虹膜特征图和所述人脸特征图以得到分类特征图;S180,将所述分类特征图通过分类器以得到分类结果,所述分类结果为待检验对象对应于数据库中的对象标签;以及,S190,基于所述对象标签所关联的支付账户中的金额,支付乘车所需的费用。
图5图示了根据本申请实施例的基于多重校验机制的智能支付设备的支付方法的架构示意图。如图5所示,在所述基于多重校验机制的智能支付设备的支付方法的网络架构中,首先,将获得的所述待校验对象的人脸图像(例如,如图5中所示意的P1)通过作为人脸区域检测网络的第一卷积神经网络模型(例如,如图5中所示意的CNN1)以得到人脸特征图(例如,如图5中所示意的F1);接着,基于眼球在所述人脸图像中的位置,从所述人脸特征图提取对应于所述眼球的眼球区域特征图(例如,如图5中所示意的F2);然后,将所述眼球区域特征图通过作为像素增强器的生成器模型(例如,如图5中所示意的GM)以得到生成眼球区域图像(例如,如图5中所示意的F3);接着,将所述生成眼球区域图像通过具有显著性检测模块的第二卷积神经网络模型(例如,如图5中所示意的CNN2)以得到虹膜特征图(例如,如图5中所示意的F4);然后,基于所述人脸特征图,使用基于自注意力的数据密集簇机制(例如,如图5中所示意的DCM)对所述虹膜特征图进行加权以得到加权后虹膜特征图(例如,如图5中所示意的F);接着,融合所述加权后虹膜特征图和所述人脸特征图以得到分类特征图(例如,如图5中所示意的FC);然后,将所述分类特征图通过分类器(例如,如图5中所示意的分类器)以得到分类结果,所述分类结果为待检验对象对应于数据库中的对象标签;以及,最后,基于所述对象标签所关联的支付账户中的金额,支付乘车所需的费用。将获得的所述当前时间点的输入信号波形(例如,如图5中所示意的IN1)和输出信号波形(例如,如图4中所示意的IN2)分别输入卷积神经网络(例如,如图4中所示意的CNN)以获得输入信号特征图(例如,如图4中所示意的F1)和输出信号特征图(例如,如图4中所示意的F2);接着,分别对所述输入信号特征图和所述输出信号特征图进行沿通道维度的池化以获得输入特征矩阵(例如,如图4中所示意的M1)和输出特征矩阵(例如,如图4中所示意的M2);然后,将所述眼球区域特征图通过作为像素增强器的生成器模型以得到生成眼球区域图像(例如,如图4中所示意的MT1);接着,将获得的所述当期时间点之前的一系列预定时间点的输入信号波形(例如,如图4中所示意的IN3)和输出信号波形(例如,如图4中所示意的IN4)分别以处理所述当前时间点的输入信号波形和输出信号波形的方式进行处理,以获得第二转移矩阵至第n转移矩阵(例如,如图4中所示意的MT2-MTn);然后,融合所述加权后虹膜特征图和所述人脸特征图以得到分类特征图(例如,如图4中所示意的MD);接着,对所述距离矩阵进行相关坐标估计以获得分类矩阵(例如,如图4中所示意的MC);以及,最后,将所述分类矩阵通过用于回归的编码器(例如,如图4中所示意的E)以获得所需的PWN激励波的占空比。
更具体地,在步骤S110和步骤S120中,获取由智能支付设备的摄像头采集的待校验对象的人脸图像,并将所述待校验对象的人脸图像通过作为人脸区域检测网络的第一卷积神经网络模型以得到人脸特征图。应可以理解,考虑到刷脸支付是常用的无感支付手段,但在公共交通领域,刷脸支付却无法很好地满足应用场景要求。究其原因,是由于人们在出行时会做各式各样的装饰,例如女性会化妆打扮、穿戴遮阳设备,这使得在刷脸支付时无法准确地识别人脸,导致无法支付或者错误支付。因此,在本申请的技术方案中,期望结合人脸识别和虹膜识别来提高支付的安全性和准确性。
具体地,在本申请的技术方案中,首先,通过智能支付设备的摄像头采集待校验对象的人脸图像。然后,使用在图像的局部隐含特征提取方面具有优异表现的卷积神经网络来对所述待校验对象的人脸图像进行隐含特征的深层挖掘。应可以理解,基于深度学习的目标检测方法依据网络中是否使用锚窗将网络分为基于锚窗(Anchor-based)与无锚窗(Anchor-free)两大类。所述基于锚窗的方法如Fast R-CNN、Faster R-CNN、RetinaNet等,所述基于无锚窗的方法如 CenterNet、ExtremeNet、 RepPoints等。其中,使用所述基于锚窗的方法能够使得网络之间进行目标分类与边界框坐标的回归,加入先验使得训练稳定,并且其还能够有效地提高网络目标的召回能力,对于小目标检测来说提升非常明显。因此,在本申请的技术方案中,将所述待校验对象的人脸图像通过作为人脸区域检测网络的第一卷积神经网络模型中进行处理,以提取出所述人脸图像中的局部高维隐含特征分布,以得到人脸特征图。特别地,这里,所述第一卷积神经网络模型为Fast R-CNN、Faster R-CNN或RetinaNet。
更具体地,在步骤S130和步骤S140中,基于眼球在所述人脸图像中的位置,从所述人脸特征图提取对应于所述眼球的眼球区域特征图,并将所述眼球区域特征图通过作为像素增强器的生成器模型以得到生成眼球区域图像。也就是,为了结合人脸识别和虹膜识别来提高支付的安全性和准确性,进一步基于眼球在所述人脸图像中的位置,从所述人脸特征图提取对应于所述眼球的眼球区域特征图。应可以理解,这里,利用了卷积神经网络在提取特征的位置不变形,因此,在本申请的技术方案中,所述人脸特征图中的对应于眼球的眼球区域特征图可以根据原图像中所述眼球在所述人脸图像中的位置来确定。
然后,应可以理解,由于通常所采集的所述待校验对象的人脸图像中的眼球图像的分辨率不高,无法清晰地识别虹膜,因此,在本申请的技术方案中,进一步将所述眼球区域特征图通过作为像素增强器的生成器模型以得到生成特征增强后的眼球区域图像。
更具体地,在步骤S150中,将所述生成眼球区域图像通过具有显著性检测模块的第二卷积神经网络模型以得到虹膜特征图。也就是,在本申请的技术方案中,这样,再将所述生成眼球区域图像通过具有显著性检测模块的第二卷积神经网络模型中进行局部高维隐含特征提取,以得到对应于眼球区域的虹膜特征图。
更具体地,在步骤S160中,基于所述人脸特征图,使用基于自注意力的数据密集簇机制对所述虹膜特征图进行加权以得到加权后虹膜特征图,其中,所述使用基于自注意力的数据密集簇机制对虹膜特征图进行加权基于所述人脸特征图和所述虹膜特征图之间的按位置点乘所得到的空间交互特征图,以及,所述人脸特征图和所述虹膜特征图之间的距离来进行。应可以理解,在获得所述虹膜特征图时,通过候选框作为参考窗提取图像中的局部区域,再通过分辨率增强和显著性检测获得所述虹膜特征图,这就使得所述虹膜特征图在数据密集程度上要高于所述人脸特征图,如果直接融合所述人脸特征图F face 和所述虹膜特征图F iris ,可能导致融合特征图相对于所述人脸特征图和所述虹膜特征图的分类偏差。因此,在本申请的技术方案中,进一步使用基于自注意力的数据密集簇机制对虹膜特征图进行加权。
相应地,在一个具体示例中,首先,计算所述人脸特征图和所述虹膜特征图之间的按位置点乘以得到所述空间交互特征图。接着,计算所述人脸特征图和所述虹膜特征图之间欧式距离的平方根。然后,以所述空间交互特征图中各个位置的特征值分别除以所述人脸特征图和所述虹膜特征图之间欧式距离的平方根以得到注意力特征图。接着,计算以所述注意力特征图中各个位置的特征值为幂的自然指数函数值以得到指数注意力特征图。然后,将所述指数注意力特征图通过所述分类器以得到第一类概率指数。接着,将所述虹膜特征图通过所述分类器以得到第二类概率指数。然后,计算所述第一类概率指数和所述第二类概率指数之间的乘积作为所述虹膜特征图的加权系数。最后,以所述加权系数对所述虹膜特征图进行加权以得到所述加权后虹膜特征图。应可以理解,基于所述自注意力的数据密集簇机制使能基于参考窗的局部特征与整体特征的空间交互,并通过特征图距离表示的数据相异性的度量来表达数据密集对象实例之间的相似度。这样,通过以其对所述虹膜特征图加权后再与所述人脸特征图融合,可以通过所述虹膜特征图内的数据密集簇的自适应依赖来提升融合后的特征图对于分类目标函数的参数自适应变化性,从而提高分类准确性。
更具体地,在步骤S170中,融合所述加权后虹膜特征图和所述人脸特征图以得到分类特征图。应可以理解,这样,通过使用所述基于自注意力的数据密集簇机制对所述虹膜特征图加权后再与所述人脸特征图融合,可以通过所述虹膜特征图内的数据密集簇的自适应依赖来提升融合后的所述分类特征图对于分类目标函数的参数自适应变化性,从而提高分类准确性。
更具体地,在步骤S180和步骤S190中,将所述分类特征图通过分类器以得到分类结果,所述分类结果为待检验对象对应于数据库中的对象标签,并基于所述对象标签所关联的支付账户中的金额,支付乘车所需的费用。也就是,在本申请的技术方案中,在得到所述分类特征图后,进一步将所述分类特征图通过分类器中以获得用于表示待检验对象对应于数据库中的对象标签的分类结果,进而,基于所述对象标签所关联的支付账户中的金额,支付乘车所需的费用。相应地,在一个具体示例中,响应于所述对象标签所关联的支付账户中的金额小于所述乘车所需的费用,生成费用不足提示。
综上,基于本申请实施例的所述基于多重校验机制的智能支付设备的支付方法被阐明,其通过深度神经网络模型来从待校验对象的人脸图像和眼球区域图像中挖掘深层的局部隐含关联特征信息,以结合人脸识别和虹膜识别来提高支付的安全性和准确性,并且在此过程中,为了提高融合的效果以提高分类的准确性,进一步使用基于自注意力的数据密集簇机制对虹膜特征图进行加权,这样可以通过所述虹膜特征图内的数据密集簇的自适应依赖来提升融合后的特征图对于分类目标函数的参数自适应变化性以提高分类准确性,这样提高支付的安全性和便利性。
以上结合具体实施例描述了本申请的基本原理,但是,需要指出的是,在本申请中提及的优点、优势、效果等仅是示例而非限制,不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外,上述公开的具体细节仅是为了示例的作用和便于理解的作用,而非限制,上述细节并不限制本申请为必须采用上述具体的细节来实现。
本申请中涉及的器件、装置、设备、***的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的,可以按任意方式连接、布置、配置这些器件、装置、设备、***。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇,指“包括但不限于”,且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”,且可与其互换使用,除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”,且可与其互换使用。
还需要指出的是,在本申请的装置、设备和方法中,各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的,并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此,本申请不意图被限制到在此示出的方面,而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外,此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例,但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。
Claims (8)
1.一种基于多重校验机制的智能支付设备,其特征在于,包括:
人脸采集模块,用于获取由智能支付设备的摄像头采集的待校验对象的人脸图像;
人脸检测模块,用于将所述待校验对象的人脸图像通过作为人脸区域检测网络的第一卷积神经网络模型以得到人脸特征图;
眼球区域提取模块,用于基于眼球在所述人脸图像中的位置,从所述人脸特征图提取对应于所述眼球的眼球区域特征图;
眼球区域像素增强模块,用于将所述眼球区域特征图通过作为像素增强器的生成器模型以得到生成眼球区域图像;
虹膜特征提取模块,用于将所述生成眼球区域图像通过具有显著性检测模块的第二卷积神经网络模型以得到虹膜特征图;
特征分布校正模块,用于基于所述人脸特征图,使用基于自注意力的数据密集簇机制对所述虹膜特征图进行加权以得到加权后虹膜特征图,其中,所述使用基于自注意力的数据密集簇机制对虹膜特征图进行加权基于所述人脸特征图和所述虹膜特征图之间的按位置点乘所得到的空间交互特征图,以及,所述人脸特征图和所述虹膜特征图之间的距离来进行;
特征分布融合模块,用于融合所述加权后虹膜特征图和所述人脸特征图以得到分类特征图;
校验结果生成模块,用于将所述分类特征图通过分类器以得到分类结果,所述分类结果为待检验对象对应于数据库中的对象标签;以及
支付模块,用于基于所述对象标签所关联的支付账户中的金额,支付乘车所需的费用;
其中,所述特征分布校正模块,包括:
空间交互特征图生成单元,用于计算所述人脸特征图和所述虹膜特征图之间的按位置点乘以得到所述空间交互特征图;
数据差异性度量单元,用于计算所述人脸特征图和所述虹膜特征图之间欧式距离的平方根;
注意力单元,用于以所述空间交互特征图中各个位置的特征值分别除以所述人脸特征图和所述虹膜特征图之间欧式距离的平方根以得到注意力特征图;
指数运算单元,用于计算以所述注意力特征图中各个位置的特征值为幂的自然指数函数值以得到指数注意力特征图;
第一类概率单元,用于将所述指数注意力特征图通过所述分类器以得到第一类概率指数;
第二类概率单元,用于将所述虹膜特征图通过所述分类器以得到第二类概率指数;
作用单元,用于计算所述第一类概率指数和所述第二类概率指数之间的乘积作为所述虹膜特征图的加权系数;以及
校正单元,用于以所述加权系数对所述虹膜特征图进行加权以得到所述加权后虹膜特征图。
2.根据权利要求1所述的基于多重校验机制的智能支付设备,其中,所述第一卷积神经网络模型为Fast R-CNN、Faster R-CNN或RetinaNet。
3.根据权利要求2所述的基于多重校验机制的智能支付设备,其中,所述虹膜特征提取模块,进一步用于以所述第二卷积神经网络的各层对输入数据进行如下方式的编码:
以所述第二卷积神经网络的各层的第一卷积单元以第一卷积核对所述输入数据进行卷积编码以得到卷积特征图;
以所述第二卷积神经网络的各层的第二卷积单元以第二卷积核对所述卷积特征图进行卷机编码以得到再卷积特征图,其中,所述第一卷积单元和所述第二卷积单元形成所述显著性特征检测模块,所述第一卷积核的尺寸大于所述第二卷积核的尺寸;
以所述第二卷积神经网络的各层的池化单元对所述再卷积特征图进行基于局部特征矩阵的均值池化以得到池化特征图;以及
以所述第二卷积神经网络的各层的激活单元对所述池化特征图中各个位置的特征值进行非线性激活以得到激活特征图;
其中,所述第二卷积神经网络的最后一层的输出为所述虹膜特征图。
5.根据权利要求4所述的基于多重校验机制的智能支付设备,其中,所述特征分布融合模块,进一步用于:以如下公式融合所述加权后虹膜特征图和所述人脸特征图以得到所述分类特征图;
其中,所述公式为:
F=αwF
iris
+βF
face
其中,F为所述分类特征图,F iris 为所述虹膜特征图,F face 为所述人脸特征图,wF iris 表示所述加权后虹膜特征图,“+”表示所述加权后虹膜特征图和所述人脸特征图相对应位置处的元素相加,α和β为用于控制所述加权后虹膜特征图和所述人脸特征图之间的平衡的加权参数。
6.根据权利要求5所述的基于多重校验机制的智能支付设备,其中,所述校验结果生成模块,进一步用于:所述分类器以如下公式对所述分类特征图进行处理以生成分类结果;
其中,所述公式为:softmax{(W n , B n ):...:(W 1, B 1)|Project(F)},其中Project(F)表示将所述分类特征图投影为向量,W 1至W n 为各层全连接层的权重矩阵,B 1至B n 表示各层全连接层的偏置矩阵。
7.根据权利要求6所述的基于多重校验机制的智能支付设备,其中,所述支付模块,进一步用于响应于所述对象标签所关联的支付账户中的金额小于所述乘车所需的费用,生成费用不足提示。
8.一种基于多重校验机制的智能支付设备的支付方法,其特征在于,包括:
获取由智能支付设备的摄像头采集的待校验对象的人脸图像;
将所述待校验对象的人脸图像通过作为人脸区域检测网络的第一卷积神经网络模型以得到人脸特征图;
基于眼球在所述人脸图像中的位置,从所述人脸特征图提取对应于所述眼球的眼球区域特征图;
将所述眼球区域特征图通过作为像素增强器的生成器模型以得到生成眼球区域图像;
将所述生成眼球区域图像通过具有显著性检测模块的第二卷积神经网络模型以得到虹膜特征图;
基于所述人脸特征图,使用基于自注意力的数据密集簇机制对所述虹膜特征图进行加权以得到加权后虹膜特征图,其中,所述使用基于自注意力的数据密集簇机制对虹膜特征图进行加权基于所述人脸特征图和所述虹膜特征图之间的按位置点乘所得到的空间交互特征图,以及,所述人脸特征图和所述虹膜特征图之间的距离来进行;
融合所述加权后虹膜特征图和所述人脸特征图以得到分类特征图;
将所述分类特征图通过分类器以得到分类结果,所述分类结果为待检验对象对应于数据库中的对象标签;以及
基于所述对象标签所关联的支付账户中的金额,支付乘车所需的费用;
基于所述人脸特征图,使用基于自注意力的数据密集簇机制对所述虹膜特征图进行加权以得到加权后虹膜特征图,包括:
计算所述人脸特征图和所述虹膜特征图之间的按位置点乘以得到所述空间交互特征图;
计算所述人脸特征图和所述虹膜特征图之间欧式距离的平方根;
以所述空间交互特征图中各个位置的特征值分别除以所述人脸特征图和所述虹膜特征图之间欧式距离的平方根以得到注意力特征图;
计算以所述注意力特征图中各个位置的特征值为幂的自然指数函数值以得到指数注意力特征图;
将所述指数注意力特征图通过所述分类器以得到第一类概率指数;
将所述虹膜特征图通过所述分类器以得到第二类概率指数;
计算所述第一类概率指数和所述第二类概率指数之间的乘积作为所述虹膜特征图的加权系数;以及
以所述加权系数对所述虹膜特征图进行加权以得到所述加权后虹膜特征图。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210663952.6A CN114758424B (zh) | 2022-06-14 | 2022-06-14 | 基于多重校验机制的智能支付设备及其支付方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210663952.6A CN114758424B (zh) | 2022-06-14 | 2022-06-14 | 基于多重校验机制的智能支付设备及其支付方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114758424A CN114758424A (zh) | 2022-07-15 |
CN114758424B true CN114758424B (zh) | 2022-09-02 |
Family
ID=82336349
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210663952.6A Active CN114758424B (zh) | 2022-06-14 | 2022-06-14 | 基于多重校验机制的智能支付设备及其支付方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114758424B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115471674B (zh) * | 2022-09-20 | 2023-06-27 | 浙江科达利实业有限公司 | 基于图像处理的新能源车二氧化碳管的性能监测*** |
CN115272831B (zh) * | 2022-09-27 | 2022-12-09 | 成都中轨轨道设备有限公司 | 接触网悬挂状态监测图像的传输方法及*** |
CN115984952B (zh) * | 2023-03-20 | 2023-11-24 | 杭州叶蓁科技有限公司 | 基于球结膜血管图像识别的眼动跟踪***及其方法 |
CN117894107A (zh) * | 2024-03-14 | 2024-04-16 | 山东新竹智能科技有限公司 | 智能建筑安防监控***及方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108446667A (zh) * | 2018-04-04 | 2018-08-24 | 北京航空航天大学 | 基于生成对抗网络数据增强的人脸表情识别方法和装置 |
CN110781784A (zh) * | 2019-10-18 | 2020-02-11 | 高新兴科技集团股份有限公司 | 基于双路注意力机制的人脸识别方法、装置及设备 |
CN112200161A (zh) * | 2020-12-03 | 2021-01-08 | 北京电信易通信息技术股份有限公司 | 一种基于混合注意力机制的人脸识别检测方法 |
CN112966643A (zh) * | 2021-03-23 | 2021-06-15 | 成都天佑路航轨道交通科技有限公司 | 基于自适应加权的人脸和虹膜融合识别方法及装置 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20180053108A (ko) * | 2016-11-11 | 2018-05-21 | 삼성전자주식회사 | 홍채 영역 추출 방법 및 장치 |
CN113591747B (zh) * | 2021-08-06 | 2024-02-23 | 合肥工业大学 | 一种基于深度学习的多场景虹膜识别方法 |
CN114565041A (zh) * | 2022-02-28 | 2022-05-31 | 上海嘉甲茂技术有限公司 | 基于互联网金融的支付大数据分析***及其分析方法 |
-
2022
- 2022-06-14 CN CN202210663952.6A patent/CN114758424B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108446667A (zh) * | 2018-04-04 | 2018-08-24 | 北京航空航天大学 | 基于生成对抗网络数据增强的人脸表情识别方法和装置 |
CN110781784A (zh) * | 2019-10-18 | 2020-02-11 | 高新兴科技集团股份有限公司 | 基于双路注意力机制的人脸识别方法、装置及设备 |
CN112200161A (zh) * | 2020-12-03 | 2021-01-08 | 北京电信易通信息技术股份有限公司 | 一种基于混合注意力机制的人脸识别检测方法 |
CN112966643A (zh) * | 2021-03-23 | 2021-06-15 | 成都天佑路航轨道交通科技有限公司 | 基于自适应加权的人脸和虹膜融合识别方法及装置 |
Non-Patent Citations (2)
Title |
---|
Distinguishing a Person by Face and Iris Using Fusion Approach;Md. Zahidur Rahman,and etc;《2019 International Conference on Sustainable Technologies for Industry 4.0 (STI)》;20200416;第1-5页 * |
基于深度学习的虹膜人脸多特征融合识别;肖珂等;《计算机工程与设计》;20200430;第41卷(第4期);第1070-1073页 * |
Also Published As
Publication number | Publication date |
---|---|
CN114758424A (zh) | 2022-07-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114758424B (zh) | 基于多重校验机制的智能支付设备及其支付方法 | |
US11475660B2 (en) | Method and system for facilitating recognition of vehicle parts based on a neural network | |
CN109101602B (zh) | 图像检索模型训练方法、图像检索方法、设备及存储介质 | |
CN109978893B (zh) | 图像语义分割网络的训练方法、装置、设备及存储介质 | |
CN107292291B (zh) | 一种车辆识别方法和*** | |
CN107169421B (zh) | 一种基于深度卷积神经网络的汽车驾驶场景目标检测方法 | |
EP3690740B1 (en) | Method for optimizing hyperparameters of auto-labeling device which auto-labels training images for use in deep learning network to analyze images with high precision, and optimizing device using the same | |
CN108230291B (zh) | 物体识别***训练方法、物体识别方法、装置和电子设备 | |
CN106415594A (zh) | 用于面部验证的方法和*** | |
CN111460980B (zh) | 基于多语义特征融合的小目标行人的多尺度检测方法 | |
KR102592551B1 (ko) | Ar장치를 위한 객체 인식 처리 장치 및 방법 | |
CN109815884A (zh) | 基于深度学习的不安全驾驶行为检测方法及装置 | |
CN114211975A (zh) | 用于电动汽车的充电报警***及其工作方法 | |
US20230196841A1 (en) | Behavior recognition artificial intelligence network system and method for efficient recognition of hand signals and gestures | |
CN104143091A (zh) | 基于改进mLBP的单样本人脸识别方法 | |
CN112567398A (zh) | 用于匹配不同输入数据的技术 | |
CN114022713A (zh) | 模型训练方法、***、设备及介质 | |
CN115690714A (zh) | 一种基于区域聚焦的多尺度道路目标检测方法 | |
Ali et al. | On-road vehicle detection using support vector machine and decision tree classifications | |
CN112559968A (zh) | 一种基于多情境数据的驾驶风格表征学习方法 | |
Piroli et al. | LS-VOS: Identifying outliers in 3D object detections using latent space virtual outlier synthesis | |
CN111985448A (zh) | 车辆图像识别方法、装置、计算机设备及可读存储介质 | |
CN111126173A (zh) | 一种高精度人脸检测方法 | |
CN110555425A (zh) | 一种视频流实时行人检测方法 | |
CN111126310B (zh) | 一种基于场景迁移的行人性别识别方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |