CN115690856B - 基于特征融合的大鱼际掌纹识别方法 - Google Patents
基于特征融合的大鱼际掌纹识别方法 Download PDFInfo
- Publication number
- CN115690856B CN115690856B CN202310009813.6A CN202310009813A CN115690856B CN 115690856 B CN115690856 B CN 115690856B CN 202310009813 A CN202310009813 A CN 202310009813A CN 115690856 B CN115690856 B CN 115690856B
- Authority
- CN
- China
- Prior art keywords
- resnet152
- thenar
- vgg
- palmprint
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 230000004927 fusion Effects 0.000 title claims abstract description 19
- 238000012549 training Methods 0.000 claims description 36
- 238000011176 pooling Methods 0.000 claims description 13
- 230000007547 defect Effects 0.000 claims description 12
- 230000011218 segmentation Effects 0.000 claims description 11
- 238000010845 search algorithm Methods 0.000 claims description 7
- 241000251468 Actinopterygii Species 0.000 claims description 6
- 238000001514 detection method Methods 0.000 claims description 6
- 238000003709 image segmentation Methods 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 4
- 238000012360 testing method Methods 0.000 claims description 4
- 239000013598 vector Substances 0.000 claims description 3
- 238000000605 extraction Methods 0.000 abstract description 11
- 238000012545 processing Methods 0.000 abstract description 4
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 12
- 210000003811 finger Anatomy 0.000 description 8
- 230000004913 activation Effects 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- 238000013527 convolutional neural network Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000013526 transfer learning Methods 0.000 description 4
- 238000013145 classification model Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 125000004122 cyclic group Chemical group 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 241000219000 Populus Species 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 210000005224 forefinger Anatomy 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 210000003813 thumb Anatomy 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明提供了一种基于特征融合的大鱼际掌纹识别方法，属于人工智能技术领域。该方法首先通过关键点定位方法，得到大鱼际区域掌纹图像，并对提取的大鱼际掌纹进行数据增强处理；再以ResNet152、VGG‑19作为主干特征提取网络，引入AdaBoost算法，将ResNet152、VGG‑19两种网络进行集成。本发明在ResNet152网络中使用LBP算子提取大鱼际纹理特征，并与ResNet152网络提取的大鱼际掌纹高层语义特征进行加权融合；在VGG‑19网络中引入RGA注意力模块，使VGG‑19能够更好的提取大鱼际掌纹的全局特征。本发明提供最终的集成模型取得了比原始两种网络模型更高的准确率。
Description
技术领域
本发明属于人工智能技术领域，具体地说，涉及一种基于特征融合的大鱼际掌纹识别方法。
背景技术
大鱼际掌纹识别研究对于现在的医学来说是至关重要的，下面介绍四种近几年国内外所使用的大鱼际掌纹的识别研究方法。
Ajay Kumar在2016年提出了将卷积神经网络（convolutional neural network）应用于掌纹识别，以建立沿掌纹折痕的关键点并产生更准确的匹配，这也是CNN第一次应用到掌纹之间的匹配，主要是进行研究了将左手掌纹图像与右手掌纹图像进行匹配的可能性，以此来确定一个人的身份。主要的方法是使用多层卷积的模式来连接每个神经元，包括三个卷积单元和两个完全连接层这个网络的结构由不同层的组合组成，输入的数据首先进入到卷积层，通过三个卷积单元形成三个输出，使用相应的非线性激活函数进行激活，在使用全连接层处理来自三个卷积单元的输出，并将当前层的所有输出连接起来。该网络可以在训练阶段通过前向传播和后向传播自动学习最佳参数集。该方法的实验是在一个公开数据集PolyU数据集上进行了实验评估，得到的结果与使用参考点的BLPOC方法相比，性能有明显的提高。
R.Ramachandra等人在2018年提出一种基于转移学习的新方法，通过微调预训练的AlexNet架构来提高识别大鱼际掌纹的准确性，优点是在处理小量数据方面的适用性，以及在各种生物识别应用中都表现出了不错的性能。所以Ramachandra对于这一个网络架构进行了能够控制学习率参数的微调操作，其中主要是提高了最后几层网络架构的学习率，以此使得后面几层的网络架构能够变化的更快，然后将该算法所提取的掌纹表征以SVM和Soft max分类器得分之和作为度量标准，提高了识别精度。使用了新生婴儿非接触式掌纹数据库（Contactless Palmprint database of Newborn Babies）得到的实验结果，也是能够证明这样的方法是有用的。
杨冰等人在2020年提出了一种三维掌纹特征提取算法，通过描述三维掌纹的局部特征用来作为输入完成识别，用来描述的方法主要是采用曲率特征、形状指数、表面类型来进行描述，并将描述出来的上述特征作为后续使用深度学习方法的输入，其中深度学习的方法主要是使用的卷积神经网络（convolutional neural network），与Ajay Kumar的区别是，杨等人使用的卷积层数更多并且进行了不同卷积模型的比较实验，包括AlexNet、GoogleNet、Vgg16、ResNet50：其中AlexNet包含 8 个层，前 5 层为卷积层，后 3 层为全连接层；GoogleNet包含 22 层，采用了 Inception 模块化的结构，额外增加了 2 个Softmax用于梯度前向传导，并且增加了 2 个 loss 来避免梯度回传消失；Vgg16 由 5 个池化层和 13 个卷积层组成，所有的隐藏层都包含RuLU激活函数；ResNet50 与传统的网络结构最大的区别在于ResNet网络结构通过捷径连接的方式，把输入传到输出作为初始结果。最后使用的中国香港香港理工大学三维掌纹数据库进行比较，结果显示四种方法均可以进行有效的识别且优于其他的方法，所以证明使用深度学习进行掌纹识别是非常有效的。
吴碧巧等人在2021年提出基于迁移学习的掌纹图像识别算法，该方法主要是以VGG16为基础网络，使用迁移学习将从源域学习到的信息迁移转换到目标域，解决目标域带标签样本数据量较少的识别问题。吴等人主要是将原本的VGG16模型进行了一些更改，将原模型中的 flatten操作换成全局最大池化操作，可以有效的较少参数数量，防止过拟合。将第3个全连接层的softmax激活函数换成relu激活函数，并在其后接一个全连接层160个神经元，代表着160个类别。通过Imagenet比赛中预训练得到的数据集，对高分辨率掌纹识别的准确率能达到96.56%，采用了迁移学习的VGG16网络其在准确率、收敛速度和稳定性都优于随机初始化的模型。
但是，上述方法虽然已经获得较高的准确率，但是上述方法理论性强，在实际训练过程中存在难以收敛以及模型所得结果不稳定等问题，因此无法在实际应用中得到普及。
发明内容
本发明提出了一种基于特征融合的大鱼际掌纹识别方法，以弥补现有技术的不足。
本发明首先对数据进行预处理，然后对处理后的图片进行高层语义特征和局部信息的提取，将提取到的特征进行融合，融合后的信息输入到softmax分类器中进行判断。
为实现上述发明目的，本发明采用下述技术方案予以实现：
一种基于特征融合的大鱼际掌纹识别方法，包括以下步骤：
S1：收集掌纹数据并进行预处理，再使用基于关键点定位的方法对所述掌纹数据进行大鱼际区域提取；分为训练集和测试集；
S2：以ResNet152为基础实现模型，将SoftPool软池化操作引入该模型提取高层语义特征，利用等价模式LBP算子提取局部纹理特征；利用训练集对改进后的ResNet152模型进行训练；训练得到分类结果；
S3：引入AdaBoost算法，并根据ResNet152的分类结果来调整训练集中数据的权重，利用加权后的训练数据集再训练VGG-19；所述VGG-19中引入RGA来增加该模型对全局特征的提取能力；所述AdaBoost算法将ResNet152、VGG-19两种网络模型进行集成；
S4：测试集数据分别通过训练好的ResNet152模型和VGG-19模型进行处理，分别得到预测结果；
S5：基于AdaBoost算法，将ResNet152与VGG-19的预测结果进行加权求和，得到最终的分类结果。
进一步的，所述S1中：
S1-1：在YCrCb颜色空间中的Cr分量下结合OSTU阈值分割算法，更精准的实现图像分割：
（1）在YCrCb颜色空间中的Cr分量下对采集数据进行手部轮廓提取；
（2）结合OSTU阈值分割算法遍历获取Cr分量下的背景与目标区域的分割阈值，提高图像分割精度；
S1-2：利用凸包和凸缺陷搜索算法定位手指间谷点，得到大鱼际区域掌纹图像：
（1）利用凸包和凸缺陷搜索算法对Cr分量下的手部区域进行轮廓提取；
（2）依据凸包和凸缺陷检测算法定位手指间谷点；
S1-3：对倾斜的数据角度校准后进行大鱼际掌纹的提取：
（1）依据勾股定理得出旋转角度公式，对倾斜的数据进行角度校准后进行左右手判断；
（2）依据左右手大鱼际位置特点进行目标区域标注并截取；
（3）依据手指间谷点之间的距离与基准数值之间的比例对标注框进行等比放缩。
进一步的，所述S2具体如下：
S2-1：在ResNet152模型卷积层后引入软池化（SoftPool）方法，对卷积得到的特征图赋予权重信息，保留更多高层语义信息；
ResNet152中采用Max Pool进行池化操作，Max Pool在压缩特征图尺寸的同时会造成部分特征信息损失，为此在ResNet152模型卷积层后引入软池化（SoftPool）方法，对卷积得到的特征图赋予权重信息，使在下采样激活映射中保留了更多特征信息。
S2-2：采用等价模式（Uniform Pattern）来对LBP算子的模式种类进行降维，解决二进制模式过多问题的同时提取局部特征；
采用等价模式（Uniform Pattern）来对LBP算子的模式种类进行降维。当某个LBP所对应的循环二进制数从0到1或从1到0最多有两次跳变时，该LBP所对应的二进制就称为等价模式类；除等价模式类以外的模式都称为混合模式类。这样就可以降低计算量也不会丢失特征细节。
S2-3：设置加权系数
，将ResNet152模型提取的高层次语义特征信息和等价模式LBP算子提取的底层纹理细节特征进行加权特征融合：
其中，
为融合后的特征，
为ResNet152网络提取的高级特征，
为圆形LBP算子提取的纹理特征，
为加权系数；
将融合后的特征输入到Soft Max分类器中进行分类：
将生成的特征向量通过Soft max分类器进行二分类；
再根据Soft Max分类器的分类结果调整不同样本所占比重，提高ResNet152网络分类错误的样本的权重，减小ResNet152网络分类正确的样本所占的权重；
S2-4：利用训练集对改进后的ResNet152模型进行训练；训练得到分类结果。
进一步的，所述S3中在VGG-19的底层引入RGA模块来提取大鱼际掌纹的全局特征，然后通过高层的卷积运算提取输入图像的语义特征，将提取到的高层语义特征输入到SoftMax分类器中进行大鱼际掌纹的分类。
进一步的，所述S5中，将大鱼际掌纹的图片分别输入到ResNet152和VGG-19中，通过softmax分类器可以得到对应的分类结果，将得到的分类结果根据每个网络的准确率增加权重，加权求和得到最终的分类结果。
上述方法能够应用于大鱼际掌纹的识别。
本发明的优点和技术效果：
本发明首先采用基于关键点定位的方法对采集的掌纹数据进行大鱼际区域提取，然后对预处理后的大鱼际掌纹数据集采用深度学习模型实现类别预测，以ResNet152和VGG-19为基础来实现模型，利用adaboost算法来集成两种分类模型提高模型识别准确率，利用改进后模型对大鱼际掌纹数据进行识别，并对该模型性能进行评估。经过实际验证，利用本发明提取的大鱼际掌纹数据精度高。
本发明通过集成两种不同的分类模型，能够提升模型训练结果的稳定性，在ResNet152和VGG-19网络中分别引入了LBP算子和RGA，分别侧重于局部信息的全局信息的提取，两种网络从不同角度提升了大鱼际掌纹分类的准确性，两者的集成可将各自优势互补，从而得到更高的准确率。
附图说明
图1是本发明的具体流程图；
图2是本发明的一种实施例的整体模型图；
图3是本发明的一种实施例的几何模型图；
图4是本发明的一种实施例的大鱼际掌纹提取图；(a)为手部轮廓提取结果图，(b)为目标区域分割效果图，(c)为指间谷点定位图，(d)为大鱼际位置截图效果图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下将结合附图和实施例，对本发明作进一步详细说明。
实施例１：
本实施例提出了一种基于特征融合的大鱼际掌纹识别方法，算法具体流程如图1所示，算法模块框图如图2所示。
本实施例提出了一种基于特征融合的大鱼际掌纹识别算法，以青岛市某医院提供的带标签确诊掌纹数据集为例，如图1所示，本实施例包括以下步骤：
S1：对收集到的掌纹数据进行预处理并使用基于关键点定位的方法对采集的掌纹数据进行大鱼际区域提取；
S2：以ResNet152为基础实现模型，如图3所示，将SoftPool软池化操作引入模型提取高层语义特征，利用等价模式LBP算子提取局部纹理特征；
S3：引入AdaBoost算法，将ResNet152、VGG-19两种网络进行集成，并根据ResNet152的结果来适当调整训练集中数据的权重，利用加权后的数据集来进一步训练VGG-19；
S4：在VGG-19中引入了RGA来增加该模型对全局特征的提取能力；
S5：将ResNet152与VGG-19的预测结果进行加权求和，得到最终的分类结果。
所述S1具体如下：
S1-1：在YCrCb颜色空间中的Cr分量下结合OSTU阈值分割算法，更精准的实现图像分割：
（1）在YCrCb颜色空间中的Cr分量下对采集数据进行手部轮廓提取，提取结果如图4(a)所示；
（2）结合OSTU阈值分割算法遍历获取Cr分量下的背景与目标区域的分割阈值，提高图像分割精度，分割效果如图4(b)所示；
S1-2：利用凸包和凸缺陷搜索算法定位手指间谷点，得到大鱼际区域掌纹图像：
（1）利用凸包和凸缺陷搜索算法对Cr分量下的手部区域进行轮廓提取：
利用凸包和凸缺陷搜索算法可以定位手指间谷点，以此为依据得到大鱼际区域掌纹图像。
（2）依据凸包和凸缺陷检测算法定位手指间谷点：
对Cr分量下的手部区域进行轮廓提取，依据凸包和凸缺陷检测算法定位手指间谷点，***边界为凸包检测，
、
、
、
为指间谷点定位点，效果如图4(c)所示。
S1-3：对倾斜的数据角度校准后进行大鱼际掌纹的提取：
（1）依据勾股定理得出旋转角度公式，对倾斜的数据进行角度校准后进行左右手判断：
由于左右手方向不同，大鱼际区域所处位置不同。在大鱼际区域提取之前需对手掌进行左右手判断，故需对倾斜的数据进行角度校准。谷点检测之后可知
、
坐标数值，依据勾股定理求得旋转角度公式
（2）依据左右手大鱼际位置特点进行目标区域标注并截取：
角度校准之后，
、
、
、
坐标发生新的变化，存在一个点的纵坐标为最小值，该点即为大拇指与食指之间的谷点，当该点位于其他三点的左侧时，该手为左手，反之为右手。依据左右手大鱼际位置特点进行目标区域标注并截取，效果如图4(d)所示。
（3）依据手指间谷点之间的距离与基准数值之间的比例对标注框进行等比放缩：
考虑到采集数据时掌纹与采集设备之间的距离不同、不同人的手掌大小不一致等现象，在进行大鱼际区域标注时，以
、
两点之间的距离数值为基准，依据不同手掌
、
之间的距离与基准数值之间的比例对标注框进行等比放缩，提高ROI提取方法的泛化能力及鲁棒性。
所述S2具体如下：
S2-1：在ResNet152模型卷积层后引入软池化（SoftPool）方法，对卷积得到的特征图赋予权重信息，保留更多高层语义信息：
残差网络解决了神经网络隐藏层数过多导致的退化问题，残差网络中的ResNet152模型在分类问题模型中表现优越，曾将top-5错误率降低到3.57%，故本发明选用ResNet-152层残差网络作为基础模型实现大鱼际掌纹分类。ResNet152中采用Max Pool进行池化操作，Max Pool在压缩特征图尺寸的同时会造成部分特征信息损失，为此本发明在ResNet152模型卷积层后引入软池化（SoftPool）方法，对卷积得到的特征图赋予权重信息，使在下采样激活映射中保留了更多特征信息。
S2-2：采用等价模式（Uniform Pattern）来对LBP算子的模式种类进行降维，解决二进制模式过多问题的同时提取局部特征：
LBP算子是提取局部特征作为判断依据的一种纹理描述算子，用于提取图像局部纹理信息。LBP的基本思想是定义于像素的8邻域中（3x3的窗口），以中心像素的灰度值为阈值, 依据大1小0原则进行标记，可得到中心点的8位二进制数，转化为十进制即为中心像素点的LBP值，并用这个值来反映该区域的纹理信息。
一个LBP算子可以产生多种二进制模式，为了解决二进制模式过多的问题，本发明采用等价模式（Uniform Pattern）来对LBP算子的模式种类进行降维。当某个LBP所对应的循环二进制数从0到1或从1到0最多有两次跳变时，该LBP所对应的二进制就称为等价模式类；除等价模式类以外的模式都称为混合模式类。这样就可以降低计算量也不会丢失特征细节。
S3-1：设置加权系数
，将ResNet152模型提取的高层次语义特征信息和等价模式LBP算子提取的底层纹理细节特征进行加权融合：
其中，
为融合后的特征，
为ResNet152网络提取的高级特征，
为圆形LBP算子提取的纹理特征，
为加权系数。
S3-2：将融合的特征输入到Soft Max分类器中进行分类：
将高层语义特征与底层纹理特征进行加权融合，将生成的特征向量通过Soft max分类器进行二分类。
S3-3：根据Soft Max分类器的分类结果调整不同样本所占比重，将调整后的训练集用于VGG-19的训练。
根据ResNet152网络模型的分类结果，重新调整训练集中每张图片的权重，提高ResNet152网络分类错误的样本的权重，减小ResNet152网络分类正确的样本所占的权重，利用调整后的数据集训练VGG-19网络。最后将ResNet152和VGG-19得到的结果进行加权求和。
S4：在VGG-19中引入了RGA来增加该模型对全局特征的提取能力；
S4-1：在VGG-19的低层中引入了RGA来提取输入图像的全局特征，将提取到的特征输入到VGG-19的高层，进而得到大鱼际掌纹的分类结果：
将调整后的大鱼际掌纹的数据集先输入到VGG-19中，在底层通过RGA模块来提取大鱼际掌纹的全局特征，然后通过高层的卷积运算，进而得到大鱼际掌纹的分类结果。
S5：将ResNet152与VGG-19的预测结果进行加权求和，得到最终的分类结果；
S5-1：将大鱼际掌纹的图片分别输入到ResNet152和VGG-19中，将两个模型得到的分类结果根据各自的准确率来加权求和，得到最终的分类结果：
将大鱼际掌纹的图片分别输入到ResNet152和VGG-19中，通过softmax分类器可以得到对应的分类结果，将得到的分类结果根据每个网络的准确率增加权重，加权求和得到最终的分类结果。
基于特征融合的大鱼际掌纹识别算法流程图如图4所示，伪代码如下；
Input：YCrCb颜色空间中的大鱼际掌纹数据
1:图像分割得到整个手掌区域X；
2.对X进行谷点定位，得到谷点
、
、
、
；
3.利用公式
对坐标
、
进行角度校准;
4.利用
、
、
、
四个点的位置进行目标区域标注并截取；
5. 依据
、
之间的距离对标注框进行等比例放缩；
6. 将处理后的图片K输入到ResNet-152网络中得到特征图Z，经过LBP算子的处理得到特征图F；
7. 将Z和F进行融合，得到特征图Y
9. 将Y输入到Soft Max分类器中进行显性与隐性的分类J
10．根据J调整K的权重，将调整后的K’输入到VGG-19网络中进行训练，得到分类结果M。
11．将M与J进行加权求和得到最终的分类结果N。
Output：二分类结果（显性或隐性）。
本发明首先采用基于关键点定位的方法对采集的掌纹数据进行大鱼际区域提取，然后对预处理后的大鱼际掌纹数据集采用深度学习模型实现类别预测，以ResNet152 和VGG-19为基础实现模型，引入软池化和特征融合机制提高模型识别准确率，利用改进后模型对大鱼际掌纹数据进行识别，并对该模型性能进行评估。
表1不同模型训练结果对比
由表1可得，本发明提供的处理模型对大鱼际掌纹识别准确率均高于其他模型，该集成模型更适用于大鱼际掌纹识别研究。VGG19、ResNet50模型相比于集成分类模型在训练时间上较占优势，但模型准确率并没有提升。本发明在分类准确率上较占优势，相较于其他模型准确率提升至少11.95个百分点，但由于集成了两种网络，并且引入了LBP算子和RGA注意力，因此增加了网络训练参数，产生了一定的训练时间成本，但相对于性能的提升，检测耗时适量增加是可以接受的。
以上所述之实施例子只为本发明之较佳实施例，并非以此限制本发明的实施范围，故凡依本发明之形状、原理所作的变化，均应涵盖在本发明的保护范围内。
Claims (3)
1.一种基于特征融合的大鱼际掌纹识别方法，其特征在于，包括以下步骤：
S1：收集掌纹数据并进行预处理，再使用基于关键点定位的方法对所述掌纹数据进行大鱼际区域提取；分为训练集和测试集；
S2：以ResNet152为基础实现模型，将SoftPool软池化操作引入该模型提取高层语义特征，利用等价模式LBP算子提取局部纹理特征；利用训练集对改进后的ResNet152模型进行训练；训练得到分类结果；
S3：引入AdaBoost算法，并根据ResNet152的分类结果来调整训练集中数据的权重，利用加权后的训练数据集再训练VGG-19；所述VGG-19中引入RGA；所述AdaBoost算法将ResNet152、VGG-19两种网络模型进行集成；
S4：测试集数据分别通过训练好的ResNet152模型和VGG-19模型进行处理，分别得到预测结果；
S5：基于AdaBoost算法，将ResNet152与VGG-19的预测结果进行加权求和，得到最终的分类结果；
所述S2具体如下：
S2-1：在ResNet152模型卷积层后引入软池化方法，对卷积得到的特征图赋予权重信息，保留更多高层语义信息；
S2-2：采用等价模式来对LBP算子的模式种类进行降维，解决二进制模式过多问题的同时提取局部特征；
所述S3具体为：
S3-1：设置加权系数α，将ResNet152模型提取的高层次语义特征信息和等价模式LBP算子提取的底层纹理细节特征进行加权特征融合：
fw＝α·fR+(1-α)fL
其中，fw为融合后的特征，fR为ResNet152网络提取的高级特征，fL为圆形LBP算子提取的纹理特征，α为加权系数；
S3-2：将融合后的特征输入到Soft Max分类器中进行分类：
将高层语义特征与底层纹理特征进行加权融合，将生成的特征向量通过Soft max分类器进行二分类；
S3-3：根据Soft Max分类器的分类结果调整不同样本所占比重，将调整后的训练集用于VGG-19的训练：在VGG-19的低层中引入了RGA来提取输入图像的全局特征，将提取到的特征输入到VGG-19的高层，进而得到大鱼际掌纹的分类结果：
将调整后的大鱼际掌纹的数据集先输入到VGG-19中，在底层通过RGA模块来提取大鱼际掌纹的全局特征，然后通过高层的卷积运算，进而得到大鱼际掌纹的分类结果；
S3-4：根据ResNet152网络模型的分类结果，重新调整训练集中每张图片的权重，提高ResNet152网络分类错误的样本的权重，减小ResNet152网络分类正确的样本所占的权重，利用调整后的数据集训练VGG-19网络。
2.如权利要求1所述的大鱼际掌纹识别方法，其特征在于，所述S1中：
S1-1：在YCrCb颜色空间中的Cr分量下结合OSTU阈值分割算法，更精准的实现图像分割：
(1)在YCrCb颜色空间中的Cr分量下对采集数据进行手部轮廓提取；
(2)结合OSTU阈值分割算法遍历获取Cr分量下的背景与目标区域的分割阈值，提高图像分割精度；
S1-2：利用凸包和凸缺陷搜索算法定位手指间谷点，得到大鱼际区域掌纹图像：
(1)利用凸包和凸缺陷搜索算法对Cr分量下的手部区域进行轮廓提取；
(2)依据凸包和凸缺陷检测算法定位手指间谷点；
S1-3：对倾斜的数据角度校准后进行大鱼际掌纹的提取：
(1)依据勾股定理得出旋转角度公式，对倾斜的数据进行角度校准后进行左右手判断；
(2)依据左右手大鱼际位置特点进行目标区域标注并截取；
(3)依据手指间谷点之间的距离与基准数值之间的比例对标注框进行等比放缩。
3.如权利要求1所述的大鱼际掌纹识别方法，其特征在于，所述S5中，将大鱼际掌纹的图片分别输入到ResNet152和VGG-19中，通过softmax分类器得到对应的分类结果，将得到的分类结果根据每个网络的准确率增加权重，加权求和得到最终的分类结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310009813.6A CN115690856B (zh) | 2023-01-05 | 2023-01-05 | 基于特征融合的大鱼际掌纹识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310009813.6A CN115690856B (zh) | 2023-01-05 | 2023-01-05 | 基于特征融合的大鱼际掌纹识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115690856A CN115690856A (zh) | 2023-02-03 |
| CN115690856B true CN115690856B (zh) | 2023-03-17 |
Family
ID=85056924
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310009813.6A Active CN115690856B (zh) | 2023-01-05 | 2023-01-05 | 基于特征融合的大鱼际掌纹识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115690856B (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114022914A (zh) * | 2021-11-11 | 2022-02-08 | 江苏理工学院 | 基于融合深度网络的掌纹识别方法 |
| CN114581962A (zh) * | 2022-02-25 | 2022-06-03 | 浙江工业大学 | 一种基于多输入卷积神经网络的高分辨率掌纹识别的方法 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106845388B (zh) * | 2017-01-18 | 2020-04-14 | 北京交通大学 | 基于复杂场景的移动终端掌纹感兴趣区域的提取方法 |
| CN109300121B (zh) * | 2018-09-13 | 2019-11-01 | 华南理工大学 | 一种心血管疾病诊断模型的构建方法、***及该诊断装置 |
| CN110543895B (zh) * | 2019-08-08 | 2023-06-23 | 淮阴工学院 | 一种基于VGGNet和ResNet的图像分类方法 |
| DE102019129029A1 (de) * | 2019-10-28 | 2021-04-29 | Bayerische Motoren Werke Aktiengesellschaft | System und verfahren zur objektdetektion |
| US20210287040A1 (en) * | 2020-03-16 | 2021-09-16 | Fares AL-QUNAIEER | Training system and processes for objects to be classified |
| CN111292026A (zh) * | 2020-04-27 | 2020-06-16 | 江苏金恒信息科技股份有限公司 | 一种基于神经网络模型融合的废钢评级方法及装置 |
| CN112766413A (zh) * | 2021-02-05 | 2021-05-07 | 浙江农林大学 | 一种基于加权融合模型的鸟类分类方法及*** |
-
2023
- 2023-01-05 CN CN202310009813.6A patent/CN115690856B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114022914A (zh) * | 2021-11-11 | 2022-02-08 | 江苏理工学院 | 基于融合深度网络的掌纹识别方法 |
| CN114581962A (zh) * | 2022-02-25 | 2022-06-03 | 浙江工业大学 | 一种基于多输入卷积神经网络的高分辨率掌纹识别的方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115690856A (zh) | 2023-02-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110348319B (zh) | 一种基于人脸深度信息和边缘图像融合的人脸防伪方法 | |
| CN108520216B (zh) | 一种基于步态图像的身份识别方法 | |
| CN107610087B (zh) | 一种基于深度学习的舌苔自动分割方法 | |
| CN106599854B (zh) | 基于多特征融合的人脸表情自动识别方法 | |
| CN105825183B (zh) | 基于部分遮挡图像的人脸表情识别方法 | |
| CN111126240B (zh) | 一种三通道特征融合人脸识别方法 | |
| CN110543906B (zh) | 基于Mask R-CNN模型的肤质自动识别方法 | |
| CN111339932B (zh) | 一种掌纹图像预处理方法和*** | |
| CN111968124B (zh) | 基于半监督语义分割的肩部肌骨超声结构分割方法 | |
| Bao et al. | Extracting region of interest for palmprint by convolutional neural networks | |
| CN111652273A (zh) | 一种基于深度学习的rgb-d图像分类方法 | |
| CN115661872A (zh) | 一种自然场景下鲁棒的手掌感兴趣区域定位方法 | |
| CN112883941A (zh) | 一种基于并行神经网络的人脸表情识别方法 | |
| CN114863263A (zh) | 基于跨尺度分层特征融合对类内遮挡的乌鳢检测的方法 | |
| CN116386102A (zh) | 一种基于改进残差卷积网络inception块结构的人脸情绪识别方法 | |
| CN116884045B (zh) | 身份识别方法、装置、计算机设备和存储介质 | |
| CN109902692A (zh) | 一种基于局部区域深度特征编码的图像分类方法 | |
| CN111582057B (zh) | 一种基于局部感受野的人脸验证方法 | |
| CN115690856B (zh) | 基于特征融合的大鱼际掌纹识别方法 | |
| CN112883922A (zh) | 基于CNN-BiGRU神经网络融合的手语识别方法 | |
| Srininvas et al. | A framework to recognize the sign language system for deaf and dumb using mining techniques | |
| CN109886320B (zh) | 一种人体股骨x光片智能识读方法及*** | |
| CN115100406B (zh) | 一种基于超像素处理的权重信息熵模糊c均值聚类方法 | |
| CN116524549A (zh) | 基于改进UNet的手背或手掌静脉图像关键点与ROI定位方法 | |
| CN112597842B (zh) | 基于人工智能的运动检测面瘫程度评估*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |