CN111666813A - 一种基于非局部信息的三维卷积神经网络的皮下汗腺提取方法 - Google Patents
一种基于非局部信息的三维卷积神经网络的皮下汗腺提取方法 Download PDFInfo
- Publication number
- CN111666813A CN111666813A CN202010356352.6A CN202010356352A CN111666813A CN 111666813 A CN111666813 A CN 111666813A CN 202010356352 A CN202010356352 A CN 202010356352A CN 111666813 A CN111666813 A CN 111666813A
- Authority
- CN
- China
- Prior art keywords
- size
- convolution
- dimensional
- neural network
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 210000000106 sweat gland Anatomy 0.000 title claims abstract description 78
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 24
- 238000007920 subcutaneous administration Methods 0.000 title claims abstract description 21
- 238000000605 extraction Methods 0.000 title claims abstract description 11
- 238000013528 artificial neural network Methods 0.000 claims abstract description 17
- 238000012549 training Methods 0.000 claims abstract description 16
- 238000010606 normalization Methods 0.000 claims abstract description 7
- 238000012216 screening Methods 0.000 claims abstract description 4
- 238000012545 processing Methods 0.000 claims description 35
- 230000004913 activation Effects 0.000 claims description 30
- 238000000034 method Methods 0.000 claims description 23
- 238000003062 neural network model Methods 0.000 claims description 7
- 230000003416 augmentation Effects 0.000 claims description 6
- 238000010586 diagram Methods 0.000 claims description 4
- 239000011159 matrix material Substances 0.000 claims description 4
- 230000011218 segmentation Effects 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims description 3
- 230000017105 transposition Effects 0.000 claims description 3
- 238000001514 detection method Methods 0.000 abstract description 3
- 238000013434 data augmentation Methods 0.000 abstract 1
- 238000012014 optical coherence tomography Methods 0.000 description 9
- 210000004243 sweat Anatomy 0.000 description 5
- 210000002615 epidermis Anatomy 0.000 description 4
- 239000011148 porous material Substances 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000002500 effect on skin Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/12—Fingerprints or palmprints
- G06V40/1347—Preprocessing; Feature extraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/60—Rotation of whole images or parts thereof
- G06T3/604—Rotation of whole images or parts thereof using coordinate rotation digital computer [CORDIC] devices
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10101—Optical tomography; Optical coherence tomography [OCT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/14—Vascular patterns
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Biomedical Technology (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
一种基于非局部信息的三维卷积神经网络的皮下汗腺提取方法,包括如下步骤:1)利用归一化算法图像增强后,通过截取局部数据和数据旋转进行数据增广;2)通过添加Non_local模块构建基于非局部信息的三维卷积神经网络模型,损失函数采用Dice损失函数;3)将步骤一获取的训练集输入神经网络进行训练;4)利用汗腺体的大小的一定规律和汗腺体上下端的位置偏差不会太大的特性从初步的三维汗腺体图像中筛选并去除伪汗腺体。本发明充分利用指纹切片之间的像素相关性,利用非局部的信息来增加信息量,增强汗腺体信息,提高了指汗腺体检测的准确率。
Description
技术领域
本发明涉及指纹识别领域,特别涉及一种基于非局部三维卷积神经网络的皮下汗腺提取方法。
背景技术
指纹识别技术作为目前应用最为广泛,技术最为成熟的生物识别技术,提高指纹识别的准确率是具有重大意义的。
汗孔在指纹识别领域具有非常重要的地位,汗孔技能帮助残缺指纹的脊线重建,帮助进行指纹活性检测以及作为三级特征可以进行指纹识别。表皮汗孔在光学采集设备中并不能很好的采集得到,而且很容易受到手指表皮污渍的影响。
光学相干断层扫描(optical coherence tomography,OCT)技术的发展可以获取高分辨率三维指纹图像,包括表皮,以及皮下的真皮信息和汗腺层信息。在生物依据上,表皮汗孔是皮下汗腺体在表皮上的口,而且在采集的过程中不会由于手指表皮有污渍或者表皮损伤而有所影响。因此对于皮下汗腺体的提取是非常有必要的。
皮下汗腺体的提取技术是使用汗腺体进行生物特征识别的关键一步,本专利提出一种基于非局部信息的三维卷积神经网络进行皮下汗腺提取方法。
发明内容
为了确保皮下汗腺提取的准确度,本发明提出了一种基于非局部信息的三维卷积神经网络的提取方法,通过三维全卷积神经网络来学习提取形态大小各异的皮下汗腺体的特征,从而提高皮下汗腺体提取的正确率。
为了实现上述目的,本发明采用的技术方案为:
一种基于非局部信息的三维卷积神经网络的皮下汗腺提取方法,包括如下步骤:
1)获取采集W*H分辨率的OCT指纹切片图,对每张指纹切片图进行汗腺手工标注,将OCT上扫描连续的N张的指纹切片图整合成W*H*N分辨率的三维数据,经过图像增强,数据量增广后作为网络训练数据集;
2)构建基于非局部信息的三维卷积神经网络模型,设定训练参数和损失函数,使用标注好的数据集训练神经网络的模型,得到训练好的三维卷积神经网络模型;
3)通过训练好的三维卷积神经网络预测测试集中的三维OCT指纹,初步得到三维皮下汗腺体图像。
4)利用汗腺体的大小的一定规律和汗腺体只存在于汗腺层,因而汗腺体上下端的位置偏差不会太大的特性从初步的三维汗腺体图像中筛选并去除伪汗腺体。
进一步,所述步骤1)中,指纹数据图像增强和增广过程中包括如下步骤:
(11)图像增强:将三维OCT指纹图像I进行归一化操作,归一化操作形式如下:
其中I代表指纹图像,图像分辨率为W*H*N,I(x,y,z)表示三维数据的坐标为(x,y,z)的像素的灰度值,min(I)和max(I)代表指纹图像矩阵中像素灰度值的最小值和最大值,I*代表归一化后的指纹图像。
(12)从增强后的三维数据中,从(0,0,0)位置开始,步长为50像素,依次截取100*100*100的指纹数据
(13)将100*100*100的指纹图像绕y轴旋转90度,180度,270度得到新的三维指纹图像。
再进一步,所述步骤2)包括如下步骤:
(21)构建一个基于非局部信息的三维卷积神经网络模型,整个神经网络模型的层包括七个部分:
第一部分由三个卷积层组成,前两个卷积层均由16个大小为5*5*5,步长为1的卷积核和RELU激活函数组成,第三个卷积层由16个大小为2*2*2,步长为2的卷积核和RELU激活函数组成。输入特征的大小为100*100*100*1,经过前两个卷积层处理后,输出特征大小为100*100*100*16;经过第三个卷积层处理,输出特征大小为50*50*50*16;
第二部分为了计算像素之间的相似性,获得非局部信息,由softmax函数一个残差层组成,输入特征大小为50*50*50*16,经过reshape处理后变成大小为125000*16,将reshape得到的125000*16的图像与转置后大小为16*125000进行乘运算得到图像大小为125000*125000,然后经过softmax函数处理得到图像大小为125000*125000,将此时得到的图像与reshape得到的图像进行乘运算得到图像大小为125000*16,最后经过reshape处理得到大小为50*50*50*16,与最初输入图像经过残差处理后,输出特征大小为50*50*50*16;非局部处理运算公式如下:
I*=reshape(softmax(xxT)x)+I (2)
其中I是该层输入的50*50*50*16的特征图,I*是该层输出的50*50*50*16的特征图,x是特征图I经过reshape处理后的125000*16的特征图,softmax(xxT)计算像素点p与特征图中所有像素点q之间的关系值,将每个关系值与所有关系值的和相除作为新的关系值,将关系值作为权值与相应的像素点q的灰度值加权平均作为像素点p处的灰度值。
第三部分由三个卷积层组成,前两个卷积层均由32个大小为5*5*5,步长为1的卷积核和RELU激活函数组成,第三个卷积层由32个大小为2*2*2,步长为2的卷积核和RELU激活函数组成。输入特征的大小为50*50*50*16,经过前两个卷积层处理后,输出特征大小为50*50*50*32;经过第三个卷积层和处理,输出特征大小为25*25*25*32;
第四部分由两个卷积和一个反卷积层组成,前两个卷积层均由64个大小为5*5*5,步长为1的卷积核和RELU激活函数组成,第三个反卷积层由32个大小为2*2*2,步长为2的反卷积核和RELU激活函数组成,输入特征的大小为25*25*25*32,经过前两个卷积层处理后,输出特征大小为25*25*25*64;经过第三个反卷积层处理,输出特征大小为50*50*50*32;
第五部分由两个卷积层和一个反卷积层组成,前两个卷积层均由32个大小为5*5*5,步长为1的卷积核和RELU激活函数组成,第三个反卷积层由16个大小为2*2*2,步长为2的反卷积核和RELU激活函数组成。输入特征的大小为50*50*50*32,经过前两个卷积层处理后,输出特征大小为50*50*32;经过第三个反卷积层处理,输出特征大小为100*100*100*16;
第六部分由两个卷积层,前两个卷积层均由16个大小为5*5*5,步长为1的卷积核和RELU激活函数组成,输入特征的大小为100*100*100*16,经过两个卷积层处理后,输出特征大小为100*100*100*16;
第七部分由一个卷积层和softmax函数组成,卷积层由100个大小为1*1*1,步长为1的卷积核和RELU激活函数组成。输入特征大小为100*100*100*16,,经过卷积层和softmax函数处理后,输出特征大小为100*100*100*1,输出的特征包括2类:汗腺体类和背景类;
(22)确定三维卷积神经网络的参数,将训练集中的图片载入三维卷积神经网络模型进行训练。
所述步骤(22)中,损失函数使用Dice损失函数,Dice损失函数的值越大,则分割准确度越高,Dice损失函数公式如下:
其中:N表示体素块的体素数量;pi表示网络预测结果;gi表示对应体素真实标记。
进一步,所述步骤3)的过程如下:
为了配合训练好的全卷积神经网络的输入图片尺寸,设立一个大小为100*100*100的窗口以步长为50依次截取预测的图像大小为H*W*N的三维图像数据,得到一系列子图片,将子图片输入到训练好的卷积神经网络中,输出汗腺体像素概率图P,其中P中的每一个像素点的取值范围为0~1,代表了该像素点是否为汗腺体像素的概率;将100*100*100大小的预测结果图P重新弄拼接成H*W*N的图像数据;
所述步骤4)的过程如下:
利用连通域方法,获取一个标定数据中所有汗腺体的平均体积(像素个数)V_average,去除汗腺体体积(像素个数)与平均V_average差大于阈值V_thr的汗腺体,以及获取剩下所有汗腺体顶端像素的y坐标的平均y_average,去除y坐标与y_average差大于阈值D_thr的汗腺体,最后剩下的就是真实汗腺体。
与现有技术相比,本发明的有益效果表现在:通过基于非局部信息的三维卷积神经网络,可以在充分利用指纹切片之间的像素相关性,利用全局信息来增加信息量,增强汗腺体信息,提高了指汗腺体检测的准确率。
附图说明
图1是本发明算法的流程图;
图2是本发明中三维卷积神经网络结构图。
具体实施方式
下面结合附图和实施方式对本发明作进一步说明:
参见图1和图2,一种基于全卷积神经网络的指纹汗孔提取方法,包括如下步骤:
1)获取OCT指纹切片图,尺寸为1800*500,对汗腺手工标注,将未标注前的原始数据和标注后的各500张二维数据叠合成三维数据,尺寸为1800*500*500,经过图像增强,数据量增广后作为网络训练数据集;指纹数据图像增强和增广过程中包括如下步骤:
(11)图像增强:将三维OCT指纹图像I进行归一化操作,归一化操作形式如下:
其中代表指纹图像,I(x,y,z)表示三维数据的坐标为(x,y,z)的像素的灰度值,min(I)和max(I)代表指纹图像矩阵中像素灰度值的最小值和最大值,I*代表归一化后的指纹图像;
(12)从增强后的三维数据中,从(0,0,0)位置开始,步长为50像素,依次截取100*100*100的指纹数据;
(13)将100*100*100的指纹图像绕y轴旋转90度,180度,270度得到新的三维指纹图像;
2)参见图2,构建基于非局部信息的三维卷积神经网络模型,设定训练参数和损失函数,使用标注好的数据集训练神经网络的模型,得到训练好的三维卷积神经网络模型;包括如下步骤:
(21)构建一个基于非局部信息的三维卷积神经网络模型,整个神经网络模型的层包括七个部分:
第一部分由三个卷积层组成,前两个卷积层均由16个大小为5*5*5,步长为1的卷积核和RELU激活函数组成,第三个卷积层由16个大小为2*2*2,步长为2的卷积核和RELU激活函数组成。输入特征的大小为100*100*100*1,经过前两个卷积层处理后,输出特征大小为100*100*100*16;经过第三个卷积层处理,输出特征大小为50*50*50*16;
第二部分为了计算像素之间的相似性,获得非局部信息,由softmax函数一个残差层组成,输入特征大小为50*50*50*16,经过reshape处理后变成大小为125000*16,将reshape得到的125000*16的图像与转置后大小为16*125000进行乘运算得到图像大小为125000*125000,然后经过softmax函数处理得到图像大小为125000*125000,将此时得到的图像与reshape得到的图像进行乘运算得到图像大小为125000*16,最后经过reshape处理得到大小为50*50*50*16,与最初输入图像经过残差处理后,输出特征大小为50*50*50*16;非局部处理运算公式如下:
I*=reshape(softmax(xxT)x)+I (5)
其中I是该层输入的50*50*50*16的特征图,I*是该层输出的50*50*50*16的特征图,x是特征图I经过reshape处理后的125000*16的特征图,softmax(xxT)计算像素点p与特征图中所有像素点q之间的关系值,将每个关系值与所有关系值的和相除作为新的关系值,将关系值作为权值与相应的像素点q的灰度值加权平均作为像素点p处的灰度值。
第三部分由三个卷积层组成,前两个卷积层均由32个大小为5*5*5,步长为1的卷积核和RELU激活函数组成,第三个卷积层由32个大小为2*2*2,步长为2的卷积核和RELU激活函数组成。输入特征的大小为50*50*50*16,经过前两个卷积层处理后,输出特征大小为50*50*50*32;经过第三个卷积层和处理,输出特征大小为25*25*25*32;
第四部分由两个卷积和一个反卷积层组成,前两个卷积层均由64个大小为5*5*5,步长为1的卷积核和RELU激活函数组成,第三个反卷积层由32个大小为2*2*2,步长为2的反卷积核和RELU激活函数组成,输入特征的大小为25*25*25*32,经过前两个卷积层处理后,输出特征大小为25*25*25*64;经过第三个反卷积层处理,输出特征大小为50*50*50*32;
第五部分由两个卷积层和一个反卷积层组成,前两个卷积层均由32个大小为5*5*5,步长为1的卷积核和RELU激活函数组成,第三个反卷积层由16个大小为2*2*2,步长为2的反卷积核和RELU激活函数组成,输入特征的大小为50*50*50*32,经过前两个卷积层处理后,输出特征大小为50*50*32;经过第三个反卷积层处理,输出特征大小为100*100*100*16;
第六部分由两个卷积层,前两个卷积层均由16个大小为5*5*5,步长为1的卷积核和RELU激活函数组成,输入特征的大小为100*100*50*16,经过两个卷积层处理后,输出特征大小为100*100*100*16;
第七部分由一个卷积层和softmax函数组成,卷积层由100个大小为1*1*1,步长为1的卷积核和RELU激活函数组成。输入特征大小为100*100*100*16,,经过卷积层和softmax函数处理后,输出特征大小为100*100*100*1,输出的特征包括2类:汗腺体类和背景类;
(22)确定三维卷积神经网络的参数,将训练集中的图片载入三维卷积神经网络模型进行训练。
所述步骤(22)中,损失函数使用Dice损失函数,Dice损失函数的值越大,则分割准确度越高,Dice损失函数公式如下:
其中:N表示体素块的体素数量;pi表示网络预测结果;gi表示对应体素真实标记;
3)通过训练好的三维卷积神经网络预测测试集中的三维OCT指纹,初步得到三维皮下汗腺体图像;包括如下步骤:
(31)为了配合训练好的全卷积神经网络的输入图片尺寸,设立一个大小为100*100*100的窗口以步长为50依次截取预测的图像大小为1800*500*500的三维图像数据,得到一系列子图片,将子图片输入到训练好的卷积神经网络中,输出汗腺体像素概率图P,其中P中的每一个像素点的取值范围为0~1,代表了该像素点是否为汗腺体像素的概率;将100*100*100大小的预测结果图P重新弄拼接成1800*500*500的图像数据;
4)利用汗腺体的大小的一定规律和汗腺体只存在于汗腺层,因而汗腺体顶端的位置偏差不会太大的特性从初步的三维汗腺体图像中筛选并去除伪汗腺体,过程如下:
利用连通域方法,获取一个标定数据中所有汗腺体的平均体积(像素个数)V_average,去除汗腺体体积(像素个数)与平均V_average差大于阈值V_thr的汗腺体,以及获取剩下所有汗腺体顶端像素的y坐标的平均y_average,去除y坐标与y_average差大于阈值D_thr的汗腺体,最后剩下的就是真实汗腺体。
Claims (5)
1.一种基于非局部信息的三维卷积神经网络的皮下汗腺提取方法,其特征在于,所述方法包括如下步骤:
1)获取采集的分辨率为W*H的OCT指纹切片图,对每张指纹切片图进行汗腺手工标注,将OCT上扫描连续的N张的指纹切片图整合成W*H*N的三维数据,经过图像增强,数据量增广后作为网络训练数据集;
2)构建基于非局部信息的三维卷积神经网络模型,设定训练参数和损失函数,使用标注好的数据集训练神经网络的模型,得到训练好的三维卷积神经网络模型;
3)通过训练好的三维卷积神经网络预测测试集中的三维OCT指纹,初步得到三维皮下汗腺体图像;
4)利用汗腺体的大小的一定规律和汗腺体只存在于汗腺层,因而汗腺体上下端的位置偏差不会太大的特性从初步的三维汗腺体图像中筛选并去除伪汗腺体。
2.如权利要求1所述的一种基于非局部信息的三维卷积神经网络的皮下汗腺提取方法,其特征在于,所述步骤1)中,指纹数据图像增强和增广过程中包括如下步骤:
(11)图像增强:将三维OCT指纹图像I进行归一化操作,归一化操作形式如下:
其中I代表指纹图像,图像分辨率为W*H*N,I(x,y,z)表示三维数据的坐标为(x,y,z)的像素的灰度值,min(I)和max(I)代表指纹图像矩阵中像素灰度值的最小值和最大值,I*代表归一化后的指纹图像;
(12)从增强后的三维数据中,从(0,0,0)位置开始,步长为50像素,依次截取100*100*100的指纹数据;
(13)将100*100*100的指纹图像绕y轴旋转90度,180度,270度得到新的三维指纹图像。
3.如权利要求1或2所述的一种基于非局部信息的三维卷积神经网络的皮下汗腺提取方法,其特征在于,所述步骤2)包括如下步骤:
(21)构建一个基于非局部信息的三维卷积神经网络模型,整个神经网络模型的层包括七个部分:
第一部分由三个卷积层组成,前两个卷积层均由16个大小为5*5*5,步长为1的卷积核和RELU激活函数组成,第三个卷积层由16个大小为2*2*2,步长为2的卷积核和RELU激活函数组成,输入特征的大小为100*100*100*1,经过前两个卷积层处理后,输出特征大小为100*100*100*16;经过第三个卷积层处理,输出特征大小为50*50*50*16;
第二部分为了计算像素之间的相似性,获得非局部信息,由softmax函数一个残差层组成,输入特征大小为50*50*50*16,经过reshape处理后变成大小为125000*16,将reshape得到的125000*16的图像与转置后大小为16*125000进行乘运算得到图像大小为125000*125000,然后经过softmax函数处理得到图像大小为125000*125000,将此时得到的图像与reshape得到的图像进行乘运算得到图像大小为125000*16,最后经过reshape处理得到大小为50*50*50*16,与最初输入图像经过残差处理后,输出特征大小为50*50*50*16;非局部处理运算公式如下:
I*=reshape(softmax(xxT)x)+I (2)
其中I是该层输入的50*50*50*16的特征图,I*是该层输出的50*50*50*16的特征图,x是特征图I经过reshape处理后的125000*16的特征图,softmax(xxT)计算像素点p与特征图中所有像素点q之间的关系值,将每个关系值与所有关系值的和相除作为新的关系值,将关系值作为权值与相应的像素点q的灰度值加权平均作为像素点p处的灰度值;
第三部分由三个卷积层组成,前两个卷积层均由32个大小为5*5*5,步长为1的卷积核和RELU激活函数组成,第三个卷积层由32个大小为2*2*2,步长为2的卷积核和RELU激活函数组成,输入特征的大小为50*50*50*16,经过前两个卷积层处理后,输出特征大小为50*50*50*32;经过第三个卷积层和处理,输出特征大小为25*25*25*32;
第四部分由两个卷积和一个反卷积层组成,前两个卷积层均由64个大小为5*5*5,步长为1的卷积核和RELU激活函数组成,第三个反卷积层由32个大小为2*2*2,步长为2的反卷积核和RELU激活函数组成,输入特征的大小为25*25*25*32,经过前两个卷积层处理后,输出特征大小为25*25*25*64;经过第三个反卷积层处理,输出特征大小为50*50*50*32;
第五部分由两个卷积层和一个反卷积层组成,前两个卷积层均由32个大小为5*5*5,步长为1的卷积核和RELU激活函数组成,第三个反卷积层由16个大小为2*2*2,步长为2的反卷积核和RELU激活函数组成,输入特征的大小为50*50*50*32,经过前两个卷积层处理后,输出特征大小为50*50*32;经过第三个反卷积层处理,输出特征大小为100*100*100*16;
第六部分由两个卷积层,前两个卷积层均由16个大小为5*5*5,步长为1的卷积核和RELU激活函数组成,输入特征的大小为100*100*50*16,经过两个卷积层处理后,输出特征大小为100*100*100*16;
第七部分由一个卷积层和softmax函数组成,卷积层由100个大小为1*1*1,步长为1的卷积核和RELU激活函数组成,输入特征大小为100*100*100*16,,经过卷积层和softmax函数处理后,输出特征大小为100*100*100*1,输出的特征包括2类:汗腺体类和背景类;
(22)确定三维卷积神经网络的参数,将训练集中的图片载入三维卷积神经网络模型进行训练;
所述步骤(22)中,损失函数使用Dice损失函数,Dice损失函数的值越大,则分割准确度越高,Dice损失函数公式如下:
其中:N表示体素块的体素数量;pi表示网络预测结果;gi表示对应体素真实标记。
4.如权利要求1或2所述的一种基于非局部信息的三维卷积神经网络的皮下汗腺提取方法,其特征在于,所述步骤3)的过程如下:
为了配合训练好的全卷积神经网络的输入图片尺寸,设立一个大小为100*100*100的窗口以步长为50依次截取预测的图像大小为W*H*N的三维图像数据,得到一系列子图片,将子图片输入到训练好的卷积神经网络中,输出汗腺体像素概率图P,其中P中的每一个像素点的取值范围为0~1,代表了该像素点是否为汗腺体像素的概率;将100*100*100大小的预测结果图P重新弄拼接成W*H*N的图像数据。
5.如权利要求1或2所述的一种基于非局部信息的三维卷积神经网络的皮下汗腺提取方法,其特征在于,所述步骤4)的过程如下:
利用连通域方法,获取一个标定数据中所有汗腺体的平均体积(像素个数)V_average,去除汗腺体体积(像素个数)与平均V_average差大于阈值V_thr的汗腺体,以及获取剩下所有汗腺体顶端像素的y坐标的平均y_average,去除y坐标与y_average差大于阈值D_thr的汗腺体,最后剩下的就是真实汗腺体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010356352.6A CN111666813B (zh) | 2020-04-29 | 2020-04-29 | 基于非局部信息的三维卷积神经网络的皮下汗腺提取方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010356352.6A CN111666813B (zh) | 2020-04-29 | 2020-04-29 | 基于非局部信息的三维卷积神经网络的皮下汗腺提取方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111666813A true CN111666813A (zh) | 2020-09-15 |
CN111666813B CN111666813B (zh) | 2023-06-30 |
Family
ID=72383114
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010356352.6A Active CN111666813B (zh) | 2020-04-29 | 2020-04-29 | 基于非局部信息的三维卷积神经网络的皮下汗腺提取方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111666813B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112541909A (zh) * | 2020-12-22 | 2021-03-23 | 南开大学 | 基于切片感知的三维神经网络的肺结节探测方法及*** |
CN113627468A (zh) * | 2021-07-01 | 2021-11-09 | 浙江安防职业技术学院 | 基于无监督学习的非局部神经网络图像处理方法及*** |
CN117831122A (zh) * | 2023-12-20 | 2024-04-05 | 慧之安信息技术股份有限公司 | 一种基于手势识别的井下约车方法及*** |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107480649A (zh) * | 2017-08-24 | 2017-12-15 | 浙江工业大学 | 一种基于全卷积神经网络的指纹汗孔提取方法 |
US20180293711A1 (en) * | 2017-04-06 | 2018-10-11 | Disney Enterprises, Inc. | Kernel-predicting convolutional neural networks for denoising |
US20190156210A1 (en) * | 2017-11-17 | 2019-05-23 | Facebook, Inc. | Machine-Learning Models Based on Non-local Neural Networks |
CN110298804A (zh) * | 2019-07-01 | 2019-10-01 | 东北大学 | 一种基于生成对抗网络和3d残差编码解码的医学图像降噪方法 |
CN110334566A (zh) * | 2019-03-22 | 2019-10-15 | 浙江工业大学 | 一种基于三维全卷积神经网络的oct内外指纹提取方法 |
CN110826462A (zh) * | 2019-10-31 | 2020-02-21 | 上海海事大学 | 一种非局部双流卷积神经网络模型的人体行为识别方法 |
-
2020
- 2020-04-29 CN CN202010356352.6A patent/CN111666813B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180293711A1 (en) * | 2017-04-06 | 2018-10-11 | Disney Enterprises, Inc. | Kernel-predicting convolutional neural networks for denoising |
CN107480649A (zh) * | 2017-08-24 | 2017-12-15 | 浙江工业大学 | 一种基于全卷积神经网络的指纹汗孔提取方法 |
US20190156210A1 (en) * | 2017-11-17 | 2019-05-23 | Facebook, Inc. | Machine-Learning Models Based on Non-local Neural Networks |
CN110334566A (zh) * | 2019-03-22 | 2019-10-15 | 浙江工业大学 | 一种基于三维全卷积神经网络的oct内外指纹提取方法 |
CN110298804A (zh) * | 2019-07-01 | 2019-10-01 | 东北大学 | 一种基于生成对抗网络和3d残差编码解码的医学图像降噪方法 |
CN110826462A (zh) * | 2019-10-31 | 2020-02-21 | 上海海事大学 | 一种非局部双流卷积神经网络模型的人体行为识别方法 |
Non-Patent Citations (2)
Title |
---|
HAIXIA WANG, XICHENG YANG, PENG CHEN, BAOJIN DING, RONGHUA LIANG, YIPENG LIUA: "Acquisition and extraction of surface and internal fingerprints from optical coherence tomography through 3D fully convolutional network" * |
王涛;纪则轩;孙权森;: "结合非局部信息与图割的图像分割算法" * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112541909A (zh) * | 2020-12-22 | 2021-03-23 | 南开大学 | 基于切片感知的三维神经网络的肺结节探测方法及*** |
CN112541909B (zh) * | 2020-12-22 | 2022-05-17 | 南开大学 | 基于切片感知的三维神经网络的肺结节探测方法及*** |
CN113627468A (zh) * | 2021-07-01 | 2021-11-09 | 浙江安防职业技术学院 | 基于无监督学习的非局部神经网络图像处理方法及*** |
CN117831122A (zh) * | 2023-12-20 | 2024-04-05 | 慧之安信息技术股份有限公司 | 一种基于手势识别的井下约车方法及*** |
Also Published As
Publication number | Publication date |
---|---|
CN111666813B (zh) | 2023-06-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108664996B (zh) | 一种基于深度学习的古文字识别方法及*** | |
CN107292256B (zh) | 基于辅任务的深度卷积小波神经网络表情识别方法 | |
CN106529447B (zh) | 一种小样本人脸识别方法 | |
CN107480649B (zh) | 一种基于全卷积神经网络的指纹汗孔提取方法 | |
CN110738207A (zh) | 一种融合文字图像中文字区域边缘信息的文字检测方法 | |
CN110070091B (zh) | 用于街景理解的基于动态插值重建的语义分割方法及*** | |
CN109815850A (zh) | 基于深度学习的虹膜图像分割及定位方法、***、装置 | |
CN111666813B (zh) | 基于非局部信息的三维卷积神经网络的皮下汗腺提取方法 | |
CN107909005A (zh) | 基于深度学习的监控场景下人物姿态识别方法 | |
CN112437926B (zh) | 使用前馈卷积神经网络的快速鲁棒摩擦脊印痕细节提取 | |
CN112614136B (zh) | 一种红外小目标实时实例分割方法及装置 | |
CN109635726B (zh) | 一种基于对称式深度网络结合多尺度池化的滑坡识别方法 | |
CN109299303B (zh) | 基于可变形卷积与深度网络的手绘草图检索方法 | |
CN111652273B (zh) | 一种基于深度学习的rgb-d图像分类方法 | |
CN113011253B (zh) | 基于ResNeXt网络的人脸表情识别方法、装置、设备及存储介质 | |
CN111126240A (zh) | 一种三通道特征融合人脸识别方法 | |
CN113095156B (zh) | 一种基于逆灰度方式的双流网络签名鉴定方法及装置 | |
CN113920516B (zh) | 一种基于孪生神经网络的书法字骨架匹配方法及*** | |
CN110598564A (zh) | 基于OpenStreetMap的高空间分辨率遥感影像迁移学习分类方法 | |
CN112861718A (zh) | 一种轻量级特征融合人群计数方法及*** | |
CN112001362A (zh) | 一种图像分析方法、图像分析装置及图像分析*** | |
CN114445691A (zh) | 模型训练方法、装置、电子设备及存储介质 | |
CN107358625B (zh) | 基于SPP Net和感兴趣区域检测的SAR图像变化检测方法 | |
CN113011506A (zh) | 一种基于深度重分形频谱网络的纹理图像分类方法 | |
CN110633666A (zh) | 一种基于手指颜色贴片的手势轨迹识别方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |