CN111178229B - 一种基于深度学习的静脉显像方法和装置 - Google Patents
一种基于深度学习的静脉显像方法和装置 Download PDFInfo
- Publication number
- CN111178229B CN111178229B CN201911365761.6A CN201911365761A CN111178229B CN 111178229 B CN111178229 B CN 111178229B CN 201911365761 A CN201911365761 A CN 201911365761A CN 111178229 B CN111178229 B CN 111178229B
- Authority
- CN
- China
- Prior art keywords
- image
- training
- images
- deep learning
- vein
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 210000003462 vein Anatomy 0.000 title claims abstract description 54
- 238000003384 imaging method Methods 0.000 title claims abstract description 26
- 238000013135 deep learning Methods 0.000 title claims abstract description 21
- 238000012549 training Methods 0.000 claims abstract description 50
- 238000000034 method Methods 0.000 claims abstract description 25
- 230000000694 effects Effects 0.000 claims abstract description 8
- 230000008030 elimination Effects 0.000 claims abstract description 4
- 238000003379 elimination reaction Methods 0.000 claims abstract description 4
- 230000006870 function Effects 0.000 claims description 38
- 238000012360 testing method Methods 0.000 claims description 13
- 230000004913 activation Effects 0.000 claims description 12
- 238000013507 mapping Methods 0.000 claims description 10
- 238000009826 distribution Methods 0.000 claims description 7
- 230000008859 change Effects 0.000 claims description 6
- 230000001186 cumulative effect Effects 0.000 claims description 6
- 230000004075 alteration Effects 0.000 claims description 5
- 238000013527 convolutional neural network Methods 0.000 claims description 5
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 4
- 239000011159 matrix material Substances 0.000 claims description 4
- 238000000926 separation method Methods 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 4
- 230000017105 transposition Effects 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 3
- 230000004927 fusion Effects 0.000 claims description 2
- 238000013136 deep learning model Methods 0.000 abstract 2
- 238000010586 diagram Methods 0.000 description 5
- 238000011161 development Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000012795 verification Methods 0.000 description 3
- HPTJABJPZMULFH-UHFFFAOYSA-N 12-[(Cyclohexylcarbamoyl)amino]dodecanoic acid Chemical compound OC(=O)CCCCCCCCCCCNC(=O)NC1CCCCC1 HPTJABJPZMULFH-UHFFFAOYSA-N 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 210000000245 forearm Anatomy 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000013508 migration Methods 0.000 description 2
- 230000005012 migration Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
- 238000012285 ultrasound imaging Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/14—Vascular patterns
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明提供了一种基于深度学习的静脉显像方法和装置,所述方法包括:从数据库中获取同帧成对的彩色和近红外格式的手臂图像,对于彩色图像进行随机色相饱和度操作;搭建适合于嵌入式设备的深度学习网络,将获得的成对手臂图像送入网络进行训练,经过调整参数后获取效果最好的深度学习模型;将训练好的深度学习模型以及框架部署到嵌入式设备上,并运用基于训练集图像的色差消除方法,可以通过嵌入式设备连接的相机来拍摄手臂彩色图像来进行静脉显像。本发明通过设计适用于嵌入式设备的静脉显像算法,提高静脉显像的准确性和鲁棒性,实现了静脉显像工作的小型化和便携性,具有很大的实用价值。
Description
技术领域
本发明属于计算机视觉和图像处理技术领域,尤其涉及一种基于深度学习的静脉显像方法和装置。
背景技术
如今静脉识别技术已经得到了商业化的应用,但是这类产品往往是基于超声波造影或者是利用近红外通道相机来进行拍摄静脉图像从而进行识别操作,但是这些方法往往设备体积较大或是造价昂贵,如何简单、高效且准确地实现静脉显像是目前静脉识别技术接下来面临的挑战。
现有的对于可见光的静脉显像技术主要有两类:基于光学原理的静脉显像方法、基于深度学习的静脉显像方法。
基于光学原理的方法实现了通过可见光图像将隐藏的静脉空间分布显示出来,具有较高的研究价值和实用价值,为研究者们进一步发掘静脉这种生物特征识别技术的巨大潜力提供了较大的便利。但是,该方法存在的主要问题是计算模型是基于单个像素的,因此每个点是孤立的,由映射函数得到的近红外图像噪声比较大,并且不利于嵌入式设备的移植。基于深度学习的方法不需要了解光学原理中复杂的细节,让卷积神经网络通过大量数据的训练从而学习到图像中的特征以及可见光与近红外图像之间的映射关系,这种方法以图像而非单个像素作为模型的输入,可有效降低噪声,但是对于网络模型的构建,参数的选择等方面提出了较高的要求。
发明内容
针对现有技术的不足,本发明提供了一种基于深度学习的静脉显像方法和装置,所述方法包括如下步骤:
步骤1,对包含静脉数据的图像进行数据增强;对于静脉数据进行随机色度和饱和度、随机移位刻度旋转、随机水平旋转、随机顶点旋转等操作,并截取成对的静脉片段;
步骤2,建立深度学习的网络模型,设计训练方案,对网络模型进行训练,得到训练好的模型;
首先构建了基于残差结构的卷积神经网络层作为特征提取器,并使用迁移学习的方法加快模型收敛的速度,随后添加空洞卷积的模块达到所需要的精度而降低网络的深度和参数的复杂度,最后通过转置卷积层作为解码器得到静脉的显像图像并使用Sigmoid激活函数来优化模型。
步骤3,采集测试图像,消除色差后输入到训练好的模型中,得到输出结果。步骤1包括如下步骤:
步骤1-1,从静脉数据库读取到包含静脉数据的RGB图像,通过公式(1)得到图像亮度Y,通过公式(2)、(3)得到色度偏红U和偏紫V:
Y=0.299*r+0.587*g+0.114*b (1)
U=0.1687*r-0.3313*g+0.5*b+128 (2)
V=0.5*r-0.4187*g-0.0813*b+128 (3)
其中,r表示包含静脉数据的RGB图像的红色通道分量,g表示包含静脉数据的RGB图像的绿色通道分量,b表示包含静脉数据的RGB图像的蓝色通道分量;
由公式(4)通过随机r值达到随机色度和饱和度的效果:
其中r范围为(0,5);
步骤1-2,对于包含静脉数据的RGB图像,同时进行水平镜像、垂直镜像以及围绕图像中心随机旋转操作,并进行仿射变换;
步骤1-3,将数据库中的所有图像中心处用256*256的矩形框截取图像,获得相应的手臂块图像。
步骤1-2中,通过如下公式得到仿射变换:
其中,center.x、center.y分别为原图像旋转中心的x坐标和y坐标,scale为各向同性比例因子,θ为旋转角度。
步骤2包括:
步骤2-1,使用卷积神经网络来构建特征提取器,特征提取器依次使用了1个7*7的卷积层以及32个3*3的卷积层,从第一个3*3的卷积层开始,将每两个卷积层之间构建一个额外的连接,通过这个结构将输入值与正常卷积操作值做差,在训练中将差值作为训练目标;
步骤2-2,在特征提取器后添加一个空洞卷积模块,空洞卷积模块包括四个空洞卷积层以及四个线性整流函数ReLU(Rectified Linear Unit,ReLU)层作为激活函数,每个空洞卷积层后连接一个ReLU层。
由于本发明方法是为嵌入式设备设计的,而且特征提取器需要提取的是类近红外像素空间到RGB像素空间的映射这种不明显的特征,所以既要控制网络和参数的复杂程度,又要保证特征提取器的精度,所以选择在特征提取器后添加一个空洞卷积模块,通过增大卷积的视野而保证算法所需要的精度而降低网络的深度和参数的复杂度。
步骤2-3,在空洞卷积模块后添加一个转置卷积层,转置卷积作为解码器来输出所需要的图像,并且使用Sigmoid函数作为激活函数来优化模型。
由于最后的输出为显示了静脉信息的图像而不是一个标签,所以最后设置了一个转置卷积作为解码器用来输出图像。
步骤2-3中,所述激活函数Sigmoid为:
其中x为输入矩阵,S(x)为对应的输出矩阵,S′(x)为S(x)的一阶导数。
步骤2-4,训练模型时,使用的是经过步骤1-1和1-2处理后的同帧的N对RGB-NIR手臂图像以及步骤1-3剪切过的N对手臂块图像,随机选取其中80%的图像作为训练集,20%的数据作为测试集;N一般取值为200;
本发明在训练中使用了RBG-NIR数据集,数据集中的所有图像均使用JAI-AD080CL相机采集。该相机可以同时获取彩色RGB图像和红外NIR图像。数据集中包含来自不同条件的200人的同帧RGB以及NIR的前臂图像。
步骤2-5,在训练模型前确定初始的学***均(SWA)方法。
其中所使用的参数调整方法与传统的随机梯度下降(SGD)不同,是一种随机权重平均(SWA)的方法,每一个轮次学***均,从而得到一个全局化的、更低损失的通用解,并设定一个周期,对于这个通用解进行周期性的滑动平均,其他的轮次就按照传统的SGD方法进行更新。这样可以更快的拟合模型。
步骤2-5中,学习率的变化函数lr为:
其中,x为初始学习率,y为当前训练轮数,z为训练总轮数。
步骤2-6,设计基于图像梯度融合的均方差损失函数(MSELoss)来衡量模型的效果,从而得到效果最好的模型。
当图像中存在边缘时,会有较大的梯度值,当图像中某部分比较平滑时,灰度值变化较小,则相应的梯度也较小,由于所需要的静脉信息在边缘时会有较大梯度,所以在计算loss时,首先将训练图像分解为横、纵两个方向梯度函数g(x),g(y),并在训练中依次计算均方误差损失,最后取平均作为损失函数。
所述损失函数为:
其中,loss为损失函数,l(x),l(y)分别为在x方向以及y方向梯度函数的均方误差损失。
步骤3包括:
步骤3-1,选取基准图像,将其进行通道分离,分别分离出基于红色,绿色,蓝色的三张单通道图像,并分别进行直方图均衡化,分别得到每个像素z和累积分布T(z);
由于用来验证的图像是使用嵌入式设备上的摄像头拍摄,为了使图像风格接近于原始的训练集图像,选定一张训练集当中风格较为明显的图像作为基准图,将其进行通道分离,以分离的图像的各个灰度图的直方图规范化结果作为基准,将用来验证的图像做同样的操作,通过使用分离的基准图像与验证图像的差值建立绝对值建立灰度级的映射。
步骤3-2,将用于静脉显像的测试图像进行如步骤3-1同样的操作,得到每个像素s和累积分布G(s),并分别与基准图像的对应通道的图像做差,然后根据差值的绝对值建立灰度级的映射,对于每一个G(s),设定其像素值为ss,找到在T(z)中与其差值最小的那个T(z)值,设定对应的像素值为zz,把ss变换为zz;
步骤3-3,将进行过色差消除的图像输入到训练好的模型里,得到输出结果。
本发明还提供了一种基于深度学习的静脉显像装置,所述装置为嵌入式设备,所述嵌入式设备中存储有计算机程序指令,所述计算机程序指令在被所述嵌入式设备运行时使得所述嵌入式设备执行基于深度学习的静脉显像方法。
与现有技术相比,本发明的有益效果在于:
本发明中的静脉显像的算法设计,有益处在于不需要了解光学原理,通过端到端的方式学***滑,噪点较少,通过随机饱和度等数据增强方式可以做到更好的鲁棒性,结合现有的嵌入式设备来进行设计,在保证效果的前提下所需要的模型结构和参数做出了相应的简化,加快了算法实现的速度,同时可以做到更好的便携性以及更灵活的使用空间,因而具有非常大的实用价值。
附图说明
下面结合附图和具体实施方式对本发明做更进一步的具体说明,本发明的上述或其他方面的优点将会变得更加清楚。
图1为训练样本原图。
图2为随机色度和饱和度后的图像。
图3为数据增强中的垂直镜像操作。
图4为算法的网络模型结构。
图5为未使用残差结构的34层卷积特征提取器与ResNet34特征提取器结构对比图。
图6为可以采取同帧RGB图和NIR图的JAI-AD080CL相机。
图7为ResNet34特征提取器的残差结构。
图8为空洞卷积操作示意图。
图9为转置卷积操作示意图。
图10为Sigmoid激活函数原理图。
图11为训练过程中训练集损失随轮次的变化图。
图12为进行色差消除的训练集基准图。
图13为NVIDIA Jeston TX2开发板。
图14为在嵌入式设备上处理RGB图像后的结果图。
图15为在嵌入式设备上处理RGB图像后的结果图。
图16为在嵌入式设备上处理RGB图像后的结果图。
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
本发明提供了一种基于深度学习的静脉显像方法和装置,所述方法包括如下步骤:
(一)数据增强
由于市面上的相机种类很多,拍摄时的角度也会有差别,这都会对最终训练的模型产生影响,为了使模型拥有更好的鲁棒性,对于训练的图像进行了图像增强。
具体的流程如下:
(1)原图像如图1所示,对于训练样本做随机色度和饱和度操作的图像操作如图2所示,这样可以使网络模型学习到针对于不同相机拍出图像的特征。
(2)对于训练样本做随机移位刻度旋转、随机水平旋转、随机顶点旋转以及垂直镜像等操作,如图3所示,并截取成对的静脉片段,增加训练样本的数量并且可以使网络模型学习到针对于不同位置的静脉特征的映射关系。
(二)训练流程
网络模型的结构图如图4示,其中Resnet34是基于残差结构的卷积神经网络,作为我们的特征提取器,Dilated Block是空洞卷积模块,里面分别包含有依次连接的4组空洞卷积以及线性整流函数,Transpose-Conv Decoder是转置卷积层,Sigmoid Activation为S型激活函数
(1)首先构建了基于残差结构的卷积神经网络层作为的特征提取器,图5为未使用残差结构和使用了残差结构的对比图,接着使用成对的数据集RGB-NIR数据集进行训练,该数据集的所有的图像都是用如图6所示JAI-AD080CL相机采集的,它可以同时获得可见光与近红外线同步图像。数据集包含了200人在不同条件下采集的前臂图像,从而提取了静脉的RGB图像与NIR图像对应的映射关系。
由于提取的是类近红外像素空间到RGB像素空间的映射,所以需要较深层的卷积层来提取特征,但是当网络变得越来越深的时候,训练的准确率会趋于平缓,但是训练误差会变大,即出现“退化”现象,这时引用了如图7的残差结构来避免此现象。在参数的调整时由于网络结构较为复杂而且参数较多,本发明使用了迁移学习的方法,将特征提取器的参数的值继承了在ImageNet数据集上面的预训练权重并根据训练样本进行了微调,使得网络能够加速收敛并具有一定的鲁棒性。
(2)在特征提取器后添加一个空洞卷积模块如图8所示,空洞卷积模块分别包括四个空洞卷积层以及四个线性整流函数ReLU层作为激活函数,通过增大卷积的视野而保证算法所需要的精度而降低网络的深度和参数的复杂度,卷积核的步长设置为3。
(3)在空洞卷积模块后是一个如图9所示的转置卷积作为解码器来输出所需要的图像,并且使用如图10所示的Sigmoid作为激活函数来优化模型。
(4)训练中所使用的是经过步骤1-1和1-2扩充后的同帧的200对RGB-NIR手臂图像以及步骤1-3剪切过的200对手臂块图像,随机选取80%的数据作为训练集,20%的数据作为测试集。本文的训练是基于Ubuntu16.04,64位操作***,采用Pytorch深度学习框架,在Nvidia 1080TI(12G显存)的GPU上实现,共耗时50分钟。
(5)经过多次尝试,网络参数的设置采用2*10-4次方作为初始学***均(SWA)的方法,其中训练过程如图11所示。
(6)本发明采用了一种梯度分解的均方差损失函数,首先将图像分解了gx,gy两个梯度,并在训练中依次计算均方误差损失,最后取平均作为我们损失函数。
(三)测试流程
(1)选取图所示图像作为基准图像,将其进行通道分离,分别分离出基于红色,绿色,蓝色的三张单通道图像并分别进行直方图均衡化,分别得到每个像素z和累积分布T(z)。
(2)将用于静脉显像的测试图像进行如步骤3-1同样的操作,得到累积分布G(s),并分别与基准图像的对应通道的图像做差,然后根据差值的绝对值建立灰度级的映射,对于每一个G(s)(假设其像素值为ss),找到在T(z)中与其差值最小的那个T(z)值(假设对应的像素值为zz),把ss变换为zz。
(3)将进行过色差消除的图像输入到训练好的模型里,得到输出结果。
(四)嵌入式设备的实现
嵌入式设备实现包括图像采集赖项、Python库的编译安装以及运行算法程序时需要操作的步骤。本发明所采用的NVIDIA Jetson TX2开发板如图13所示。
(1)在编译OpenCV时修改Cmakelist文件时需要设置CMAKE_BUILD_TYPE=RELEASE,CMAKE_INSTALL_PREFIX=/usr/local,ITH CUDA=ON,CUDA ARCH BIN="6.2",根据嵌入式设备属性将以上几个选项进行修改。
(2)需要将Jeston TX2使用英伟达公司提供的Jetpack4.2.1开发包进行刷机以获取需要的CUDA版本以及CUDNN版本。
(3)将算法移植到Jeston TX2开发板上,选择的基准图像如图12所示,将基准图像与算法中的test.py文件放入同一文件夹,随后通过嵌入式设备中连接的摄像头采集静脉的RGB图像,采集的图像会自动保存在算法的data文件夹,使用Python3运行test.py后即可在result文件夹中获取到对应的类NIR图像。
经过对比多组图像在嵌入式设备上可以得到与在深度学习服务器端同样的结果,在嵌入式设备上实现的算法可以完整实现同样的功能,图14、图15、图16是嵌入式设备上的结果实例,与在服务器端获得的是完全一致的。
本发明提供了一种基于深度学习的静脉显像方法和装置,具体实现该技术方案的方法和途径很多,以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。
Claims (3)
1.一种基于深度学习的静脉显像方法,其特征在于,包括如下步骤:
步骤1,对包含静脉数据的图像进行数据增强;
步骤2,建立深度学习的网络模型,设计训练方案,对网络模型进行训练,得到训练好的模型;
步骤3,采集测试图像,消除色差后输入到训练好的模型中,得到输出结果;
步骤1包括如下步骤:
步骤1-1,从静脉数据库读取到包含静脉数据的RGB图像,通过公式(1)得到图像亮度Y,通过公式(2)、(3)得到色度偏红U和偏紫V:
Y=0.299*r+0.587*g+0.114*b(1)
U=0.1687*r-0.3313*g+0.5*b+128(2)
V=0.5*r-0.4187*g-0.0813*b+128(3)
其中,r表示包含静脉数据的RGB图像的红色通道分量,g表示包含静脉数据的RGB图像的绿色通道分量,b表示包含静脉数据的RGB图像的蓝色通道分量;
由公式(4)通过随机r值达到随机色度和饱和度的效果:
其中r范围为(0,5);
步骤1-2,对于包含静脉数据的RGB图像,同时进行水平镜像、垂直镜像以及围绕图像中心随机旋转操作,并进行仿射变换;
步骤1-3,将数据库中的所有图像中心处用256*256的矩形框截取图像,获得相应的手臂块图像;
步骤1-2中,通过如下公式得到仿射变换:
步骤2包括:
步骤2-1,使用卷积神经网络来构建特征提取器,特征提取器依次使用了1个7*7的卷积层以及32个3*3的卷积层,从第一个3*3的卷积层开始,将每两个卷积层之间构建一个额外的连接,通过这个结构将输入值与正常卷积操作值做差,在训练中将差值作为训练目标;
步骤2-2,在特征提取器后添加一个空洞卷积模块,空洞卷积模块包括四个空洞卷积层以及四个线性整流函数ReLU层作为激活函数,每个空洞卷积层后连接一个ReLU层;
步骤2-3,在空洞卷积模块后添加一个转置卷积层,转置卷积作为解码器来输出所需要的图像,并且使用Sigmoid作为激活函数来优化模型;
步骤2-4,训练模型时,使用的是经过步骤1-1和1-2处理后的同帧的N对RGB-NIR手臂图像以及步骤1-3剪切过的N对手臂块图像,随机选取其中80%的图像作为训练集,20%的数据作为测试集;
步骤2-5,在训练模型前确定初始的学***均方法;
步骤2-6,设计基于图像梯度融合的均方差损失函数来衡量模型的效果,得到效果最好的模型;
步骤2-3中,所述激活函数sigmoid为:
其中x为输入矩阵,S(x)为对应的输出矩阵,S′(x)为S(x)的一阶导数;
步骤2-5中,学习率的变化函数lr为:
其中,x为初始学习率,y为当前训练轮数,z为训练总轮数;
步骤2-6中,首先将训练图像分解为横、纵两个方向梯度函数g(x),g(y),并在训练中依次计算均方误差损失,最后取平均作为损失函数,所述损失函数为:
其中,loss为损失函数,l(x),l(y)分别为在x方向以及y方向梯度函数的均方误差损失;
步骤3包括:
步骤3-1,选取基准图像,将其进行通道分离,分别分离出基于红色,绿色,蓝色的三张单通道图像,并分别进行直方图均衡化,分别得到每个像素z和累积分布T(z);
步骤3-2,将用于静脉显像的测试图像进行如步骤3-1同样的操作,得到每个像素s和累积分布G(s),并分别与基准图像的对应通道的图像做差,然后根据差值的绝对值建立灰度级的映射,对于每一个G(s),设定其像素值为ss,找到在T(z)中与其差值最小的那个T(z)值,设定对应的像素值为zz,把ss变换为zz;
步骤3-3,将进行过色差消除的图像输入到训练好的模型里,得到输出结果。
2.一种基于深度学习的静脉显像装置,其特征在于,所述装置为嵌入式设备,所述嵌入式设备中存储有计算机程序指令,所述计算机程序指令在被所述嵌入式设备运行时使得所述嵌入式设备执行如权利要求1所述的基于深度学习的静脉显像方法。
3.根据权利要求2所述的一种基于深度学习的静脉显像装置,其特征在于,所述嵌入式设备连接摄像头,并通过摄像头采集待处理的图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911365761.6A CN111178229B (zh) | 2019-12-26 | 2019-12-26 | 一种基于深度学习的静脉显像方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911365761.6A CN111178229B (zh) | 2019-12-26 | 2019-12-26 | 一种基于深度学习的静脉显像方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111178229A CN111178229A (zh) | 2020-05-19 |
CN111178229B true CN111178229B (zh) | 2023-04-28 |
Family
ID=70655709
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911365761.6A Active CN111178229B (zh) | 2019-12-26 | 2019-12-26 | 一种基于深度学习的静脉显像方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111178229B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112163506A (zh) * | 2020-09-25 | 2021-01-01 | 伏羲九针智能科技(北京)有限公司 | 基于超声的静脉血管识别方法、装置及设备 |
CN113643238A (zh) * | 2021-07-14 | 2021-11-12 | 南京航空航天大学 | 基于深度学习的手机端静脉显像方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7198577B2 (ja) * | 2017-11-17 | 2023-01-04 | シスメックス株式会社 | 画像解析方法、装置、プログラムおよび学習済み深層学習アルゴリズムの製造方法 |
CN109635618B (zh) * | 2018-08-07 | 2023-03-31 | 南京航空航天大学 | 基于卷积神经网络的可见光图像静脉显像方法 |
CN110427832A (zh) * | 2019-07-09 | 2019-11-08 | 华南理工大学 | 一种基于神经网络的小数据集手指静脉识别方法 |
-
2019
- 2019-12-26 CN CN201911365761.6A patent/CN111178229B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN111178229A (zh) | 2020-05-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Zhang et al. | Single image defogging based on multi-channel convolutional MSRCR | |
EP4109392A1 (en) | Image processing method and image processing device | |
CN108717524B (zh) | 一种基于双摄手机和人工智能***的手势识别*** | |
CN112288658A (zh) | 一种基于多残差联合学习的水下图像增强方法 | |
CN112733950A (zh) | 一种基于图像融合与目标检测结合的电力设备故障诊断方法 | |
CN110991281A (zh) | 一种动态人脸识别方法 | |
CN110675328A (zh) | 基于条件生成对抗网络的低照度图像增强方法及装置 | |
CN110210608A (zh) | 基于注意力机制和多层次特征融合的低照度图像增强方法 | |
Sánchez-Ferreira et al. | Bio-inspired optimization algorithms for real underwater image restoration | |
CN110110131B (zh) | 一种基于深度学习与双目立体视觉的飞机线缆支架识别与参数获取方法 | |
CN111178229B (zh) | 一种基于深度学习的静脉显像方法和装置 | |
CN112102182A (zh) | 一种基于深度学习的单图像去反射方法 | |
US20220148292A1 (en) | Method for glass detection in real scenes | |
CN115223004A (zh) | 基于改进的多尺度融合生成对抗网络图像增强方法 | |
CN105678245A (zh) | 一种基于哈尔特征的靶位识别方法 | |
CN113810611B (zh) | 一种事件相机的数据模拟方法和装置 | |
CN112926552B (zh) | 基于深度神经网络的遥感影像车辆目标识别模型及方法 | |
CN112614070B (zh) | 一种基于DefogNet的单幅图像去雾方法 | |
CN114463619B (zh) | 基于集成融合特征的红外弱小目标检测方法 | |
CN116757986A (zh) | 一种红外与可见光图像融合方法及装置 | |
CN114677722A (zh) | 一种融合多尺度特征的多监督人脸活体检测方法 | |
CN109934787A (zh) | 一种基于高动态范围的图像拼接方法 | |
CN113935917A (zh) | 一种基于云图运算和多尺度生成对抗网络的光学遥感影像薄云去除方法 | |
CN112581551B (zh) | 基于潜在空间特征提取和映射的被动非视域成像方法 | |
CN114913086A (zh) | 基于生成对抗网络的人脸图像质量增强方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |