CN109840290A - 一种基于端到端深度哈希的皮肤镜图像检索方法 - Google Patents

一种基于端到端深度哈希的皮肤镜图像检索方法 Download PDF

Info

Publication number
CN109840290A
CN109840290A CN201910062340.XA CN201910062340A CN109840290A CN 109840290 A CN109840290 A CN 109840290A CN 201910062340 A CN201910062340 A CN 201910062340A CN 109840290 A CN109840290 A CN 109840290A
Authority
CN
China
Prior art keywords
network
image
layer
lens image
skin
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910062340.XA
Other languages
English (en)
Other versions
CN109840290B (zh
Inventor
谢凤英
宋雪冬
姜志国
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN201910062340.XA priority Critical patent/CN109840290B/zh
Publication of CN109840290A publication Critical patent/CN109840290A/zh
Application granted granted Critical
Publication of CN109840290B publication Critical patent/CN109840290B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明一种基于端到端深度哈希的皮肤镜图像检索方法，包括步骤为：步骤一：建立皮肤镜图像数据库；步骤二：端到端深度哈希网络模型设计；步骤三：网络训练；步骤四：提取深度哈希码，构建检索数据库；步骤五：检索皮肤镜图像。优点在于：设计了Res‑DenseNet50深度哈希结构，改善了高层特征与低层特征之间的融合能力，避免了信息在层与层之间传递过程中的丢失。提取出的高层特征具有更好的可分性，从而具有更高的检索准确率。实现了基于端到端深度哈希的检索方法。本发明直接对原始图像进行学习，并且从网络的倒数第二层可直接得到输入图像对应的深度哈希码，简化了皮肤镜图像检索的过程，避免了传统检索流程中前后步骤之间的累积误差。

Description

一种基于端到端深度哈希的皮肤镜图像检索方法
技术领域
本发明属于皮肤镜图像处理领域，具体涉及一种基于端到端深度哈希的皮肤镜图像检索方法。
背景技术
生活中各种各样的皮肤疾病危害着人们的健康，而皮肤镜诊断是一种针对皮肤疾病的无创性显微图像分析技术。以往皮肤科医生的诊断方法主要是通过皮肤镜观察皮损区域，再依赖经验和主观视觉评价来做出诊断结果。这种依赖人眼观察的方式容易引起视觉疲劳，而且诊断结果带有主观性，可重复性较差。而皮肤镜图像辅助诊断技术能够从皮肤镜图像中自动提取皮损目标并对皮损类型进行识别，从而辅助医生做出正确诊断，这种方式具有客观可重复的优点。皮肤镜图像检索是皮肤镜图像计算机辅助诊断中的重要研究内容，它可以从数据库中快速准确地检索到相似图像，这些相似图像具有已经确诊的信息，可以为医生进行临床诊断提供参考依据。
目前对皮肤镜图像的研究，主要还是以图像分割和分类为主，相比之下皮肤镜图像检索方面的研究成果还比较少。现有的皮肤镜图像检索方法主要包括基于传统低层特征的皮肤镜图像检索方法和基于深度学习的皮肤镜图像检索方法。基于传统低层特征的皮肤镜图像检索方法是先对图像进行去毛发、分割等处理，再分割出皮损区域，然后对皮损区域提取一些颜色、纹理、边界等低层特征，最后采用哈希映射的方法进行检索。由于该方法提取的特征对皮损区域的描述能力不强，而且多个步骤之间会存在累积误差，因此检索准确率较低。。而基于深度学习的皮肤镜图像检索方法是采用深度学习方法对皮肤镜图像提取高层语义特征，并采用端到端的深度哈希进行图像检索，采用深度学习方法所提取的特征比传统低层特征具有更强的描述能力，通常能够获得更好的检索结果。由于当前针对皮肤镜图像检索的研究还不是很深入，现有的皮肤镜图像检索方法的准确率都不是很高，针对皮肤镜图像检索的研究还存在很大的提升空间。
发明内容
目的：
本发明的目的在于提供一种基于端到端深度哈希的皮肤镜图像检索方法，它通过端到端深度哈希的卷积神经网络模型，可以直接提取皮肤镜图像对应的哈希码，设计的网络模型不仅提高了特征的描述能力，还省略了传统检索中各个步骤之间的前后依赖性，能够取得更准确的检索结果。
技术方案：
本发明将残差网络和DenseNet网络思想相结合，设计了端到端深度哈希网络模型。它可直接对原始皮肤镜图像提取深度哈希码，再通过构建哈希表数据结构实现皮肤镜图像的快速检索，得到与待检索图像最相似的一组图像。具体技术方案如下：
本发明是一种基于端到端深度哈希的皮肤镜图像检索方法，它包括以下步骤：
步骤一：建立皮肤镜图像数据库
本发明针对黄种人的皮肤镜图像构建检索数据库，包含N种常见皮肤病。我们将采集到的皮肤镜图像的分辨率大小统一缩放为K×K，以此构建皮肤镜图像数据库。
由于皮肤镜图像数据库通常较小，因此先对数据库进行扩充。将每种皮肤病中的建库图像进行了三个角度的旋转(90°、180°、270°)和横向镜像进行数据扩充，即可得到最终的检索库数据集。
步骤二：端到端深度哈希网络模型设计
本发明在残差网络ResNet50的基础上借鉴DenseNet的思想，设计了一个具有51层的卷积神经网络Res-DenseNet50。该网络包含4个部分：1个卷积层、4个残差组、1个平均值池化层、以及2个全连接层。
对卷积层来说，特征图的尺寸可以用width×height×depth表示，前两个值表示空间尺寸，最后一个值表示通道数量。用Conv#代表卷积层，Maxp#代表最大值池化层，FC#代表全连接层，则所设计的网络结构具体细节如下：
1)首先网络的第1层是卷积层Conv1，尺寸为7×7×64，用来将图像映射到高维空间，特征图个数为64。该卷积层与4组残差块连接。
2)第1层卷积层后与4组残差块相串连。随着网络深度的增加，网络会遇到梯度消失和网络退化问题。残差结构将其输出与输入进行相加，用公式(1)描述如下：
F(x)＝H(x)+x (1)
其中x为输入，H(x)为原来结构的映射函数，F(x)为将输出与输入相加后残差块结构的映射函数，以此形成残差映射。在残差网络结构中，网络学习过程主要是对输入与输出之间的残差部分进行学习，该结构使得网络更容易训练，且一定程度避免了梯度消失问题，能够得到更好的结果。
本发明设计的网络结构中，Conv1后边由4组残差块前后串联。考虑到随着网络深度的增加，残差网络仍然会遇到梯度消失和网络退化问题，因此，我们借鉴DenseNet思想，将前3组残差块的输入和输出合并在一起，从而使得某一层残差结构的输入不仅仅依赖于紧邻残差结构的输出，还可以依赖于距离更远的残差块的输出，使得网络中的高层特征和低层特征进行融合，且进一步避免梯度消失，减轻过拟合。对于第2组和第3组的残差块，由于特征图在经过残差块后宽和高均缩小了一半，因此，在连接输入和输出的前向线中各加入一层步长为2的最大值池化层，分别为Maxp1和Maxp2，对输入数据进行降维。
每组残差块的结构参数如下。
第1组包含3个残差块Conv2-x，每个残差块结构为Conv(1×1×64)→Conv(3×3×64)→Conv(1×1×256)。
第2组包含4个残差块Conv3-x，每个残差块结构为Conv(1×1×128)→Conv(3×3×128)→Conv(1×1×512)。
第3组包含6个残差块Conv4-x，每个残差块结构为Conv(1×1×256)→Conv(3×3×256)→Conv(1×1×1024)。
第4组包含3个残差块Conv5-x，每个残差块结构为Conv(1×1×512)→Conv(3×3×512)→Conv(1×1×2048)。
3)第4组残差块后连接的是1个平均值池化层Average pool，用来对特征数据进行降维。
4)网络最后是两个全连接层FC1和FC2。
全连接层FC1的目的是为了将前一层的特征映射为对应的二进制码，因此神经元个数对应为编码位数b，每个神经元的激活函数采用sigmoid函数：
其中，x为神经元的输入，S(x)为激活函数输出。
此函数可以将神经元的值限制在0和1之间，便于最后将这层的值量化为0或1，得到二进制哈希码。
全连接层FC2是最终任务层，输出神经元个数为训练数据库包含的皮肤病种类N，使网络可以按多分类任务训练。训练所采用的损失函数为softmax函数，如公式(3)：
式中，xi为网络的第i个输出，xj为网络的第j个输出，Si为第i类的分类概率。
由式(3)可以计算得每一类的分类概率Si，因此，可通过公式(4)和式(5)计算损失Loss。
式中，N为类别数，Si为第i类的分类概率，yi是输入图像的真实标签，即除了对应类别的位置是1，其余N-1个值都是0，R(W)为加入的正则化损失项，Wk，l为网络最终任务层第l个神经元和倒数第二层第k个神经元之间的权重。
步骤三：网络训练
我们用步骤一中的皮肤镜图像数据库，按图像多分类任务对步骤二中设计的卷积神经网络Res-DenseNet50进行训练。深度学习网络需要大样本数据进行训练，但医学图像的样本集通常较小，因此，通常采用迁移学习的方式。本发明设计的卷积神经网络Res-DenseNet50借助了Resnet50的框架，因此可以采用迁移学习的方法来训练本网络。
本文采用步骤二中的网络模型，在步骤一中的皮肤镜图像数据库上，按图像多分类任务对进行训练。训练方式基于迁移训练，采用Imagenet预训练好的参数，梯度下降采用随机梯度下降法，batch设为64，损失函数采用softmax函数。初始学习率设为0.001，在第20、30、40轮衰减10倍，权值衰减设为0.001，共训练50轮。最终得到网络所需的所有参数，即网络模型中的权重和偏置。
步骤四：提取深度哈希码，构建检索数据库
利用步骤三中训练好的网络模型，将步骤一中皮肤镜图像数据库的图像输入到网络模型，再将网络倒数第二层，即全连接层FC1的b位值提取出来并按二值化公式量化，公式如式(6)。
式中，si为该层第i个神经元的激活函数值，Hi为第i个神经元量化后的二进制码。
则该b位二进制码即为输入图像对应的深度哈希码，将这些哈希码按哈希表结构构建皮肤镜图像的检索数据库。即创建一个数组，元素下标为哈希码的码值，每个元素为一个链表头，链表中存放的是检索数据库中哈希码为该元素下标的皮肤镜图像序号。哈希表数据结构可大幅度提高检索效率，检索图像时，不用遍历整个数据库就可直接检索到一组相似皮肤镜图像在检索数据库中的序号，即检索结果。
此外，也将网络倒数第三层的2048维的特征向量作为输入图像的高层特征提取出来，构建一个高维特征数据库。当根据哈希码检索到一组相似皮肤镜图像后，用2048位高层特征可计算得这组哈希码相同的图像与待检索图像相似性，排序可得最终检索结果，以此来完善检索结果。
步骤五：检索皮肤镜图像
将待检索的皮肤镜图像输入到训练好的网络中，从倒数第二层和第三层分别得到对应的b位深度哈希码和2048位高层特征。然后根据哈希码在检索数据库中进行检索，直接返回以该哈希码的码值为元素下标的链表头，即可得到相同哈希码的皮肤镜图像作为初步检索结果。再根据高层特征计算待检索图像与初步检索结果中图像之间的欧氏距离，得到相似性并排序，即可得到最终的检索结果。
欧氏距离公式如下：
式中A和B为两个n为的特征向量，d(A，B)为A和B的欧氏距离，ai和bi为A和B中的第i个元素。
通过以上步骤，我们可以比较准确地在皮肤镜图像数据库中检索到和待检索图像相似的已经确诊的皮肤镜图像及其相关信息，从而为皮肤科医生提供客观的建议和参考，提高诊断的准确率。
本发明的有益效果在于：
(1)将残差网络与DenseNet思想相结合，设计了Res-DenseNet50深度哈希结构，改善了高层特征与低层特征之间的融合能力，一定程度上避免了信息在层与层之间传递过程中的丢失。提取出的高层特征具有更好的可分性，从而具有更高的检索准确率。
(2)巧妙的利用了已有的残差结构框架，从而可以用迁移学习完成网络训练，解决了样本不足问题。
(3)实现了基于端到端深度哈希的检索方法。端到端的方法不但能够提取目标区域的特征，同时也能够提取目标与背景之间区别的特征，包含了更多的全局语义信息，从而进一步提高了检索性能。此外，本发明直接对原始图像进行学习，并且从网络的倒数第二层可直接得到输入图像对应的深度哈希码，简化了皮肤镜图像检索的过程，避免了传统检索流程中前后步骤之间的累积误差。提高检索准确率的同时，也提升了检索效率。
附图说明
图1为本发明的实现流程图。
图2(a)为色素痣的示例图。
图2(b)为脂溢性角化病的示例图。
图2(c)为银屑病的示例图。
图2(d)为湿疹的示例图。
图3为本发明提出的卷积神经网络模型Res-DenseNet50结构图。
图4为哈希表结构示意图。
具体实施方式
为了更好地理解本发明的技术方案，下面结合附图及具体实施方式详细介绍本发明。
实施例1：色素痣、脂溢性角化病、银屑病和湿疹的皮肤镜图像检索实例,具体实现流程如图1所示。
步骤一：建立皮肤镜图像数据库
本发明针对黄种人的皮肤病构建检索数据库，包含四种常见皮肤病，分别是色素痣、脂溢性角化病、银屑病和湿疹。将采集到的皮肤镜图像，分辨率大小统一缩放为224×224，构建皮肤镜图像数据库，四种皮肤病的示例图如图2(a)、(b)、(c)、(d)所示。每种皮肤病有700张皮肤镜图像，即数据集共2800张图像。由于数据库较小，因此对其进行扩充。每种皮肤病图像，其中的500张用于检索库构建、200张作为测试。并且对每种皮肤病中的500张建库图像进行了三个角度的旋转(90°、180°、270°)和横向镜像进行数据扩充，共得到16000张图像作为检索库数据集。
步骤二：端到端深度哈希网络模型设计
本发明在残差网络ResNet50的基础上借鉴DenseNet的思想，设计了一个具有51层的卷积神经网络Res-DenseNet50。该网络包含4个部分：1个卷积层、4组残差块、1个平均值池化层、以及2个全连接层。
对卷积层来说，特征图的尺寸可以用width×height×depth表示，前两个值表示空间尺寸，最后一个值表示通道数量。用Conv#代表卷积层，Maxp#代表最大值池化层，FC#代表全连接层，则所设计的网络结构具体细节如下：
1)首先网络的第1层是卷积层Conv1，尺寸为7×7×64，用来将图像映射到高维空间，该卷积层由4组残差块连接。
2)本发明设计的网络结构中，Conv1后边由4组残差块前后串联。考虑到随着网络深度的增加，残差网络仍然会遇到梯度消失和网络退化问题，因此，我们借鉴DenseNet思想，将前3组残差块的输入和输出合并在一起，从而使得某一层残差结构的输入不仅仅依赖于紧邻残差结构的输出，还可以依赖于距离更远的残差块的输出，使得高层特征和低层特征进行融合，且进一步避免梯度消失，减轻过拟合。对于第2组和第3组的残差块，由于特征图在经过残差块后宽和高均缩小了一半，因此，在输入和输出的前向线中各加入一层步长为2的最大值池化层，分别为Maxp1和Maxp2，对输入数据进行降维。
每组残差块的结构参数如表1所示。
表1 4个残差组结构参数
3)第4组残差块后连接的是1个平均值池化层Average pool，用来对特征数据进行降维，提取主要特征。
4)网络最后是两个全连接层FC1和FC2。
全连接层FC1的目的是为了将前一层的特征映射为对应的二进制码，因此神经元个数对应为编码位数b，每个神经元的激活函数采用sigmoid函数：
其中，x为神经元的输入，S(x)为激活函数输出。
此函数可以将神经元的值限制在0和1之间，便于最后将这层的值量化为0或1，得到二进制哈希码。
全连接层FC2是最终任务层，输出神经元个数为训练数据库包含的皮肤病种类N，使网络可以按多分类任务训练。训练所采用的损失函数为softmax函数，如公式(9)：
式中，xi为网络的第i个输出，xj为网络的第j个输出，Si为第i类的分类概率。
由式(9)可以计算得每一类的分类概率Si，因此，可通过公式(10)和式(11)计算损失Loss。
式中，N为类别数，Si为第i类的分类概率，y是输入图像的真实标签，即除了对应类别的位置是1，其余N-1个值都是0，R(W)为加入的正则化损失项，Wk，l为网络最终任务层第l个神经元和倒数第二层第k个神经元之间的权重。
网络结构图如图3所示。
步骤三：网络训练
我们用步骤一中的皮肤镜图像数据库，按图像多分类任务对步骤二中设计的网络模型Res-DenseNet50进行训练。深度学习网络需要大样本数据进行训练，但医学图像的样本集通常较小，因此，通常采用迁移学习的方式。本发明设计的网络模型Res-DenseNet50借助了Resnet50的框架，因此可以采用迁移学习的方法来训练本网络。
本文采用步骤二中的网络模型，在步骤一中的皮肤镜图像数据库上，按图像多分类任务对进行训练。训练方式基于迁移训练，采用Imagenet预训练好的参数，梯度下降采用随机梯度下降法，batch设为64，损失函数采用softmax函数。初始学习率设为0.001，在第20、30、40轮衰减10倍，权值衰减设为0.001，共训练50轮。最终得到网络所需的所有参数，即网络模型。
步骤四：提取深度哈希码，构建检索数据库
利用训练好的网络模型，将步骤一中皮肤镜图像数据库的图像输入到网络模型，再将网络倒数第二层，即全连接层FC1的8位值提取出来并进行二值化，二值化公式为：
式中，si为该层第i个神经元的激活函数值，Hi为第i个神经元量化后的二进制码。
则该8位二进制码即为输入图像对应的深度哈希码，将这些哈希码按哈希表结构构建皮肤镜图像的检索数据库，并将提取到的深度哈希码按哈希表结构构建皮肤镜图像的检索数据库，哈希表结构如图4所示。索引表为一个数组，元素下标为哈希码的码值，每个元素为一个链表头，链表中存放的是检索数据库中哈希码为该元素下标的皮肤镜图像序号。哈希表数据结构可大幅度提高检索效率，检索图像时，不用遍历整个数据库就可直接检索到一组相似皮肤镜图像在检索数据库中的序号，即检索结果。
此外，也将网络倒数第三层的2048维的特征向量作为输入图像的高层特征提取出来，构建一个高维特征数据库。当根据哈希码检索到一组相似皮肤镜图像后，用2048位高层特征可计算得这组哈希码相同的图像与待检索图像相似性，排序可得最终检索结果，以此来完善检索结果。
步骤五：检索皮肤镜图像
将待检索的皮肤镜图像输入到训练好的网络中，从倒数第二层和第三层分别得到对应的8位深度哈希码和2048位高层特征。然后根据哈希码在检索数据库中进行检索，直接返回以该哈希码的码值为元素下标的链表头，即可得到相同哈希码的皮肤镜图像作为初步检索结果。再根据高层特征计算待检索图像与初步检索结果中图像之间的欧氏距离，得到相似性并排序，即可得到最终的检索结果。
欧氏距离公式如下：
式中A和B为两个n为的特征向量，d(A，B)为A和B的欧氏距离，ai和bi为A和B中的第i个元素。
对数据库中4种皮肤疾病、共800张图像进行检索，将每次检索将前十张最相似的皮肤镜图像作为检索结果，表2给出了每种皮肤病的检索准确率和平均检索准确率，可以看出平均准确率达到了71.94％，效果令人满意。
表2残差网络改进前后的检索性能对比

Claims (5)

1.一种基于端到端深度哈希的皮肤镜图像检索方法，其特征在于，它包括以下步骤：
步骤一：建立皮肤镜图像数据库
针对黄种人的皮肤镜图像构建检索数据库，包含常见皮肤病将采集到的皮肤镜图像的分辨率大小统一缩放为K×K，以此构建皮肤镜图像数据库；
步骤二：端到端深度哈希网络模型设计
设计一个具有51层的卷积神经网络Res-DenseNet50；该网络包含4个部分：1个卷积层、4个残差组、1个平均值池化层、以及2个全连接层；
对卷积层来说，特征图的尺寸用width×height×depth表示，前两个值表示空间尺寸，最后一个值表示通道数量；用Conv#代表卷积层，Maxp#代表最大值池化层，FC#代表全连接层，则所设计的网络结构具体细节如下：
1)首先网络的第1层是卷积层Conv1，尺寸为7×7×64，用来将图像映射到高维空间，特征图个数为64；该卷积层与4组残差块连接；
2)第1层卷积层后与4组残差块相串连；残差结构将其输出与输入进行相加，用公式(1)描述如下：
F(x)＝H(x)+x (1)
其中x为输入，H(x)为原来结构的映射函数，F(x)为将输出与输入相加后残差块结构的映射函数，以此形成残差映射；
Conv1后边由4组残差块前后串联；将前3组残差块的输入和输出合并在一起，使得网络中的高层特征和低层特征进行融合；对于第2组和第3组的残差块，由于特征图在经过残差块后宽和高均缩小了一半，因此，在连接输入和输出的前向线中各加入一层步长为2的最大值池化层，分别为Maxp1和Maxp2，对输入数据进行降维；
每组残差块的结构参数如下；
第1组包含3个残差块Conv2-x，每个残差块结构为Conv(1×1×64)→Conv(3×3×64)→Conv(1×1×256)；
第2组包含4个残差块Conv3-x，每个残差块结构为Conv(1×1×128)→Conv(3×3×128)→Conv(1×1×512)；
第3组包含6个残差块Conv4-x，每个残差块结构为Conv(1×1×256)→Conv(3×3×256)→Conv(1×1×1024)；
第4组包含3个残差块Conv5-x，每个残差块结构为Conv(1×1×512)→Conv(3×3×512)→Conv(1×1×2048)；
3)第4组残差块后连接的是1个平均值池化层Average pool，用来对特征数据进行降维；
4)网络最后是两个全连接层FC1和FC2；
全连接层FC1的目的是为了将前一层的特征映射为对应的二进制码，因此神经元个数对应为编码位数b，每个神经元的激活函数采用sigmoid函数：
其中，x为神经元的输入，S(x)为激活函数输出；
此函数将神经元的值限制在0和1之间，便于最后将这层的值量化为0或1，得到二进制哈希码；
全连接层FC2是最终任务层，输出神经元个数为训练数据库包含的皮肤病种类，使网络按多分类任务训练；训练所采用的损失函数为softmax函数，如公式(3)：
式中，xi为网络的第i个输出，xj为网络的第j个输出，Si为第i类的分类概率；
由式(3)计算得每一类的分类概率Si，因此，通过公式(4)和式(5)计算损失Loss；
式中，N为类别数，Si为第i类的分类概率，yi是输入图像的真实标签，即除了对应类别的位置是1，其余N-1个值都是0，R(W)为加入的正则化损失项，Wk，l为网络最终任务层第l个神经元和倒数第二层第k个神经元之间的权重；
步骤三：网络训练
用步骤一中的皮肤镜图像数据库，按图像多分类任务对步骤二中设计的卷积神经网络Res-DenseNet50进行训练；
步骤四：提取深度哈希码，构建检索数据库
利用步骤三中训练好的网络模型，将步骤一中皮肤镜图像数据库的图像输入到网络模型，再将网络倒数第二层，即全连接层FC1的b位值提取出来并按二值化公式量化，公式如式(6)；
式中，si为该层第i个神经元的激活函数值，Hi为第i个神经元量化后的二进制码；
将网络倒数第三层的2048维的特征向量作为输入图像的高层特征提取出来，构建一个高维特征数据库；当根据哈希码检索到一组相似皮肤镜图像后，用2048位高层特征计算得这组哈希码相同的图像与待检索图像相似性，排序得最终检索结果，以此来完善检索结果；
步骤五：检索皮肤镜图像
将待检索的皮肤镜图像输入到训练好的网络中，从倒数第二层和第三层分别得到对应的b位深度哈希码和2048位高层特征；然后根据哈希码在检索数据库中进行检索，直接返回以该哈希码的码值为元素下标的链表头，得到相同哈希码的皮肤镜图像作为初步检索结果；再根据高层特征计算待检索图像与初步检索结果中图像之间的欧氏距离，得到相似性并排序，得到最终的检索结果；
欧氏距离公式如下：
式中A和B为两个n为的特征向量，d(A，B)为A和B的欧氏距离，ai和bi为A和B中的第i个元素。
2.根据权利要求1所述的一种基于端到端深度哈希的皮肤镜图像检索方法，其特征在于：常见皮肤病包括：色素痣、脂溢性角化病、银屑病和湿疹。
3.根据权利要求1所述的一种基于端到端深度哈希的皮肤镜图像检索方法，其特征在于：先对数据库进行扩充，将每种皮肤病中的建库图像进行了三个角度的旋转90°、180°、270°和横向镜像进行数据扩充，得到最终的检索库数据集。
4.根据权利要求1所述的一种基于端到端深度哈希的皮肤镜图像检索方法，其特征在于：采用步骤二中的网络模型，在步骤一中的皮肤镜图像数据库上，按图像多分类任务对进行训练；训练方式基于迁移训练，采用Imagenet预训练好的参数，梯度下降采用随机梯度下降法，batch设为64，损失函数采用softmax函数；初始学习率设为0.001，在第20、30、40轮衰减10倍，权值衰减设为0.001，共训练50轮；最终得到网络所需的所有参数，即网络模型中的权重和偏置。
5.根据权利要求1所述的一种基于端到端深度哈希的皮肤镜图像检索方法，其特征在于：b位二进制码即为输入图像对应的深度哈希码，将这些哈希码按哈希表结构构建皮肤镜图像的检索数据库；即创建一个数组，元素下标为哈希码的码值，每个元素为一个链表头，链表中存放的是检索数据库中哈希码为该元素下标的皮肤镜图像序号；哈希表数据结构大幅度提高检索效率，检索图像时，不用遍历整个数据库就能直接检索到一组相似皮肤镜图像在检索数据库中的序号，即检索结果。
CN201910062340.XA 2019-01-23 2019-01-23 一种基于端到端深度哈希的皮肤镜图像检索方法 Active CN109840290B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910062340.XA CN109840290B (zh) 2019-01-23 2019-01-23 一种基于端到端深度哈希的皮肤镜图像检索方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910062340.XA CN109840290B (zh) 2019-01-23 2019-01-23 一种基于端到端深度哈希的皮肤镜图像检索方法

Publications (2)

Publication Number Publication Date
CN109840290A true CN109840290A (zh) 2019-06-04
CN109840290B CN109840290B (zh) 2020-09-22

Family

ID=66884006

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910062340.XA Active CN109840290B (zh) 2019-01-23 2019-01-23 一种基于端到端深度哈希的皮肤镜图像检索方法

Country Status (1)

Country Link
CN (1) CN109840290B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110633385A (zh) * 2019-09-24 2019-12-31 天津医科大学 一种医学影像的检索与压缩方法
CN110674673A (zh) * 2019-07-31 2020-01-10 国家计算机网络与信息安全管理中心 一种关键视频帧抽取方法、装置和存储介质
CN111583256A (zh) * 2020-05-21 2020-08-25 北京航空航天大学 一种基于旋转均值操作的皮肤镜图像分类方法
CN112084362A (zh) * 2020-08-07 2020-12-15 北京航空航天大学 一种基于层次化特征互补的图像哈希检索方法
CN112948611A (zh) * 2021-03-01 2021-06-11 北京航空航天大学 一种基于柯西抗旋转损失函数的皮肤镜图像检索方法
CN114376526A (zh) * 2022-01-12 2022-04-22 广东药科大学 一种皮肤状态分析方法及护肤镜

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160358043A1 (en) * 2015-06-05 2016-12-08 At&T Intellectual Property I, L.P. Hash codes for images
US20170293838A1 (en) * 2016-04-06 2017-10-12 Nec Laboratories America, Inc. Deep high-order exemplar learning for hashing and fast information retrieval
CN107943938A (zh) * 2017-11-23 2018-04-20 清华大学 一种基于深度乘积量化的大规模图像相似检索方法及***
US20180276528A1 (en) * 2015-12-03 2018-09-27 Sun Yat-Sen University Image Retrieval Method Based on Variable-Length Deep Hash Learning
CN108932314A (zh) * 2018-06-21 2018-12-04 南京农业大学 一种基于深度哈希学习的菊花图像内容检索方法
CN109064405A (zh) * 2018-08-23 2018-12-21 武汉嫦娥医学抗衰机器人股份有限公司 一种基于双路径网络的多尺度图像超分辨率方法
CN109165306A (zh) * 2018-08-09 2019-01-08 长沙理工大学 基于多任务哈希学习的图像检索方法
CN109241313A (zh) * 2018-08-14 2019-01-18 大连大学 一种基于高阶深度哈希学习的图像检索方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160358043A1 (en) * 2015-06-05 2016-12-08 At&T Intellectual Property I, L.P. Hash codes for images
US20180276528A1 (en) * 2015-12-03 2018-09-27 Sun Yat-Sen University Image Retrieval Method Based on Variable-Length Deep Hash Learning
US20170293838A1 (en) * 2016-04-06 2017-10-12 Nec Laboratories America, Inc. Deep high-order exemplar learning for hashing and fast information retrieval
CN107943938A (zh) * 2017-11-23 2018-04-20 清华大学 一种基于深度乘积量化的大规模图像相似检索方法及***
CN108932314A (zh) * 2018-06-21 2018-12-04 南京农业大学 一种基于深度哈希学习的菊花图像内容检索方法
CN109165306A (zh) * 2018-08-09 2019-01-08 长沙理工大学 基于多任务哈希学习的图像检索方法
CN109241313A (zh) * 2018-08-14 2019-01-18 大连大学 一种基于高阶深度哈希学习的图像检索方法
CN109064405A (zh) * 2018-08-23 2018-12-21 武汉嫦娥医学抗衰机器人股份有限公司 一种基于双路径网络的多尺度图像超分辨率方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110674673A (zh) * 2019-07-31 2020-01-10 国家计算机网络与信息安全管理中心 一种关键视频帧抽取方法、装置和存储介质
CN110633385A (zh) * 2019-09-24 2019-12-31 天津医科大学 一种医学影像的检索与压缩方法
CN111583256A (zh) * 2020-05-21 2020-08-25 北京航空航天大学 一种基于旋转均值操作的皮肤镜图像分类方法
CN111583256B (zh) * 2020-05-21 2022-11-04 北京航空航天大学 一种基于旋转均值操作的皮肤镜图像分类方法
CN112084362A (zh) * 2020-08-07 2020-12-15 北京航空航天大学 一种基于层次化特征互补的图像哈希检索方法
CN112084362B (zh) * 2020-08-07 2022-06-14 北京航空航天大学 一种基于层次化特征互补的图像哈希检索方法
CN112948611A (zh) * 2021-03-01 2021-06-11 北京航空航天大学 一种基于柯西抗旋转损失函数的皮肤镜图像检索方法
CN112948611B (zh) * 2021-03-01 2023-06-23 北京航空航天大学 一种基于柯西抗旋转损失函数的皮肤镜图像检索方法
CN114376526A (zh) * 2022-01-12 2022-04-22 广东药科大学 一种皮肤状态分析方法及护肤镜

Also Published As

Publication number Publication date
CN109840290B (zh) 2020-09-22

Similar Documents

Publication Publication Date Title
CN109840290A (zh) 一种基于端到端深度哈希的皮肤镜图像检索方法
CN108734208B (zh) 基于多模态深度迁移学习机制的多源异构数据融合***
CN106651830A (zh) 一种基于并行卷积神经网络的图像质量测试方法
CN107609503A (zh) 智能癌变细胞识别***及方法、云平台、服务器、计算机
CN113902761B (zh) 基于知识蒸馏的肺部疾病病灶无监督分割方法
CN110782427B (zh) 基于可分离空洞卷积的磁共振脑肿瘤自动分割方法
CN109977955A (zh) 一种基于深度学习的***前病变识别的方法
CN109711426A (zh) 一种基于gan和迁移学习的病理图片分类装置及方法
CN111767952B (zh) 一种可解释的肺结节良恶性分类方法
CN114494195B (zh) 用于眼底图像分类的小样本注意力机制并行孪生方法
CN110349170B (zh) 一种全连接crf级联fcn和k均值脑肿瘤分割算法
CN115147600A (zh) 基于分类器权重转换器的gbm多模态mr图像分割方法
CN104408697B (zh) 基于遗传算法和正则先验模型的图像超分辨重建方法
Qin et al. Convolutional neural networks and hash learning for feature extraction and of fast retrieval of pulmonary nodules
CN115661165A (zh) 基于增强注意力的编解码网络胶质瘤融合分割***及方法
Ma et al. Retinal vessel segmentation based on generative adversarial network and dilated convolution
CN116758090A (zh) 一种基于多尺度减法的医学图像分割方法
Rashad et al. Content-based medical image retrieval based on deep features expansion
CN108960005A (zh) 一种智能视觉物联网中对象视觉标签的建立及显示方法、***
CN112948611B (zh) 一种基于柯西抗旋转损失函数的皮肤镜图像检索方法
CN116310335A (zh) 一种基于Vision Transformer的翼状胬肉病灶区域的分割方法
Yang et al. Automatic brain tumor segmentation using cascaded FCN with DenseCRF and K-means
CN115565671A (zh) 基于跨模型相互教学半监督的房颤辅助分析方法
CN115937590A (zh) 一种并联融合CNN和Transformer的皮肤病图像分类方法
CN115375984A (zh) 一种基于图神经网络的图表问答方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant