CN112308827A - 基于深度卷积神经网络的毛囊检测方法 - Google Patents

基于深度卷积神经网络的毛囊检测方法 Download PDF

Info

Publication number
CN112308827A
CN112308827A CN202011150443.0A CN202011150443A CN112308827A CN 112308827 A CN112308827 A CN 112308827A CN 202011150443 A CN202011150443 A CN 202011150443A CN 112308827 A CN112308827 A CN 112308827A
Authority
CN
China
Prior art keywords
hair follicle
image
network
candidate
layers
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011150443.0A
Other languages
English (en)
Inventor
颜波
吴文育
凌宇
杨凯
李吉春
林尽染
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fudan University
Original Assignee
Fudan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fudan University filed Critical Fudan University
Priority to CN202011150443.0A priority Critical patent/CN112308827A/zh
Publication of CN112308827A publication Critical patent/CN112308827A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30088—Skin; Dermal

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于医学图像处理技术领域，具体为一种基于深度卷积神经网络的毛囊检测方法。本发明中网络模型采用ResNet50为特征提取主干网络，将最深层特征通过上采样、跳跃连接、卷积核大小为3的卷积层组成特征金字塔，每层特征通过5层卷积核大小为3的卷积层获得注意力图，与特征相乘后通过两条支路分别得到分类及外包围盒，每条支路皆由5层卷积核大小为3的卷积层构成。本发明将皮肤图像输入经过训练的神经网络，通过网络前向传播预测图像中毛囊的外包围盒坐标及对应的置信度，随后筛去置信度偏低的外包围盒并进行极大值抑制，得到最终检测结果，能够清晰反映毛囊在图像中的位置及总数。本发明可节省人工检测耗费的精力，有效辅助医生进行诊断。

Description

基于深度卷积神经网络的毛囊检测方法
技术领域
本发明属于医学图像处理技术领域，具体涉及一种毛囊检测方法，更具体地说，涉及一种基于深度卷积神经网络的毛囊检测方法。
背景技术
单张图像中往往包含大量毛囊，若人工进行定位、统计数量的工作，则耗费大量人力与时间。而通过使用机器学习算法，将计算机运用于毛囊检测工作之中，能够借助计算机的算力优势在毛囊图像上进行学习，并使用训练所得的模型对毛囊图像进行分析，将结果可视化后辅助医生进行诊断，从而节省大量时间，提高效率。
深度卷积神经网络（Deep convolutional neural network, DCNN）是一种机器学习技术，可以有效避免人为因素，自动从有标记的大量数据中学习如何提取丰富的具有代表性的视觉特征。该技术使用反向传播优化算法，让机器更新其内部参数，学习输入图像到标签的映射关系。近年来，DCNN大大提高了计算机视觉中各项任务的性能。
2012年，Krizhevsky等人[1]首次在ImageNet[2]图像分类比赛中应用深度卷积神经网络，并以15.3%的Top-5错误率获得冠军，引起了深度学习的热潮。2015年，Simonyan等人[3]提出了16和19层的神经网络VGG-16和VGG-19，增加了网络的参数量，进一步提升了ImageNet图像分类任务的结果。2016年，He等人[4]使用152层的残差网络ResNet取得了超过了人眼的分类效果。
DCNN不仅在图像分类任务中有卓越的表现，在一些结构化输出的任务中，如物体检测[5-7]、语义分割[8,9]中也同样取得了卓越的效果。如果将DCNN应用在计算机辅助诊断（computer aided diagnosis，CAD）中，则可以辅助医生做出更好的医疗诊断，早发现、早治疗，提高治疗效果。
本发明基于Wang等人[10]提出的FAN（FaceAttentionNetwork），利用其在人脸检测任务上的优势解决毛囊统计工作中毛囊大小较图片尺寸小的问题。本发明能够充分结合训练数据中的信息，对未经训练的图像中的毛囊进行定位并统计数量，提高诊断效率。
发明内容
为了克服现有技术的不足，本发明的目的在于提供一种基于深度卷积神经网络的毛囊检测方法，排除人为因素影响，实现对毛囊图像的自动检测。
本发明提出的基于深度卷积神经网络的毛囊检测方法，具体步骤为：
（1）毛囊图像数据增强；
由于毛囊图像数量有限，因而进行数据增强，以丰富数据；具体为对毛囊图像进行水平方向、竖直方向以及同时两个方向上的翻转，可得到3张翻转后的图像；在原图像及翻转后的图像中，随机裁剪若干张0.2~0.5倍图像尺寸的图像块，并统一缩放至长800像素、宽1300像素；
（2）采用毛囊检测网络提取候选框；
将待检测的的毛囊图像输入毛囊检测网络，该毛囊检测网络是深度卷积神经网络；通过前向传播得到若干个候选框及其置信度；候选框的表示形式为其左上角及右下角的二维坐标，代表图像中的一个区域；置信度表示一个值为0至1的评分，其意义为对应候选框属于毛囊的概率；
（3）检测结果后处理；
对检测网络所得的若干检测结果，舍弃置信度小于0.05的候选框，将其认为是背景（即非毛囊区域）；随后将候选框按置信度从高到低排序，最多保留置信度最高的10000个候选框；在剩余候选框中进行非极大值抑制，即若某个候选框与另一个置信度比其高的候选框交并比大于0.1，则舍弃这个候选框；经过上述筛选后所得的候选框则认为是最终的检测结果。
本发明中，所述毛囊检测网络是一种深度卷积神经网络，具体使用Wang等人[10]提出的FAN网络。其具体结构为：采用ResNet50为特征提取主干网络，将最深层特征通过上采样、跳跃连接、卷积核大小为3的卷积层组成特征金字塔，其中每层特征通过5层卷积核大小为3的卷积层获得注意力图，与特征相乘后通过两条支路分别得到分类及外包围盒，其中每条支路皆由5层卷积核大小为3的卷积层构成。
本发明采用的特征金字塔结构，由于使用了不同层的特征从而能够处理小目标的检测问题，即能够解决毛囊检测任务中毛囊大小相对图像尺寸较小的问题。同时，注意力机制使得网络关注图像的某些部分而忽略其它无关区域，则能使得网络在深层特征中关注毛囊区域，忽略周边的皮肤区域，提升检测性能。
本发明中，毛囊检测网络模型基于步骤（1）中所述数据增强方法所得图像块进行训练。为保证不会由于图像块裁剪而损失原图信息，模型在训练时有50%概率采用图像块对应的原图缩放至长800像素、宽1300像素后所得图像作为样本训练。训练时，设初始学习率为0.00001，批的大小设为2，用小批量随机梯度下降的方法最小化损失函数。测试时，将单张毛囊图像送入检测网络，通过步骤（2）、（3）获得结果。
其中，本发明数据集包含120张长3072像素、宽4608像素的毛囊图像，其中96张作为训练样本，24张用于测试发明性能。96张训练样本通过步骤（1）所示数据增强方法生成3840张长800像素、宽1300像素的图像块进行训练。
相应于上述检测方法，本发明还涉及基于深度卷积神经网络的毛囊检测***。该***包括三个模块，分别为：毛囊图像数据增强模块、毛囊检测网络模型、检测结果后处理模块，对应执行上述三个步骤的操作。
本发明检测的毛囊数量相对于人工标注的精度为90.0%。图2展示了本发明在一张测试集毛囊图像上的效果，其中红色框为模型预测结果，绿色框为人工标注。本发明能够精确找到图中的毛囊位置，并且能够发现一些人工未标注的毛囊。
附图说明
图1为本发明的流程图。
图2为一张毛囊图像的原图（左侧）及检测效果（右侧）。
具体实施方式
下面对本发明实施方案进行详细说明，但是本发明的保护范围不局限于所述实施例。
采用图1中的流程框架，用120张标注了毛囊外包围盒的图像训练检测网络，获得毛囊检测模型。
具体过程为：
（1）训练前，对毛囊图像进行水平方向、竖直方向以及同时两个方向上的翻转，可得到3张翻转后的图像。在原图像及翻转后的图像中，随机裁剪若干张0.2~0.5倍图像尺寸的图像块，并统一缩放至长800像素、宽1300像素；
（2）训练时，设初始学习率为0.00001，批的大小设为2，用小批量随机梯度下降的方法最小化损失函数。本发明中FAN使用的主干网络结构为ResNet50[4]。模型基于（1）中所述数据增强方法所得图像块进行训练。为保证不会由于图像块裁剪而损失原图信息，模型在训练时有50%概率采用图像块对应的原图缩放至长800像素、宽1300像素后所得样本进行训练；
（3）测试时，将毛囊图像送入经过训练的检测网络进行前向传播，得到若干候选框。弃置信度小于0.05的候选框，将其认为是背景（即非毛囊区域）。随后将候选框按置信度从高到低排序，最多保留置信度最高的10000个候选框。在剩余候选框中进行非极大值抑制，即若某个候选框与另一个置信度比其高的候选框交并比大于0.1，则舍弃这个候选框。经过上述筛选后所得的候选框则认为是最终的检测结果。
图2为本发明在一张毛囊图像上的效果，左图为原图，右图为模型的预测结果与人工标注。其中，红色框为模型预测结果，绿色框为人工标注。由图2可见，本发明能够精确找到图中的毛囊位置，并且能够发现一些人工未标注的毛囊，表明本发明具有良好的鲁棒性。
参考文献
[1] Krizhevsky, A., Sutskever, I. & Hinton, G. E. ImageNet classificationwith deep convolutional neural networks. Advances in Neural InformationProcessing Systems, 1097-1105 (2012).
[2] Russakovsky, O., Deng, J., Su, H. et al. ImageNet Large Scale VisualRecognition Challenge. International Journal of Computer Vision 115, 211-252(2015).
[3] Simonyan, K. & Zisserman A. Very deep convolutional networks forlarge-scale image recognition. International Conference on RepresentationLearning, (2014).
[4] He, K., Zhang, X., Ren, S. & Sun, J. Deep residual learning for imagerecognition. IEEE Conference on Computer Vision and Pattern Recognition, 770-778 (2016).
[5] Girshick, R., Donahue, J., Darrell, T. & Malik, J. Rich featurehierarchies for accurate object detection and semantic segmentation. IEEEConference on Computer Vision and Pattern Recognition, 580-587 (2014).
[6] Girshick, R. Fast R-CNN. IEEE International Conference on ComputerVision, 1440-1448 (2015).
[7] Ren, S., He, K., Girshick, R. & Sun, J. Faster R-CNN: Towards real-time object detection with region proposal networks. Neural InformationProcessing Systems, (2015).
[8] Long, J., Shelhamer, E. & Darrell, T. Fully convolutional networksfor semantic segmentation. IEEE International Conference on Computer Vision,3431-3440 (2015).
[9] Chen, L., Papandreou, G., Kokkinos, I., Murphy, K. & Yuille, A. L.DeepLab: Semantic image segmentation with deep convolutional nets, atrousconvolution, and fully connected CRFs. IEEE Transactions on Pattern Analysisand Machine Intelligence 40, 834-848 (2018).
[10] Wang J, Yuan Y, Yu G, et al. Face Attention Network: An EffectiveFace Detector for the Occluded Faces. IEEE Conference on Computer Vision andPattern Recognition,(2017).。

Claims (3)

1.一种基于深度卷积神经网络的毛囊检测方法，其特征在于，具体步骤为：
（1）毛囊图像数据增强；
对毛囊图像进行水平方向、竖直方向以及同时两个方向上的翻转，得到3张翻转后的图像；在原图像及翻转后的图像中，随机裁剪若干张0.2~0.5倍图像尺寸的图像块，并统一缩放至长800像素、宽1300像素；
（2）用毛囊检测网络提取候选框；
将待检测的毛囊图像输入经过训练的毛囊检测网络，该毛囊检测网络为一深度卷积神经网络；通过前向传播得到若干个候选框及其置信度；候选框的表示形式为其左上角及右下角的二维坐标，代表图像中的一个区域；置信度表示一个值为0至1的评分，其意义为对应候选框属于毛囊的概率；
（3）检测结果后处理；
对毛囊检测网络所得的若干检测结果，舍弃置信度小于0.05的候选框，将其认为是背景即非毛囊区域，随后将候选框按置信度从高到低排序，最多保留置信度最高的10000个候选框；在剩余候选框中进行非极大值抑制，即若某个候选框与另一个置信度比其高的候选框交并比大于0.1，则舍弃这个候选框；经过上述筛选后所得的候选框即是最终的检测结果。
2.根据权利要求1所述的毛囊检测方法，其特征在于，所述毛囊检测网络的模型结构为：采用ResNet50为特征提取主干网络，将最深层特征通过上采样、跳跃连接、卷积核大小为3的卷积层组成特征金字塔，其中每层特征通过5层卷积核大小为3的卷积层获得注意力图，与特征相乘后通过两条支路分别得到分类及外包围盒，其中每条支路皆由5层卷积核大小为3的卷积层构成。
3.根据权利要求2所述的毛囊检测方法，其特征在于，所述毛囊检测网络，有50%概率采用图像块对应的原图缩放至长800像素、宽1300像素后所得图像作为样本训练；训练时，设初始学习率为0.00001，批的大小设为2，用小批量随机梯度下降的方法最小化损失函数。
CN202011150443.0A 2020-10-23 2020-10-23 基于深度卷积神经网络的毛囊检测方法 Pending CN112308827A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011150443.0A CN112308827A (zh) 2020-10-23 2020-10-23 基于深度卷积神经网络的毛囊检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011150443.0A CN112308827A (zh) 2020-10-23 2020-10-23 基于深度卷积神经网络的毛囊检测方法

Publications (1)

Publication Number Publication Date
CN112308827A true CN112308827A (zh) 2021-02-02

Family

ID=74327286

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011150443.0A Pending CN112308827A (zh) 2020-10-23 2020-10-23 基于深度卷积神经网络的毛囊检测方法

Country Status (1)

Country Link
CN (1) CN112308827A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113627425A (zh) * 2021-07-16 2021-11-09 汕头大学 一种基于神经网络模型的毛囊识别和提取方法及***
CN117351420A (zh) * 2023-10-18 2024-01-05 江苏思行达信息技术有限公司 一种智能开关门检测方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107679507A (zh) * 2017-10-17 2018-02-09 北京大学第三医院 面部毛孔检测***及方法
CN109118485A (zh) * 2018-08-13 2019-01-01 复旦大学 基于多任务神经网络的消化道内镜图像分类及早癌检测***
CN110021019A (zh) * 2019-04-15 2019-07-16 中国医学科学院皮肤病医院 一种aga临床图像的ai辅助毛发的粗细分布分析方法
CN110110783A (zh) * 2019-04-30 2019-08-09 天津大学 一种基于多层特征图连接的深度学习目标检测方法
CN111027547A (zh) * 2019-12-06 2020-04-17 南京大学 一种针对二维图像中的多尺度多形态目标的自动检测方法
CN111626350A (zh) * 2020-05-25 2020-09-04 腾讯科技（深圳）有限公司 目标检测模型训练方法、目标检测方法及装置
CN111723748A (zh) * 2020-06-22 2020-09-29 电子科技大学 一种红外遥感图像舰船检测方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107679507A (zh) * 2017-10-17 2018-02-09 北京大学第三医院 面部毛孔检测***及方法
CN109118485A (zh) * 2018-08-13 2019-01-01 复旦大学 基于多任务神经网络的消化道内镜图像分类及早癌检测***
CN110021019A (zh) * 2019-04-15 2019-07-16 中国医学科学院皮肤病医院 一种aga临床图像的ai辅助毛发的粗细分布分析方法
CN110110783A (zh) * 2019-04-30 2019-08-09 天津大学 一种基于多层特征图连接的深度学习目标检测方法
CN111027547A (zh) * 2019-12-06 2020-04-17 南京大学 一种针对二维图像中的多尺度多形态目标的自动检测方法
CN111626350A (zh) * 2020-05-25 2020-09-04 腾讯科技（深圳）有限公司 目标检测模型训练方法、目标检测方法及装置
CN111723748A (zh) * 2020-06-22 2020-09-29 电子科技大学 一种红外遥感图像舰船检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JIANFENG WANG ET AL: "Face Attention Network: An Effective Face Detector for the Occluded Faces", 《ARXIV:1711.07246V2 [CS.CV]》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113627425A (zh) * 2021-07-16 2021-11-09 汕头大学 一种基于神经网络模型的毛囊识别和提取方法及***
CN113627425B (zh) * 2021-07-16 2023-09-05 汕头大学 一种基于神经网络模型的毛囊识别和提取方法及***
CN117351420A (zh) * 2023-10-18 2024-01-05 江苏思行达信息技术有限公司 一种智能开关门检测方法
CN117351420B (zh) * 2023-10-18 2024-06-04 江苏思行达信息技术股份有限公司 一种智能开关门检测方法

Similar Documents

Publication Publication Date Title
US11908244B2 (en) Human posture detection utilizing posture reference maps
CN109492608B (zh) 图像分割方法、装置、计算机设备及存储介质
CN108985181B (zh) 一种基于检测分割的端对端人脸标注方法
US20220189142A1 (en) Ai-based object classification method and apparatus, and medical imaging device and storage medium
CN107273800B (zh) 一种基于注意机制的卷积递归神经网络的动作识别方法
CN110120040A (zh) 切片图像处理方法、装置、计算机设备和存储介质
CN109389129A (zh) 一种图像处理方法、电子设备及存储介质
CN108765392B (zh) 一种基于滑动窗口的消化道内镜病变检测和识别方法
CN109033945B (zh) 一种基于深度学习的人体轮廓提取方法
WO2020029915A1 (zh) 基于人工智能的中医舌像分割装置、方法及存储介质
CN111428664B (zh) 一种基于深度学习技术的计算机视觉的实时多人姿态估计方法
CN111723687A (zh) 基于神经网路的人体动作识别方法和装置
CN112102332A (zh) 基于局部分类神经网络的癌症wsi的分割方法
CN112308827A (zh) 基于深度卷积神经网络的毛囊检测方法
CN111161278A (zh) 一种基于深层网络聚合的眼底图像病灶分割方法
CN112668492A (zh) 一种自监督学习与骨骼信息的行为识别方法
CN105931251A (zh) 一种ct图像扫描床去除方法及装置
Zhang et al. Extracting regions of interest in biomedical images
Zhao et al. Underwater fish detection in sonar image based on an improved Faster RCNN
CN116071373A (zh) 一种基于融合PCA的U-net模型舌体自动分割方法
Wang et al. Tongue semantic segmentation based on fully convolutional neural network
CN113222989A (zh) 一种图像分级方法、装置、存储介质及电子设备
Pan et al. X-ray mammary image segmentation based on convolutional neural network
CN111582067B (zh) 人脸表情识别方法、***、存储介质、计算机程序、终端
CN117252832B (zh) 一种超声结节实时检测方法、***、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210202