CN112734709A - 一种基于注意力机制与迁移学习的黑素瘤检测方法 - Google Patents

一种基于注意力机制与迁移学习的黑素瘤检测方法 Download PDF

Info

Publication number
CN112734709A
CN112734709A CN202011631002.2A CN202011631002A CN112734709A CN 112734709 A CN112734709 A CN 112734709A CN 202011631002 A CN202011631002 A CN 202011631002A CN 112734709 A CN112734709 A CN 112734709A
Authority
CN
China
Prior art keywords
model
data
melanoma
steps
following
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011631002.2A
Other languages
English (en)
Inventor
潘晓光
王小华
张娜
令狐彬
马彩霞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanxi Sanyouhe Smart Information Technology Co Ltd
Original Assignee
Shanxi Sanyouhe Smart Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanxi Sanyouhe Smart Information Technology Co Ltd filed Critical Shanxi Sanyouhe Smart Information Technology Co Ltd
Priority to CN202011631002.2A priority Critical patent/CN112734709A/zh
Publication of CN112734709A publication Critical patent/CN112734709A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
    • A61B5/444—Evaluating skin marks, e.g. mole, nevi, tumour, scar
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30088—Skin; Dermal

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Surgery (AREA)
  • Public Health (AREA)
  • Dermatology (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Veterinary Medicine (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明属于图像处理技术领域，具体涉及一种基于注意力机制与迁移学习的黑素瘤检测方法，包括下列步骤：数据集构建：将ISIC2020数据集中的黑素瘤样本提取出，对其进行数据增强工作，扩充样本数量，利用增强后的数据进行数据集重组；数据划分：将模型分为训练集、验证集与测试集，用于模型的训练，模型损失稳定验证与分类效果测试；分类模型构建；模型训练；模型验证。本发明通过数据增强手段扩充黑素瘤数据量，之后以EfficientDet和Residul Attention为基础，构建基于注意力机制的黑素瘤皮肤深度分类模型，模型具有较强的泛化能力与鲁棒性，识别过程由模型智能进行，无需人工参与，且模型具有高识别准确率与识别速度。本发明用于黑素瘤图像的检测。

Description

一种基于注意力机制与迁移学习的黑素瘤检测方法
技术领域
本发明属于图像处理技术领域，具体涉及一种基于注意力机制与迁移学习的黑素瘤检测方法。
背景技术
目前黑素瘤的识别主要依靠人工识别，而黑素瘤早期特征并不明显，这对医师的专业素质提出了极高的需求，且人工识别收到许多主观因素的干扰，导致识别效果较差。
现有技术存在的问题或者缺陷：黑素瘤是世界上最常见的皮肤癌，早期发现是成功治疗的关键。目前皮肤黑素瘤的检测主要依靠医师人工识别，据统计，黑素瘤目前的人工识别准确率不足85％，而皮肤科专业医师的识别准确率也仅为90％左右，这对人民的生命安全造成了极大的隐患。
发明内容
针对上述皮肤黑素瘤的检测主要依靠医师人工识别的准确率低的技术问题，本发明提供了一种准确率高、识别效果好、识别速度快的基于注意力机制与迁移学习的黑素瘤检测方法。
为了解决上述技术问题，本发明采用的技术方案为：
一种基于注意力机制与迁移学习的黑素瘤检测方法，包括下列步骤：
S1、数据集构建：将ISIC2020数据集中的黑素瘤样本提取出，对其进行数据增强工作，扩充样本数量，利用增强后的数据进行数据集重组；
S2、数据划分：将模型分为训练集、验证集与测试集，用于模型的训练，模型损失稳定验证与分类效果测试；
S3、分类模型构建：模型卷积网络部分基于EfficientDet网络构建，通过EfficientDet网络对ImageNet数据分类的参数作为网络初始化参数，通过注意力机制增加模型可解释性，增加模型的安全性，提升模型分类准确率；
S4、模型训练；
S5、模型验证。
所述S1中数据集构建的方法包括：图片旋转、图片翻转与添加噪声，所述图片旋转的方法为：在(0,360)中随机选取5个值作为旋转角度，将数据按照对应角度进行旋转；所述数据翻转的方法为：以图片中线为轴，将所有数据进行上下、左右两个方向的翻转；所述添加噪声的方法为：向图片数据中增加方差为0.5的高斯噪声。
所述S1中数据集重组的方法为：将经数据增强后获得的所有黑素瘤图片样本与ISIC2020数据集中正常的皮肤样本随机混合，构建新数据集，此数据集中黑素瘤样本为原数据集的36倍。
所述S2中数据划分的方法为：将重组后数据集中所有数据缩放为224*224大小，之后将其按照7：2：1的比例划分为训练集、验证集与测试集。
所述S3中分类模型构建的方法包括识别卷积网络模型与注意力机制，
所述识别卷积网络模型为EfficientDet模型，将EfficientDet作为模型主网络，通过ImageNet数据对模型主网络进行预训练，以其最终的模型参数作为黑素瘤皮肤分类任务的初始参数；
所述注意力机制为Residual Attention机制，将Residual Attention机制作为主模型分配注意力，所述注意力机制通过两次下采样对数据特征进行提取，再通过两个上采样还原图片，得到注意力分配权重，从而帮助主网络更好的提取数据特征。
所述S4中模型训练的方法为：将训练集数据输入分类模型中，模型初始参数为预训练得到的参数，使用训练集数据对模型进行迭代训练，待到模型损失不再下降，停止训练，保存模型。
所述S5中模型验证的方法为：使用验证集数据再次对模型进行训练，若模型损失稳定，则保存模型，若损失下降，再次使用训练集数据对模型进行训练，重复上述过程，直到模型损失稳定。
本发明与现有技术相比，具有的有益效果是：
本发明通过数据增强手段扩充黑素瘤数据量，之后以EfficientDet和ResidulAttention为基础，构建基于注意力机制的黑素瘤皮肤深度分类模型，模型具有较强的泛化能力与鲁棒性，识别过程由模型智能进行，无需人工参与，且模型具有高识别准确率与识别速度。
附图说明
图1是本发明的流程框图；
图2是本发明的逻辑框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
一种基于注意力机制与迁移学习的黑素瘤检测方法，如图1所示，包括下列步骤：
步骤1、数据集构建：将ISIC2020数据集中的黑素瘤样本提取出，对其进行数据增强工作，扩充样本数量，利用增强后的数据进行数据集重组；
步骤2、数据划分：将模型分为训练集、验证集与测试集，用于模型的训练，模型损失稳定验证与分类效果测试；
步骤3、分类模型构建：模型卷积网络部分基于EfficientDet网络构建，通过EfficientDet网络对ImageNet数据分类的参数作为网络初始化参数，通过注意力机制增加模型可解释性，增加模型的安全性，提升模型分类准确率；
步骤4、模型训练；
步骤5、模型验证。
步骤1中数据集构建的方法包括：图片旋转、图片翻转与添加噪声，图片旋转的方法为：在(0,360)中随机选取5个值作为旋转角度，将数据按照对应角度进行旋转；数据翻转的方法为：以图片中线为轴，将所有数据进行上下、左右两个方向的翻转；添加噪声的方法为：向图片数据中增加方差为0.5的高斯噪声。
进一步，步骤1中数据集重组的方法为：将经数据增强后获得的所有黑素瘤图片样本与ISIC2020数据集中正常的皮肤样本随机混合，构建新数据集，此数据集中黑素瘤样本为原数据集的36倍。
进一步，步骤2中数据划分的方法为：将重组后数据集中所有数据缩放为224*224大小，之后将其按照7：2：1的比例划分为训练集、验证集与测试集。
进一步，如图2所示，步骤3中分类模型构建的方法包括识别卷积网络模型与注意力机制，
识别卷积网络模型为EfficientDet模型，将EfficientDet作为模型主网络，通过ImageNet数据对模型主网络进行预训练，以其最终的模型参数作为黑素瘤皮肤分类任务的初始参数；
注意力机制为Residual Attention机制，将Residual Attention机制作为主模型分配注意力，注意力机制通过两次下采样对数据特征进行提取，再通过两个上采样还原图片，得到注意力分配权重，从而帮助主网络更好的提取数据特征。
进一步，步骤4中模型训练的方法为：将训练集数据输入分类模型中，模型初始参数为预训练得到的参数，使用训练集数据对模型进行迭代训练，待到模型损失不再下降，停止训练，保存模型。
进一步，步骤5中模型验证的方法为：使用验证集数据再次对模型进行训练，若模型损失稳定，则保存模型，若损失下降，再次使用训练集数据对模型进行训练，重复上述过程，直到模型损失稳定。
上面仅对本发明的较佳实施例作了详细说明，但是本发明并不限于上述实施例，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化，各种变化均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于注意力机制与迁移学习的黑素瘤检测方法，其特征在于：包括下列步骤：
S1、数据集构建：将ISIC2020数据集中的黑素瘤样本提取出，对其进行数据增强工作，扩充样本数量，利用增强后的数据进行数据集重组；
S2、数据划分：将模型分为训练集、验证集与测试集，用于模型的训练，模型损失稳定验证与分类效果测试；
S3、分类模型构建：模型卷积网络部分基于EfficientDet网络构建，通过EfficientDet网络对ImageNet数据分类的参数作为网络初始化参数，通过注意力机制增加模型可解释性，增加模型的安全性，提升模型分类准确率；
S4、模型训练；
S5、模型验证。
2.根据权利要求1所述的一种基于注意力机制与迁移学习的黑素瘤检测方法，其特征在于：所述S1中数据集构建的方法包括：图片旋转、图片翻转与添加噪声，所述图片旋转的方法为：在(0,360)中随机选取5个值作为旋转角度，将数据按照对应角度进行旋转；所述数据翻转的方法为：以图片中线为轴，将所有数据进行上下、左右两个方向的翻转；所述添加噪声的方法为：向图片数据中增加方差为0.5的高斯噪声。
3.根据权利要求1所述的一种基于注意力机制与迁移学习的黑素瘤检测方法，其特征在于：所述S1中数据集重组的方法为：将经数据增强后获得的所有黑素瘤图片样本与ISIC2020数据集中正常的皮肤样本随机混合，构建新数据集，此数据集中黑素瘤样本为原数据集的36倍。
4.根据权利要求1所述的一种基于注意力机制与迁移学习的黑素瘤检测方法，其特征在于：所述S2中数据划分的方法为：将重组后数据集中所有数据缩放为224*224大小，之后将其按照7：2：1的比例划分为训练集、验证集与测试集。
5.根据权利要求1所述的一种基于注意力机制与迁移学习的黑素瘤检测方法，其特征在于：所述S3中分类模型构建的方法包括识别卷积网络模型与注意力机制，
所述识别卷积网络模型为EfficientDet模型，将EfficientDet作为模型主网络，通过ImageNet数据对模型主网络进行预训练，以其最终的模型参数作为黑素瘤皮肤分类任务的初始参数；
所述注意力机制为Residual Attention机制，将Residual Attention机制作为主模型分配注意力，所述注意力机制通过两次下采样对数据特征进行提取，再通过两个上采样还原图片，得到注意力分配权重，从而帮助主网络更好的提取数据特征。
6.根据权利要求1所述的一种基于注意力机制与迁移学习的黑素瘤检测方法，其特征在于：所述S4中模型训练的方法为：将训练集数据输入分类模型中，模型初始参数为预训练得到的参数，使用训练集数据对模型进行迭代训练，待到模型损失不再下降，停止训练，保存模型。
7.根据权利要求1所述的一种基于注意力机制与迁移学习的黑素瘤检测方法，其特征在于：所述S5中模型验证的方法为：使用验证集数据再次对模型进行训练，若模型损失稳定，则保存模型，若损失下降，再次使用训练集数据对模型进行训练，重复上述过程，直到模型损失稳定。
CN202011631002.2A 2020-12-31 2020-12-31 一种基于注意力机制与迁移学习的黑素瘤检测方法 Pending CN112734709A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011631002.2A CN112734709A (zh) 2020-12-31 2020-12-31 一种基于注意力机制与迁移学习的黑素瘤检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011631002.2A CN112734709A (zh) 2020-12-31 2020-12-31 一种基于注意力机制与迁移学习的黑素瘤检测方法

Publications (1)

Publication Number Publication Date
CN112734709A true CN112734709A (zh) 2021-04-30

Family

ID=75608455

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011631002.2A Pending CN112734709A (zh) 2020-12-31 2020-12-31 一种基于注意力机制与迁移学习的黑素瘤检测方法

Country Status (1)

Country Link
CN (1) CN112734709A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114866162A (zh) * 2022-07-11 2022-08-05 中国人民解放军国防科技大学 信号数据增强方法、***及通信辐射源的识别方法和***

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100185064A1 (en) * 2007-01-05 2010-07-22 Jadran Bandic Skin analysis methods
CN110084794A (zh) * 2019-04-22 2019-08-02 华南理工大学 一种基于注意力卷积神经网络的皮肤癌图片识别方法
CN111816205A (zh) * 2020-07-09 2020-10-23 中国人民解放军战略支援部队航天工程大学 一种基于飞机音频的机型智能识别方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100185064A1 (en) * 2007-01-05 2010-07-22 Jadran Bandic Skin analysis methods
CN110084794A (zh) * 2019-04-22 2019-08-02 华南理工大学 一种基于注意力卷积神经网络的皮肤癌图片识别方法
CN111816205A (zh) * 2020-07-09 2020-10-23 中国人民解放军战略支援部队航天工程大学 一种基于飞机音频的机型智能识别方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
FEI WANG等: "Residual Attention Network for Image Classification", 《2017 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》 *
JIANPENG ZHANG等: "Attention Residual Learning for Skin Lesion Classification", 《IEEE TRANSACTIONS ON MEDICAL IMAGING》 *
MINGXING TAN等: "EfficientDet: Scalable and Efficient Object Detection", 《2020 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》 *
王海洋: "基于CNN的黑色素瘤皮肤病的分类识别方法研究", 《中国优秀博硕士学位论文全文数据库(硕士)医药卫生科技辑》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114866162A (zh) * 2022-07-11 2022-08-05 中国人民解放军国防科技大学 信号数据增强方法、***及通信辐射源的识别方法和***
CN114866162B (zh) * 2022-07-11 2023-09-26 中国人民解放军国防科技大学 信号数据增强方法、***及通信辐射源的识别方法和***

Similar Documents

Publication Publication Date Title
CN108520503A (zh) 一种基于自编码器和生成对抗网络修复人脸缺损图像的方法
KR20180057646A (ko) 바이오메트릭 시스템들을 위한 안구-혈관 및 얼굴 인식을 위한 이미지 및 피쳐 품질, 이미지 강화 및 피쳐 추출, 및 얼굴 및/또는 서브-얼굴 정보와 안구-혈관의 융합
CN109948714A (zh) 基于残差卷积和递归神经网络的中文场景文本行识别方法
CN110084149B (zh) 一种基于难样本四元组动态边界损失函数的人脸验证方法
CN110102051B (zh) 游戏外挂的检测方法及装置
US20200125836A1 (en) Training Method for Descreening System, Descreening Method, Device, Apparatus and Medium
CN111639558A (zh) 一种基于ArcFace Loss和改进残差网络的指静脉身份验证方法
CN111429374B (zh) 图像中摩尔纹的消除方法及装置
CN111260620A (zh) 图像异常检测方法、装置和电子设备
CN113627256B (zh) 基于眨眼同步及双目移动检测的伪造视频检验方法及***
CN106204482A (zh) 基于加权稀疏的混合噪声去除方法
CN112861805B (zh) 一种基于内容特征和风格特征的人脸图像生成方法
CN109960975A (zh) 一种基于人眼的人脸生成及其人脸识别方法
CN113724354A (zh) 基于参考图颜色风格的灰度图像着色方法
Deepak et al. Ear detection using active contour model
CN112734709A (zh) 一种基于注意力机制与迁移学习的黑素瘤检测方法
Liu et al. Iris recognition in visible spectrum based on multi-layer analogous convolution and collaborative representation
CN113642581B (zh) 基于编码多路径语义交叉网络的图像语义分割方法及***
CN112395503A (zh) 一种基于人脸识别的共享平台智能推荐方法、***及可读存储介质
TW202338730A (zh) 圖像擴增方法、電腦設備及儲存介質
CN117593317A (zh) 基于多尺度膨胀卷积残差网络的视网膜血管图像分割方法
CN112818774A (zh) 一种活体检测方法及装置
CN105528591B (zh) 基于多象限编码的活体指纹识别方法
Cheng et al. Multiple training stage image enhancement enrolled with ccrgan pseudo templates for large area dry fingerprint recognition
CN111639718B (zh) 分类器应用方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210430