CN113436114A - 一种面向医学图像的数据增强方法 - Google Patents
一种面向医学图像的数据增强方法 Download PDFInfo
- Publication number
- CN113436114A CN113436114A CN202110841567.1A CN202110841567A CN113436114A CN 113436114 A CN113436114 A CN 113436114A CN 202110841567 A CN202110841567 A CN 202110841567A CN 113436114 A CN113436114 A CN 113436114A
- Authority
- CN
- China
- Prior art keywords
- medical image
- data
- image
- medical
- network model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 230000004913 activation Effects 0.000 claims abstract description 32
- 238000003745 diagnosis Methods 0.000 claims abstract description 31
- 238000012549 training Methods 0.000 claims abstract description 20
- 238000013507 mapping Methods 0.000 claims abstract description 12
- 238000012545 processing Methods 0.000 claims abstract description 6
- 238000013145 classification model Methods 0.000 claims abstract description 4
- 238000001514 detection method Methods 0.000 claims description 25
- 230000011218 segmentation Effects 0.000 claims description 15
- 230000008569 process Effects 0.000 claims description 9
- 238000004422 calculation algorithm Methods 0.000 claims description 7
- 230000002708 enhancing effect Effects 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000012935 Averaging Methods 0.000 claims description 3
- 230000003213 activating effect Effects 0.000 claims description 3
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 238000004088 simulation Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 description 14
- 201000010099 disease Diseases 0.000 description 6
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 6
- 210000004209 hair Anatomy 0.000 description 3
- 230000003902 lesion Effects 0.000 description 3
- 206010052428 Wound Diseases 0.000 description 2
- 208000027418 Wounds and injury Diseases 0.000 description 2
- 230000003042 antagnostic effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 206010028980 Neoplasm Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 201000001441 melanoma Diseases 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000011148 porous material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
本发明公开了一种面向医学图像的数据增强方法,其特征在于,包括以下步骤:数据的采集与读取;训练医疗预分类模型;获取图像的激活映射图;划分有效激活区域和非有效区域;检测图像中的干扰物并进行标记;对医学图像进行修复。通过上述方式,本发明能够降低医学图像处理对关键诊疗部位的影响,有效降低了诊疗关键信息缺失的可能性;在保证诊疗关键语义信息不被改变的前提下,最大程度的去除了干扰物对数字化诊疗产生的影响。
Description
技术领域
本发明涉及图像处理领域,特别是涉及一种面向医学图像的数据增强方法。
背景技术
在医学图像的获取过程中,往往受到诸如毛发、灰尘、光斑等因素的影响,导致最终获取到的图像不清晰、有异物遮挡或有很多与疾病诊断无关的信息,从而影响数字化诊疗手段的诊疗效果。
有的干扰物对诊疗关键部位造成了直接影响的遮挡,如压盖住伤口的毛发、覆盖在肿瘤上的光斑等。有的干扰物对诊疗造成了间接影响的物体,如黑色素瘤附近的毛发、毛孔、伤口等,虽然这些在诊疗关键部位周边的干扰物只对诊疗造成间接的影响,带来的干扰不如直接影响的大,但仍会影响数字化诊疗模型的设计和学习,导致诊疗模型将一些与疾病无关的因素关联起来,容易造成诊疗的误判。这些干扰物因素都会对数字化诊疗造成干扰,从而影响诊疗效果。
针对这些干扰物,常规的做法是使用图像修复技术对干扰物进行去除,或对干扰物进行识别并添加通过掩膜(Mask)屏蔽相关区域消除影响。但医学图像具有非常高的准确性要求,这些操作均有一定的概率影响到疾病诊疗的关键部位,从而导致疾病诊疗的偏差。
因此,在医学图像的数字化诊疗流程中,亟需一种既能保护诊疗关键部位信息、又能最大化去除干扰物影响的图像处理手段。
公告号为CN111127466A,名称为医学图像检测方法、装置、设备及存储介质的专利文献,提出了对医学图像进行分割处理,根据病灶分割区域和非病灶分割区域,确定该医学图像中表征所述目标部位的病灶信息的检测结果的技术方案,该专利对医学图像进行了区域分割及干扰物去除,但其忽略了病灶区域外的信息。在此基础上想要得到这些信息,只能通过多阶段,即利用关键区域与全局两张图像的方式获取,但这又降低了检测方法的效率。
发明内容
本发明主要解决的技术问题是提供一种面向医学图像的数据增强方法,能够有效去除采集到的医学图像数据中与疾病诊断无关的内容,同时最大化保护疾病诊疗关键部位的信息,帮助后续的数字化诊疗手段进行诊疗。
为解决上述技术问题,本发明采用的一个技术方案是:提供一种面向医学图像的数据增强方法,具体包括以下步骤:
S1:数据的采集与读取;
S2:训练医疗预分类模型;
S3:获取图像的激活映射图;
S4:划分有效激活区域和非有效区域;
S5:检测图像中的干扰物并进行标记;
S6:对医学图像进行修复。
进一步的,所述S1,包括:
S11:根据诊疗需求对医学图像进行采集;
S12:将采集到的医学图像进行标注;
S13:将标注后的图像转化为标准化的图像格式,形成标准化的医学图像数据集。
进一步的,所述S2,训练过程包括:
S21:根据医学图像的类别,选取一种深度分类网络模型;
S22:初始化深度分类网络模型的参数,设定损失函数和优化器;
S23:从标准化的医学图像数据集中任意选取x项数据;
S24:将x项数据输入深度分类网络模型中,得到深度分类网络模型对每项数据的预测值;
S25:计算预测值与标注之间的损失函数值,反向传播至网络参数并使用优化器更新参数;
S26:若模型收敛,则结束训练,否则转至S23。
进一步的,所述S3,过程包括:
S31:将医学图像输入深度分类网络模型,得到输出向量p;
S32:根据输出向量p进行反向传播计算,得到每个特征图对应的梯度图;
S33:对每个梯度图求平均,得到每个特征图对应的权重;
S34:将权重与特征图进行加权求和,并使用ReLU激活函数激活,得到最终的类别激活映射图。
进一步的,所述S5,包括训练干扰物检测网络和干扰区域标记。
进一步的,所述训练干扰物检测网络,包括:
S51:基于医学影像建立干扰物检测数据集,包含带有仿真干扰物的医学图像数据和干扰物对应的像素级标注;
S52:选择一种深度分割网络模型,并初始化参数;
S53:设定深度分割网络模型的损失函数和优化器;
S54:从干扰物检测数据集中任意采样一批数据输入深度分割网络模型,得到预测干扰物位置概率图;
S55:根据标注数据计算损失函数值,使用优化器对深度分割网络模型参数进行优化;
S56:若模型收敛,则结束训练,否则转至S53;
进一步的,所述干扰区域标记:
进一步的,所述数字图像修复技术,包括但不限于基于编码解码网络的算法、基于对抗式生成神经网络的算法。
本发明的有益效果是:
1.降低了医学图像处理对关键诊疗部位的影响,有效降低了诊疗关键信息缺失的可能性;
2.在保证诊疗关键语义信息不被改变的前提下,最大程度的去除了干扰物对数字化诊疗产生的影响。
附图说明
图1是一种面向医学图像的数据增强方法的流程图;
图2是一种面向医学图像的数据增强方法一较佳实施例的示意图。
具体实施方式
下面结合附图对本发明的较佳实施例进行详细阐述,以使本发明的优点和特征能更易于被本领域技术人员理解,从而对本发明的保护范围做出更为清楚明确的界定。
请参阅图1和图2,本发明实施例包括:
一种面向医学图像的数据增强方法,具体包括以下步骤:
S1:数据的采集与读取;
S2:训练医疗预分类模型;
S3:获取图像的激活映射图;
S4:划分有效激活区域和非有效区域;
S5:检测图像中的干扰物并进行标记;
S6:对医学图像进行修复。
进一步的,所述S1,包括:
S11:根据诊疗需求对医学图像进行采集;
S12:将采集到的医学图像进行标注;
S13:将标注后的图像转化为标准化的图像格式,形成标准化的医学图像数据集。
进一步的,所述S2,训练过程包括:
S21:根据医学图像的类别,选取一种深度分类网络模型;
S22:初始化深度分类网络模型的参数,设定损失函数和优化器;
S23:从标准化的医学图像数据集中任意选取x项数据;
S24:将x项数据输入深度分类网络模型中,得到深度分类网络模型对每项数据的预测值;
S25:计算预测值与标注之间的损失函数值,反向传播至网络参数并使用优化器更新参数;
S26:若模型收敛,则结束训练,否则转至S23。
进一步的,所述S3,过程包括:
S31:将医学图像输入深度分类网络模型,得到输出向量p;
S32:根据输出向量p进行反向传播计算,得到每个特征图对应的梯度图;
S33:对每个梯度图求平均,得到每个特征图对应的权重;
S34:将权重与特征图进行加权求和,并使用ReLU激活函数激活,得到最终的类别激活映射图。
进一步的,所述S5,包括训练干扰物检测网络和干扰区域标记。
进一步的,所述训练干扰物检测网络,包括:
S51:基于医学影像建立干扰物检测数据集,包含带有仿真干扰物的医学图像数据和干扰物对应的像素级标注;
S52:选择一种深度分割网络模型,并初始化参数;
S53:设定深度分割网络模型的损失函数和优化器;
S54:从干扰物检测数据集中任意采样一批数据输入深度分割网络模型,得到预测干扰物位置概率图;
S55:根据标注数据计算损失函数值,使用优化器对深度分割网络模型参数进行优化;
S56:若模型收敛,则结束训练,否则转至S53;
进一步的,所述干扰区域标记:
进一步的,所述数字图像修复技术,包括但不限于基于编码解码网络的算法、基于对抗式生成神经网络的算法。
S1:读取数据集中的图像和标注,并对数据进行标准化操作;(附图2-a)
S2:根据数据类型,选取ResNet-50作为深度分类网络模型,使用读取的数据集先训练深度分类网络模型;
S3:使用S2中训练好的深度分类网络模型,结合Grad-CAM算法计算每张图像的激活映射图,为了方便计算,将激活映射图的数值映射到0-1范围内;(附图2-b)
S4:根据阈值和激活映射图将每张图像分割为有效激活区域和非有效激活区域,并以掩膜形式进行保存;(附图2-c)
S5:使用预先训练好的干扰物检测网络对图像进行检测,并以掩膜形式对干扰物区域进行标记;(附图2-d)
S6:对非有效激活区域和干扰物区域的掩膜区域取交集,将对应的图像和掩膜区域输入inpaint函数,返回修复后的图像。(附图2-e)
以上所述仅为本发明的实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。
Claims (7)
1.一种面向医学图像的数据增强方法,其特征在于,包括以下步骤:
S1:数据的采集与读取;
S2:训练医疗预分类模型;
S3:获取图像的激活映射图;
S4:划分有效激活区域和非有效区域;
S5:检测图像中的干扰物并进行标记;
S6:对医学图像进行修复。
2.如权利要求1所述的一种面向医学图像的数据增强方法,其特征在于,所述S1,包括:
S11:根据诊疗需求对医学图像进行采集;
S12:将采集到的医学图像进行标注;
S13:将标注后的图像转化为标准化的图像格式,形成标准化的医学图像数据集。
3.如权利要求1所述的一种面向医学图像的数据增强方法,其特征在于,所述S2,训练过程包括:
S21:根据医学图像的类别,选取一种深度分类网络模型;
S22:初始化深度分类网络模型的参数,设定损失函数和优化器;
S23:从标准化的医学图像数据集中任意选取x项数据;
S24:将x项数据输入深度分类网络模型中,得到深度分类网络模型对每项数据的预测值;
S25:计算预测值与标注之间的损失函数值,反向传播至网络参数并使用优化器更新参数;
S26:若模型收敛,则结束训练,否则转至S23。
4.如权利要求1所述的一种面向医学图像的数据增强方法,其特征在于,所述S3,过程包括:
S31:将医学图像输入深度分类网络模型,得到输出向量p;
S32:根据输出向量p进行反向传播计算,得到每个特征图对应的梯度图;
S33:对每个梯度图求平均,得到每个特征图对应的权重;
S34:将权重与特征图进行加权求和,并使用ReLU激活函数激活,得到最终的类别激活映射图。
6.如权利要求1所述的一种面向医学图像的数据增强方法,其特征在于,所述S5,包括训练干扰物检测网络和干扰区域标记;
所述训练干扰物检测网络,包括:
S51:基于医学影像建立干扰物检测数据集,包含带有仿真干扰物的医学图像数据和干扰物对应的像素级标注;
S52:选择一种深度分割网络模型,并初始化参数;
S53:设定深度分割网络模型的损失函数和优化器;
S54:从干扰物检测数据集中任意采样一批数据输入深度分割网络模型,得到预测干扰物位置概率图;
S55:根据标注数据计算损失函数值,使用优化器对深度分割网络模型参数进行优化;
S56:若模型收敛,则结束训练,否则转至S53;
所述干扰区域标记:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110841567.1A CN113436114A (zh) | 2021-07-26 | 2021-07-26 | 一种面向医学图像的数据增强方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110841567.1A CN113436114A (zh) | 2021-07-26 | 2021-07-26 | 一种面向医学图像的数据增强方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113436114A true CN113436114A (zh) | 2021-09-24 |
Family
ID=77761707
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110841567.1A Pending CN113436114A (zh) | 2021-07-26 | 2021-07-26 | 一种面向医学图像的数据增强方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113436114A (zh) |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101889722B1 (ko) * | 2017-02-10 | 2018-08-20 | 주식회사 루닛 | 악성 종양 진단 방법 및 장치 |
CN109102506A (zh) * | 2018-08-20 | 2018-12-28 | 东北大学 | 一种基于三级级联网络进行腹部ct肝脏病变图像的自动分割方法 |
CN109924978A (zh) * | 2017-12-04 | 2019-06-25 | 西门子保健有限责任公司 | 借助医学图像数据组表征检查对象内的干扰物体 |
CN110428421A (zh) * | 2019-04-02 | 2019-11-08 | 上海鹰瞳医疗科技有限公司 | 黄斑图像区域分割方法和设备 |
CN110781976A (zh) * | 2019-10-31 | 2020-02-11 | 重庆紫光华山智安科技有限公司 | 训练图像的扩充方法、训练方法及相关装置 |
CN111754519A (zh) * | 2020-05-27 | 2020-10-09 | 浙江工业大学 | 一种基于类激活映射的对抗防御方法 |
CN112446890A (zh) * | 2020-10-14 | 2021-03-05 | 浙江工业大学 | 基于空洞卷积和多尺度融合的黑色素瘤分割方法 |
CN113034389A (zh) * | 2021-03-17 | 2021-06-25 | 武汉联影智融医疗科技有限公司 | 图像处理方法、装置、计算机设备和存储介质 |
CN113076904A (zh) * | 2021-04-15 | 2021-07-06 | 华南理工大学 | 一种基于深度学习的室外停车场空余车位检测方法 |
-
2021
- 2021-07-26 CN CN202110841567.1A patent/CN113436114A/zh active Pending
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101889722B1 (ko) * | 2017-02-10 | 2018-08-20 | 주식회사 루닛 | 악성 종양 진단 방법 및 장치 |
CN109924978A (zh) * | 2017-12-04 | 2019-06-25 | 西门子保健有限责任公司 | 借助医学图像数据组表征检查对象内的干扰物体 |
CN109102506A (zh) * | 2018-08-20 | 2018-12-28 | 东北大学 | 一种基于三级级联网络进行腹部ct肝脏病变图像的自动分割方法 |
CN110428421A (zh) * | 2019-04-02 | 2019-11-08 | 上海鹰瞳医疗科技有限公司 | 黄斑图像区域分割方法和设备 |
CN110781976A (zh) * | 2019-10-31 | 2020-02-11 | 重庆紫光华山智安科技有限公司 | 训练图像的扩充方法、训练方法及相关装置 |
CN111754519A (zh) * | 2020-05-27 | 2020-10-09 | 浙江工业大学 | 一种基于类激活映射的对抗防御方法 |
CN112446890A (zh) * | 2020-10-14 | 2021-03-05 | 浙江工业大学 | 基于空洞卷积和多尺度融合的黑色素瘤分割方法 |
CN113034389A (zh) * | 2021-03-17 | 2021-06-25 | 武汉联影智融医疗科技有限公司 | 图像处理方法、装置、计算机设备和存储介质 |
CN113076904A (zh) * | 2021-04-15 | 2021-07-06 | 华南理工大学 | 一种基于深度学习的室外停车场空余车位检测方法 |
Non-Patent Citations (4)
Title |
---|
乜大伟;: "基于图像处理技术的黑素瘤和克拉克痣的分类研究", 软件, no. 06 * |
厉谨;康涛;李力;: "基于PCNN分割的癌细胞图像识别方法研究", 咸阳师范学院学报, no. 02 * |
盛家川;陈雅琦;韩亚洪;: "深层网络特征聚合重标定的中国画情感分类算法", 计算机辅助设计与图形学学报, no. 09 * |
陈涛;: "基于TM数据的某矿区遥感矿化蚀变信息提取研究", 皖西学院学报, no. 02 * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10229346B1 (en) | Learning method, learning device for detecting object using edge image and testing method, testing device using the same | |
WO2018108129A1 (zh) | 用于识别物体类别的方法及装置、电子设备 | |
Cherukuri et al. | Deep retinal image segmentation with regularization under geometric priors | |
CN111145209B (zh) | 一种医学图像分割方法、装置、设备及存储介质 | |
CN110838126B (zh) | 细胞图像分割方法、装置、计算机设备和存储介质 | |
Li et al. | Automatic crack detection and measurement of concrete structure using convolutional encoder-decoder network | |
CN107516316B (zh) | 一种在fcn中引入聚焦机制对静态人体图像进行分割的方法 | |
CN111242959B (zh) | 基于卷积神经网络的多模态医学图像的目标区域提取方法 | |
Freifeld et al. | Multiple sclerosis lesion detection using constrained GMM and curve evolution | |
KR102606734B1 (ko) | 생체 검출 방법 및 장치 | |
CN111814569A (zh) | 一种人脸遮挡区域的检测方法及*** | |
CN113269257A (zh) | 一种图像分类方法、装置、终端设备及存储介质 | |
CN116994140A (zh) | 基于遥感影像的耕地提取方法、装置、设备和介质 | |
CN114170212A (zh) | 一种基于ct影像中肺小结节假阳检测方法及*** | |
CN115439456A (zh) | 一种病理图像中对象检测识别方法及装置 | |
CN115100494A (zh) | 一种病灶图像的识别方法、装置、设备及可读存储介质 | |
Chen et al. | Image segmentation based on mathematical morphological operator | |
CN111401102A (zh) | 深度学习模型训练方法及装置、电子设备及存储介质 | |
CN111723688B (zh) | 人体动作识别结果的评价方法、装置和电子设备 | |
CN110111307B (zh) | 一种免疫教学用免疫***反馈模拟***及方法 | |
Deng et al. | Text enhancement network for cross-domain scene text detection | |
Zabihi et al. | Vessel extraction of conjunctival images using LBPs and ANFIS | |
Lin et al. | A coarse-to-fine pattern parser for mitigating the issue of drastic imbalance in pixel distribution | |
Li et al. | Brown rice germ integrity identification based on deep learning network | |
CN113436114A (zh) | 一种面向医学图像的数据增强方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |