CN113436114A - 一种面向医学图像的数据增强方法 - Google Patents

一种面向医学图像的数据增强方法 Download PDF

Info

Publication number
CN113436114A
CN113436114A CN202110841567.1A CN202110841567A CN113436114A CN 113436114 A CN113436114 A CN 113436114A CN 202110841567 A CN202110841567 A CN 202110841567A CN 113436114 A CN113436114 A CN 113436114A
Authority
CN
China
Prior art keywords
medical image
data
image
medical
network model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110841567.1A
Other languages
English (en)
Inventor
李瑞瑞
刘嘉润
赵伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Futong Oriental Technology Co ltd
Original Assignee
Beijing Futong Oriental Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Futong Oriental Technology Co ltd filed Critical Beijing Futong Oriental Technology Co ltd
Priority to CN202110841567.1A priority Critical patent/CN113436114A/zh
Publication of CN113436114A publication Critical patent/CN113436114A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/77Retouching; Inpainting; Scratch removal
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

本发明公开了一种面向医学图像的数据增强方法,其特征在于,包括以下步骤:数据的采集与读取;训练医疗预分类模型;获取图像的激活映射图;划分有效激活区域和非有效区域;检测图像中的干扰物并进行标记;对医学图像进行修复。通过上述方式,本发明能够降低医学图像处理对关键诊疗部位的影响,有效降低了诊疗关键信息缺失的可能性;在保证诊疗关键语义信息不被改变的前提下,最大程度的去除了干扰物对数字化诊疗产生的影响。

Description

一种面向医学图像的数据增强方法
技术领域
本发明涉及图像处理领域,特别是涉及一种面向医学图像的数据增强方法。
背景技术
在医学图像的获取过程中,往往受到诸如毛发、灰尘、光斑等因素的影响,导致最终获取到的图像不清晰、有异物遮挡或有很多与疾病诊断无关的信息,从而影响数字化诊疗手段的诊疗效果。
有的干扰物对诊疗关键部位造成了直接影响的遮挡,如压盖住伤口的毛发、覆盖在肿瘤上的光斑等。有的干扰物对诊疗造成了间接影响的物体,如黑色素瘤附近的毛发、毛孔、伤口等,虽然这些在诊疗关键部位周边的干扰物只对诊疗造成间接的影响,带来的干扰不如直接影响的大,但仍会影响数字化诊疗模型的设计和学习,导致诊疗模型将一些与疾病无关的因素关联起来,容易造成诊疗的误判。这些干扰物因素都会对数字化诊疗造成干扰,从而影响诊疗效果。
针对这些干扰物,常规的做法是使用图像修复技术对干扰物进行去除,或对干扰物进行识别并添加通过掩膜(Mask)屏蔽相关区域消除影响。但医学图像具有非常高的准确性要求,这些操作均有一定的概率影响到疾病诊疗的关键部位,从而导致疾病诊疗的偏差。
因此,在医学图像的数字化诊疗流程中,亟需一种既能保护诊疗关键部位信息、又能最大化去除干扰物影响的图像处理手段。
公告号为CN111127466A,名称为医学图像检测方法、装置、设备及存储介质的专利文献,提出了对医学图像进行分割处理,根据病灶分割区域和非病灶分割区域,确定该医学图像中表征所述目标部位的病灶信息的检测结果的技术方案,该专利对医学图像进行了区域分割及干扰物去除,但其忽略了病灶区域外的信息。在此基础上想要得到这些信息,只能通过多阶段,即利用关键区域与全局两张图像的方式获取,但这又降低了检测方法的效率。
发明内容
本发明主要解决的技术问题是提供一种面向医学图像的数据增强方法,能够有效去除采集到的医学图像数据中与疾病诊断无关的内容,同时最大化保护疾病诊疗关键部位的信息,帮助后续的数字化诊疗手段进行诊疗。
为解决上述技术问题,本发明采用的一个技术方案是:提供一种面向医学图像的数据增强方法,具体包括以下步骤:
S1:数据的采集与读取;
S2:训练医疗预分类模型;
S3:获取图像的激活映射图;
S4:划分有效激活区域和非有效区域;
S5:检测图像中的干扰物并进行标记;
S6:对医学图像进行修复。
进一步的,所述S1,包括:
S11:根据诊疗需求对医学图像进行采集;
S12:将采集到的医学图像进行标注;
S13:将标注后的图像转化为标准化的图像格式,形成标准化的医学图像数据集。
进一步的,所述S2,训练过程包括:
S21:根据医学图像的类别,选取一种深度分类网络模型;
S22:初始化深度分类网络模型的参数,设定损失函数和优化器;
S23:从标准化的医学图像数据集中任意选取x项数据;
S24:将x项数据输入深度分类网络模型中,得到深度分类网络模型对每项数据的预测值;
S25:计算预测值与标注之间的损失函数值,反向传播至网络参数并使用优化器更新参数;
S26:若模型收敛,则结束训练,否则转至S23。
进一步的,所述S3,过程包括:
S31:将医学图像输入深度分类网络模型,得到输出向量p;
S32:根据输出向量p进行反向传播计算,得到每个特征图对应的梯度图;
S33:对每个梯度图求平均,得到每个特征图对应的权重;
S34:将权重与特征图进行加权求和,并使用ReLU激活函数激活,得到最终的类别激活映射图。
进一步的,所述S4,根据医学图像对应的激活映射图,使用OTSU(大律法)选取一个阈值γ,并根据阈值γ对每张图像的类别激活映射图进行二值化处理,分割出有效激活区域
Figure 724748DEST_PATH_IMAGE001
和非有效激活区域
Figure 999871DEST_PATH_IMAGE002
进一步的,所述S5,包括训练干扰物检测网络和干扰区域标记。
进一步的,所述训练干扰物检测网络,包括:
S51:基于医学影像建立干扰物检测数据集,包含带有仿真干扰物的医学图像数据和干扰物对应的像素级标注;
S52:选择一种深度分割网络模型,并初始化参数;
S53:设定深度分割网络模型的损失函数和优化器;
S54:从干扰物检测数据集中任意采样一批数据输入深度分割网络模型,得到预测干扰物位置概率图;
S55:根据标注数据计算损失函数值,使用优化器对深度分割网络模型参数进行优化;
S56:若模型收敛,则结束训练,否则转至S53;
进一步的,所述干扰区域标记:
S57:使用训练好的干扰物检测网络对每张医学图像进行检测,并将检测结果包含的区域标记为
Figure 581025DEST_PATH_IMAGE003
进一步的,所述S6,选取一种数字图像修复技术,对医学图像
Figure 916192DEST_PATH_IMAGE004
中的干扰物进行去除及修复;
进一步的,所述数字图像修复技术,包括但不限于基于编码解码网络的算法、基于对抗式生成神经网络的算法。
本发明的有益效果是:
1.降低了医学图像处理对关键诊疗部位的影响,有效降低了诊疗关键信息缺失的可能性;
2.在保证诊疗关键语义信息不被改变的前提下,最大程度的去除了干扰物对数字化诊疗产生的影响。
附图说明
图1是一种面向医学图像的数据增强方法的流程图;
图2是一种面向医学图像的数据增强方法一较佳实施例的示意图。
具体实施方式
下面结合附图对本发明的较佳实施例进行详细阐述,以使本发明的优点和特征能更易于被本领域技术人员理解,从而对本发明的保护范围做出更为清楚明确的界定。
请参阅图1和图2,本发明实施例包括:
一种面向医学图像的数据增强方法,具体包括以下步骤:
S1:数据的采集与读取;
S2:训练医疗预分类模型;
S3:获取图像的激活映射图;
S4:划分有效激活区域和非有效区域;
S5:检测图像中的干扰物并进行标记;
S6:对医学图像进行修复。
进一步的,所述S1,包括:
S11:根据诊疗需求对医学图像进行采集;
S12:将采集到的医学图像进行标注;
S13:将标注后的图像转化为标准化的图像格式,形成标准化的医学图像数据集。
进一步的,所述S2,训练过程包括:
S21:根据医学图像的类别,选取一种深度分类网络模型;
S22:初始化深度分类网络模型的参数,设定损失函数和优化器;
S23:从标准化的医学图像数据集中任意选取x项数据;
S24:将x项数据输入深度分类网络模型中,得到深度分类网络模型对每项数据的预测值;
S25:计算预测值与标注之间的损失函数值,反向传播至网络参数并使用优化器更新参数;
S26:若模型收敛,则结束训练,否则转至S23。
进一步的,所述S3,过程包括:
S31:将医学图像输入深度分类网络模型,得到输出向量p;
S32:根据输出向量p进行反向传播计算,得到每个特征图对应的梯度图;
S33:对每个梯度图求平均,得到每个特征图对应的权重;
S34:将权重与特征图进行加权求和,并使用ReLU激活函数激活,得到最终的类别激活映射图。
进一步的,所述S4,根据医学图像对应的激活映射图,使用OTSU(大律法)选取一个阈值γ,并根据阈值γ对每张图像的类别激活映射图进行二值化处理,分割出有效激活区域
Figure 645113DEST_PATH_IMAGE001
和非有效激活区域
Figure 723928DEST_PATH_IMAGE002
进一步的,所述S5,包括训练干扰物检测网络和干扰区域标记。
进一步的,所述训练干扰物检测网络,包括:
S51:基于医学影像建立干扰物检测数据集,包含带有仿真干扰物的医学图像数据和干扰物对应的像素级标注;
S52:选择一种深度分割网络模型,并初始化参数;
S53:设定深度分割网络模型的损失函数和优化器;
S54:从干扰物检测数据集中任意采样一批数据输入深度分割网络模型,得到预测干扰物位置概率图;
S55:根据标注数据计算损失函数值,使用优化器对深度分割网络模型参数进行优化;
S56:若模型收敛,则结束训练,否则转至S53;
进一步的,所述干扰区域标记:
S57:使用训练好的干扰物检测网络对每张医学图像进行检测,并将检测结果包含的区域标记为
Figure 159588DEST_PATH_IMAGE003
进一步的,所述S6,选取一种数字图像修复技术,对医学图像
Figure 931235DEST_PATH_IMAGE004
中的干扰物进行去除及修复;
进一步的,所述数字图像修复技术,包括但不限于基于编码解码网络的算法、基于对抗式生成神经网络的算法。
在另一实施例中,以皮肤镜图像数据集(包含标注)为例,阈值设置为
Figure 819557DEST_PATH_IMAGE005
,图像修复技术选取OpenCV中的inpaint函数实现。
S1:读取数据集中的图像和标注,并对数据进行标准化操作;(附图2-a)
S2:根据数据类型,选取ResNet-50作为深度分类网络模型,使用读取的数据集先训练深度分类网络模型;
S3:使用S2中训练好的深度分类网络模型,结合Grad-CAM算法计算每张图像的激活映射图,为了方便计算,将激活映射图的数值映射到0-1范围内;(附图2-b)
S4:根据阈值和激活映射图将每张图像分割为有效激活区域和非有效激活区域,并以掩膜形式进行保存;(附图2-c)
S5:使用预先训练好的干扰物检测网络对图像进行检测,并以掩膜形式对干扰物区域进行标记;(附图2-d)
S6:对非有效激活区域和干扰物区域的掩膜区域取交集,将对应的图像和掩膜区域输入inpaint函数,返回修复后的图像。(附图2-e)
以上所述仅为本发明的实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (7)

1.一种面向医学图像的数据增强方法,其特征在于,包括以下步骤:
S1:数据的采集与读取;
S2:训练医疗预分类模型;
S3:获取图像的激活映射图;
S4:划分有效激活区域和非有效区域;
S5:检测图像中的干扰物并进行标记;
S6:对医学图像进行修复。
2.如权利要求1所述的一种面向医学图像的数据增强方法,其特征在于,所述S1,包括:
S11:根据诊疗需求对医学图像进行采集;
S12:将采集到的医学图像进行标注;
S13:将标注后的图像转化为标准化的图像格式,形成标准化的医学图像数据集。
3.如权利要求1所述的一种面向医学图像的数据增强方法,其特征在于,所述S2,训练过程包括:
S21:根据医学图像的类别,选取一种深度分类网络模型;
S22:初始化深度分类网络模型的参数,设定损失函数和优化器;
S23:从标准化的医学图像数据集中任意选取x项数据;
S24:将x项数据输入深度分类网络模型中,得到深度分类网络模型对每项数据的预测值;
S25:计算预测值与标注之间的损失函数值,反向传播至网络参数并使用优化器更新参数;
S26:若模型收敛,则结束训练,否则转至S23。
4.如权利要求1所述的一种面向医学图像的数据增强方法,其特征在于,所述S3,过程包括:
S31:将医学图像输入深度分类网络模型,得到输出向量p;
S32:根据输出向量p进行反向传播计算,得到每个特征图对应的梯度图;
S33:对每个梯度图求平均,得到每个特征图对应的权重;
S34:将权重与特征图进行加权求和,并使用ReLU激活函数激活,得到最终的类别激活映射图。
5.如权利要求1所述的一种面向医学图像的数据增强方法,其特征在于,所述S4,根据医学图像对应的激活映射图,使用OTSU(大律法)选取一个阈值
Figure DEST_PATH_IMAGE001
,并根据阈值
Figure 21088DEST_PATH_IMAGE001
对每张图像的类别激活映射图进行二值化处理,分割出有效激活区域
Figure 544474DEST_PATH_IMAGE002
和非有效激活区域
Figure DEST_PATH_IMAGE003
6.如权利要求1所述的一种面向医学图像的数据增强方法,其特征在于,所述S5,包括训练干扰物检测网络和干扰区域标记;
所述训练干扰物检测网络,包括:
S51:基于医学影像建立干扰物检测数据集,包含带有仿真干扰物的医学图像数据和干扰物对应的像素级标注;
S52:选择一种深度分割网络模型,并初始化参数;
S53:设定深度分割网络模型的损失函数和优化器;
S54:从干扰物检测数据集中任意采样一批数据输入深度分割网络模型,得到预测干扰物位置概率图;
S55:根据标注数据计算损失函数值,使用优化器对深度分割网络模型参数进行优化;
S56:若模型收敛,则结束训练,否则转至S53;
所述干扰区域标记:
S57:使用训练好的干扰物检测网络对每张医学图像进行检测,并将检测结果包含的区域标记为
Figure 784438DEST_PATH_IMAGE004
7.如权利要求1所述的一种面向医学图像的数据增强方法,其特征在于,所述S6,选取一种数字图像修复技术,对医学图像
Figure DEST_PATH_IMAGE005
中的干扰物进行去除及修复;
所述数字图像修复技术,包括但不限于基于编码解码网络的算法、基于对抗式生成神经网络的算法。
CN202110841567.1A 2021-07-26 2021-07-26 一种面向医学图像的数据增强方法 Pending CN113436114A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110841567.1A CN113436114A (zh) 2021-07-26 2021-07-26 一种面向医学图像的数据增强方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110841567.1A CN113436114A (zh) 2021-07-26 2021-07-26 一种面向医学图像的数据增强方法

Publications (1)

Publication Number Publication Date
CN113436114A true CN113436114A (zh) 2021-09-24

Family

ID=77761707

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110841567.1A Pending CN113436114A (zh) 2021-07-26 2021-07-26 一种面向医学图像的数据增强方法

Country Status (1)

Country Link
CN (1) CN113436114A (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101889722B1 (ko) * 2017-02-10 2018-08-20 주식회사 루닛 악성 종양 진단 방법 및 장치
CN109102506A (zh) * 2018-08-20 2018-12-28 东北大学 一种基于三级级联网络进行腹部ct肝脏病变图像的自动分割方法
CN109924978A (zh) * 2017-12-04 2019-06-25 西门子保健有限责任公司 借助医学图像数据组表征检查对象内的干扰物体
CN110428421A (zh) * 2019-04-02 2019-11-08 上海鹰瞳医疗科技有限公司 黄斑图像区域分割方法和设备
CN110781976A (zh) * 2019-10-31 2020-02-11 重庆紫光华山智安科技有限公司 训练图像的扩充方法、训练方法及相关装置
CN111754519A (zh) * 2020-05-27 2020-10-09 浙江工业大学 一种基于类激活映射的对抗防御方法
CN112446890A (zh) * 2020-10-14 2021-03-05 浙江工业大学 基于空洞卷积和多尺度融合的黑色素瘤分割方法
CN113034389A (zh) * 2021-03-17 2021-06-25 武汉联影智融医疗科技有限公司 图像处理方法、装置、计算机设备和存储介质
CN113076904A (zh) * 2021-04-15 2021-07-06 华南理工大学 一种基于深度学习的室外停车场空余车位检测方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101889722B1 (ko) * 2017-02-10 2018-08-20 주식회사 루닛 악성 종양 진단 방법 및 장치
CN109924978A (zh) * 2017-12-04 2019-06-25 西门子保健有限责任公司 借助医学图像数据组表征检查对象内的干扰物体
CN109102506A (zh) * 2018-08-20 2018-12-28 东北大学 一种基于三级级联网络进行腹部ct肝脏病变图像的自动分割方法
CN110428421A (zh) * 2019-04-02 2019-11-08 上海鹰瞳医疗科技有限公司 黄斑图像区域分割方法和设备
CN110781976A (zh) * 2019-10-31 2020-02-11 重庆紫光华山智安科技有限公司 训练图像的扩充方法、训练方法及相关装置
CN111754519A (zh) * 2020-05-27 2020-10-09 浙江工业大学 一种基于类激活映射的对抗防御方法
CN112446890A (zh) * 2020-10-14 2021-03-05 浙江工业大学 基于空洞卷积和多尺度融合的黑色素瘤分割方法
CN113034389A (zh) * 2021-03-17 2021-06-25 武汉联影智融医疗科技有限公司 图像处理方法、装置、计算机设备和存储介质
CN113076904A (zh) * 2021-04-15 2021-07-06 华南理工大学 一种基于深度学习的室外停车场空余车位检测方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
乜大伟;: "基于图像处理技术的黑素瘤和克拉克痣的分类研究", 软件, no. 06 *
厉谨;康涛;李力;: "基于PCNN分割的癌细胞图像识别方法研究", 咸阳师范学院学报, no. 02 *
盛家川;陈雅琦;韩亚洪;: "深层网络特征聚合重标定的中国画情感分类算法", 计算机辅助设计与图形学学报, no. 09 *
陈涛;: "基于TM数据的某矿区遥感矿化蚀变信息提取研究", 皖西学院学报, no. 02 *

Similar Documents

Publication Publication Date Title
US10229346B1 (en) Learning method, learning device for detecting object using edge image and testing method, testing device using the same
WO2018108129A1 (zh) 用于识别物体类别的方法及装置、电子设备
Cherukuri et al. Deep retinal image segmentation with regularization under geometric priors
CN111145209B (zh) 一种医学图像分割方法、装置、设备及存储介质
CN110838126B (zh) 细胞图像分割方法、装置、计算机设备和存储介质
Li et al. Automatic crack detection and measurement of concrete structure using convolutional encoder-decoder network
CN107516316B (zh) 一种在fcn中引入聚焦机制对静态人体图像进行分割的方法
CN111242959B (zh) 基于卷积神经网络的多模态医学图像的目标区域提取方法
Freifeld et al. Multiple sclerosis lesion detection using constrained GMM and curve evolution
KR102606734B1 (ko) 생체 검출 방법 및 장치
CN111814569A (zh) 一种人脸遮挡区域的检测方法及***
CN113269257A (zh) 一种图像分类方法、装置、终端设备及存储介质
CN116994140A (zh) 基于遥感影像的耕地提取方法、装置、设备和介质
CN114170212A (zh) 一种基于ct影像中肺小结节假阳检测方法及***
CN115439456A (zh) 一种病理图像中对象检测识别方法及装置
CN115100494A (zh) 一种病灶图像的识别方法、装置、设备及可读存储介质
Chen et al. Image segmentation based on mathematical morphological operator
CN111401102A (zh) 深度学习模型训练方法及装置、电子设备及存储介质
CN111723688B (zh) 人体动作识别结果的评价方法、装置和电子设备
CN110111307B (zh) 一种免疫教学用免疫***反馈模拟***及方法
Deng et al. Text enhancement network for cross-domain scene text detection
Zabihi et al. Vessel extraction of conjunctival images using LBPs and ANFIS
Lin et al. A coarse-to-fine pattern parser for mitigating the issue of drastic imbalance in pixel distribution
Li et al. Brown rice germ integrity identification based on deep learning network
CN113436114A (zh) 一种面向医学图像的数据增强方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination