CN112967260B - 基于弱监督学习的眼底荧光造影图像渗漏点检测方法 - Google Patents
基于弱监督学习的眼底荧光造影图像渗漏点检测方法 Download PDFInfo
- Publication number
- CN112967260B CN112967260B CN202110287441.4A CN202110287441A CN112967260B CN 112967260 B CN112967260 B CN 112967260B CN 202110287441 A CN202110287441 A CN 202110287441A CN 112967260 B CN112967260 B CN 112967260B
- Authority
- CN
- China
- Prior art keywords
- image
- fluorescence contrast
- contrast image
- fluorescence
- abnormal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 54
- 230000002159 abnormal effect Effects 0.000 claims abstract description 54
- 238000000034 method Methods 0.000 claims abstract description 48
- 238000012549 training Methods 0.000 claims abstract description 23
- 238000002601 radiography Methods 0.000 claims abstract description 11
- 238000012216 screening Methods 0.000 claims abstract description 4
- 230000006870 function Effects 0.000 claims description 41
- 230000004913 activation Effects 0.000 claims description 22
- 238000011176 pooling Methods 0.000 claims description 21
- 238000010586 diagram Methods 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 8
- 125000004122 cyclic group Chemical group 0.000 claims description 7
- 238000002583 angiography Methods 0.000 claims description 5
- 230000003042 antagnostic effect Effects 0.000 claims description 3
- 238000003384 imaging method Methods 0.000 claims 1
- 201000010099 disease Diseases 0.000 abstract description 5
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 abstract description 5
- 238000003745 diagnosis Methods 0.000 abstract description 4
- 238000003672 processing method Methods 0.000 abstract description 2
- 238000004364 calculation method Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000013534 fluorescein angiography Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10064—Fluorescence image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Quality & Reliability (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Multimedia (AREA)
- Medical Informatics (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Eye Examination Apparatus (AREA)
Abstract
本发明公开了一种基于弱监督学习的眼底荧光造影图像渗漏点检测方法,包括以下步骤:1)从采集的眼底荧光造影图像报告中,筛选出正常荧光造影图像报告以及含有荧光渗漏的异常荧光造影图像报告;2)选择荧光造影图像作为训练数据集;3)训练检测网络模型;4)将待检测的含有荧光渗漏的异常荧光造影图像输入到训练好的检测网络模型中,获得眼底荧光造影图像渗漏点检测结果。本发明的检测精度与现存基于像素强度的方法基本一致,不需要大量标注数据的,且本发明的方法降低了复杂度,检测时间短,检测一张图像仅需不到1秒的时间,大大提高了检测效率;本发明的针对眼底荧光造影图像的处理方法对眼底疾病的辅助诊断具有潜在的医学价值。
Description
技术领域
本发明涉及医学图像处理领域,特别涉及一种基于弱监督学习的眼底荧光造影图像渗漏点检测方法。
背景技术
眼底荧光造影技术能够反映疾病早期视网膜屏障的受损状态,是眼底疾病诊断的“金标准”。眼底荧光造影图像中渗漏点的检测是眼底疾病诊断和治疗的重要步骤。目前在临床诊断中,眼底荧光渗漏点的检测通常是由专家进行人为标注,这种人工标注的方法不仅费时费力,还会引入人为误差。所以,提出一种有效的自动眼底荧光渗漏点检测方法是十分必要的。
现存自动眼底荧光渗漏点检测方法可大致分为两类:基于像素强度的方法和基于有监督学习的方法。基于像素强度的方法主要是通过对像素强度信息进行提取和分析以达到渗漏点检测的目的。此类方法虽然在渗漏点的检测中能够达到很高的检测精度和灵敏度,但是此方法的时间复杂度高,检测时间长,检测一幅图像需要20秒左右的时间。而基于有监督学习的方法高度依赖于标注数据的质量,此外,大量由专业医生标注的数据是很难获得的,这就在一定程度上限制了此类方法的泛化性能。
所以现在需要一种更可靠的方案。
发明内容
本发明所要解决的技术问题在于针对上述现有技术中的不足,提供一种基于弱监督学习的眼底荧光造影图像渗漏点检测方法,以解决现有方法存在的方法复杂度高、检测时间长、需要大量标注数据的问题。
本发明的方法的核心思想为设计一个网络使其能够在输入图像和目标图像不成对的情况下,实现根据输入的异常眼底荧光造影图像生成其对应的正常表现的荧光造影图像;然后通过将异常图像与生成的正常图像做差,再进行二值化处理实现渗漏点的检测。由该方法的核心思想可知,该方法的重点和难点在于所设计的网络能够准确生成荧光渗漏点区域对应的正常表现,而保持异常图像中正常区域的不变,如此才可保证渗漏点的准确检测。
为实现上述目的,本发明采用的技术方案是:一种基于弱监督学习的眼底荧光造影图像渗漏点检测方法,包括以下步骤:
1)从采集的眼底荧光造影图像报告中,筛选出无荧光渗漏的正常荧光造影图像报告以及含有荧光渗漏的异常荧光造影图像报告;
2)在步骤1所筛选出的荧光造影图像报告中,选择荧光造影图像作为训练数据集;
3)将训练数据集输入到预先设计的检测网络模型中,以正常荧光造影图像作为输入图像、异常荧光造影图像作为要学习的目标图像进行训练,且还以异常荧光造影图像作为输入图像、正常荧光造影图像作为要学习的目标图像进行训练,保存训练好的检测网络模型;
4)将待检测的含有荧光渗漏的异常荧光造影图像输入到训练好的检测网络模型中,该检测网络模型生成与该异常荧光造影图像对应的正常表现的荧光造影图像,然后再将该异常荧光造影图像和生成的正常表现的荧光造影图像做差,得到的图像再使用图像二值化方法处理,即得渗漏点的检测结果。
优选的是,所述检测网络模型包括两个生成网络、两个判别网络以及损失函数L,所述生成网络根据输入的异常荧光造影图像生成对应的正常表现的荧光造影图像以及根据输入的正常荧光造影图像生成异常荧光造影图像;
所述判别网络对生成的正常或异常荧光造影图像和输入的真实荧光造影图像图像进行判别;
所述损失函数L用于保证所述检测网络模型的稳定训练以及生成与真实眼底荧光造影图像尽可能一致的图像。
优选的是,所述生成网络包括若干残差注意力模块,所述残差注意力模块包括2个卷积核大小为3x3的卷积层和一个卷积注意力模块,所述卷积注意力模块包括通道注意力模块和空间注意力模块。
优选的是,所述通道注意力模块包括平均池化层、最大池化层和3个全连接层;
所述空间注意力模块包括平均池化层、最大池化层、concat层、卷积层以及激活函数。
优选的是,所述判别网络包括4个卷积核大小为4x4的卷积层和一个卷积核大小为1x1的卷积层,其中,4个卷积核大小为4x4的卷积层中每个卷积层后面均具有一个激活函数。
优选的是,所述损失函数L包括对抗损失函数LGAN、循环一致性损失函数Lcc以及掩模损失函数Lmask,所述损失函数L的表达式为:
L=αLGAN+βLcc+λLmask;
其中,α,β,λ分别对抗损失函数LGAN、循环一致性损失函数Lcc以及掩模损失函数Lmask的权重;
两个生成网络分别为生成网络GA2N和生成网络GN2A,两个判别网络分别为判别网络DA和判别网络DN,所述对抗损失函数LGAN的表达式为:
其中,xa为异常荧光造影图像,GA2N(xa)为生成网络GA2N根据xa生成的正常荧光造影图像;xn为正常荧光造影图像,GN2A(xn)为生成器GN2A根据xn生成的异常荧光造影图像,Epa和Epn是用来表示求期望的符号;
所述循环一致性损失函数Lcc的表达式为:
所述掩模损失函数Lmask的表达式为:
其中,Mx为异常荧光造影图像对应的类激活图的二值化图。
优选的是,其中,异常荧光造影图像对应的类激活图的二值化图的生成方法包括以下步骤:
Ⅰ、使用经ImageNet数据集预训练好的ResNet18网络来对正常荧光造影图像和异常荧光造影图像进行二分类;
Ⅱ、采用梯度权重类激活图方法,基于步骤Ⅰ的ResNet18网络来对图像分类中的关注点进行可视化,生成相应的类激活图,其中的关注点即荧光渗漏点所在区域;
Ⅲ、采用小阈值二值化方法对步骤Ⅱ生成的类激活图进行二值化处理,进而得到异常荧光造影图像对应的掩模图像。
优选的是,其中,α=1,β=10,λ=10。
本发明还提供一种存储介质,其上存储有计算机程序,该程序被执行时用于实现如上所述的方法。
本发明还提供一种计算机设备,包括存储器、处理器以及存储在所述存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上所述的方法。
本发明的有益效果是:本发明通过基于弱监督学习的方法实现了眼底荧光造影点的自动检测,本发明的方法的检测精度与现存基于像素强度的方法基本一致,不需要大量标注数据的,且本发明的方法降低了复杂度,检测时间短,检测一张图像仅需不到1秒的时间,大大提高了检测效率;本发明的针对眼底荧光造影图像的处理方法对眼底疾病的辅助诊断具有潜在的医学价值。
附图说明
图1为本发明的基于弱监督学习的眼底荧光造影图像渗漏点检测方法的流程图;
图2为本发明的实施例1中的四类眼底荧光血管造影图像;
图3为本发明的基于弱监督学习的眼底荧光造影图像渗漏点检测方法的原理示意图;
图4为本发明的检测网络模型的结构图;
图5为本发明的实施例1中的ResNet18网络的结构图;
图6为本发明的实施例1中的掩模图像计算结果;
图7为本发明的方法在公开数据集中的检测结果;
图8为本发明的方法在临床数据集中的检测结果。
具体实施方式
下面结合实施例对本发明做进一步的详细说明,以令本领域技术人员参照说明书文字能够据以实施。
应当理解,本文所使用的诸如“具有”、“包含”以及“包括”术语并不排除一个或多个其它元件或其组合的存在或添加。
实施例1
本实施例的一种基于弱监督学习的眼底荧光造影图像渗漏点检测方法,包括以下步骤:
S1、采集数据
从采集的眼底荧光造影图像报告中,筛选出无荧光渗漏的正常荧光造影图像报告以及含有荧光渗漏的异常荧光造影图像报告;其中含有荧光渗漏的异常荧光造影图像报告具体包括三类:含有视盘渗漏、块状渗漏和点状渗漏的荧光造影图像报告。参照图2,为四类眼底荧光造影图像。在所筛选出的荧光造影图像报告中,选择造影后期5-6分钟的荧光造影图像荧光造影图像作为训练数据集。
本实施例中,采集的荧光造影图像来自于常州第三人民医院,在2011年3月至2019年9月之间,来自462位患者的852只眼,年龄在7到86岁之间,通过海德堡共焦眼底血管造影仪(Spectralis HRA)实施眼底荧光素血管造影。眼底图像分辨率均为768x768像素,视场为30°,45°,和60°。
S2、数据整理
将训练数据集中的正常荧光造影图像既作为输入图像集也作为目标图像集,含有三种类型渗漏点的异常图像既作为输入图像集也作为目标图像集。
S3、构建检测网络模型并进行训练
将训练数据集输入到预先设计的检测网络模型中,以正常荧光造影图像作为输入图像、异常荧光造影图像作为要学习的目标图像进行训练,且还以异常荧光造影图像作为输入图像、正常荧光造影图像作为要学习的目标图像进行训练,保存训练好的检测网络模型。
本实施例中,检测网络模型包括两个生成网络(GA2N和GN2A)、两个判别网络(DN和DA)以及损失函数L,生成网络的主要任务是根据输入的异常荧光造影图像生成对应的正常表现的荧光造影图像以及根据输入的正常荧光造影图像生成异常荧光造影图像;
判别网络的主要任务是对生成的正常或异常荧光造影图像和输入的真实荧光造影图像图像进行判别;
损失函数L用于保证检测网络模型的稳定训练,以及使网络重点关注于荧光渗漏点及其周围区域的正常化生成,从而生成与真实眼底荧光造影图像尽可能一致的图像。
参照图4(b)和(c),在一种优选的实施例中,生成网络包括9层残差注意力模块(图4中的Residual Block),残差注意力模块包括2个卷积核大小为3x3的卷积层、一个卷积注意力模块以及激活函数ReLu,卷积注意力模块包括通道注意力模块和空间注意力模块。卷积注意力模块的加入可有助于网络对不同尺度、不同维度重要信息的提取。
其中,通道注意力模块包括平均池化层(图4中的Channel-wise Avg pooling)、最大池化层(图4中的Channel-wise Max pooling)和3个全连接层(图4中的FC);在该模块中首先对输入的原始特征分别进行通道层的平均池化和最大池化操作,将池化操作后提取的向量作为3层全连接网络的输入,以生成通道层的权重值,将这些权重值应用于不同的特征通道上以实现对通道层的增强,权值越大的通道层其关注度越高。
其中,空间注意力模块包括平均池化层(图4中的Pixel-wise Avg pooling)、最大池化层(图4中的Pixel-wise Max pooling)、concat层、卷积层以及激活函数。在空间注意力模块中,对经过通道增强后的特征进行空间层的平均池化和最大池化操作,并将池化后的特征输入卷积层以得到空间层的权重分布,并以此权重系数来增强空间层的表示。
参照图4(d),判别网络包括4个卷积核大小为4x4的卷积层和一个卷积核大小为1x1的卷积层,其中,4个卷积核大小为4x4的卷积层中每个卷积层后面均具有一个激活函数(ReLU或Tanh)。经过最后一层的1x1的卷积层可输出一个图像真伪的判断矩阵,矩阵中的每个元素分别代表判别网络对每个图像块的判断结果。
为保证网络的稳定训练并能生成与真实图像尽可能一致的图像,在一种优选的实施例中,损失函数L包括对抗损失函数LGAN、循环一致性损失函数Lcc以及掩模损失函数Lmask,损失函数L的表达式为:
L=αLGAN+βLcc+λLmask;
其中,α,β,λ分别对抗损失函数LGAN、循环一致性损失函数Lcc以及掩模损失函数Lmask的权重,用于衡量对每个损失函数的重视程度;在一种进一步优选的实施例中,经大量试验确定选择:α=1,β=10,λ=10,此时可得到最好的图像生成以及渗漏点检测效果。
两个生成网络分别为生成网络GA2N和生成网络GN2A,两个判别网络分别为判别网络DA和判别网络DN,本发明的方法使用的是双向转换模型,同时训练两个生成网络(GA2N,GN2A)和两个判别网络(DA,DN),其中,对抗损失函数LGAN的表达式为:
其中,xa为异常荧光造影图像,GA2N(xa)为生成网络GA2N根据xa生成的正常荧光造影图像;xn为正常荧光造影图像,GN2A(xn)为生成器GN2A根据xn生成的异常荧光造影图像,Epa和Epn是用来表示求期望的符号。
其中,循环一致性损失函数用于保证生成的图像是输入图像所对应的图像形式,循环一致性损失函数Lcc的表达式为:
为使生成器GA2N能够重点关注于渗漏点及周围异常区域的生成,而保持正常区域不发生变化,本发明提出了一个掩模损失函数,该掩模损失函数Lmask的表达式为:
其中,Mx为异常荧光造影图像对应的类激活图的二值化图。
进一步的实施例中,异常荧光造影图像对应的类激活图的二值化图的生成方法包括以下步骤:
Ⅰ、使用经ImageNet数据集预训练好的ResNet18网络来对正常荧光造影图像和异常荧光造影图像进行二分类;参照图5为ResNet18网络的结构图,分类训练中使用的是迁移学习技术,本实施例中将ResNet18网络的低层权重固定,并将最后一层的全连接层输出节点数设置2,通过对剩余层进行训练以实现对异常和正常眼底荧光造影图像的分类,最终得到了99.3%的分类准确率。
Ⅱ、采用梯度权重类激活图方法,基于步骤Ⅰ的ResNet18网络来对图像分类中的关注点进行可视化,生成相应的类激活图,其中的关注点即荧光渗漏点所在区域;
Ⅲ、采用小阈值二值化方法对步骤Ⅱ生成的类激活图进行二值化处理,进而得到异常荧光造影图像对应的掩模图像。参照图6,为掩模图像计算结果。
S4、眼底荧光造影图像渗漏点检测
将待检测的含有荧光渗漏的异常荧光造影图像输入到训练好的检测网络模型中,该检测网络模型生成与该异常荧光造影图像对应的正常表现的荧光造影图像,然后再将该异常荧光造影图像和生成的正常表现的荧光造影图像做差,得到的图像再使用图像二值化方法处理,即得渗漏点的检测结果。参照图7至8,分别为本发明的方法在公开数据集和临床数据集上的生成结果。本实施例中,检测一张图像仅需不到1秒的时间。
实施例2
一种存储介质,其上存储有计算机程序,该程序被执行时用于实现实施例1的方法。
实施例3
一种计算机设备,包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序,处理器执行计算机程序时实现实施例1的方法。
尽管本发明的实施方案已公开如上,但其并不仅仅限于说明书和实施方式中所列运用,它完全可以被适用于各种适合本发明的领域,对于熟悉本领域的人员而言,可容易地实现另外的修改,因此在不背离权利要求及等同范围所限定的一般概念下,本发明并不限于特定的细节。
Claims (8)
1.一种基于弱监督学习的眼底荧光造影图像渗漏点检测方法,其特征在于,包括以下步骤:
1)从采集的眼底荧光造影图像报告中,筛选出无荧光渗漏的正常荧光造影图像报告以及含有荧光渗漏的异常荧光造影图像报告;
2)在步骤1所筛选出的荧光造影图像报告中,选择荧光造影图像作为训练数据集;
3)将训练数据集输入到预先设计的检测网络模型中,以正常荧光造影图像作为输入图像、异常荧光造影图像作为要学习的目标图像进行训练,且还以异常荧光造影图像作为输入图像、正常荧光造影图像作为要学习的目标图像进行训练,保存训练好的检测网络模型;
4)将待检测的含有荧光渗漏的异常荧光造影图像输入到训练好的检测网络模型中,该检测网络模型生成与该异常荧光造影图像对应的正常表现的荧光造影图像,然后再将该异常荧光造影图像和生成的正常表现的荧光造影图像做差,得到的图像再使用图像二值化方法处理,即得渗漏点的检测结果;
所述检测网络模型包括两个生成网络、两个判别网络以及损失函数L,所述生成网络根据输入的异常荧光造影图像生成对应的正常表现的荧光造影图像以及根据输入的正常荧光造影图像生成异常荧光造影图像;
所述判别网络对生成的正常或异常荧光造影图像和输入的真实荧光造影图像图像进行判别;
所述损失函数L用于保证所述检测网络模型的稳定训练以及生成与真实眼底荧光造影图像尽可能一致的图像;
所述损失函数L包括对抗损失函数、循环一致性损失函数/>以及掩模损失函数/>,所述损失函数L的表达式为:
;
其中,α,β,λ分别对抗损失函数、循环一致性损失函数/>以及掩模损失函数的权重;
两个生成网络分别为生成网络GA2N和生成网络GN2A,两个判别网络分别为判别网络DA和判别网络DN,所述对抗损失函数的表达式为:
,
其中,x a 为异常荧光造影图像,G A2N (x a )为生成网络G A2N 根据x a 生成的正常荧光造影图像;x n 为正常荧光造影图像,G N2A (x n )为生成器G N2A 根据x n 生成的异常荧光造影图像,Epa和Epn是用来表示求期望的符号;
所述循环一致性损失函数的表达式为:
;
所述掩模损失函数的表达式为:
;
其中,M x 为异常荧光造影图像对应的类激活图的二值化图。
2.根据权利要求1所述的基于弱监督学习的眼底荧光造影图像渗漏点检测方法,其特征在于,所述生成网络包括若干残差注意力模块,所述残差注意力模块包括2个卷积核大小为3x3的卷积层和一个卷积注意力模块,所述卷积注意力模块包括通道注意力模块和空间注意力模块。
3.根据权利要求2所述的基于弱监督学***均池化层、最大池化层和3个全连接层;
所述空间注意力模块包括平均池化层、最大池化层、concat层、卷积层以及激活函数。
4.根据权利要求3所述的基于弱监督学习的眼底荧光造影图像渗漏点检测方法,其特征在于,所述判别网络包括4个卷积核大小为4x4的卷积层和一个卷积核大小为1x1的卷积层,其中,4个卷积核大小为4x4的卷积层中每个卷积层后面均具有一个激活函数。
5.根据权利要求4所述的基于弱监督学习的眼底荧光造影图像渗漏点检测方法,其特征在于,其中,异常荧光造影图像对应的类激活图的二值化图的生成方法包括以下步骤:
Ⅰ、使用经ImageNet数据集预训练好的ResNet18网络来对正常荧光造影图像和异常荧光造影图像进行二分类;
Ⅱ、采用梯度权重类激活图方法,基于步骤Ⅰ的ResNet18网络来对图像分类中的关注点进行可视化,生成相应的类激活图,其中的关注点即荧光渗漏点所在区域;
Ⅲ、采用小阈值二值化方法对步骤Ⅱ生成的类激活图进行二值化处理,进而得到异常荧光造影图像对应的掩模图像。
6.根据权利要求5所述的基于弱监督学习的眼底荧光造影图像渗漏点检测方法,其特征在于,其中,α=1,β=10,λ=10。
7.一种存储介质,其上存储有计算机程序,其特征在于,该程序被执行时用于实现如权利要求1-6中任意一项所述的方法。
8.一种计算机设备,包括存储器、处理器以及存储在所述存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1-6中任意一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110287441.4A CN112967260B (zh) | 2021-03-17 | 2021-03-17 | 基于弱监督学习的眼底荧光造影图像渗漏点检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110287441.4A CN112967260B (zh) | 2021-03-17 | 2021-03-17 | 基于弱监督学习的眼底荧光造影图像渗漏点检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112967260A CN112967260A (zh) | 2021-06-15 |
CN112967260B true CN112967260B (zh) | 2024-01-26 |
Family
ID=76279034
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110287441.4A Active CN112967260B (zh) | 2021-03-17 | 2021-03-17 | 基于弱监督学习的眼底荧光造影图像渗漏点检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112967260B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114612484B (zh) * | 2022-03-07 | 2023-07-07 | 中国科学院苏州生物医学工程技术研究所 | 基于无监督学习的视网膜oct图像分割方法 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110197517A (zh) * | 2019-06-11 | 2019-09-03 | 常熟理工学院 | 基于多域循环一致性对抗生成网络的sar图像上色方法 |
CN111353980A (zh) * | 2020-02-27 | 2020-06-30 | 浙江大学 | 基于深度学习的眼底荧光造影图像渗漏点检测方法 |
KR20200093502A (ko) * | 2020-07-28 | 2020-08-05 | 서울대학교병원 | 안저 영상과 형광안저혈관조영 영상의 정합을 이용한 자동 혈관 분할 장치 및 방법 |
WO2020200030A1 (zh) * | 2019-04-02 | 2020-10-08 | 京东方科技集团股份有限公司 | 神经网络的训练方法、图像处理方法、图像处理装置和存储介质 |
CN111902071A (zh) * | 2018-01-19 | 2020-11-06 | 学校法人庆应义塾 | 诊断辅助装置、学习装置、诊断辅助方法、学习方法及程序 |
CN112233017A (zh) * | 2020-10-28 | 2021-01-15 | 中国科学院合肥物质科学研究院 | 一种基于生成对抗网络的病态人脸数据增强方法 |
CN112365464A (zh) * | 2020-11-09 | 2021-02-12 | 成都信息工程大学 | 一种基于gan的医学图像病变区域弱监督定位方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10878569B2 (en) * | 2018-03-28 | 2020-12-29 | International Business Machines Corporation | Systems and methods for automatic detection of an indication of abnormality in an anatomical image |
US10997475B2 (en) * | 2019-02-14 | 2021-05-04 | Siemens Healthcare Gmbh | COPD classification with machine-trained abnormality detection |
DE102019208496B4 (de) * | 2019-06-12 | 2024-01-25 | Siemens Healthcare Gmbh | Computerimplementierte Verfahren und Vorrichtungen zum Bereitstellen eines Differenzbilddatensatzes eines Untersuchungsvolumens und zum Bereitstellen einer trainierten Generatorfunktion |
-
2021
- 2021-03-17 CN CN202110287441.4A patent/CN112967260B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111902071A (zh) * | 2018-01-19 | 2020-11-06 | 学校法人庆应义塾 | 诊断辅助装置、学习装置、诊断辅助方法、学习方法及程序 |
WO2020200030A1 (zh) * | 2019-04-02 | 2020-10-08 | 京东方科技集团股份有限公司 | 神经网络的训练方法、图像处理方法、图像处理装置和存储介质 |
CN110197517A (zh) * | 2019-06-11 | 2019-09-03 | 常熟理工学院 | 基于多域循环一致性对抗生成网络的sar图像上色方法 |
CN111353980A (zh) * | 2020-02-27 | 2020-06-30 | 浙江大学 | 基于深度学习的眼底荧光造影图像渗漏点检测方法 |
KR20200093502A (ko) * | 2020-07-28 | 2020-08-05 | 서울대학교병원 | 안저 영상과 형광안저혈관조영 영상의 정합을 이용한 자동 혈관 분할 장치 및 방법 |
CN112233017A (zh) * | 2020-10-28 | 2021-01-15 | 中国科学院合肥物质科学研究院 | 一种基于生成对抗网络的病态人脸数据增强方法 |
CN112365464A (zh) * | 2020-11-09 | 2021-02-12 | 成都信息工程大学 | 一种基于gan的医学图像病变区域弱监督定位方法 |
Also Published As
Publication number | Publication date |
---|---|
CN112967260A (zh) | 2021-06-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Umri et al. | Detection of COVID-19 in chest X-ray image using CLAHE and convolutional neural network | |
Liu et al. | A framework of wound segmentation based on deep convolutional networks | |
Abramoff et al. | The automatic detection of the optic disc location in retinal images using optic disc location regression | |
CN112950737B (zh) | 基于深度学习的眼底荧光造影图像生成方法 | |
CN113012163A (zh) | 一种基于多尺度注意力网络的视网膜血管分割方法、设备及存储介质 | |
Balaram et al. | Detection of malaria parasite in thick blood smears using deep learning | |
Eltoukhy et al. | Classification of multiclass histopathological breast images using residual deep learning | |
R-Prabha et al. | Design of hybrid deep learning approach for covid-19 infected lung image segmentation | |
CN112967260B (zh) | 基于弱监督学习的眼底荧光造影图像渗漏点检测方法 | |
Ramkumar et al. | Multi res U-Net based image segmentation of pulmonary tuberculosis using CT images | |
AU2021100684A4 (en) | DEPCADDX - A MATLAB App for Caries Detection and Diagnosis from Dental X-rays | |
KR102186893B1 (ko) | 인공지능 기반 커리큘럼 학습 방법을 이용한 의료 영상 처리 시스템 및 지능형 의료 진단 및 진료 시스템 | |
Patil et al. | Emphasize of Deep CNN for Chest Radiology Images in the detection of COVID | |
Al-Utaibi et al. | Neural networks to understand the physics of oncological medical imaging | |
Sebdani et al. | Medical image processing and deep learning to diagnose covid-19 with ct images | |
Wu et al. | Mscan: Multi-scale channel attention for fundus retinal vessel segmentation | |
Velusamy et al. | Faster Region‐based Convolutional Neural Networks with You Only Look Once multi‐stage caries lesion from oral panoramic X‐ray images | |
Bergner et al. | Interpretable and interactive deep multiple instance learning for dental caries classification in bitewing X-rays | |
ELKARI et al. | Multi-Dataset Convolutional Neural Network Model for Glaucoma Prediction in OCT Fundus Scans | |
Gowri et al. | An improved classification of MR images for cervical cancer using convolutional neural networks | |
Malekian et al. | Computer aided measurement of sub-epithelial collagen band in colon biopsies for collagenous colitis diagnosis | |
Abinaya et al. | Detection and Classification Of Diabetic Retinopathy Using Machine Learning–A Survey | |
Kukar et al. | Multi-resolution image parametrization in stepwise diagnostics of coronary artery disease | |
Sowmiya et al. | Detection of Diabetic Retinopathy by Segmentation using U-Net with Hyper-Parameter Tuning | |
CN114092427B (zh) | 一种基于多序列mri图像的克罗病与肠结核分类方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |