CN113421259B - 基于分类网络的octa图像的分析方法 - Google Patents
基于分类网络的octa图像的分析方法 Download PDFInfo
- Publication number
- CN113421259B CN113421259B CN202110957657.7A CN202110957657A CN113421259B CN 113421259 B CN113421259 B CN 113421259B CN 202110957657 A CN202110957657 A CN 202110957657A CN 113421259 B CN113421259 B CN 113421259B
- Authority
- CN
- China
- Prior art keywords
- image
- octa
- feature map
- network
- shallow
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- FCKYPQBAHLOOJQ-UHFFFAOYSA-N Cyclohexane-1,2-diaminetetraacetic acid Chemical compound OC(=O)CN(CC(O)=O)C1CCCCC1N(CC(O)=O)CC(O)=O FCKYPQBAHLOOJQ-UHFFFAOYSA-N 0.000 title claims abstract 71
- 238000003703 image analysis method Methods 0.000 title abstract description 5
- 238000003709 image segmentation Methods 0.000 claims abstract description 53
- 230000004927 fusion Effects 0.000 claims abstract description 33
- 230000011218 segmentation Effects 0.000 claims abstract description 28
- 238000001914 filtration Methods 0.000 claims abstract description 19
- 210000001525 retina Anatomy 0.000 claims abstract description 13
- 238000010586 diagram Methods 0.000 claims description 93
- 238000012549 training Methods 0.000 claims description 64
- 238000000034 method Methods 0.000 claims description 49
- 210000004204 blood vessel Anatomy 0.000 claims description 29
- 238000000605 extraction Methods 0.000 claims description 28
- 238000012545 processing Methods 0.000 claims description 27
- 230000008569 process Effects 0.000 claims description 21
- 230000000007 visual effect Effects 0.000 claims description 19
- 230000007246 mechanism Effects 0.000 claims description 18
- 208000007342 Diabetic Nephropathies Diseases 0.000 claims description 15
- 208000033679 diabetic kidney disease Diseases 0.000 claims description 15
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 12
- 230000006870 function Effects 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 10
- 206010025421 Macule Diseases 0.000 claims description 8
- 238000005070 sampling Methods 0.000 claims description 8
- 238000011176 pooling Methods 0.000 claims description 6
- 230000004913 activation Effects 0.000 claims description 5
- 238000002372 labelling Methods 0.000 claims description 5
- 238000012360 testing method Methods 0.000 claims description 5
- 238000007499 fusion processing Methods 0.000 claims description 4
- 238000012935 Averaging Methods 0.000 claims description 2
- 201000010099 disease Diseases 0.000 abstract description 10
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 abstract description 10
- 238000004458 analytical method Methods 0.000 abstract description 8
- 238000012216 screening Methods 0.000 abstract description 6
- 230000002207 retinal effect Effects 0.000 description 7
- 238000007781 pre-processing Methods 0.000 description 6
- 208000017169 kidney disease Diseases 0.000 description 5
- 101100400452 Caenorhabditis elegans map-2 gene Proteins 0.000 description 4
- 101150064138 MAP1 gene Proteins 0.000 description 4
- 238000012800 visualization Methods 0.000 description 4
- 206010012689 Diabetic retinopathy Diseases 0.000 description 3
- 208000017442 Retinal disease Diseases 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 210000000873 fovea centralis Anatomy 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 210000002189 macula lutea Anatomy 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 210000005036 nerve Anatomy 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000004287 retinal location Effects 0.000 description 2
- 206010002329 Aneurysm Diseases 0.000 description 1
- 208000009857 Microaneurysm Diseases 0.000 description 1
- 201000007527 Retinal artery occlusion Diseases 0.000 description 1
- 208000014139 Retinal vascular disease Diseases 0.000 description 1
- 206010038923 Retinopathy Diseases 0.000 description 1
- 241000872198 Serjania polyphylla Species 0.000 description 1
- 206010043189 Telangiectasia Diseases 0.000 description 1
- 206010046851 Uveitis Diseases 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 206010064930 age-related macular degeneration Diseases 0.000 description 1
- 238000002583 angiography Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000017531 blood circulation Effects 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000006735 deficit Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000003743 erythrocyte Anatomy 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 208000002780 macular degeneration Diseases 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012014 optical coherence tomography Methods 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 230000010412 perfusion Effects 0.000 description 1
- 238000007634 remodeling Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 208000004644 retinal vein occlusion Diseases 0.000 description 1
- 208000032598 susceptibility microvascular complications of diabetes Diseases 0.000 description 1
- 208000009056 telangiectasis Diseases 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10101—Optical tomography; Optical coherence tomography [OCT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- Bioinformatics & Computational Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Molecular Biology (AREA)
- Evolutionary Biology (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Eye Examination Apparatus (AREA)
- Image Analysis (AREA)
Abstract
本公开实施例涉及一种基于分类网络的OCTA图像的分析方法,方法包括:对待分析的OCTA图像进行滤波处理,获得滤波后的OCTA浅层图像和滤波后的OCTA深层图像;OCTA图像为对用户眼部视网膜区域拍摄的包括两个不同深度的OCTA浅层图像和OCTA深层图像;采用预先训练的图像分割网络对滤波后的OCTA浅层图像进行分割处理,得到采用不同标识标记各区域的OCTA分割图像;将OCTA分割图像、滤波后的OCTA深层图像、滤波后的OCTA浅层图像进行融合处理,得到OCTA融合图像;采用训练的分类网络对OCTA融合图像进行分类处理,得到分类结果。本分析方法为基于视网膜的OCTA图像的疾病筛查提供了依据,并具有较高的分类准确度。
Description
技术领域
本申请属于图像处理技术领域,具体涉及一种基于分类网络的OCTA图像的分析方法。
背景技术
当前,获取患者的超声图片或者三维图片,对图片进行分析以区分糖尿病肾病与非糖尿病肾病成为业界研究的热点。
例如,光学相干断层成像血管造影术(Optical Coherence TomographyAngiography,OCTA)是近些年来较为新兴的一种非侵入式成像方法,可以有效展示人体视网膜神经丛中毛细血管网络的细微变化。该方法通过对同一位置进行快速重复拍摄,探测视野中细胞的运动并进行分析,从而得到毛细血管网络图像。对视网膜浅层神经丛拍摄的图像为OCTA浅层图像,对视网膜深层神经丛拍摄的图像为OCTA深层图像,二者包含不同的血管信息。
另外,业内人士发现可以从OCTA图像分析出多种医学临床视网膜疾病,如黄斑毛细血管扩张、灌注受损、微动脉瘤、毛细血管重塑等,因此OCTA已被用于一系列视网膜血管疾病的评估,包括糖尿病视网膜病变、视网膜静脉阻塞、葡萄膜炎、视网膜动脉阻塞和年龄相关性黄斑变性等。其中,目前有较多研究的是OCTA用于视网膜病变的诊断,即通过OCTA图像判断患者是否患有糖尿病性视网膜疾病。
糖尿病视网膜疾病与糖尿病肾病都属于糖尿病最主要的微血管并发症,一直以来都有学者试图探索二者之间是否存在一定的相关性。为此,如何对OCTA图像进行分析,确定是否存在异常为实现疾病筛查提供依据成为当前亟需解决的技术问题。
发明内容
(一)要解决的技术问题
鉴于现有技术的上述缺点、不足,本申请提供一种基于深度神经网络的OCTA图像的分析方法。
(二)技术方案
为达到上述目的,本申请采用如下技术方案:
第一方面,本申请提供一种基于分类网络的OCTA图像的分析方法,该方法包括:
A10、对待分析的OCTA图像中的浅层图像进行滤波处理,获得滤波后的OCTA浅层图像,对待分析的OCTA图像中的深层图像进行滤波处理,获得滤波后的OCTA深层图像;
所述OCTA图像为对用户眼部视网膜区域拍摄的包括两个不同深度的OCTA浅层图像和OCTA深层图像;
A20、采用预先训练的图像分割网络对滤波后的OCTA浅层图像进行分割处理,得到采用不同标识标记各区域的OCTA分割图像;
A30、将所述OCTA分割图像、滤波后的OCTA深层图像、滤波后的OCTA浅层图像进行融合处理,得到OCTA融合图像;
A40、采用训练的分类网络对所述OCTA融合图像进行分类处理,得到分类结果;
所述训练的分类网络为在ResNet50基础上增加分组特征提取模块和先验注意力机制模块的网络。
第二方面,本申请提供一种电子设备,包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现如上第一方面任一项所述的基于分类网络的OCTA图像的分析方法的步骤。
第三方面,本申请提供一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如上第一方面任一项所述的基于分类网络的OCTA图像的分析方法的步骤。
(三)有益效果
本申请提供的技术方案可以包括以下有益效果:
本发明的方法对人体视网膜的OCTA图像进行分析,在临床上为各类基于眼部图像的疾病分析提供了一种无创辅助的分析方法。
具体地,先对OCTA图像进行滤波处理以去除孤立噪声点,使得后续分析更加准确,接着基于图像分割网络获取标记各区域的OCTA分割图像,以便较好的区分OCTA图像中的区域信息;再将浅层、深层和分割图像进行融合,输入到添加有先验注意力信息的第二分类网络中,实现对OCTA图像的分类,实现在OCTA图像处理上具有较高的鲁棒性,且在处理中由于先验注意力信息的增加,约束了第二分类网络的关注范围,提升了处理效率。
在具体实现中,采用图像分割网络对OCTA图像的中心凹区域和血管区域进行划分,为图像分类提供专家信息,并将该信息与OCTA深层、浅层图像的特征相结合,对于特征不明显的OCTA图像来说,极大地提高了分类准确度。
本发明使用分类网络对分类结果进行了解释,为视网膜OCTA图像用于疾病筛查初分类提供了图像学依据。
也就是说,本发明中将人体视网膜OCTA图像应用于肾病的分析中。其中,图像分割网络自动提取OCTA图像特征,在像素级别上划分出图像中的黄斑中心凹区域和血管区域,以此作为专家信息融合进深层、浅层神经丛OCTA图像中,提高了对OCTA图像的疾病筛查初分类的准确率,并通过先验注意力信息对分类结果提供了可解释的图像学依据。该技术可应用于临床疾病辅助诊断,为相关医学研究提供重要思路和方法。
附图说明
图1为OCTA浅层图像和OCTA浅层图像对应的视网膜位置的示例图;
图2为OCTA深层图像和OCTA深层图像对应的视网膜位置的示例图;
图3为本发明一实施例提供的OCTA浅层图像预处理结果的示意图;
图4为本发明一实施例提供的图像分割网络的输出结果的示意图;
图5为本发明一实施例提供的图像分割网络的结构示意图;
图6为本发明一实施例提供的OCTA融合图像的生成过程的示意图;
图7(a)为第二分类网络的整体结构的示意图;
图7(b)为第二分类网络中卷积块的结构的示意图;
图7(c)为第二分类网络中恒等残差块的结构的示意图;
图7(d)为第一分类网络的整体结构示意图;
图8为本发明一实施例提供的平均权重热力图的示意图;
图9为本发明一实施例提供的可视化结果的示意图;
图10为本发明一实施例提供的分析方法的整体流程示意图。
具体实施方式
为了更好的解释本发明,以便于理解,下面结合附图,通过具体实施方式,对本发明作详细描述。可以理解的是,以下所描述的具体的实施例仅仅用于解释相关发明,而非对该发明的限定。另外还需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合;为了便于描述,附图中仅示出了与发明相关的部分。
实施例一
本发明实施例提供一种基于分类网络的OCTA图像的分析方法,其特征在于,该方法包括:
A10、对待分析的OCTA图像中的浅层图像进行滤波处理,获得滤波后的OCTA浅层图像,对待分析的OCTA图像中的深层图像进行滤波处理,获得滤波后的OCTA深层图像;
所述OCTA图像为对用户眼部视网膜区域拍摄的包括两个不同深度的OCTA浅层图像和OCTA深层图像。
举例来说,可采用滑窗方式对待分析的OCTA浅层图像进行滤波处理,获取去除孤立噪声点的OCTA浅层图像作为滤波后的OCTA浅层图像;
采用滑窗方式对待分析的OCTA深层图像进行滤波处理,获取去除孤立噪声点的OCTA深层图像作为滤波后的OCTA深层图像。
其中,i、j表示中心像素坐标,D表示当前滑窗范围内的连通区域。
A20、采用预先训练的图像分割网络对滤波后的OCTA浅层图像进行分割处理,得到采用不同标识标示各区域的OCTA分割图像。
例如,可将滤波后的OCTA浅层图像输入训练后的图像分割网络;可对滤波后的OCTA浅层进行连续的多次卷积、上采样和堆叠处理,得到X×X×3的特征图;X为依据卷积处理策略确定的尺寸;
对X×X×3的特征图执行Softmax操作,以使X×X×3的特征图中每个像素点分别属于黄斑中心凹、血管和背景三个类别的概率,再经过argmax运算将所述概率转换成每个像素具体所属的类别,并对分割结果的图像的尺寸还原为输入图像的大小,得到最终的OCTA分割图像。
可理解的是,本实施例中使用深层卷积神经网络的图像分割网络,通过编码-解码结构提取预处理后的图像特征并在像素级别上对输入图像进行区域分割,标记出OCTA图像中央位置的黄斑中心凹区域与四周的血管区域。
其中,编码部分使用卷积层与池化层实现。通过多个卷积层、池化层对输入图像提取特征,并对所提取的特征进行编码,将大尺寸、低维度的原始OCTA图像映射为小尺寸、高维度的特征图像。
解码部分使用上采样层实现,同时需要通道堆叠操作的配合。当特征图经过上采样层处理后,当前特征图的长和宽均会扩大至原来尺寸的两倍,此时特征图的尺寸发生变化,但维度不变,当前特征图携带有经过多次编码的高级语义信息;将上采样后的特征图与上一级别同尺寸的特征图进行通道堆叠,此时将带有更多全局特征的低级别特征信息与带有更多局部特征的高级别语义信息进行叠加,使得新的特征图中同时带有二者的特征,并且特征图的尺寸扩大为原来尺寸的两倍,此时特征图的通道数也发生改变。重复上采样操作与通道堆叠操作,直至将最终特征层的尺寸扩大至输入图像的一半。使用Softmax激活函数输出像素分类器的分类概率结果,通过argmax函数映射出像素点所属的实际类别,即黄斑中心凹区域或血管区域,得到OCTA标记图像。
A30、将所述OCTA分割图像、滤波后的OCTA深层图像、滤波后的OCTA浅层图像进行融合处理,得到OCTA融合图像。
举例来说,将OCTA分割图像与滤波后的OCTA浅层图像、滤波后的OCTA深层图像分别转换成单通道八位灰度图像;
将得到的三张灰度图像作为三个独立的通道进行堆叠,得到一张三通道的OCTA融合图像,以使OCTA融合图像中携带有不同的特征信息。
A40、采用训练的分类网络对所述OCTA融合图像进行分类处理,得到分类结果。
特别说明的是,本实施例中训练后的分类网络可为图7(a)所示的包括:分组特征提取和先验注意力机制的基于ResNet50架构的网络,下述成为第二分类网络。
例如,该步骤A40可包括下述A41至A44的子步骤:
A41、将OCTA融合图像输入第二分类网络的分组特征提取模块,以使三通道的OCTA融合图像被通道分离,得到单通道的OCTA浅层图像、OCTA深层图像和OCTA分割图像,对分离后的图像分别卷积,得到三个特征图,将该三个特征图在通道维度上进行堆叠,得到一张新的特征图;
A42、将新的特征图输入第二分类网络的先验注意力机制模块,以使新的特征图和预先获取的权重热力图逐点相乘,使得所述预先获取的权重热力图中的先验注意力信息加入所述新的特征图中并进行池化处理,得到待处理的特征图;
应说明的是,预先获取的权重热力图可为训练阶段训练集对应的所有权重热力图的平均热力图。或者,在其他实施例中,预先获取的权重热力图还可以是采用第一分类网络获取的待分析的OCTA图像的权重热力图。
A43、将待处理的特征图输入第二分类网络的特征提取模块,以进行多次卷积和恒等残差处理,得到1×1×2048的特征图;
A44、将1×1×2048的特征图变换为全连接层,以进行Softmax运算和argmax运算,得到分类结果。
当然,在实际应用中,可在前述步骤A10之前,建立图像分割网络和第一分类网络;获取训练数据集,所述训练数据集用于对建立的图像分割网络进行训练处理,以及对建立的第一分类网络进行训练处理;
采用所述训练数据集对建立的图像分割网络和建立的第一分类网络分别进行训练,获得训练后的图像分割网络和训练后的第一分类网络、及在训练后的第一分类网络的基础上增加先验注意力机制模块的第二分类网络。如图10所示,在训练完成之后,针对待分析的OCTA图像进行分割、灰度映射、融合、分类使用。
本实施例的方法为视网膜OCTA图像用于多疾病初分类提供了图像学依据。上述方法可基于视网膜OCTA图像实现对应糖尿肾病和非糖尿肾病、视网膜疾病或肾病等多种疾病初分类的依据。
实施例二
结合图10所示的整个流程图进行说明,在上述实施例一中获取待分析的OCTA图像,其包括被检测对象的OCTA浅层图像和OCTA深层图像各一张。
一、训练阶段
1、获取训练数据集。在本实施例中,训练数据集中共有N个被检测对象样本,即有N张OCTA浅层图像,N张OCTA深层图像。
特别说明的是,用于为具体一种疾病筛查的初分类,则训练数据集可使用对应该类疾病的数据集。该实施例二是针对肾病分类举例说明的,则训练数据集中的标签图像可为对应肾病分类的标签图像,当然测试集也是针对肾病分类的测试集。
2、划分训练数据集。将这N个被检测对象样本进行数据集划分,0.8N个样本划分为训练集,用于训练阶段;0.2N个样本划分为测试集,用于预测阶段。
3、在训练阶段,训练集中的0.8N张OCTA浅层图像经过直方图均衡化、二值化、手工标注黄斑中心凹区域等预处理方式得到图像分割标签图像。
训练图像分割网络(前述步骤A20中使用的图像分割网络),训练好的图像分割网络已具有图像分割能力。
将这0.8N张OCTA浅层图像输入训练好的图像分割网络,得到0.8N张OCTA分割图像。
将训练集中的OCTA浅层图像、OCTA深层图像和OCTA分割图像进行通道融合,得到0.8N张OCTA融合图像。
使用这些OCTA融合图像训练分类网络,其中,分类网络包含分组特征提取模块和先验注意力机制模块。训练好的分类神经网络已具有分类能力。
进一步地,并对第一分类网络输出的每一个OCTA图像的可视化特征进行处理,得到后续具有先验注意力信息的权重热力图,分析分类网络做出该分类结果的图像学依据。
在具体应用中,上述训练阶段,训练集中的0.8N张OCTA浅层图像经过直方图均衡化、二值化、手工标注黄斑中心凹区域等预处理方式得到图像分割标签图像,可具体处理过程如下:
对每一张OCTA浅层图像进行滤波,滤波的目的是为了去除图像上的孤立噪声点,孤立噪声点意为不与其他区域连通的微小区域,使用滑窗遍历图像,当滑窗范围内存在此类微小区域时将其滤除,滤波后的图像更清晰,便于后续处理。
对滤波后的OCTA浅层图像进行直方图均衡化,由于OCTA浅层图像的对比度较低,需要使用直方图均衡化提高其对比度,以保证后续的图像二值化结果,直方图均衡化的结果如图3的左侧(a)图所示,其示出了直方图均衡化后的结果;
将直方图均衡化后的OCTA浅层图像进行图像二值化处理,目的是为了制作图像分割网络的训练数据集,由于直方图均衡化后的OCTA浅层图像中只有血管区域呈白色和灰色,所以图像二值化后血管区域均是灰度值为255的白色,背景区域为灰度为0的黑色,如图3的中间(b)图所示,其示出了图像二值化的结果;
再使用绘图工具手工将黄斑中心凹区域绘制成灰度值为127的灰色,制作出如图3中右侧(c)图所示的图像分割标签图像,即示出了手工标注黄斑中心凹区域的结果。
结合图5说明该图像分割标签图像在训练阶段的功能或作用。图像分割标签图像用于图像分割网络的训练过程,训练过程首先用一张图像进行说明:
从训练数据集的训练集中选出一张OCTA浅层图像X,这张X在训练数据集中对应着一张图像分割标签图像Y,(Y也在训练集里,简称标签图像Y)。标签图像Y中的白色部分(如图3的右侧(c)图)对应着X中的血管部分,灰色部分对应着X中的黄斑中心凹区域。
将图像X输入训练阶段的图像分割网络中,经过多次的卷积层、池化层、上采样、跳跃连接等之后,得到右边倒数第二个尺寸为208*208*3的特征图(Softmax之前的,这个记为特征图1),之后将这张特征图1经过Softmax运算,得到新的尺寸为208*208*3的特征图(记为特征图2)。Softmax运算的功能在于得到每个像素点属于各个类别的概率。
举例来说:特征图1的尺寸是208*208*3,前两个数是特征图的长和宽,第三个数3是因为当前待分割的OCTA浅层图像X中一共有三个类别:血管、黄斑中心凹和背景,这也正好对应着标签图像Y中一共有3种颜色标记:白色、灰色和黑色。当特征图1经过Softmax运算后,得到的就是这208*208个像素点分别属于上述这三个类别的概率,这个概率的表示方式是一个3维向量,例如其中一个像素点的概率是[0.97,0.01,0.02],假设这三个值分别对应的是背景、黄斑中心凹、血管,那么表示的就是这个像素点属于背景的概率是97%,黄斑中心凹的概率是1%,属于血管的概率是2%。特征图1上的每一个像素点都有这样的一个3维向量,因此特征图2的尺寸是208*208*3。
需要说明的是:由于Softmax函数的特性,要求Softmax的输入和输出具有相同的尺寸,因此,由于必须要求输出是208*208*3(因为3个类别),所以需要特征图1也要是208*208*3这个尺寸。
特征图2的每一个像素点都是一个3维向量,还是用[0.97,0.01,0.02]举例,这种情况下,显然这个像素点属于背景的概率是最大的。另外,argmax运算中argmax的作用是找到一个向量中数值最大的那个元素的索引,对于上面那个向量来说,0.97是向量的第一个数,对应的索引是0,则argmax的输出就是0,这样就预测出了这个像素点所属的类别,它是属于0这个类,也就是属于背景。对特征图2的208*208个像素点都进行argmax运算,就得到了每一个像素点所属的类别。最后由于当前输出的尺寸是208*208,进行resize(图像大小变换),将尺寸放大到416*416*1,就和输入的X和标签图像Y的长宽一样了,得到输出特征图Z。说明的是,此时得到的是416*416*1的输出图像,不是图5中的使用过程的416*416*3的输出图像。
训练过程,就是不断让输出特征图Z中的像素点向着标签图像Y中对应位置的像素点进行逼近,类似于分类网络的训练过程。也就是说,其实图像分割就是对每一个像素点进行分类,图像分割标签图像Y上的每个像素点的值实际上就是X的每一个对应位置像素点的分类标签。
另外,图像分割网络在优化过程是基于多分类交叉熵函数设计的,结合输入图像的尺寸得到图像分割网络在训练中所优化的损失函数:
其中H为输入图像的高度,W为输入图像的宽度,zmn,true为像素分类结果的真实值,由标签图像给出,zmn,pred为网络的预测结果,由图像分割网络计算得出。其中m、n是图像像素的坐标,m为纵坐标,n为横坐标。
本实施例的第一分类网络在优化过程基于交叉熵函数设计:
其中,yi,true为图像分类结果的真实值,由标签图像给出,yi,pred为网络的预测结果,由第一分类网络计算得出。其中,i是类别,C是总共的类别数,通常取2,在本申请中是两个类别,如糖尿病肾病和非糖尿病肾病两类,i在上述公式的计算中分别表示糖尿病肾病和非糖尿病肾病两类别。
4、在预测阶段,从0.2N个样本中选出任意一组图像。
其中,将OCTA浅层图像输入训练好的图像分割网络,得到OCTA分割图像,将OCTA浅层图像、OCTA深层图像和OCTA分割图像进行通道融合,得到一张OCTA融合图像。
将这张OCTA融合图像输入训练好的第二分类网络中,得到分类结果。
二、分类网络使用阶段
第一、OCTA图像的获取及预处理的说明
OCTA技术对眼部视网膜区域的同一横断面进行快速重复拍摄,可视化地观察红细胞运动并检测眼底血管中的血流变化,高分辨率地呈现出视网膜中的血管图像。按照图像采集设备对视网膜区域的拍摄位置不同,通常可以将OCTA图像分成两类:OCTA浅层图像和OCTA深层图像。OCTA浅层图像如图1的左侧(a)图所示,白色部分为血管,中间被血管环绕的黑色部分为黄斑中心凹。人的视网膜后侧有一直径约2mm的小凹陷区被称作“黄斑”,黄斑中央有一小凹陷,因此称为“黄斑中心凹”,黄斑中心凹没有血管,因此在OCTA图像上呈黑色,OCTA浅层图像的拍摄区域如图1的右侧(b)图所示,其示出了OCTA浅层图像对应的视网膜位置。同样的,OCTA深层图像如图2的左侧(a)图所示,其拍摄区域如图2的右侧(b)图所示,其示出了OCTA深层图像对应的视网膜位置。
在本实施例中,同一被拍摄对象提供OCTA浅层图像和OCTA深层图像各一张,并且这两张图像均被用于后续的分类任务中。
其中,OCTA浅层图像由于黄斑中心凹的边界相对明显,血管相对清晰,因此被用于后续的图像分割处理中,将OCTA浅层图像的黄斑中心凹区域和血管区域分割出来;OCTA深层图像黄斑中心凹的边界较模糊,且血管分布杂乱,使用图像分割处理的效果不好,因此不用于图像分割处理。
对于OCTA浅层图像和OCTA深层图像的预处理,包括:基于连通区域筛选的图像滤波。其中,滤波的目的是为了去除图像上的孤立噪声点,孤立噪声点意为不与其他区域连通的微小区域,使用滑窗遍历图像,当滑窗范围内存在此类微小区域时将其滤除,滤波后的图像更清晰,便于后续处理。
在预处理过程中,输入的是OCTA浅层图像和OCTA深层图像,输出滤波后的OCTA浅层图像、滤波后的OCTA深层图像。
第二、对OCTA浅层图像的图像分割的说明
使用图4所示的图像分割网络对滤波后的OCTA浅层图像进行分割处理,得到带有黄斑中心凹区域与血管区域标记的OCTA分割图像,如图5所示。其中,黄色部分为血管,红色部分为黄斑中心凹。
具体过程为,将滤波后的OCTA浅层图像输入图像分割网络后先经过两次卷积,得到尺寸为208208×64的特征图;
将该208×208×64的特征图进行两次卷积,得到尺寸为104×104×128的特征图;
将该104×104×128的特征图进行两次卷积,得到尺寸为52×52×256的特征图;
将该52×52×256的特征图进行七次卷积,得到尺寸为26××26×512的特征图;
将该26×26×512的特征图进行上采样,得到尺寸为52×52×512的特征图,再通过跳跃连接与之前得到的尺寸为52×52×256的特征图在通道维度上进行堆叠,得到尺寸为52×52×768的特征图;
对该52×52×768的特征图进行卷积,得到尺寸为52×52×256的特征图;将该52×52×256的特征图进行上采样,得到尺寸为104×104×256的特征图,再通过跳跃连接与之前得到的尺寸为104×104×128的特征图在通道维度上进行堆叠,得到尺寸为104×104×384的特征图;
对该104×104×384的特征图进行卷积,得到尺寸为104×104×128的特征图;将该104×104×128的特征图进行上采样,得到尺寸为208×208×128的特征图,再通过跳跃连接与之前得到的尺寸为208×208×64的特征图在通道维度上进行堆叠,得到尺寸为208×208×192的特征图;对该208×208×192的特征图进行卷积,得到尺寸为208×208×64的特征图。
上述过程中的卷积次数以及卷积使用的卷积核数量是通过实验调参的结果,以保证得到最优分割性能。本实施例中不限定卷积次数,上述的卷积过程仅为举例说明。
由于OCTA图像上共包含黄斑中心凹、血管和背景共3个类别,所以对最后尺寸为208×208×64的特征图进行卷积,得到208×208×3的特征图。对此208×208×3的特征图执行Softmax操作,得到特征图中每个像素点分别属于上述3个类别的概率,再经过argmax运算将概率转换成每个像素具体所属的类别,最后对分割结果的图像的尺寸还原为输入图像的大小,得到最终的OCTA分割图像。
第三、获取OCTA融合图像的说明
如图6所示,将OCTA分割图像与第1步中滤波后的OCTA浅层图像、滤波后的OCTA深层图像全部分别转换成单通道八位灰度图像,将这三张灰度图像作为三个独立的通道进行堆叠,得到一张三通道的OCTA融合图像。
本实施例中这样做的目的是,在OCTA融合图像中,OCTA分割图像包含了黄斑中心凹区域与血管区域的边界信息与形状信息,此过程可替代医生对图像的初步划分过程;为了避免分割过程中出现的分割误差,未经分割处理的OCTA浅层图像中的原始特征同样被添加进融合过程中;此外,OCTA浅层图像与OCTA深层图像是对视网膜中同一区域不同深度的位置分别拍摄得到的,二者拍摄的区域类似,但不同深度环境下的血管分布于黄斑中心凹的拍摄精度往往不同,因此,OCTA深层图像中包含的深层环境血管信息,对于后续的分类任务同样是至关重要的。这样,图像中携带有不同的特征信息,可充分发挥卷积神经网络对于颜色与形状特征强大的提取能力。
第四、使用带有分组特征提取模块和先验注意力机制模块的第二分类网络实现对OCTA融合图像进行分类的说明
第二分类网络的结构如图7(a)所示。其中,分组特征提取模块和先验注意力机制模块为基于ResNet50结构的第二分类网络中增加的模块;其后面的特征提取模块及之后的全连接层、Softmax层、argmax操作可采用ResNet50结构中的各模块及层结构实现。
4.1将OCTA融合图像输入分组特征提取模块:
三通道的OCTA融合图像被通道分离,得到单通道的OCTA浅层图像、OCTA深层图像和OCTA分割图像,对这三张图像分别卷积,得到三个特征图,将这三个特征图在通道维度上进行堆叠,得到一张新的特征图。
4.2将4.1中得到的这张特征图输入先验注意力机制模块,与预先获取的权重热力图相结合:将权重热力图与上述的特征图逐点相乘,以此将权重热力图中的先验注意力信息加入分类网络的特征图中。
本实施例中,可预先获取权重热力图作为先验注意力信息,这样做的原因和目的由后面给出。将加入了先验注意力信息的特征图进行最大池化,目的是为了降低第二分类网络中的参数量。预先获取的权重热力图可以是预先通过第一分类网络对待分析的OCTA图像进行处理获取的,或者预先获取的权重热力图为训练阶段获取的所有训练集中OCTA图像对应的一张平均权重热力图。
4.3将4.2中得到的特征图输入特征提取模块。
特征提取模块主要由四个阶段的卷积结构组成,每个阶段的卷积结构由一个卷积块和若干个恒等残差块组成,其中,卷积块如图7(b)所示,恒等残差块如图7(c)所示。
第一阶段的卷积结构由一个卷积块和两个恒等残差块组成,三个块的输出均为55×55×256;
第二阶段的卷积结构由一个卷积块和三个恒等残差块组成,四个块的输出均为28×28×512;
第三阶段的卷积结构由一个卷积块和五个恒等残差块组成,六个块的输出均为14×14×1024;
第四阶段的卷积结构由一个卷积块和两个恒等残差块组成,三个块的输出均为7×7×2048。
可理解的是,将先验注意力机制模块输出的特征图依次经过4个阶段的卷积结构的处理,得到7×7×2048的特征图,对该7×7×2048的特征图进行平均池化,得到1×1×2048的特征图。
将该1×1×2048的特征图变换为全连接层,并且由于最终分类结果是非糖尿病肾病和糖尿病肾病2个类别,因此在第二分类网络最后加入神经元个数为二的全连接层。将上述的特征图变换为神经元个数为二的全连接层经过Softmax运算,得到输入图像分别属于非糖尿病肾病和糖尿病肾病两个类别的概率,最终经过argmax运算,得到最终的分类结果,如图10所示。
三、第二分类网络中使用的权重热力图的说明
在一种可能的实现方式中,权重热力图可为预先在训练阶段获取的。
该权重热力图的获取过程具体说明如下:
在训练阶段对训练集中所有的OCTA的融合图像进行可视化操作,其发现大多数图像的权重热力图的红色区域集中于中心区域,即黄斑中心凹附近。
为此,针对训练阶段训练集得到的每一OCTA的融合图像经由训练模式的分类网络(称作第一分类网络)处理;该训练模式的分类网络(即第一分类网络)包括:分组特征提取模块和特征提取模块,并无附加先验注意力机制模块。如图7(d)所示。
每一OCTA的融合图像,在训练模式的分类网络的特征提取模块提取到7×7×2048后,将每一OCTA的融合图像的7×7×2048特征图作为可视化特征图,并采用该可视化特征图计算权重热力图;
例如,采用下述公式(1)进行计算:
其中,fh是可视化特征图(粉色特征图)中第h个通道的图像,SC是对Softmax层的输出,i、j是可视化特征图上的像素点的坐标,是可视化特征图上第h个通道的坐标为(1,j)的像素点,E为当前特征图上的像素点个数,T为神经网络激活函数,使用修正线性单元激活函数。Rc是权重热力图,RC不再是分类网络中的一个特征图,而是分类网络之外的一个图像。这个公式主要是对f这个可视化
特征图进行计算,可视化特征图f是分类网络中的一个特征图。Sc、Rc中的C有无都可以,它表示的是当前分类网络预测出的类别。
通过公式(1)得到训练集中每一OCTA图像的权重热力图;
接着,将训练集对应的所有权重热力图在像素点维度上求算术平均值,得到一张权重热力图(如图8所示),其用于使用阶段的分类网络(称作第二分类网络)中先验注意力机制模块中。
当然,还可以对上述求算术平均值的过程重复多次,其避免实验的偶然性,得到的最终的权重热力图可以认为是使用所有OCTA图像的。
进而在使用第二分类网络进行分类时,如图7(a)所示,将上述最终的权重热力图加入到先验注意力机制模块,进而在第二分类网络分组特征提取模块之后经过先验注意力机制模块的处理再到特征提取模块。由此,可以约束第二分类网络的关注范围,进而提升提取特征的效率。
在第二种可能的实现方式中,权重热力图可为在使用阶段预先经过训练模式的分类网络(即第一分类网络)获取,再依据获取的权重热力图和OCTA融合图像输入第二分类网络执行分类处理。
即采用第一分类网络对上述OCTA融合图像(第二节分类使用阶段的第3点的OCTA融合图像)进行处理,获取第四阶段的卷积结构输出的7×7×2048的可视化特征图,进而使用上述的公式(1),获取该可视化特征图的权重热力图,将此时获取的权重热力图作为第二分类网络的先验注意力机制模块中使用的权重热力图。
在本发明实施例中,将第四阶段的卷积结构输出的7×7×2048作为可视化特征图用于获取权重热力图,是因为越深的特征层中具有的位置信息越准确,所以选择最深的7×7×2048作为可视化特征图。
在第二分类网络中附加权重热力图之后,可参见图9所示,图9示出的是权重热力图和OCTA图像叠加的示意图,此时可以看出第二分类网络的感兴趣区域(Region ofInterest,ROI),其去除其他非感兴趣区域,进而约束第二分类网络的关注范围,进而提升提取特征的效率。
本实施例在第二分类网络中加入权重热力图的原因和目的:通过对所有OCTA融合图像进行可视化,发现大多数权重热力图的红色区域集中于中心区域,即黄斑中心凹附近;只有少数图像的权重热力图出现在图像四周,且分布无规律。故将权重热力图的该注意力信息图像在上述步骤作为先验注意力机制模块加入第二分类网络中,可以约束第二分类网络的关注范围,提升提取特征的效率。
即将权重热力图作为先验信息,作为一个独立通道与输入图像进行堆叠,并与输入图像同时经过卷积层提取特征,以提高第二分类网络对重点区域的响应。
实施例三
本申请第三方面通过实施例三提供了一种电子设备,包括:存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,计算机程序被处理器执行时实现如上实施例中任意一项所述的基于分类网络的OCTA图像的分析方法的步骤。
本实施例的电子设备可包括:至少一个处理器、至少一个存储器、至少一个网络接口和其他的用户接口。电子设备中的各个组件通过总线***耦合在一起。可理解,总线***用于实现这些组件之间的连接通信。总线***除包括数据总线之外,还包括电源总线、控制总线和状态信号总线。其中,用户接口可以包括显示器、键盘或者点击设备等。
可以理解,本实施例中的存储器可以是易失性存储器或非易失性存储器,或可包括易失性和非易失性存储器两者。
在本发明实施例中,处理器通过调用存储器存储的程序或指令,具体的,可以是应用程序中存储的程序或指令,处理器用于执行第一方面所提供的方法步骤。
上述本发明实施例揭示的方法可以应用于处理器中,或者由处理器实现。处理器可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。另外,结合上述实施例中的基于分类网络的OCTA图像的分析方法,本发明实施例可提供一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,计算机程序被处理器执行时实现如上方法实施例中的任意一种基于分类网络的OCTA图像的分析方法。
所属技术领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的设备的具体工作过程及有关说明,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本说明书的描述中,术语“一个实施例”、“一些实施例”、“实施例”、“示例”、“具体示例”或“一些示例”等的描述,是指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。
显然,本领域的技术人员可以对本发明进行各种修改和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也应该包含这些修改和变型在内。
Claims (9)
1.一种基于分类网络的OCTA图像的分析方法,其特征在于,该方法包括:
A10、对待分析的OCTA图像中的浅层图像进行滤波处理,获得滤波后的OCTA浅层图像,对待分析的OCTA图像中的深层图像进行滤波处理,获得滤波后的OCTA深层图像;
所述OCTA图像为对用户眼部视网膜区域拍摄的包括两个不同深度的OCTA浅层图像和OCTA深层图像;
A20、采用预先训练的图像分割网络对滤波后的OCTA浅层图像进行分割处理,得到采用不同标识标记各区域的OCTA分割图像;
A30、将所述OCTA分割图像、滤波后的OCTA深层图像、滤波后的OCTA浅层图像进行融合处理,得到OCTA融合图像;
其中,将OCTA分割图像与滤波后的OCTA浅层图像、滤波后的OCTA深层图像分别转换成单通道八位灰度图像;
将得到的三张灰度图像作为三个独立的通道进行堆叠,得到一张三通道的OCTA融合图像,以使OCTA融合图像中携带有不同的特征信息;
A40、采用训练的分类网络对所述OCTA融合图像进行分类处理,得到分类结果;
所述训练的分类网络为在ResNet50基础上增加分组特征提取模块和先验注意力机制模块的网络。
2.根据权利要求1所述的方法,其特征在于,所述A10包括:
A11、采用滑窗方式对待分析的OCTA浅层图像进行滤波处理,获取去除孤立噪声点的OCTA浅层图像作为滤波后的OCTA浅层图像;
采用滑窗方式对待分析的OCTA深层图像进行滤波处理,获取去除孤立噪声点的OCTA深层图像作为滤波后的OCTA深层图像。
3.根据权利要求1所述的方法,其特征在于,所述A10之前,还包括:
建立图像分割网络和第一分类网络,所述第一分类网络是在ResNet50基础上增加分组特征提取模块的网络;
获取训练数据集,所述训练数据集用于对建立的图像分割网络进行训练处理,以及对建立的第一分类网络进行训练处理;训练数据集包括训练集和测试集;
采用所述训练数据集对建立的图像分割网络和建立的第一分类网络分别进行训练和测试,获得训练后的图像分割网络、训练后的第一分类网络、第二分类网络;
所述第二分类网络是在训练后的第一分类网络的基础上增加先验注意力机制模块的网络。
4.根据权利要求3所述的方法,其特征在于,获取训练数据集包括:
获取用于训练的所有OCTA图像,并对所有的OCTA图像中的浅层图像和深层图像分别进行滤波处理,获取滤波后的浅层OCTA图像和滤波后的深层OCTA图像;
以及,对训练集中每一张滤波后的OCTA浅层图像依次进行直方图均衡化和图像二值化处理,并采用人工标注方式对二值化处理的图像进行标注,获取图像分割标签图像;
其中,针对训练集中的每一张OCTA图像,图像分割网络输出的该张OCTA图像的特征图中的像素点和该张OCTA图像的图像分割标签图像中对应位置的像素点进行比较,以获取训练后的图像分割网络。
5.根据权利要求1所述的方法,其特征在于,所述A20包括:
将滤波后的OCTA浅层图像输入训练后的图像分割网络;
对滤波后的OCTA浅层进行连续的多次卷积、上采样和堆叠处理,得到X×X×3的特征图;X为依据卷积处理策略确定的尺寸;
对X×X×3的特征图执行Softmax操作,以使X×X×3的特征图中每个像素点分别属于黄斑中心凹、血管和背景三个类别的概率,再经过argmax运算将所述概率转换成每个像素具体所属的类别,并对分割结果的图像的尺寸还原为输入图像的大小,得到最终的OCTA分割图像;
或者,
将滤波后的OCTA浅层图像输入训练后的图像分割网络;
对滤波后的OCTA浅层进行连续的两次以上的卷积处理,得到尺寸为26×26×512的第一特征图;
将该第一特征图进行上采样处理,得到尺寸为52×52×512的第二特征图,
将第二特征图通过跳跃连接与多次卷积中得到的尺寸为52×52×256的特征图在通道维度上进行堆叠,得到尺寸为52×52×768的第三特征图;对该第三特征图进行卷积处理,得到尺寸为52×52×256的第四特征图;将该第四特征图进行上采样,得到尺寸为104×104×256的第五特征图,再通过跳跃连接与多次卷积中得到的尺寸为104×104×128的特征图在通道维度上进行堆叠,得到尺寸为104×104×384的第六特征图;对该第六特征图进行卷积,得到尺寸为104×104×128的第七特征图;将该第七特征图进行上采样,得到尺寸为208×208×128的第八特征图,再通过跳跃连接与多次卷积中得到的尺寸为208×208×64的特征图在通道维度上进行堆叠,得到尺寸为208×208×192的第九特征图;对该第九特征图进行卷积,得到尺寸为208×208×64的第十特征图并卷积处理,得到208×208×3的第十一特征图;
对第十一特征图执行Softmax操作,以使第十一特征图中每个像素点分别属于黄斑中心凹、血管和背景三个类别的概率,再经过argmax运算将所述概率转换成每个像素具体所属的类别,并对分割结果的图像的尺寸还原为输入图像的大小,得到最终的OCTA分割图像。
6.根据权利要求3所述的方法,其特征在于,所述A40包括:
A41、将OCTA融合图像输入第二分类网络的分组特征提取模块,以使三通道的OCTA融合图像被通道分离,得到单通道的OCTA浅层图像、OCTA深层图像和OCTA分割图像,对分离后的图像分别卷积,得到三个特征图,将该三个特征图在通道维度上进行堆叠,得到一张新的特征图;
A42、将新的特征图输入第二分类网络的先验注意力机制模块,以使新的特征图和预先获取的权重热力图逐点相乘,使得所述预先获取的权重热力图中的先验注意力信息加入所述新的特征图中并进行池化处理,得到待处理的特征图;
A43、将待处理的特征图输入第二分类网络的特征提取模块,以进行多次卷积和恒等残差处理,得到1×1×M的特征图;M为特征图的通道个数;
A44、将1×1×M的特征图变换为全连接层,以进行Softmax运算和argmax运算,得到分类结果。
7.根据权利要求6所述的方法,其特征在于,所述A43包括:
将待处理的特征图输入第二分类网络的特征提取模块,特征提取模块包括四个阶段的卷积结构;每个阶段的卷积结构由一个卷积块和若干个恒等残差块组成,
第一阶段的卷积结构包括:一个卷积块和两个恒等残差块,第一阶段的卷积结构对待处理的特征图进行处理,输出为55×55×256的特征图;
第二阶段的卷积结构包括:一个卷积块和三个恒等残差块,第二阶段的卷积结构对55×55×256的特征图进行处理,输出为28×28×512的特征图;
第三阶段的卷积结构包括:一个卷积块和五个恒等残差块,第三阶段的卷积结构对28×28×512的特征图进行处理,输出为14×14×1024的特征图;
第四阶段的卷积结构包括:一个卷积块和两个恒等残差块,第四阶段的卷积结构对14×14×1024的特征图进行处理,输出为7×7×2048的特征图;
对7×7×2048的特征图进行平均池化,得到1×1×2048的特征图;
将1×1×2048的特征图变换为两个全连接层,并经过Softmax运算,得到输入图像分别属于非糖尿病肾病和糖尿病肾病两个类别的概率,再经过argmax运算,得到最终的分类结果。
8.根据权利要求6所述的方法,其特征在于,所述A42之前,还包括:
获取待分析的OCTA图像对应的权重热力图,将该权重热力图作为预先获取的权重热力图;
具体地,获取待分析的OCTA图像对应的权重热力图,包括:
待分析的OCTA图像经由图像分割网络后得到的OCTA融合图像输入第一分类网络中,将第一分类网络的特征提取模块输出1×1×M的特征图之前的最后一个特征图作为可视化特征图;
采用下述公式(1)对该可视化特征图进行计算,得到权重热力图RC;
其中,fh是可视化特征图中第h个通道的图像,SC是Softmax层的输出,i、j是可视化特征图上的像素点的坐标,是可视化特征图上第h个通道的坐标为i,j的像素点,E为当前特征图上的像素点个数,T为第一分类网络的激活函数;
或者,
所述A42之前,还包括:
获取预设的权重热力图,将该权重热力图作为预先获取的权重热力图;
所述预设的权重热力图为训练阶段训练集中每一OCTA图像对应的权重热力图进行平均,获得最终的权重热力图;
训练集中每一OCTA图像对应的权重热力图获取方式包括:
针对每一OCTA图像,该OCTA图像经由图像分割网络后得到的OCTA融合图像输入第一分类网络中,将第一分类网络的特征提取模块输出1×1×M的特征图之前的最后一个特征图作为可视化特征图;
采用下述公式(1)对该可视化特征图进行计算,得到权重热力图RC;
9.一种电子设备,其特征在于,包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现如上权利要求1至8任一项所述的基于分类网络的OCTA图像的分析方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110957657.7A CN113421259B (zh) | 2021-08-20 | 2021-08-20 | 基于分类网络的octa图像的分析方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110957657.7A CN113421259B (zh) | 2021-08-20 | 2021-08-20 | 基于分类网络的octa图像的分析方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113421259A CN113421259A (zh) | 2021-09-21 |
CN113421259B true CN113421259B (zh) | 2021-11-16 |
Family
ID=77719171
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110957657.7A Active CN113421259B (zh) | 2021-08-20 | 2021-08-20 | 基于分类网络的octa图像的分析方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113421259B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114463806A (zh) * | 2021-12-29 | 2022-05-10 | 四川新网银行股份有限公司 | 一种基于模型可视化的新特征自动预警方法 |
CN114648802B (zh) * | 2022-05-19 | 2022-08-23 | 深圳市海清视讯科技有限公司 | 用户面部表情识别方法、装置和设备 |
CN114882315B (zh) * | 2022-05-23 | 2023-09-01 | 北京百度网讯科技有限公司 | 样本生成方法、模型训练方法、装置、设备及介质 |
CN116310352B (zh) * | 2023-01-20 | 2024-04-12 | 首都医科大学宣武医院 | 一种阿尔兹海默病mri图像多分类方法及装置 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110232394A (zh) * | 2018-03-06 | 2019-09-13 | 华南理工大学 | 一种多尺度图像语义分割方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109300121B (zh) * | 2018-09-13 | 2019-11-01 | 华南理工大学 | 一种心血管疾病诊断模型的构建方法、***及该诊断装置 |
CN109859171B (zh) * | 2019-01-07 | 2021-09-17 | 北京工业大学 | 一种基于计算机视觉和深度学习的楼面缺陷自动检测方法 |
CN111932553B (zh) * | 2020-07-27 | 2022-09-06 | 北京航空航天大学 | 基于区域描述自注意力机制的遥感图像语义分割方法 |
-
2021
- 2021-08-20 CN CN202110957657.7A patent/CN113421259B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110232394A (zh) * | 2018-03-06 | 2019-09-13 | 华南理工大学 | 一种多尺度图像语义分割方法 |
Also Published As
Publication number | Publication date |
---|---|
CN113421259A (zh) | 2021-09-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113421259B (zh) | 基于分类网络的octa图像的分析方法 | |
JP7058373B2 (ja) | 医療画像に対する病変の検出及び位置決め方法、装置、デバイス、及び記憶媒体 | |
Hasan et al. | DRNet: Segmentation and localization of optic disc and Fovea from diabetic retinopathy image | |
dos Santos Ferreira et al. | Convolutional neural network and texture descriptor-based automatic detection and diagnosis of glaucoma | |
CN108198184B (zh) | 造影图像中血管分割的方法和*** | |
Liu et al. | A framework of wound segmentation based on deep convolutional networks | |
CN115205300B (zh) | 基于空洞卷积和语义融合的眼底血管图像分割方法与*** | |
CN110751636B (zh) | 一种基于改进型编解码网络的眼底图像视网膜动脉硬化检测方法 | |
JP6578058B2 (ja) | 画像処理装置、画像処理装置の作動方法及び画像処理装置の作動プログラム | |
CN112927243B (zh) | 一种基于卷积神经网络的微出血病灶分割方法 | |
CN109919915A (zh) | 基于深度学习的视网膜眼底图像异常区域检测方法及设备 | |
Yamanakkanavar et al. | MF2-Net: A multipath feature fusion network for medical image segmentation | |
CN114511502A (zh) | 一种基于人工智能的胃肠道内窥镜图像息肉检测***、终端及存储介质 | |
CN115294075A (zh) | 一种基于注意力机制的octa图像视网膜血管分割方法 | |
CN114399510A (zh) | 结合图像和临床元数据的皮肤病灶分割和分类方法及*** | |
Lima et al. | A semiautomatic segmentation approach to corneal lesions | |
CN109544525A (zh) | 一种基于自适应窗口模型匹配的眼底图片血管识别方法 | |
Battula et al. | Medical Image Data Classification Using Deep Learning Based Hybrid Model with CNN and Encoder. | |
KR102476888B1 (ko) | 디지털 병리이미지의 인공지능 진단 데이터 처리 장치 및 그 방법 | |
CN112242193B (zh) | 一种基于深度学习的自动血管穿刺方法 | |
Verma et al. | Machine learning classifiers for detection of glaucoma | |
CN112598603A (zh) | 一种基于卷积神经网络的口腔龋病图像智能识别方法 | |
Mudduluru | Developing and Applying Hybrid Deep Learning Models for Computer-Aided Diagnosis of Medical Image Data | |
Maiti et al. | Spatial Attention Enhanced Network for Segmentation of Exudate | |
Vuppu et al. | Early Glaucoma Detection using LSTM-CNN integrated with Multi Class SVM |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |