CN109493954A - 一种基于类别判别定位的sd-oct图像视网膜病变检测*** - Google Patents
一种基于类别判别定位的sd-oct图像视网膜病变检测*** Download PDFInfo
- Publication number
- CN109493954A CN109493954A CN201811562966.9A CN201811562966A CN109493954A CN 109493954 A CN109493954 A CN 109493954A CN 201811562966 A CN201811562966 A CN 201811562966A CN 109493954 A CN109493954 A CN 109493954A
- Authority
- CN
- China
- Prior art keywords
- classification
- image
- value
- characteristic pattern
- convolutional neural
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 42
- 208000017442 Retinal disease Diseases 0.000 title claims abstract description 29
- 206010038923 Retinopathy Diseases 0.000 title claims abstract description 28
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 36
- 238000013507 mapping Methods 0.000 claims abstract description 36
- 230000003902 lesion Effects 0.000 claims abstract description 32
- 231100000915 pathological change Toxicity 0.000 claims abstract description 30
- 230000036285 pathological change Effects 0.000 claims abstract description 30
- 230000004913 activation Effects 0.000 claims abstract description 25
- 238000013528 artificial neural network Methods 0.000 claims abstract description 6
- 238000007781 pre-processing Methods 0.000 claims abstract description 4
- 238000000034 method Methods 0.000 claims description 19
- 238000004364 calculation method Methods 0.000 claims description 13
- 230000004256 retinal image Effects 0.000 claims description 7
- 238000012549 training Methods 0.000 claims description 6
- 230000001537 neural effect Effects 0.000 claims description 5
- 230000003044 adaptive effect Effects 0.000 claims description 4
- 238000012935 Averaging Methods 0.000 claims description 3
- 238000005303 weighing Methods 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 2
- 230000003213 activating effect Effects 0.000 claims 1
- 235000013399 edible fruits Nutrition 0.000 claims 1
- 230000002708 enhancing effect Effects 0.000 abstract description 3
- 238000004458 analytical method Methods 0.000 abstract description 2
- 238000012014 optical coherence tomography Methods 0.000 description 22
- 210000001508 eye Anatomy 0.000 description 18
- 230000006870 function Effects 0.000 description 7
- 238000012360 testing method Methods 0.000 description 7
- 210000001525 retina Anatomy 0.000 description 5
- 238000007689 inspection Methods 0.000 description 4
- 230000006399 behavior Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 201000010099 disease Diseases 0.000 description 3
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 230000004438 eyesight Effects 0.000 description 3
- 230000004807 localization Effects 0.000 description 3
- 230000002207 retinal effect Effects 0.000 description 3
- 210000001519 tissue Anatomy 0.000 description 3
- 208000005590 Choroidal Neovascularization Diseases 0.000 description 2
- 206010060823 Choroidal neovascularisation Diseases 0.000 description 2
- 206010012689 Diabetic retinopathy Diseases 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 201000004569 Blindness Diseases 0.000 description 1
- 208000010412 Glaucoma Diseases 0.000 description 1
- 208000001344 Macular Edema Diseases 0.000 description 1
- 206010025415 Macular oedema Diseases 0.000 description 1
- 206010025421 Macule Diseases 0.000 description 1
- 208000000260 Warts Diseases 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 235000006694 eating habits Nutrition 0.000 description 1
- 210000005081 epithelial layer Anatomy 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 208000030533 eye disease Diseases 0.000 description 1
- 210000004220 fundus oculi Anatomy 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 208000002780 macular degeneration Diseases 0.000 description 1
- 201000010230 macular retinal edema Diseases 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 239000000049 pigment Substances 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 201000010153 skin papilloma Diseases 0.000 description 1
- 210000000035 superposition eye Anatomy 0.000 description 1
- 238000003325 tomography Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/193—Preprocessing; Feature extraction
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Ophthalmology & Optometry (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Epidemiology (AREA)
- Medical Informatics (AREA)
- Primary Health Care (AREA)
- Public Health (AREA)
- Eye Examination Apparatus (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于类别判别定位的SD‑OCT图像视网膜病变检测***,包括数据预处理模块、神经网络预测模块、热力图计算模块、病变区域定位模块以及精确检测模块,首先获取数据集并进行增强处理,然后通过全局卷积神经网络进行分类,根据预测结果,获取类别映射特征热力图,最后通过获取较大激活值区域,生掩模求取最小外接矩形,根据最小外接矩形的坐标确定眼底病变的位置,从而实现对图像当中眼底病变区域进行定位。本发明能够有效提高检测识别的精度,并且在对眼底视网膜图像进行分类识别的同时,能够根据类别判别信息定位到相应的眼底病变所在的位置区域,对于后续的眼底诊断分析和治疗具有重要的指导意义。
Description
技术领域
本发明涉及医疗技术领域,具体涉及一种基于类别判别定位的频域光学相干断层扫描图像视网膜病变检测***。
背景技术
视网膜位于眼球壁的内层,是一层透明的薄膜,由色素上皮层和视网膜感觉层组成,是眼睛当中极其重要的结构,同时视网膜十分脆弱,许多眼部疾病都发生在视网膜内部。由于人们在工作生活,饮食习惯以及随着人口老龄化的增长,眼底疾病的患者逐年递增,许多患者由于早期没有得到及时筛查和有效的治疗,导致病情加重,甚至导致失明。近年来随着频域光学相干断层扫描成像技术(Special-Domain Optical CoherenceTomography,SD-OCT)发展成熟,利用光的低相干特性,通过扫描活体组织不同深度对入射光的背向反射或散射信号的强度,得到活体组织的内部微观结构成高分辨率断层图像,能够有效第呈现出视网膜组织层次结构信息,使得SD-OCT扫描成像被广泛应用于眼科疾病诊断如年龄性相关黄斑病变、糖尿病性视网膜病变、黄斑水肿、黄斑裂孔和青光眼的常规检查和诊断和治疗当中。通过计算机视觉辅助视网膜疾病的早期筛查和视网膜病变的检测识别定位,对于治疗和延缓视网膜病变患者视力的减退起到很关键的作用。
目前对视网膜病变的检测方法主要有以下两个方面:
(1)通过提取SD-OCT眼底视网膜图像中的灰度、纹理、边缘梯度、等特征信息并训练特征分类器来对提取到的特征信息进行分类,得到对应的眼底病变检测结构。由于眼底视网膜结构相对复杂,人工设定的特征提取方法往往只能针对一些较为明显的病变特征进行识别,对于SD-OCT所大量的样本中的含有的不明显病变图像检测的精度不高。
(2)近年来提出深度学习的方法来对SD-OCT眼底视网膜图像进行特征提取和分类,由于深度学习方法是通过训练卷积神经网络来学习大量的带标注的眼底视网膜图像,并从中提取出有用的特征进行分类,相比于传统的特征提取方法具有更好的检测精度,但采用深度学习的方法的缺点是对数据标注质量要求比较高,并且只能给出预测结果,不能给出产生该建议的原因,可解析性不强,对于需要了解***推理的临床医生和患者而言,这是个的问题。
由于SD-OCT扫描生成的图片数据量巨大,并且眼底视网膜层结构复杂,现有的识别算法针对部分不常见的病症的识别率和检测的精度不高,并且识别分类的结果输出往往不具有可解析性,无法根据预测的结果确定眼底病变的位置。虽然通过医生手工对眼底病变区域进行像素级的语义标注或者检测框的标注的方法,能够提升算法对眼底病变区域的识别和检测精度,但需要对大量的样本进行像素级别的精细标注,往往会带来巨大的标注成本问题,并且标注的精度会对识别算法的准确度产生较大的影响。
发明内容
本发明针对目前的算法对大量的SD-OCT图像当中视网膜病变检测精度不高,检测结果解析性不高,以及定位识别标注成本高的问题,提出了一种基于类别判别定位模型的频域光学相干断层扫描图像视网膜病变检测***,解决对大量眼底检测识别和对病变位置进定位检测的问题。
为了实现上述任务,本发明采用以下技术方案:
一种基于类别判别定位的SD-OCT图像视网膜病变检测***,包括:
数据预处理模块,用于获取SD-OCT视网膜图像,并对每张图像进行病变类别标记,标记后的图像构成一个用于视网膜病变分类的原始数据集;通过数据增强的手段,对原始数据集中的图像进行预处理;
神经网络预测模块,用于通过所述的进行预处理后的图像训练全局卷积神经网络,并根据全局卷积神经网络最后一层输出的特征图的特征进行分类,得到全局的类别预测的结果;
热力图计算模块,用于根据所述预测的结果获取输出的特征向量,对全局卷积神经网络最后一层输出的所有特征图的求取梯度,通过与对应的特征图做乘积获取梯度加权激活映射图,并对其进行求和以及非线性激活操作得到类别映射特征热力图;
病变区域定位模块,用于根据所述类别映射特征热力图,设置阈值以获取具有较大激活值的区域,进而生成二进制掩模,根据掩模求取最小外接矩形,根据最小外接矩形的坐标确定眼底病变的位置,从而实现对图像当中眼底病变区域进行定位。
进一步地,所述的基于类别判别定位的SD-OCT图像视网膜病变检测***,还包括:
精确检测模块,用于将眼底病变区域进行定位的结果从图像中裁剪出来,输入到一个局部卷积神经网络进行二次预测,将预测的分类结果与全局的类别预测的结果进行融合,最终得到更加准确的眼底病变类型检测结果。
进一步地,所述的全局卷积神经网络的最后一层输出的特征图与全局平均池化层相连,通过对每个特征图的值相加后求平均,得到最后一层的输出的每一个特征图对应的特征值,再将这些特征值输入到一个全链接层,再次对特征进行提取和压缩,最后再通过Sigmoid函数进行激活,最终输出到分类层得到对应类别的预测概率值。
进一步地,所述的类别映射特征热力图的具体计算过程包括:
类别映射对应于第k个特征图的权重计算公式如下:
上式中,Z表示特征图的数量,i,j表示分别表示特征图的行值和列值,表示第k个特征图中在(i,j)位置对应的像素值,Ru*v表示的是第k个宽高为u和v的特征图,并且yc表示的是计算出来的分类结果;
梯度加权激活映射图具体计算公式如下:
上式中,表示第k个特征图对分类结果的影响权重值,Ak表示卷积神经网络最后一层输出的第k个特征图;
则类别映射特征热力图的计算公式如下:
其中,ReLU表示非线性激活函数。
进一步地,所述的设置阈值以获取具有较大激活值的区域,进而生成二进制掩模,其中,阈值T选取是通过手动设置或者通过自适应阈值计算方法获取并且T值的选取范围为0.1~0.5之间,二进制掩模M的计算公式如下:
表示类别映射特征热力图,T表示阈值。
进一步地,所述的根据掩模求取最小外接矩形,根据最小外接矩形的坐标确定眼底病变的位置,包括:
通过计算二进制掩模M的轮廓的上下左右边界,并构造一个垂直矩形来最小包围二进制掩模M的轮廓的上下左右边界,进而得到一个最小外接矩形R(x,y,w,h),其中x和y表示最小外接矩形左上角顶端点所在图像中的行和列坐标值,w和h表示最小外接矩形的宽和高,根据最小外接矩形R的坐标值,映射到对应到输入的眼底视网膜图片的相应区域来确定眼底病变的所在的位置。
进一步地,所述的将眼底病变区域进行定位的结果从图像中裁剪出来,具体方法为根据眼底病变区域进行定位的结果,通过所述最小外接矩形R所对应的区域位置在图像中进行裁剪。
进一步地,所述的局部卷积神经网络与全局卷积神经网络的主体结构相同,区别在于局部卷积神经网络在全链接层前融合了全局卷积神经网络的全局平均池化层输出的特征信息。
本发明与现有技术相比具有以下技术特点:
1.本发明通过训练一个全局卷积神经网络获眼底病变识别分类的结果,并根据分类结果采用类别判定位方法获取病变映射特征热力图,从而确定病变发生的位置,无需依赖人工标注的病变具***置信息,就能够检测并定位眼底OCT图像当中病变区域,并且识别的精确度较高,同时还根据定位信息将病变所在裁剪出来再通过一个局部卷积神经网络进行二次识别,并与原来的检测结果进行信息融合,能够有效提升视网膜病变的检测精度。
2.通过实验进一步验证,发现本发明提出的***在实际的SD-OCT图像视网膜病变检当中,能够有效提高检测识别的精度,并且在对眼底视网膜图像进行分类识别的同时,能够根据类别判别信息定位到相应的眼底病变所在的位置区域,对于后续的眼底诊断分析和治疗具有重要的指导意义。
附图说明
图1为本发明***的工作流程示意图;
图2为本发明的具体实施方案示意图;
图3为本发明的输出检测结果示例图;
图4为本发明的实验结果图,其中(a)为混淆矩阵,(b)为分类结果报表。
具体实施方式
下面结合附图和具体实施方案对本发明进行进一步的详细说明。
结合图1,本发明的一种基于类别判别定位的SD-OCT图像视网膜病变检测***,具体包括以模块:
1.数据预处理模块
用于获取SD-OCT视网膜图像,并对每张图像进行病变类别标记,标记后的图像构成一个用于视网膜病变分类的原始数据集;通过数据增强的手段,对原始数据集中的图像进行预处理,生成大量的带标签视网膜图像数据。
具体地,在该模块中,所述的SD-OCT视网膜图像,具体可以是通过现有的频域OCT成像设备进行采集得到的,并且采用横向扫描得到的眼底视网膜图像,即XZ扫描方向的B-scan图像;所述的SD-OCT视网膜图像,还可以通过现有的频域OCT成像设备进对眼底视网膜进行图像采集,采用纵向扫描得到的图片,即YZ扫描方向的A-scan图像。
所述的类别标记,是指由专业眼科医生对眼底视网膜图像当中显著的病变特征进行图片级别标注得到的,病变类别包括但不限于:脉络膜新生血管(CNV)糖尿病型视网膜病变(DME),视网膜玻璃膜疣(DRUSEN),以及正常样例(NORMAL),并将对应的眼底视网膜图像根据医生的标注信息划分到相应的类别当中,得到所述的原始数据集。
所述的数据增强具体操作包括但不限于对图像的像素进行归一化、平移操作,随机翻转、裁剪、中心旋转、随机缩放、仿射变换;数据增强的主要作用是生成大量带标签的眼底视网膜图片数据,解决在训练图像分类检测识别模型图片数据不足的问题,能够改善检测模型的稳定性,增强模型的鲁棒性和泛化能力。
2.神经网络预测模块
用于通过所述的进行预处理后的图像训练全局卷积神经网络,并根据全局卷积神经网络最后一层输出的特征图的特征进行分类,得到全局的类别预测的结果。
本方案中,所述的全局卷积神经网络(G-CNN,Global Convolutional NeuralNetworks)具体由一系列卷积层、池化层和全链接层等核心层次构成的标准的卷积神经网络,其主要特征在于在最后一层输出的特征图与全局平均池化层(GAP,Global AveragePooling)相连,通过对每个特征图的值相加后求平均,得到最后一层的输出的每一个特征图对应的特征值,再将这些特征值输入到一个全链接层(Fc,Fully connection),再次对特征进行提取和压缩,最后再通过Sigmoid函数进行激活,最终输出到分类层(Classify)得到对应类别的预测概率值。
本方案中,所述的全局卷积神经网络(G-CNN)可采用经典的卷积神经网络模型,包括但不限于VGGNet模型、ResNet模型和DenseNet模型;优选地,本实施例中具体采用DenseNet的主干网络模型作为全局卷积神经网络模型,用于对输入的眼底视网膜图像进行特征提取获取特征图。
3.热力图计算模块
用于根据所述预测的结果获取输出的特征向量,对全局卷积神经网络最后一层输出的所有特征图的求取梯度,通过与对应的特征图做乘积获取梯度加权激活映射图,并对其进行求和以及非线性激活操作得到类别映射特征热力图。
该模块中,根据分类的结果获取输出的特征向量y,通过类别映射到全局卷积神经网络最后一层输出的特征图A,并对所有特征图A的求取梯度,获取权重值w,再通过与对应的特征图A做乘积,获取梯度加权激活映射图A*,并对梯度加权激活映射图A*进行求和以及非线性激活(ReLU)操作得到类别映射特征热力图L,其具体的计算方法如下:
首先计算输出分类结果对最后一层输出特征图求导,获取类别映射对应于第k个特征图的权重计算公式如下:
上式中,Z表示特征图的数量,i,j表示分别表示特征图的行值和列值,表示第k个特征图中在(i,j)位置对应的像素值,并且有Ru*v表示的是第k个宽高为u和v的特征图,yc表示的是计算出来的分类结果;
将与对应的特征图做乘积获取梯度加权激活映射图具体计算公式如下:
上式中,表示第k个特征图对分类结果的影响权重,Ak表示卷积神经网络最后一层输出的第k个特征图;
为了得到特征图对于分类结果的贡献度信息,通过对并对其进行求和以及非线性激活作得到类别映射特征热力图,非线性激活函数具体采用了ReLU函数,则类别映射特征热力图的计算公式如下:
其中,ReLU表示非线性激活函数,ReLU的作用是对加权得到的特征图中的正值进行保留,即保留类别映射特征热力图中对最终分类结果的积极影响的特征值,通过类别映射特征热力图通过双线性插值的方法上采样到输入的原图尺寸的大小,并与原始输入的图像进行对齐,得到由病变类型所映射得到的对应的病变区域的热力图,进而得到病变特征区域所对应的视觉解析区域。
除了上述的计算方法之外,还可以根据分类的结果获取输出的特征向量y,通过类别映射到全局卷积神经网络中间层输出的特征图A~,并对所有中间层的特征图A~的求取梯度,获取权重值w~,再通过与对应的中间层的特征图A~做乘积,获取梯度加权激活映射图A~*,并对梯度加权激活映射图A~*进行求和以及非线性激活(ReLU)操作得到类别映射特征热力图L~。
4.病变区域定位模块
用于根据所述类别映射特征热力图,设置阈值以获取具有较大激活值的区域,进而生成二进制掩模,根据掩模求取最小外接矩形,根据最小外接矩形的坐标确定眼底病变的位置,从而实现对图像当中眼底病变区域进行定位。
具体地,该模块中,通过设置一个阈值T来获取具有较大激活值的区域,来生成一个二进制掩模M;其中阈值T选取通过手动设置或者通过自适应阈值计算方法获取,T值的选取范围为0.1~0.5之间:
式中M表示得到的二进制掩模,表示类别映射特征热力图,T表示通过手动设置或者自适应阈值计算方法所得到的阈值。
根据二进制掩模求取最小外接矩形R,具体是通过计算二进制掩模M的轮廓的上下左右边界,构造一个垂直矩形来最小包围二进制掩模M的轮廓边界,寻找该轮廓边界当中行坐标最小值和最大值xmin和xmax以及列坐标最小值和最大值ymin和ymax,通过这四个值确定最小外接矩形,进而得到一个最小外接矩形R(x,y,w,h),其中x和y表示最小外接矩形左上角顶端点所在图像中的行和列坐标值,w和h表示最小外接矩形的宽和高。最小外接矩形的计算公式如下:
根据最小外接矩形R的坐标值,映射到对应到输入的眼底视网膜图片的相应区域,进一步确定眼底病变的所在的位置,由于位置信息是通过类别映射关系得到的,从而实现根据类别判定的结果来对眼底发生病变的区域进行定位。
5.精确检测模块
用于将眼底病变区域进行定位的结果从图像中裁剪出来,输入到一个局部卷积神经网络进行二次预测,将预测的分类结果与全局的类别预测的结果进行融合,最终得到更加准确的眼底病变类型检测结果。
具体地,根据眼底病变区域进行定位的结果,通过最小外接矩形R对应的原图的区域,将含有主要病变特征信息的区域从原图当中裁剪出来,得到局部的视网膜图像;再训练一个局部卷积神经网络(L-CNN,Local Convolutional Neural Networks),来对局部的视网膜图像做进一步的特征提取和分类,并且对局部卷积神经网络(L-CNN)和全局卷积神经网络(G-CNN)全局平均池化层进行了融合,综合考虑了全局和局部的信息,能够得到更加准确的眼底病变类型检测结果。
进一步地,该模块中所采用的局部卷积神经网络(L-CNN)和全局卷积神经网络(G-CNN)的主体网络结构相同,区别在于局部卷积神经网络在全链接层(Fc)前加入了全局卷积神经网络的全局平均池化层输出的特征信息。
通过本发明所提出的具体实施方案,能够对输入的SD-OCT图像进行眼底视网膜病变检测,经过处理后最终得到的检测结果包含了眼底视网膜病变的类别判别信息的,以及根据类别判别定位方法获取的病变区域的位置信息,本发明最终实现同时对图像当中眼底病变类型判别和定位检测。
图3给出了本发明的部分测试结果,其中第一行为叠加眼底视网膜图像是得到的类别映射特征热力图,第二行为眼底病变区域识别定位结果图,第三行为裁剪得到的局部病变区域放大图。从图3中可知,本发明在对病变特征进行分类识别的同时,能够根据类别判别信息获取类别映射特征热力图,进而定位病变所在区域,相比于传统的分类预测方法,本发明给出的检测结果更加准确,并且能够输出发生病变的位置信息,输出的检测结果更具有可解析性。
本发明实施方案通过对1000个测试样对上述提出的技术方案进行验证,通过对检测结果的计算得到混淆矩阵和分类结果报表。由图4给出的实验数据可得,本发明***对于常见的眼底病变识别准确率达到了0.972以上,召回率达到了0.969以上,F1值达到了0.984以上,实验结果表面,本发明***在眼底视网膜图像当中能够达到非常高的病变识别精度。
Claims (8)
1.一种基于类别判别定位的SD-OCT图像视网膜病变检测***,其特征在于,包括:
数据预处理模块,用于获取SD-OCT视网膜图像,并对每张图像进行病变类别标记,标记后的图像构成一个用于视网膜病变分类的原始数据集;通过数据增强的手段,对原始数据集中的图像进行预处理;
神经网络预测模块,用于通过所述的进行预处理后的图像训练全局卷积神经网络,并根据全局卷积神经网络最后一层输出的特征图的特征进行分类,得到全局的类别预测的结果;
热力图计算模块,用于根据所述预测的结果获取输出的特征向量,对全局卷积神经网络最后一层输出的所有特征图的求取梯度,通过与对应的特征图做乘积获取梯度加权激活映射图,并对其进行求和以及非线性激活操作得到类别映射特征热力图;
病变区域定位模块,用于根据所述类别映射特征热力图,设置阈值以获取具有较大激活值的区域,进而生成二进制掩模,根据掩模求取最小外接矩形,根据最小外接矩形的坐标确定眼底病变的位置,从而实现对图像当中眼底病变区域进行定位。
2.如权利要求1所述的基于类别判别定位的SD-OCT图像视网膜病变检测***,其特征在于,所述的基于类别判别定位的SD-OCT图像视网膜病变检测***,还包括:
精确检测模块,用于将眼底病变区域进行定位的结果从图像中裁剪出来,输入到一个局部卷积神经网络进行二次预测,将预测的分类结果与全局的类别预测的结果进行融合,最终得到更加准确的眼底病变类型检测结果。
3.如权利要求1所述的基于类别判别定位的SD-OCT图像视网膜病变检测***,其特征在于,所述的全局卷积神经网络的最后一层输出的特征图与全局平均池化层相连,通过对每个特征图的值相加后求平均,得到最后一层的输出的每一个特征图对应的特征值,再将这些特征值输入到一个全链接层,再次对特征进行提取和压缩,最后再通过Sigmoid函数进行激活,最终输出到分类层得到对应类别的预测概率值。
4.如权利要求1所述的基于类别判别定位的SD-OCT图像视网膜病变检测***,其特征在于,所述的类别映射特征热力图的具体计算过程包括:
类别映射对应于每个特征图的权重计算公式如下:
上式中,Z表示特征图的数量,i,j表示分别表示特征图的行值和列值,表示第k个特征图中在(i,j)位置对应的像素值,Ru*v表示的是第k个宽高为u和v的特征图,并且yc表示的是计算出来的分类结果;
梯度加权激活映射图具体计算公式如下:
上式中,表示第特征图对分类结果的影响权重,Ak表示卷积神经网络最后一层输出的第k个特征图;
则类别映射特征热力图的计算公式如下:
其中,ReLU表示非线性激活函数。
5.如权利要求1所述的基于类别判别定位的SD-OCT图像视网膜病变检测***,其特征在于,所述的设置阈值以获取具有较大激活值的区域,进而生成二进制掩模,其中,阈值T选取是通过手动设置或者通过自适应阈值计算方法获取并且T值的选取范围为0.1~0.5之间,二进制掩模M的计算公式如下:
表示类别映射特征热力图,T表示阈值。
6.如权利要求1所述的基于类别判别定位的SD-OCT图像视网膜病变检测***,其特征在于,所述的根据掩模求取最小外接矩形,根据最小外接矩形的坐标确定眼底病变的位置,包括:
通过计算二进制掩模M的轮廓的上下左右边界,并构造一个垂直矩形来最小包围二进制掩模M的轮廓的上下左右边界,进而得到一个最小外接矩形R(x,y,w,h),其中x和y表示最小外接矩形左上角顶端点所在图像中的行和列坐标值,w和h表示最小外接矩形的宽和高,根据最小外接矩形R的坐标值,映射到对应到输入的眼底视网膜图片的相应区域来确定眼底病变的所在的位置。
7.如权利要求1所述的基于类别判别定位的SD-OCT图像视网膜病变检测***,其特征在于,所述的将眼底病变区域进行定位的结果从图像中裁剪出来,具体方法为根据眼底病变区域进行定位的结果,通过所述最小外接矩形R所对应的区域位置在图像中进行裁剪。
8.如权利要求1所述的基于类别判别定位的SD-OCT图像视网膜病变检测***,其特征在于,所述的局部卷积神经网络与全局卷积神经网络的主体结构相同,区别在于局部卷积神经网络在全链接层前融合了全局卷积神经网络的全局平均池化层输出的特征信息。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811562966.9A CN109493954B (zh) | 2018-12-20 | 2018-12-20 | 一种基于类别判别定位的sd-oct图像视网膜病变检测*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811562966.9A CN109493954B (zh) | 2018-12-20 | 2018-12-20 | 一种基于类别判别定位的sd-oct图像视网膜病变检测*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109493954A true CN109493954A (zh) | 2019-03-19 |
CN109493954B CN109493954B (zh) | 2021-10-19 |
Family
ID=65711149
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811562966.9A Expired - Fee Related CN109493954B (zh) | 2018-12-20 | 2018-12-20 | 一种基于类别判别定位的sd-oct图像视网膜病变检测*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109493954B (zh) |
Cited By (28)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109820507A (zh) * | 2019-03-25 | 2019-05-31 | 钟霁媛 | 疾病辅助诊断方法及装置 |
CN110232410A (zh) * | 2019-05-30 | 2019-09-13 | 清华大学 | 多层级的器官组织病理图像分析方法及分析装置 |
CN110428421A (zh) * | 2019-04-02 | 2019-11-08 | 上海鹰瞳医疗科技有限公司 | 黄斑图像区域分割方法和设备 |
CN110473167A (zh) * | 2019-07-09 | 2019-11-19 | 哈尔滨工程大学 | 一种基于深度学习的尿沉渣图像识别***及方法 |
CN110490138A (zh) * | 2019-08-20 | 2019-11-22 | 北京大恒普信医疗技术有限公司 | 一种数据处理方法及装置、存储介质、电子设备 |
CN110598652A (zh) * | 2019-09-18 | 2019-12-20 | 上海鹰瞳医疗科技有限公司 | 眼底数据预测方法和设备 |
CN110648344A (zh) * | 2019-09-12 | 2020-01-03 | 电子科技大学 | 一种基于局部病灶特征的糖尿病视网膜病变分类装置 |
CN110930386A (zh) * | 2019-11-20 | 2020-03-27 | 重庆金山医疗技术研究院有限公司 | 图像处理方法、装置、设备及存储介质 |
CN111723695A (zh) * | 2020-06-05 | 2020-09-29 | 广东海洋大学 | 基于改进的Yolov3驾驶员关键子区域识别和定位方法 |
CN111783682A (zh) * | 2020-07-02 | 2020-10-16 | 上海交通大学医学院附属第九人民医院 | 眼眶骨折自动识别模型构建方法、装置、设备和介质 |
CN111784709A (zh) * | 2020-07-07 | 2020-10-16 | 北京字节跳动网络技术有限公司 | 图像处理方法、装置、电子设备和计算机可读介质 |
WO2020215557A1 (zh) * | 2019-04-24 | 2020-10-29 | 平安科技(深圳)有限公司 | 医学影像解释方法、装置、计算机设备及存储介质 |
CN111933274A (zh) * | 2020-07-15 | 2020-11-13 | 平安科技(深圳)有限公司 | 疾病分类诊断方法、装置、电子设备及存储介质 |
CN111968117A (zh) * | 2020-09-25 | 2020-11-20 | 北京百度网讯科技有限公司 | 重合度检测方法、装置、设备以及存储介质 |
CN112053321A (zh) * | 2020-07-30 | 2020-12-08 | 中山大学中山眼科中心 | 一种识别高度近视视网膜病变的人工智能*** |
WO2020248389A1 (zh) * | 2019-06-13 | 2020-12-17 | 平安科技(深圳)有限公司 | 区域识别方法、装置、计算设备和计算机可读存储介质 |
CN112233087A (zh) * | 2020-10-14 | 2021-01-15 | 武汉楚精灵医疗科技有限公司 | 一种基于人工智能的眼科超声疾病诊断方法和*** |
CN112652392A (zh) * | 2020-12-22 | 2021-04-13 | 成都市爱迦科技有限责任公司 | 一种基于深度神经网络的眼底异常预测*** |
WO2021082691A1 (zh) * | 2019-10-30 | 2021-05-06 | 平安科技(深圳)有限公司 | 眼部oct图像病灶区域的分割方法、装置及终端设备 |
CN113057593A (zh) * | 2021-03-18 | 2021-07-02 | 杭州睿胜软件有限公司 | 图像识别方法、可读存储介质及电子设备 |
CN113160226A (zh) * | 2021-05-24 | 2021-07-23 | 苏州大学 | 基于双向引导网络的amd病变oct图像的分类分割方法及*** |
CN113763412A (zh) * | 2021-09-08 | 2021-12-07 | 理光软件研究所(北京)有限公司 | 图像处理方法、装置及电子设备、计算机可读存储介质 |
US20220051405A1 (en) * | 2019-11-12 | 2022-02-17 | Tencent Technology (Shenzhen) Company Limited | Image processing method and apparatus, server, medical image processing device and storage medium |
CN114295368A (zh) * | 2021-12-24 | 2022-04-08 | 江苏国科智能电气有限公司 | 一种多通道融合的风电行星齿轮箱故障诊断方法 |
WO2022160118A1 (zh) * | 2021-01-27 | 2022-08-04 | 深圳技术大学 | 基于计算机视觉特征的oct图像分类方法及***、设备 |
CN115049734A (zh) * | 2022-08-12 | 2022-09-13 | 摩尔线程智能科技(北京)有限责任公司 | 在图像中定位目标物的方法和装置 |
CN115424084A (zh) * | 2022-11-07 | 2022-12-02 | 浙江省人民医院 | 基于类别加权网络的眼底照片分类方法与装置 |
CN117854700A (zh) * | 2024-01-19 | 2024-04-09 | 首都医科大学宣武医院 | 基于可穿戴监控设备的术后管理方法和*** |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107330449A (zh) * | 2017-06-13 | 2017-11-07 | 瑞达昇科技(大连)有限公司 | 一种糖尿病性视网膜病变体征检测方法及装置 |
CN107423571A (zh) * | 2017-05-04 | 2017-12-01 | 深圳硅基仿生科技有限公司 | 基于眼底图像的糖尿病视网膜病变识别*** |
-
2018
- 2018-12-20 CN CN201811562966.9A patent/CN109493954B/zh not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107423571A (zh) * | 2017-05-04 | 2017-12-01 | 深圳硅基仿生科技有限公司 | 基于眼底图像的糖尿病视网膜病变识别*** |
CN107330449A (zh) * | 2017-06-13 | 2017-11-07 | 瑞达昇科技(大连)有限公司 | 一种糖尿病性视网膜病变体征检测方法及装置 |
Non-Patent Citations (2)
Title |
---|
RAMPRASAATH R. SELVARAJU 等: "Grad-CAM: Visual Explanations from Deep Networks via Gradient-based Localization", 《ARXIV》 * |
张德彪: "基于深度学习的糖尿病视网膜病变分类和病变检测方法的研究", 《中国优秀硕士学位论文全文数据库医药卫生科技辑》 * |
Cited By (36)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109820507B (zh) * | 2019-03-25 | 2024-03-08 | 钟霁媛 | 疾病辅助诊断方法及装置 |
CN109820507A (zh) * | 2019-03-25 | 2019-05-31 | 钟霁媛 | 疾病辅助诊断方法及装置 |
CN110428421A (zh) * | 2019-04-02 | 2019-11-08 | 上海鹰瞳医疗科技有限公司 | 黄斑图像区域分割方法和设备 |
WO2020215557A1 (zh) * | 2019-04-24 | 2020-10-29 | 平安科技(深圳)有限公司 | 医学影像解释方法、装置、计算机设备及存储介质 |
CN110232410A (zh) * | 2019-05-30 | 2019-09-13 | 清华大学 | 多层级的器官组织病理图像分析方法及分析装置 |
WO2020248389A1 (zh) * | 2019-06-13 | 2020-12-17 | 平安科技(深圳)有限公司 | 区域识别方法、装置、计算设备和计算机可读存储介质 |
CN110473167A (zh) * | 2019-07-09 | 2019-11-19 | 哈尔滨工程大学 | 一种基于深度学习的尿沉渣图像识别***及方法 |
CN110473167B (zh) * | 2019-07-09 | 2022-06-17 | 哈尔滨工程大学 | 一种基于深度学习的尿沉渣图像识别***及方法 |
CN110490138A (zh) * | 2019-08-20 | 2019-11-22 | 北京大恒普信医疗技术有限公司 | 一种数据处理方法及装置、存储介质、电子设备 |
CN110648344A (zh) * | 2019-09-12 | 2020-01-03 | 电子科技大学 | 一种基于局部病灶特征的糖尿病视网膜病变分类装置 |
CN110598652A (zh) * | 2019-09-18 | 2019-12-20 | 上海鹰瞳医疗科技有限公司 | 眼底数据预测方法和设备 |
CN110598652B (zh) * | 2019-09-18 | 2022-04-22 | 上海鹰瞳医疗科技有限公司 | 眼底数据预测方法和设备 |
WO2021082691A1 (zh) * | 2019-10-30 | 2021-05-06 | 平安科技(深圳)有限公司 | 眼部oct图像病灶区域的分割方法、装置及终端设备 |
US20220051405A1 (en) * | 2019-11-12 | 2022-02-17 | Tencent Technology (Shenzhen) Company Limited | Image processing method and apparatus, server, medical image processing device and storage medium |
CN110930386B (zh) * | 2019-11-20 | 2024-02-20 | 重庆金山医疗技术研究院有限公司 | 图像处理方法、装置、设备及存储介质 |
CN110930386A (zh) * | 2019-11-20 | 2020-03-27 | 重庆金山医疗技术研究院有限公司 | 图像处理方法、装置、设备及存储介质 |
CN111723695A (zh) * | 2020-06-05 | 2020-09-29 | 广东海洋大学 | 基于改进的Yolov3驾驶员关键子区域识别和定位方法 |
CN111783682A (zh) * | 2020-07-02 | 2020-10-16 | 上海交通大学医学院附属第九人民医院 | 眼眶骨折自动识别模型构建方法、装置、设备和介质 |
CN111783682B (zh) * | 2020-07-02 | 2022-11-04 | 上海交通大学医学院附属第九人民医院 | 眼眶骨折自动识别模型构建方法、装置、设备和介质 |
CN111784709A (zh) * | 2020-07-07 | 2020-10-16 | 北京字节跳动网络技术有限公司 | 图像处理方法、装置、电子设备和计算机可读介质 |
CN111784709B (zh) * | 2020-07-07 | 2023-02-17 | 北京字节跳动网络技术有限公司 | 图像处理方法、装置、电子设备和计算机可读介质 |
CN111933274A (zh) * | 2020-07-15 | 2020-11-13 | 平安科技(深圳)有限公司 | 疾病分类诊断方法、装置、电子设备及存储介质 |
CN112053321A (zh) * | 2020-07-30 | 2020-12-08 | 中山大学中山眼科中心 | 一种识别高度近视视网膜病变的人工智能*** |
CN111968117A (zh) * | 2020-09-25 | 2020-11-20 | 北京百度网讯科技有限公司 | 重合度检测方法、装置、设备以及存储介质 |
CN112233087A (zh) * | 2020-10-14 | 2021-01-15 | 武汉楚精灵医疗科技有限公司 | 一种基于人工智能的眼科超声疾病诊断方法和*** |
CN112652392A (zh) * | 2020-12-22 | 2021-04-13 | 成都市爱迦科技有限责任公司 | 一种基于深度神经网络的眼底异常预测*** |
WO2022160118A1 (zh) * | 2021-01-27 | 2022-08-04 | 深圳技术大学 | 基于计算机视觉特征的oct图像分类方法及***、设备 |
CN113057593A (zh) * | 2021-03-18 | 2021-07-02 | 杭州睿胜软件有限公司 | 图像识别方法、可读存储介质及电子设备 |
CN113160226A (zh) * | 2021-05-24 | 2021-07-23 | 苏州大学 | 基于双向引导网络的amd病变oct图像的分类分割方法及*** |
CN113160226B (zh) * | 2021-05-24 | 2024-06-07 | 苏州比格威医疗科技有限公司 | 基于双向引导网络的amd病变oct图像的分类分割方法及*** |
CN113763412A (zh) * | 2021-09-08 | 2021-12-07 | 理光软件研究所(北京)有限公司 | 图像处理方法、装置及电子设备、计算机可读存储介质 |
CN114295368A (zh) * | 2021-12-24 | 2022-04-08 | 江苏国科智能电气有限公司 | 一种多通道融合的风电行星齿轮箱故障诊断方法 |
CN115049734A (zh) * | 2022-08-12 | 2022-09-13 | 摩尔线程智能科技(北京)有限责任公司 | 在图像中定位目标物的方法和装置 |
CN115424084A (zh) * | 2022-11-07 | 2022-12-02 | 浙江省人民医院 | 基于类别加权网络的眼底照片分类方法与装置 |
CN117854700A (zh) * | 2024-01-19 | 2024-04-09 | 首都医科大学宣武医院 | 基于可穿戴监控设备的术后管理方法和*** |
CN117854700B (zh) * | 2024-01-19 | 2024-05-28 | 首都医科大学宣武医院 | 基于可穿戴监控设备的术后管理方法和*** |
Also Published As
Publication number | Publication date |
---|---|
CN109493954B (zh) | 2021-10-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109493954A (zh) | 一种基于类别判别定位的sd-oct图像视网膜病变检测*** | |
CN105513077B (zh) | 一种用于糖尿病性视网膜病变筛查的*** | |
CN108986106A (zh) | 面向青光眼临床诊断的视网膜血管自动分割方法 | |
Tian et al. | Multi-path convolutional neural network in fundus segmentation of blood vessels | |
Bilal et al. | Survey on recent developments in automatic detection of diabetic retinopathy | |
CN106530283A (zh) | 一种基于svm的医疗图像血管识别方法 | |
CN104809480A (zh) | 一种基于分类回归树和AdaBoost的眼底图像视网膜血管分割方法 | |
CN102112044A (zh) | 自动杯盘比测量*** | |
Zhu et al. | Digital image processing for ophthalmology: Detection of the optic nerve head | |
Jayanthi et al. | Automatic diagnosis of retinal diseases from color retinal images | |
CN104318565B (zh) | 基于等梯度距离的双向区域增长的视网膜血管分割交互式方法 | |
CN109671049A (zh) | 一种医学图像处理方法、***、设备、存储介质 | |
Zhang et al. | A novel technique for robust and fast segmentation of corneal layer interfaces based on spectral-domain optical coherence tomography imaging | |
Tobin Jr et al. | Characterization of the optic disc in retinal imagery using a probabilistic approach | |
Dong et al. | Deep supervision adversarial learning network for retinal vessel segmentation | |
Shojaeipour et al. | Using image processing methods for diagnosis diabetic retinopathy | |
Sidhu et al. | Segmentation of retinal blood vessels by a novel hybrid technique-Principal Component Analysis (PCA) and Contrast Limited Adaptive Histogram Equalization (CLAHE) | |
Liu et al. | Retinal vessel segmentation using densely connected convolution neural network with colorful fundus images | |
Tan et al. | Automatic feature extraction of optical coherence tomography for lamina cribrosa detection | |
Akram et al. | Detection of neovascularization for screening of proliferative diabetic retinopathy | |
CN111292285B (zh) | 一种基于朴素贝叶斯与支持向量机的糖网病自动筛查方法 | |
Purwanithami et al. | Hemorrhage diabetic retinopathy detection based on fundus image using neural network and FCM segmentation | |
Das et al. | Overview and Analysis of Present-Day Diabetic Retinopathy (DR) Detection Techniques | |
AU2015245908B2 (en) | Method for the analysis of image data representing a three-dimensional volume of biological tissue | |
Gao et al. | Automated Segmentation of the Optic Disc from Retinal Image Using Modified Local Intensity Clustering Model |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20211019 |