CN110706233A - 一种视网膜眼底图像分割方法及装置 - Google Patents

一种视网膜眼底图像分割方法及装置 Download PDF

Info

Publication number
CN110706233A
CN110706233A CN201910945333.4A CN201910945333A CN110706233A CN 110706233 A CN110706233 A CN 110706233A CN 201910945333 A CN201910945333 A CN 201910945333A CN 110706233 A CN110706233 A CN 110706233A
Authority
CN
China
Prior art keywords
active layer
image
neural network
fundus image
convolutional layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910945333.4A
Other languages
English (en)
Inventor
阿孜古丽.吾拉木
未忠杰
张德政
蒋彦钊
孙振起
李军
胡良缘
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology Beijing USTB
Original Assignee
University of Science and Technology Beijing USTB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology Beijing USTB filed Critical University of Science and Technology Beijing USTB
Priority to CN201910945333.4A priority Critical patent/CN110706233A/zh
Publication of CN110706233A publication Critical patent/CN110706233A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Radiology & Medical Imaging (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Quality & Reliability (AREA)
  • Eye Examination Apparatus (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种视网膜眼底图像分割方法及装置，能够在只有少量标注样本的情况下，也能实现视网膜眼底图像血管与视盘的自动、高效、准确分割。所述方法包括：获取训练集图像和相应的标注图，其中，所述图像为视网膜眼底图像；对获取的训练集图像和相应的标注图进行一致的随机裁剪分块；构建U型全卷积神经网络；将随机剪裁分块后的训练集图像和相应的标注图输入到构建的U型全卷积神经网络中，对所述U型全卷积神经网络进行训练；利用训练好的U型全卷积神经网络对视网膜眼底图像进行分割。本发明涉及人工智能、糖尿病视网膜诊断领域。

Description

一种视网膜眼底图像分割方法及装置
技术领域
本发明涉及人工智能、糖尿病视网膜诊断领域，特别是指一种视网膜眼底图像分割方法及装置。
背景技术
由于视网膜眼底血管是唯一能以非创伤方式直接观察的血管，由视网膜眼底图像分割所获得的血管等信息是糖尿病性视网膜病变诊断的重要指标，然而人工分割视网膜眼底图像费时费力。若采用深度学习的方法，又需要大量的标注数据才可完成，若标注样本量少，会导致视网膜眼底图像血管与视盘分割准确度较差。但是眼底血管的宽度为1个像素到20个像素不等，而且还有血管交叉、分支和中心线反射的存在，人工标注非常困难，需要专业的眼科专家才可完成，标注代价极大。
发明内容
本发明要解决的技术问题是提供一种视网膜眼底图像分割方法及装置，以解决现有技术所存在的基于少量标注样本的深度学习方法，会导致视网膜眼底图像血管与视盘分割准确度较差的问题。
为解决上述技术问题，本发明实施例提供一种视网膜眼底图像分割方法，包括：
获取训练集图像和相应的标注图，其中，所述图像为视网膜眼底图像；
对获取的训练集图像和相应的标注图进行一致的随机裁剪分块；
构建U型全卷积神经网络；
将随机剪裁分块后的训练集图像和相应的标注图输入到构建的U型全卷积神经网络中，对所述U型全卷积神经网络进行训练；
利用训练好的U型全卷积神经网络对视网膜眼底图像进行分割。
进一步地，在对获取的训练集图像和相应的标注图进行一致的随机裁剪分块之前，所述方法还包括：
对获取的训练集图像进行预处理，其中，预处理包括：灰度图转换，图像归一化，限制对比度自适应直方图均衡化和伽马校正。
进一步地，所述U型全卷积神经网络，包括：数据层、与所述数据层相连的第一卷积层，与所述第一卷积层相连的第一激活层，与所述第一激活层相连的第二卷积层，与所述第二卷积层相连的第二激活层，与所述第二激活层相连的第一池化层，与所述第一池化层相连的第三卷积层，与所述第三卷积层相连的第三激活层，与所述第三激活层相连的第四卷积层，与所述第四卷积层相连的第四激活层，与所述第四激活层相连的第二池化层，与所述第二池化层相连的的第五卷积层，与所述第五卷积层相连的第五激活层，与所述第五激活层相连的第六卷积层，与所述第六卷积层相连的第六激活层，与所述第六激活层相连的第一反卷积层，与所述第一反卷积层相连的的第七卷积层，与所述第七卷积层相连的第七激活层，与所述第七激活层相连的第八卷积层，与所述第八卷积层相连的第八激活层，与所述第八激活层相连的第二反卷积层，与所述第二反卷积层相连的的第九卷积层，与所述第九卷积层相连的第九激活层，与所述第九激活层相连的第十卷积层，与所述第十卷积层相连的第十激活层，与所述第十激活层相连的第十一卷积层，与所述第十一卷积层相连的第十一激活层，与所述第十一激活层相连的分类器。
进一步地，所述U型全卷积神经网络是一个左右对称的结构，左半边为收缩路径，右半边为扩张路径。
进一步地，收缩路径中的卷积神经网络结构是一种重复结构，每次重复中都有两个卷积层、两个激活层和一个池化层；
在收缩路径中，随着卷积和池化操作，特征通道数量逐渐增加，特征图的大小逐渐减小。
进一步地，在扩张路径中，每次反卷积后，将特征通道数量减半，特征图的大小加倍。
进一步地，反卷积过后，将反卷积的结果与收缩路径中对应的具有相同大小和相同数量的特征通道的特征图进行拼接。
进一步地，所述方法还包括：
获取测试集图像，其中，所述图像为视网膜眼底图像；
对获取的测试集进行预处理；
对预处理后的测试集图像进行有重叠的分块；
利用训练好的U型全卷积神经网络对分块后的图像逐个进行图像分割，得到每个分块的分割结果；
对分块后的分割结果进行重新拼接得到原图的分割结果。
进一步地，在重叠分块下，每个像素点的分割类别由多个图像块决定，对该像素点的所有概率结果取平均作为该像素点的最终分割结果，其中，分割结果包含的分割类别为：血管或视盘。
本发明实施例还提供一种视网膜眼底图像分割装置，包括：
获取模块，用于获取训练集图像和相应的标注图，其中，所述图像为视网膜眼底图像；
分块模块，用于对获取的训练集图像和相应的标注图进行一致的随机裁剪分块；
构建模块，用于构建U型全卷积神经网络；
训练模块，用于将随机剪裁分块后的训练集图像和相应的标注图输入到构建的U型全卷积神经网络中，对所述U型全卷积神经网络进行训练；
分割模块，用于利用训练好的U型全卷积神经网络对视网膜眼底图像进行分割。
本发明的上述技术方案的有益效果如下：
上述方案中，获取训练集图像和相应的标注图，其中，所述图像为视网膜眼底图像；对获取的训练集图像和相应的标注图进行一致的随机裁剪分块，达到数据扩增的目的；构建U型全卷积神经网络；将随机剪裁分块后的训练集图像和相应的标注图输入到构建的U型全卷积神经网络中，对所述U型全卷积神经网络进行训练；利用训练好的U型全卷积神经网络对视网膜眼底图像进行分割；这样，通过训练集图像和相应的标注图进行一致的随机裁剪分块，能够达到数据扩增的目的，解决视网膜眼底图像标注样本不足的问题，从而使得在只有少量标注样本的情况下，也能实现视网膜眼底图像血管与视盘的自动、高效、准确分割。
附图说明
图1为本发明实施例提供的视网膜眼底图像分割方法的训练阶段工作流程示意图；
图2为本发明实施例提供的图像随机裁剪分块流程示意图；
图3为本发明实施例提供的U型全卷积神经网络的结构示意图；
图4为本发明实施例提供的视网膜眼底图像分割方法的测试阶段工作流程示意图；
图5为本发明实施例提供的在测试集上的工作特征(ROC)曲线示意图；
图6为本发明实施例提供的视网膜眼底图像分割装置的结构示意图。
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。
本发明针对现有的基于少量标注样本的深度学习方法，会导致视网膜眼底图像血管与视盘分割准确度较差的问题，提供一种视网膜眼底图像分割方法及装置。
实施例一
如图1所示，本发明实施例提供的视网膜眼底图像分割方法，包括：
S101，获取训练集图像和相应的标注图，其中，所述图像为视网膜眼底图像；
S102，对获取的训练集图像和相应的标注图进行一致的随机裁剪分块；
S103，构建U型全卷积神经网络；
S104，将随机剪裁分块后的训练集图像和相应的标注图输入到构建的U型全卷积神经网络中，对所述U型全卷积神经网络进行训练；
S105，利用训练好的U型全卷积神经网络对视网膜眼底图像进行分割。
本发明实施例所述的视网膜眼底图像分割方法，获取训练集图像和相应的标注图，其中，所述图像为视网膜眼底图像；对获取的训练集图像和相应的标注图进行一致的随机裁剪分块，达到数据扩增的目的；构建U型全卷积神经网络；将随机剪裁分块后的训练集图像和相应的标注图输入到构建的U型全卷积神经网络中，对所述U型全卷积神经网络进行训练；利用训练好的U型全卷积神经网络对视网膜眼底图像进行分割；这样，通过训练集图像和相应的标注图进行一致的随机裁剪分块，能够达到数据扩增的目的，解决视网膜眼底图像标注样本不足的问题，从而使得在只有少量标注样本的情况下，也能实现视网膜眼底图像血管与视盘的自动、高效、准确分割。
本发明实施例提出了一种基于少量标注样本的对视网膜眼底图像进行血管与视盘的自动分割的方法，且分割效率高、分割准确度高，便于医生对于视网膜眼底图像病灶处的判断，达到现代智能辅助诊疗的目的。本发明实施例提供的所述视网膜眼底图像分割方法可以广泛应用在糖尿病视网膜诊断领域，满足糖尿病性视网膜病变诊断的临床需求，为糖尿病视网膜图像的病理诊断提供了强大的理论和技术支持。
为了更好地理解本发明实施例提供的基于少量标注样本的视网膜眼底图像分割方法，对其进行详细说明，具体可以包括以下步骤：
S101，获取训练集图像和相应的标注图，其中，所述图像为视网膜眼底图像。
本实施例中，训练集图像和相应的标注图可以来自DRIVE数据集，每一张标注图都是由数个权威医师共同手工标注的，其中清晰地标注了视网膜眼底图像中血管的分布情况，已将血管与视盘明显的区分开来；标注图可信度高，所分割图像清晰。
本实施例中，在对获取的训练集图像和相应的标注图进行一致的随机裁剪分块(S102)之前，所述方法还包括：
对获取的训练集图像进行预处理，其中，预处理过程依次为：灰度图转换，图像归一化，限制对比度自适应直方图均衡化和伽马校正。
本实施例中，预处理的目的是增强血管与背景的对比度，有利于后续进行图像分割。
S102，对获取的训练集图像和相应的标注图进行一致的随机裁剪分块。
本实施例中，针对视网膜眼底图像标注样本较少的问题进行数据扩增，对预处理后的训练集图像和相应的标注图进行一致的随机裁剪分块。例如，假设训练集图像原始大小为565*584，设置分块的大小为48*48。本实施例对每张训练集图像随机分块采样出95000张图片，同时对每张训练集图像对应的标注图也做一致的分块采样处理。
本实施例中，如图2所示，随机裁剪分块的步骤为：首先设定分块采样的大小为48*48；然后选取去掉图像四周24(即二分之一分块大小)个像素大小的范围，在该范围内随机选取一个像素点，以该点作为中心点提取48*48大小的分块图像；接着再次随机选取像素点作为中心点，继续提取分块图像，直到达到所需分块数量。在本实施例中，对每张训练集图片随机提取95000张图片。同时对对应的标注图也做一致的剪裁分块处理。
S103，构建U型全卷积神经网络。
本实施例中，所述U型全卷积神经网络包括：数据层、与所述数据层相连的第一卷积层，与所述第一卷积层相连的第一激活层，与所述第一激活层相连的第二卷积层，与所述第二卷积层相连的第二激活层，与所述第二激活层相连的第一池化层，与所述第一池化层相连的第三卷积层，与所述第三卷积层相连的第三激活层，与所述第三激活层相连的第四卷积层，与所述第四卷积层相连的第四激活层，与所述第四激活层相连的第二池化层，与所述第二池化层相连的的第五卷积层，与所述第五卷积层相连的第五激活层，与所述第五激活层相连的第六卷积层，与所述第六卷积层相连的第六激活层，与所述第六激活层相连的第一反卷积层，与所述第一反卷积层相连的的第七卷积层，与所述第七卷积层相连的第七激活层，与所述第七激活层相连的第八卷积层，与所述第八卷积层相连的第八激活层，与所述第八激活层相连的第二反卷积层，与所述第二反卷积层相连的的第九卷积层，与所述第九卷积层相连的第九激活层，与所述第九激活层相连的第十卷积层，与所述第十卷积层相连的第十激活层，与所述第十激活层相连的第十一卷积层，与所述第十一卷积层相连的第十一激活层，与所述第十一激活层相连的分类器(Softmax)，其中，U型全卷积神经网络结构信息如表1所示。
表1 U型全卷积神经网络结构信息表
层 名称 类型 输入尺寸 输出尺寸 核大小 核个数 步长
0 数据层 数据层 1×48×48 1×48×48 - - -
1 第一卷积层 卷积层 1×48×48 32×48×48 3×3 32 1
2 第一激活层 激活层 32×48×48 32×48×48 - - -
3 第二卷积层 卷积层 32×48×48 32×48×48 3×3 32 1
4 第二激活层 激活层 32×48×48 32×48×48 - - -
5 第一池化层 池化层 32×48×48 32×24×24 2×2 - 2
6 第三卷积层 卷积层 32×24×24 64×24×24 3×3 64 1
7 第三激活层 激活层 64×24×24 64×24×24 - - -
8 第四卷积层 卷积层 64×24×24 64×24×24 3×3 64 1
9 第四激活层 激活层 64×24×24 64×24×24 - - -
10 第二池化层 池化层 64×24×24 64×12×12 2×2 - 2
11 第五卷积层 卷积层 64×12×12 128×12×12 3×3 128 1
12 第五激活层 激活层 128×12×12 128×12×12 - - -
13 第六卷积层 卷积层 128×12×12 128×12×12 3×3 128 1
14 第六激活层 激活层 128×12×12 128×12×12 - - -
15 第一反卷积层 反卷积层 128×12×12 64×24×24 2×2 64 1
16 第七卷积层 卷积层 128×24×24 64×24×24 3×3 64 1
17 第七激活层 激活层 64×24×24 64×24×24 - - -
18 第八卷积层 卷积层 64×24×24 64×24×24 3×3 64 1
19 第八激活层 激活层 64×24×24 64×24×24 - - -
20 第二反卷积层 反卷积层 64×24×24 32×48×48 2×2 32 1
21 第九卷积层 卷积层 64×48×48 32×48×48 3×3 32 1
22 第九激活层 激活层 32×48×48 32×48×48 - - -
23 第十卷积层 卷积层 32×48×48 32×48×48 3×3 32 1
24 第十激活层 激活层 32×48×48 32×48×48 - - -
25 第十一卷积层 卷积层 32×48×48 2×48×48 1×1 2 1
26 第十一激活层 激活层 2×48×48 2×48×48 - - -
27 分类器 Softmax 2×48×48 2×48×48 - - -
如表1所示，所述U型全卷积神经网络主要包含卷积层、激活层、池化层和反卷积层；其中，所述U型全卷积神经网络一共有11个卷积层，每个卷积层后面都紧跟一个ReLU激活函数；卷积层用于提取图像的线性特征；激活层用于对卷积层输出的线性特征进行处理，产生非线性变换；池化层用于进一步减少网络训练参数及模型的过拟合程度；反卷积层，用于对图像进行上采样来还原图像大小和信息，以便最后得到与原图像素点相对应的分割结果图。
如图3所示，从整体上看，U型全卷积神经网络是一个左右对称的结构，左半边为收缩路径(contracting path)，右半边为扩张路径(expansive path)。
本实施例中，收缩路径包括：第一卷积层、第一激活层、第二卷积层、第二激活层、第一池化层、第三卷积层、第三激活层、第四卷积层、第四激活层和第二池化层、第五卷积层、第五激活层；扩张路径包括：第六卷积层、第六激活层、第一反卷积层、第七卷积层、第七激活层、第八卷积层、第八激活层、第二反卷积层、第九卷积层、第九激活层、第十卷积层、第十激活层。
本实施例中，在收缩路径中，随着卷积和池化操作，特征通道数量逐渐增加，特征图的大小逐渐减小。收缩路径中的卷积神经网络结构是一种重复结构，每次重复中都有两个卷积层、两个激活层和一个池化层，目的是为了提取到更为准确的特征。
本实施例中，在扩张路径中，每次反卷积后，都会将特征通道数量减半，特征图的大小加倍。
本实施例中，如图3所示，反卷积过后，将反卷积的结果与收缩路径中对应的具有相同大小和相同数量的特征通道的特征图进行拼接；这样就可以使卷积层基于这些信息获得更多的上下文信息，使得分割结果更加精确。
本实施例中，所述U型全卷积神经网络中的最后一个卷积层的卷积核大小为1×1，卷积核个数为2，目的是为了将64通道的特征图转换为深度为2的结果，最后将结果送入softmax分类器进行分类，即是分为血管还是视盘。
S104，将随机剪裁分块后的训练集图像和相应的标注图输入到构建的U型全卷积神经网络中，对所述U型全卷积神经网络进行训练。
本实施例中，将随机剪裁分块后的训练集图像和相应的标注图输入到构建的U型全卷积神经网络中，利用小批量梯度下降法对所述U型全卷积神经网络进行训练，得到训练好的U型全卷积神经网络。
本实施例中，S101-S104是训练阶段，用于得到训练好的U型全卷积神经网络。
S105，利用训练好的U型全卷积神经网络对视网膜眼底图像进行分割。
本实施例中，可以从DRIVE数据集获取测试集图像来测试本实施例提供的视网膜眼底图像分割方法的有效性，如图4所示，具体可以包括以下步骤：
A1，获取测试集图像，其中，所述图像为视网膜眼底图像；
A2，对获取的测试集进行预处理，预处理操作依次为灰度图转换、图像归一化、限制对比度自适应直方图均衡化和伽马校正；
A3，对预处理后的测试集图像进行有重叠的分块；
本实施例中，对测试集图像进行重叠分块，能够避免对图像块边缘分割时易出现条纹的问题。
本实施例中，设置分块的大小为48*48(与训练集随机分块的大小一致),分块的步长在高和宽上均为5个像素点，然后对图像进行分块。
A4，利用训练好的U型全卷积神经网络对分块后的图像逐个进行图像分割，得到每个分块的分割结果。
A5，对分块后的分割结果进行重新拼接得到原图的分割结果。
本实施例中，由于是重叠分块，每个像素点被多个图像块覆盖，因此每个像素点的分割类别将会由多个图像块决定。本实施例中，在分块大小为48*48，步长为5的情况下，每个像素点的分割类别由多个图像块决定，最后对该像素点的所有概率结果取平均作为该像素点的最终分割结果，其中，分割结果包含的分割类别为：血管或视盘。
本实施例中，在测试集上的工作特征(ROC)曲线如图5所示，图5中横轴为假正率(FPR)、纵轴为真正率(TPR)。图5中的线为工作特征(ROC)曲线，AUC值为ROC曲线下的面积，AUC越接近1.0，检测方法真实性越高。对视网膜眼底图像分割方法的测试结果如表2所示：
表2测试结果
Figure BDA0002223988610000101
实施例二
本发明还提供一种视网膜眼底图像分割装置的具体实施方式，由于本发明提供的视网膜眼底图像分割装置与前述视网膜眼底图像分割方法的具体实施方式相对应，该视网膜眼底图像分割装置可以通过执行上述方法具体实施方式中的流程步骤来实现本发明的目的，因此上述视网膜眼底图像分割方法具体实施方式中的解释说明，也适用于本发明提供的视网膜眼底图像分割装置的具体实施方式，在本发明以下的具体实施方式中将不再赘述。
如图6所示，本发明实施例还提供一种视网膜眼底图像分割装置，包括：
获取模块11，用于获取训练集图像和相应的标注图，其中，所述图像为视网膜眼底图像；
分块模块12，用于对获取的训练集图像和相应的标注图进行一致的随机裁剪分块；
构建模块13，用于构建U型全卷积神经网络；
训练模块14，用于将随机剪裁分块后的训练集图像和相应的标注图输入到构建的U型全卷积神经网络中，对所述U型全卷积神经网络进行训练；
分割模块15，用于利用训练好的U型全卷积神经网络对视网膜眼底图像进行分割。
本发明实施例所述的视网膜眼底图像分割装置，获取训练集图像和相应的标注图，其中，所述图像为视网膜眼底图像；对获取的训练集图像和相应的标注图进行一致的随机裁剪分块，达到数据扩增的目的；构建U型全卷积神经网络；将随机剪裁分块后的训练集图像和相应的标注图输入到构建的U型全卷积神经网络中，对所述U型全卷积神经网络进行训练；利用训练好的U型全卷积神经网络对视网膜眼底图像进行分割；这样，通过训练集图像和相应的标注图进行一致的随机裁剪分块，能够达到数据扩增的目的，解决视网膜眼底图像标注样本不足的问题，从而使得在只有少量标注样本的情况下，也能实现视网膜眼底图像血管与视盘的自动、高效、准确分割。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种视网膜眼底图像分割方法，其特征在于，包括：
获取训练集图像和相应的标注图，其中，所述图像为视网膜眼底图像；
对获取的训练集图像和相应的标注图进行一致的随机裁剪分块；
构建U型全卷积神经网络；
将随机剪裁分块后的训练集图像和相应的标注图输入到构建的U型全卷积神经网络中，对所述U型全卷积神经网络进行训练；
利用训练好的U型全卷积神经网络对视网膜眼底图像进行分割。
2.根据权利要求1所述的视网膜眼底图像分割方法，其特征在于，在对获取的训练集图像和相应的标注图进行一致的随机裁剪分块之前，所述方法还包括：
对获取的训练集图像进行预处理，其中，预处理包括：灰度图转换，图像归一化，限制对比度自适应直方图均衡化和伽马校正。
3.根据权利要求1所述的视网膜眼底图像分割方法，其特征在于，所述U型全卷积神经网络，包括：数据层、与所述数据层相连的第一卷积层，与所述第一卷积层相连的第一激活层，与所述第一激活层相连的第二卷积层，与所述第二卷积层相连的第二激活层，与所述第二激活层相连的第一池化层，与所述第一池化层相连的第三卷积层，与所述第三卷积层相连的第三激活层，与所述第三激活层相连的第四卷积层，与所述第四卷积层相连的第四激活层，与所述第四激活层相连的第二池化层，与所述第二池化层相连的的第五卷积层，与所述第五卷积层相连的第五激活层，与所述第五激活层相连的第六卷积层，与所述第六卷积层相连的第六激活层，与所述第六激活层相连的第一反卷积层，与所述第一反卷积层相连的的第七卷积层，与所述第七卷积层相连的第七激活层，与所述第七激活层相连的第八卷积层，与所述第八卷积层相连的第八激活层，与所述第八激活层相连的第二反卷积层，与所述第二反卷积层相连的的第九卷积层，与所述第九卷积层相连的第九激活层，与所述第九激活层相连的第十卷积层，与所述第十卷积层相连的第十激活层，与所述第十激活层相连的第十一卷积层，与所述第十一卷积层相连的第十一激活层，与所述第十一激活层相连的分类器。
4.根据权利要求3所述的视网膜眼底图像分割方法，其特征在于，所述U型全卷积神经网络是一个左右对称的结构，左半边为收缩路径，右半边为扩张路径。
5.根据权利要求4所述的视网膜眼底图像分割方法，其特征在于，收缩路径中的卷积神经网络结构是一种重复结构，每次重复中都有两个卷积层、两个激活层和一个池化层；
在收缩路径中，随着卷积和池化操作，特征通道数量逐渐增加，特征图的大小逐渐减小。
6.根据权利要求4所述的视网膜眼底图像分割方法，其特征在于，在扩张路径中，每次反卷积后，将特征通道数量减半，特征图的大小加倍。
7.根据权利要求4所述的视网膜眼底图像分割方法，其特征在于，反卷积过后，将反卷积的结果与收缩路径中对应的具有相同大小和相同数量的特征通道的特征图进行拼接。
8.根据权利要求1所述的视网膜眼底图像分割方法，其特征在于，所述方法还包括：
获取测试集图像，其中，所述图像为视网膜眼底图像；
对获取的测试集进行预处理；
对预处理后的测试集图像进行有重叠的分块；
利用训练好的U型全卷积神经网络对分块后的图像逐个进行图像分割，得到每个分块的分割结果；
对分块后的分割结果进行重新拼接得到原图的分割结果。
9.根据权利要求8所述的视网膜眼底图像分割方法，其特征在于，在重叠分块下，每个像素点的分割类别由多个图像块决定，对该像素点的所有概率结果取平均作为该像素点的最终分割结果，其中，分割结果包含的分割类别为：血管或视盘。
10.一种视网膜眼底图像分割装置，其特征在于，包括：
获取模块，用于获取训练集图像和相应的标注图，其中，所述图像为视网膜眼底图像；
分块模块，用于对获取的训练集图像和相应的标注图进行一致的随机裁剪分块；
构建模块，用于构建U型全卷积神经网络；
训练模块，用于将随机剪裁分块后的训练集图像和相应的标注图输入到构建的U型全卷积神经网络中，对所述U型全卷积神经网络进行训练；
分割模块，用于利用训练好的U型全卷积神经网络对视网膜眼底图像进行分割。
CN201910945333.4A 2019-09-30 2019-09-30 一种视网膜眼底图像分割方法及装置 Pending CN110706233A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910945333.4A CN110706233A (zh) 2019-09-30 2019-09-30 一种视网膜眼底图像分割方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910945333.4A CN110706233A (zh) 2019-09-30 2019-09-30 一种视网膜眼底图像分割方法及装置

Publications (1)

Publication Number Publication Date
CN110706233A true CN110706233A (zh) 2020-01-17

Family

ID=69196589

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910945333.4A Pending CN110706233A (zh) 2019-09-30 2019-09-30 一种视网膜眼底图像分割方法及装置

Country Status (1)

Country Link
CN (1) CN110706233A (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111489364A (zh) * 2020-04-08 2020-08-04 重庆邮电大学 基于轻量级全卷积神经网络的医学图像分割方法
CN111524142A (zh) * 2020-03-10 2020-08-11 浙江工业大学 一种脑血管图像自动分割方法
CN112001923A (zh) * 2020-11-02 2020-11-27 中国人民解放军国防科技大学 一种视网膜图像分割方法及装置
CN112085745A (zh) * 2020-09-07 2020-12-15 福建农林大学 基于均衡采样拼接的多通道u型全卷积神经网络的视网膜血管图像分割方法
CN112418299A (zh) * 2020-11-19 2021-02-26 推想医疗科技股份有限公司 冠状动脉分割模型训练方法、冠状动脉分割方法、及装置
CN112884775A (zh) * 2021-01-20 2021-06-01 推想医疗科技股份有限公司 一种分割方法、装置、设备及介质
CN113160165A (zh) * 2021-04-15 2021-07-23 强联智创（北京）科技有限公司 一种血管分割方法、装置以及设备
CN113763330A (zh) * 2021-08-17 2021-12-07 北京医准智能科技有限公司 一种血管分割方法、装置、存储介质及电子设备
CN114708283A (zh) * 2022-04-21 2022-07-05 推想医疗科技股份有限公司 图像目标的分割方法、装置、电子设备及存储介质
CN115409764A (zh) * 2021-05-28 2022-11-29 南京博视医疗科技有限公司 一种基于域自适应的多模态眼底血管分割方法及装置
CN115985472A (zh) * 2022-12-01 2023-04-18 珠海全一科技有限公司 基于神经网络的眼底图像标注方法及***

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109345538A (zh) * 2018-08-30 2019-02-15 华南理工大学 一种基于卷积神经网络的视网膜血管分割方法
CN109598733A (zh) * 2017-12-31 2019-04-09 南京航空航天大学 基于深度全卷积神经网络的视网膜眼底图像分割方法
CN109859146A (zh) * 2019-02-28 2019-06-07 电子科技大学 一种基于U-net卷积神经网络的彩色眼底图像血管分割方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109598733A (zh) * 2017-12-31 2019-04-09 南京航空航天大学 基于深度全卷积神经网络的视网膜眼底图像分割方法
CN109345538A (zh) * 2018-08-30 2019-02-15 华南理工大学 一种基于卷积神经网络的视网膜血管分割方法
CN109859146A (zh) * 2019-02-28 2019-06-07 电子科技大学 一种基于U-net卷积神经网络的彩色眼底图像血管分割方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
OLAF RONNEBERGER 等: "U-Net：Convolutional Networks for Biomedical Image Segmentation", 《ARXIV》 *

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111524142B (zh) * 2020-03-10 2023-06-30 浙江工业大学 一种脑血管图像自动分割方法
CN111524142A (zh) * 2020-03-10 2020-08-11 浙江工业大学 一种脑血管图像自动分割方法
CN111489364A (zh) * 2020-04-08 2020-08-04 重庆邮电大学 基于轻量级全卷积神经网络的医学图像分割方法
CN111489364B (zh) * 2020-04-08 2022-05-03 重庆邮电大学 基于轻量级全卷积神经网络的医学图像分割方法
CN112085745A (zh) * 2020-09-07 2020-12-15 福建农林大学 基于均衡采样拼接的多通道u型全卷积神经网络的视网膜血管图像分割方法
CN112001923A (zh) * 2020-11-02 2020-11-27 中国人民解放军国防科技大学 一种视网膜图像分割方法及装置
CN112418299A (zh) * 2020-11-19 2021-02-26 推想医疗科技股份有限公司 冠状动脉分割模型训练方法、冠状动脉分割方法、及装置
CN112418299B (zh) * 2020-11-19 2021-10-26 推想医疗科技股份有限公司 冠状动脉分割模型训练方法、冠状动脉分割方法、及装置
CN112884775A (zh) * 2021-01-20 2021-06-01 推想医疗科技股份有限公司 一种分割方法、装置、设备及介质
CN113160165A (zh) * 2021-04-15 2021-07-23 强联智创（北京）科技有限公司 一种血管分割方法、装置以及设备
CN115409764B (zh) * 2021-05-28 2024-01-09 南京博视医疗科技有限公司 一种基于域自适应的多模态眼底血管分割方法及装置
CN115409764A (zh) * 2021-05-28 2022-11-29 南京博视医疗科技有限公司 一种基于域自适应的多模态眼底血管分割方法及装置
CN113763330A (zh) * 2021-08-17 2021-12-07 北京医准智能科技有限公司 一种血管分割方法、装置、存储介质及电子设备
CN114708283A (zh) * 2022-04-21 2022-07-05 推想医疗科技股份有限公司 图像目标的分割方法、装置、电子设备及存储介质
CN115985472A (zh) * 2022-12-01 2023-04-18 珠海全一科技有限公司 基于神经网络的眼底图像标注方法及***
CN115985472B (zh) * 2022-12-01 2023-09-22 珠海全一科技有限公司 基于神经网络的眼底图像标注方法及***

Similar Documents

Publication Publication Date Title
CN110706233A (zh) 一种视网膜眼底图像分割方法及装置
CN108665456B (zh) 基于人工智能的乳腺超声病灶区域实时标注的方法及***
US20220076420A1 (en) Retinopathy recognition system
CN110097559B (zh) 基于深度学习的眼底图像病灶区域标注方法
CN111291825B (zh) 病灶分类模型训练方法、装置、计算机设备和存储介质
WO2023045231A1 (zh) 一种解耦分治的面神经分割方法和装置
CN111445478A (zh) 一种用于cta图像的颅内动脉瘤区域自动检测***和检测方法
CN110246579B (zh) 一种病理诊断方法及装置
CN111524144B (zh) 一种基于GAN和Unet网络的肺结节智能诊断方法
US11379989B2 (en) Method and device of extracting label in medical image
CN112233777A (zh) 基于深度学习的胆结石自动识别及分割***、计算机设备、存储介质
CN115409764B (zh) 一种基于域自适应的多模态眼底血管分割方法及装置
CN111476794B (zh) 一种基于unet的宫颈病理组织分割方法
CN111724397A (zh) 一种颅脑ct图像出血区域自动分割方法
CN110738660A (zh) 基于改进U-net的脊椎CT图像分割方法及装置
CN111724401A (zh) 一种基于边界约束级联U-Net的图像分割方法和***
CN113450305B (zh) 医疗图像的处理方法、***、设备及可读存储介质
CN115205520A (zh) 胃镜图像智能目标检测方法、***、电子设备及存储介质
CN111383222A (zh) 一种基于深度学习的椎间盘mri图像智能诊断***
CN110992309A (zh) 基于深层信息传递网络的眼底图像分割方法
CN114565601A (zh) 基于DeepLabV3+改进的肝脏CT图像分割算法
CN114170473A (zh) 基于病理图像的dMMR亚型分类方法及***
CN114372962A (zh) 基于双粒度时间卷积的腹腔镜手术阶段识别方法与***
CN117409002A (zh) 一种用于创伤的视觉识别检测***及其检测方法
CN117132840A (zh) 一种基于AHS分期和Forrest分级的消化性溃疡分类方法和***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200117