CN109961848A - 黄斑图像分类方法和设备 - Google Patents

黄斑图像分类方法和设备 Download PDF

Info

Publication number
CN109961848A
CN109961848A CN201910262626.2A CN201910262626A CN109961848A CN 109961848 A CN109961848 A CN 109961848A CN 201910262626 A CN201910262626 A CN 201910262626A CN 109961848 A CN109961848 A CN 109961848A
Authority
CN
China
Prior art keywords
image
macular region
eye fundus
macula lutea
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910262626.2A
Other languages
English (en)
Other versions
CN109961848B (zh
Inventor
王欣
周文选
杨志文
赵昕
和超
张大磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Eaglevision Medical Technology Co Ltd
Beijing Airdoc Technology Co Ltd
Original Assignee
Shanghai Eaglevision Medical Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Eaglevision Medical Technology Co Ltd filed Critical Shanghai Eaglevision Medical Technology Co Ltd
Priority to CN201910262626.2A priority Critical patent/CN109961848B/zh
Publication of CN109961848A publication Critical patent/CN109961848A/zh
Application granted granted Critical
Publication of CN109961848B publication Critical patent/CN109961848B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Theoretical Computer Science (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Epidemiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本发明提供一种黄斑图像分类方法和设备,所述方法包括:从眼底图像中截取黄斑区域图像,所述黄斑区域图像中包括黄斑影像和背景;利用机器学习模型对所述黄斑区域图像和所述眼底图像进行分类,得到至少一个类别信息。

Description

黄斑图像分类方法和设备
技术领域
本发明涉及眼科图像检测领域,具体涉及一种黄斑图像分类方法和设备。
背景技术
在医疗领域中,黄斑在眼底视神经盘的颞侧0.35cm处并稍下方,处于人眼的光学中心区,是视力轴线的投影点。黄斑位于视网膜的中心,该部位集中了大量的视觉功能细胞。黄斑区的异常经常直接导致视觉能力的下降,黄斑区的病变如果没有被及时的发现和治疗,失明的几率将大大提高。
目前,机器学习在医学领域得到了广泛的应用,尤其以深度学习为代表的机器学习技术在医疗影像领域被广泛关注。在眼底图像检测方面,深度学习技术已经被用于青光眼、糖尿病视网膜病变等病种的检测,并取得了良好效果。但是,由于眼底图像中黄斑的形态特征往往因病变程度的不同而差异巨大,导致现有的机器学习技术对黄斑部疾病识别的准确性无法达到预期。
发明内容
有鉴于此,本发明提供一种黄斑图像分类方法,包括:
从眼底图像中截取黄斑区域图像,所述黄斑区域图像中包括黄斑影像和背景;
利用机器学习模型对所述黄斑区域图像和所述眼底图像进行分类,得到至少一个类别信息。
可选地,所述从眼底图像中截取黄斑区域图像,包括:
在所述眼底图像中识别第一黄斑区域;
根据所述眼底图像中的视盘影像的尺寸对所述第一黄斑区域进行扩充得到第二黄斑区域;
在所述眼底图像中截取所述第二黄斑区域作为黄斑区域图像。
可选地,所述根据所述眼底图像中的视盘影像的尺寸对所述第一黄斑区域进行扩充得到第二黄斑区域,包括:
确定所述视盘影像的半径;
基于所述第一黄斑区域的边缘向***各方位扩展所述半径得到所述第二黄斑区域。
可选地,所述机器学习模型输出至少一个类别信息,以及对应所述类别信息的置信度。
本发明还提供一种黄斑图像分类模型训练方法,包括:
获取多组训练数据,所述训练数据包括眼底图像、黄斑区域图像和标签信息,其中所述黄斑区域图像截取自所述眼底图像,所述黄斑区域图像中包括黄斑影像和背景;
利用所述多组训练数据对机器学习模型进行训练。
可选地,所述获取多组训练数据,包括:
获取眼底图像,并在所述眼底图像中识别第一黄斑区域;
根据所述眼底图像中的视盘影像的尺寸对所述第一黄斑区域进行扩充得到第二黄斑区域;
在所述眼底图像中截取所述第二黄斑区域作为黄斑区域图像。
可选地,所述根据所述眼底图像中的视盘影像的尺寸对所述第一黄斑区域进行扩充得到第二黄斑区域,包括:
确定所述视盘影像的半径;
基于所述第一黄斑区域的边缘向***各方位扩展所述半径得到所述第二黄斑区域。
相应地,本发明提供一种黄斑图像分类设备,包括:至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器执行上述黄斑图像分类方法。
相应地,本发明提供一种黄斑图像分类模型训练设备,包括:至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器执行上述黄斑图像分类模型训练方法。
相应地,本发明提供一种黄斑图像分类装置,包括:
截取单元,用于从眼底图像中截取黄斑区域图像,所述黄斑区域图像中包括黄斑影像和背景;
机器学习模型,用于对所述黄斑区域图像和所述眼底图像进行分类,输出至少一个类别信息。
根据本发明实施例提供的黄斑图像分类方案,从全局眼底图像中截取黄斑所在位置的局部区域图像,然后将全局图像和局部图像一同输入机器学习模型,使其根据黄斑局部特征和眼底全局特征进行分类,由于黄斑类异常是由全眼底性疾病引起的,所以在进行黄斑区异常检测时结合全眼底图像可以有效提高异常检测的准确率。最终得到的类别信息可以作为辅助医生做出疾病诊断的参考数据,提高医生的工作效率。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是一幅眼底图像;
图2是从图1中截取的黄斑区域图像;
图3为一种机器学习模型的结构示意图;
图4是在眼底图像中截取黄斑区域图像的过程示意图;
图5为根据特征信息获得的热力图;
图6是根据热力图分割一种感兴趣区域的过程示意图;
图7是根据热力图分割另一种感兴趣区域的过程示意图。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
此外,下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
本发明实施例提供一种黄斑图像分类方法,该方法可以由计算机和服务器等电子设备执行。在本方法中使用了机器学习模型识别图像,所述机器学习模型可以是多种类型和结构的神经网络。该方法包括如下步骤:
S1A,从眼底图像中截取黄斑区域图像,黄斑区域图像中包括黄斑影像和背景。为了提高识别效率,在本实施例中对获取的眼底照片进行了预处理,得到了如图1示的眼底图像。预处理包括但不限于图像增强、去除边界等操作。在其它实施例中也可以不进行这些预处理,可直接使用眼底拍照设备采集的眼底照片。
在得到眼底图像之后,此步骤需要识别黄斑所在的大致位置,然后截取一个设定形状的区域图像,保证此区域中包含黄斑影像及其附近的一些背景。如图2所示,本实施例中截取了矩形图像,也即黄斑区域图像的边界是矩形的,在其它实施例中也可以使用其他形状,例如正圆形、椭圆形等。
关于识别黄斑所在大致位置的方式可参照中国专利文件CN108717696A,该文件提供了一种黄斑影像检测方法,利用机器学习模型识别黄斑区域、视盘区域、黄斑-视盘联合区域确定黄斑区域。当然,也可以采用其它现有技术识别黄斑的大致位置。
S2A,利用机器学习模型对黄斑区域图像和眼底图像进行分类,得到至少一个类别信息。此步骤中使用的机器学习模型可以是单分类模型或者多标签分类模型。使用单分类模型则只输出一个类别信息;多分类模型则可能输出多个类别信息。类别信息表示机器学习模型根据这两个图像得出的正常(健康)或异常(疾病)的结果,对于异常结果还可以进行更具体的分类。在本实施例中有N种预定类别,其中至少包括正常类别,以及黄斑区玻璃膜疣、地图状萎缩、中心性浆液性脉络膜视网膜病变、黄斑前膜、黄斑裂孔、黄斑水肿等多种疾病类别,机器学习模型输出的类别信息用于表示这N种类别中的至少一种。
根据本发明实施例提供的黄斑图像分类方法,从全局眼底图像中截取黄斑所在位置的局部区域图像,然后将全局图像和局部图像一同输入机器学习模型,使其根据黄斑局部特征和眼底全局特征进行分类,由于黄斑类异常是由全眼底性疾病引起的,所以在进行黄斑区异常检测时结合全眼底图像可以有效提高异常检测的准确率。最终得到的类别信息可以作为辅助医生做出疾病诊断的参考数据,提高医生的工作效率。
结合图4所示,在一个优选的实施例中,步骤S1A包括如下步骤:
S1A1,在眼底图像中识别第一黄斑区域41,该区域中包括黄斑和一些背景。图4示出了一幅区域识别示意图。利用现有技术从眼底图像中识别黄斑区域时,大多数现有技术会试图找到比较精确的黄斑区域,尽可能地减少背景,所以在识别时找到的区域是一个相对精准的区域,其中较暗的内容是黄斑影像,其周围亮度较高的是少部分背景。
S1A2,根据眼底图像中的视盘影像43的尺寸对第一黄斑区域41进行扩充得到第二黄斑区域42。为此,本方案可以先从眼底图像中识别视盘影像43。视盘的特征比较明显,利用现有图像分割技术从图像中找到精确的视盘影像是比较容易的。可以将视盘影像43视为一个圆形区域,并测量此圆形区域的半径r。
然后基于第一黄斑区域41的边界进行扩充。具体扩充方式有多种,在本实施例中,该区域边界为矩形,选择分别基于矩形的四个边向外部扩充r,得到第二黄斑区域42。
S1A3,在眼底图像中截取第二黄斑区域42作为黄斑区域图像。由此截取的区域中将包括更多的背景。
现有技术普遍认为对黄斑定位越精确、背景内容越少则分类结果越准确,但实际上很多黄斑类异常是由全眼底性疾病引起的,仅通过黄斑范围内的特征不能体现异常类型,将过于小范围的黄斑影像输入机器学习模型反而会降低其分类准确性。上述优选方案对黄斑区域进行扩充,克服现有技术的偏见,使机器学习模型根据扩充范围的黄斑区域图像和全眼底图像进行分类输出类别信息,由此可以进一步提高分类准确性。
本发明的一个实施例还提供一种黄斑图像分类装置,包括:
截取单元,用于从眼底图像中截取黄斑区域图像,所述黄斑区域图像中包括黄斑影像和背景。具体可参照上述步骤S1A。
机器学习模型,用于对所述黄斑区域图像和所述眼底图像进行分类,输出至少一个类别信息。具体可参照上述步骤S2A。
在一个实施例中,该机器学习模型包括:
第一神经网络,用于提取眼底图像中的第一特征信息;
第二神经网络,用于提取黄斑区域图像的第二特征信息,黄斑区域图像是眼底图像中的一部分,黄斑区域图像中包括黄斑影像和背景;
分类单元,用于根据第一特征信息和第二特征信息输出至少一个类别信息。
第一神经网络和第二神经网络可以是各种卷积神经网络,分类单元中可包括池化层、全连接层等多种单元。
图3示出了一个具体的机器学***均池化层(GAP)33用于对第一神经网络31提取的特征进行处理;第二全局平均池化层(GAP)34用于对第二神经网络32提取的特征进行处理。连接模块(Concat)35用于将第一全局平均池化层33和第二全局平均池化层34输出的处理结果进行连接。全连接层(FC)36用于对连接模块35输出的连接结果进行处理。最后通过分类器(softmax)37对全连接层36输出的处理结果进行分类而得到类别信息。
由于目前机器学习的分类准确率通常不能达到100%,为了体现分类结果的客观性,在一个优选的实施例中,机器学习模型还将输出对应于类别信息的置信度信息。作为一个举例,机器学习模型输出一个类别信息表示属于某种疾病类别,同时还输出一个百分比数据,表示此结果的可信度。该百分比数据是分类器37的中间结果,分类器会使用设定的函数对之前一层输出的数据进行判断,计算此数据属于各种预定类型的置信度,取最高置信度对应的类别作为最终分类结果,在本实施例中输出此最终结果的同时还输出对应的百分比数据作为置信度信息。
本发明的一个实施例还提供一种黄斑图像分类设备,包括:至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器执行上述黄斑图像分类方法。
众所周知,具有分类能力的机器学习模型是利用大量的训练数据(或称样本数据)进行训练得到的。本发明实施例提供一种黄斑图像分类模型训练方法,该方法可以由计算机和服务器等电子设备执行。该方法包括如下步骤:
获取多组训练数据,每组训练数据分别包括眼底图像、黄斑区域图像和标签信息,其中黄斑区域图像截取自眼底图像,黄斑区域图像中包括黄斑影像和背景。这些眼底图像的类型是已知的,标签信息用于表示其已知类别。已知类别至少包括正常类和多种疾病类别。
利用多组训练数据对机器学习模型进行训练。设置收敛条件,使机器学习模型根据输出的类别信息与标签信息进行比对,从而根据比对结果修正模型参数,直至达到收敛条件为止。
上述训练数据可以完全是由人工标注得到的,其中的黄斑区域图像,可以通过人工在全局眼底图像中截取而得到。作为一个优选的实施例,可采用自动生成方式根据眼底图像获得黄斑区域图像。
具体地,获取多组训练数据可包括如下步骤:
获取眼底图像,并在眼底图像中识别第一黄斑区域。可以利用中国专利文件CN108717696A提供的黄斑影像检测方法识别第一黄斑区域。根据眼底图像中的视盘影像的尺寸对第一黄斑区域进行扩充得到第二黄斑区域。在眼底图像中截取第二黄斑区域作为黄斑区域图像。具体可参照识别方案中的步骤S1A1-S1A3。
上述方案基于全局眼底图像自动识别黄斑区域图像,自动获得训练数据,由此可以提高模型训练的效率。
实际应用中,由于可采集到的眼底图像样本有限,为了获得更多的训练数据,本方案可以通过对实际采集的眼底图像进行加工而得到更多的训练数据。
具体地,由于黄斑区各种异常的发病率的差异和就医比例的差异,在收集到的数据集中,各类异常类别包含的图像数量极不均衡。为了训练出性能更好的模型,提高识别的准确率,可对原始的训练数据进行数据扩充。例如采用随机翻转、镜像、旋转、平移、随机加噪声、模糊化、提高对比度、调整颜色空间等来进行数据扩增。其目的是尽可能模拟眼底图自然拍摄中可能出现的形态,例如对一张眼底图像进行处理,得到的图像用于模拟较暗且有伪影的眼底图;例如对一张眼底图像进行处理,得到的图像用于模拟实际场景中因拍摄人员技术或镜头污损等原因,导致的图像质量偏低这类实际场景。这些扩充的图像与原始图像的标签信息一致。
根据上述扩充方式,基于一幅实际采集的眼底图像进行处理,可以得到多幅变换图像作为训练数据,由此可以显著提高训练数据的数量,从而优化机器学习模型的性能。
本发明的一个实施例还提供一种黄斑图像分类模型训练设备,包括:至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器执行上述黄斑图像分类模型训练方法。
下面结合图5-图7介绍本发明提供的黄斑图像区域分割方法。
本发明的一个实施例提供了一种黄斑图像区域分割方法,该方法可以由计算机和服务器等电子设备执行。该方法包括如下步骤:
S1B,从眼底图像中截取黄斑区域图像,黄斑区域图像中包括黄斑影像和背景。具体可参照上述实施例中的步骤S1A,此处不再赘述。
S2B,利用机器学习模型对黄斑区域图像和眼底图像进行分类,并获取机器学习模型在分类过程中提取的特征信息。关于机器学习模型的分类及其结构可参照上述实施例中的步骤S2A,此处不再赘述。
需要说明的是,应用于本实施例时,可以不必获得机器学习模型的分类结果和置信度信息。此步骤是将机器学习模型所关注的内容提取出来。模型是通过提取眼底图像和黄斑区域图像中的特征信息,从而实现分类的,这些特征信息属于分类过程的中间结果而非最终结果。在本实施例中只获得这些中间结果即可。
S3B,根据特征信息获得热力图,这是一种特征信息可视化处理。以图5为例,获取机器学习模型分类过程中所提取的特征信息,可生成如图5所示的热力图(也称热图,HeatMap),在对最后结果影响比较大的位置生成的热度相对于其它位置更高。
S4B,利用热力图从眼底图像中分割出感兴趣区域,感兴趣区域包括多种。
在一个实施例中,如图6所示,至少可以在眼底图像中将热力区域611分割出来,具体可将图6所示热力图61与原图(眼底图像或者黄斑区域图像)进行融合处理,然后在融合的图像中根据热力区的像素值确定热力区域611的边界。此区域是影响分类结果的区域,是热力图所关注的区域,决定眼底图像类别的特征应当集中在这一区域中,将此区域作为感兴趣区域呈现给用户,提示用户重点观察此区域。
在另一个实施例中,需要获得机器学习模型对黄斑区域图像和眼底图像进行分类时输出的类别信息。首先判断该类别信息是否为设定类别信息,在本实施例中,设定类别为黄斑区玻璃膜疣,如果根据模型输出的类别信息确定眼底图像属于黄斑区玻璃膜疣,则如图7所示,将热力图71与原图(眼底图像或者黄斑区域图像)进行融合处理,所得到的融合图像能够使异常区域的特征更加突出。融合算法有多种,例如可以采用加权相加的方式融合两幅图像。
然后在融合图像中确定连通区域。具体算法有多种,在本实施例中采用OTSU算法(大津法或最大类间方差法),可得到如图7所示的结果,其中包括多个被标记出的连通区域711。与此同时,也可以在眼底图像中标记出热力区域710。
根据本发明实施例提供的黄斑图像区域分割方法,首先使用机器学习模型对眼底图像和黄斑区域图像进行分类,可获得机器学习模型在分类过程中提取的特征信息;然后根据这些特征信息得到热力图,通过图像展示出机器学习模型所关注的内容,最后可以利用此热力图在眼底图像中将感兴趣区域分割出来,此区域中必然包含影响分类结果的内容,对于存在异常的眼底图像,可以确保此区域中包含与黄斑相关的异常内容,本发明提供的分割方案具有较高的准确性。
在一个优选的实施例中,在融合图像中确定连通区域的过程中,首先根据设定阈值(例如OTSU算法)在融合图像识别全部连通区域,然后根据识别出的各个连通区域的像素点组成数量进行筛选。在本实施例中设定像素点数量阈值为50,最终保留像素点数量大于50的连通区域。经过筛选可以过滤掉一些面积较小的连通区域,这些区域可能是由于镜头污点等因素引起的图像噪声,筛选处理可以弥补根据阈值法分割连通区域的误差,在保证一定召回率的前提下减少误判,进一步提高分割准确性。
对于一些黄斑疾病,根据上述实施例可能会得到较多分散的连通区域。当需要对疾病进行持续观测时,需要隔一段时间再次或多次采集眼底图像并进行上述分割处理。对连通区域进行标记虽然比较直观,但是用户很难比较前后多次的分割结果并观测到微小的变化。在一个优选的实施例中,在获得连通区域后,计算标记的全部连通区域的面积总和,得到一个量化的异常区域数据,使用户可以更直观地比较多个分割结果间的差异,便于后续的病情进展跟踪。
面积总和可起到量化作用,但仍缺乏参考依据,需要医生具备一定的经验才能直接根据面积做出判断,为了进一步提高便利性,还可以计算面积总和与眼底图像中的视盘影像面积的比例,也就是异常区域的面积总和与视盘面积之比,这一数值属于一种客观参照数据,可作为协助医生做出疾病诊断的参考值。
本实施例提供一种具体的生成热力图的方式。在本实施例中,特征信息是机器学习模型中用于提取黄斑区域图像的特征的神经网络输出的特征信息。以图3所示机器学习模型为例,特征信息来自第一神经网络31,它包括特征图(feature map)和相应的权重。
在此可以使用类激活映射(Class Activation Mapping,CAM)算法,模型最后的分类结果其实是池化后的值与相应权重的乘积,池化后的值是由第一全局平均池化层33生成的,所以最后分类的结果可以看为是特征图(feature map)与权重的乘积,权重代表每个特征图对于最后结果的贡献程度。将特征图乘以权重直接相加即可得到热力图,对于最后结果影响大的地方应该有相对较大的值,影响小的地方有相对较小的值。
对于输入的黄斑区域图像,第一神经网络31的最后一个卷积层会提取出许多feature map,各个fearure map分别表示部分特征。feature map保留着图片的空间信息,因此通过feature map的叠加即可得到热力图。
本发明的一个实施例还提供一种黄斑图像区域分割设备,包括:至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器执行上述黄斑图像区域分割方法。
本发明的一个实施例还提供一种黄斑图像区域分割装置,包括:
截取单元,用于从眼底图像中截取黄斑区域图像,所述黄斑区域图像中包括黄斑影像和背景。具体可参照上述实施例中的步骤S1B。
提取单元,用于利用机器学习模型对所述黄斑区域图像和所述眼底图像进行分类,并获取所述机器学习模型在分类过程中提取的特征信息。具体可参照上述实施例中的步骤S2B。
热力图生成单元,用于根据所述特征信息获得热力图。具体可参照上述实施例中的步骤S3B。
分割单元,用于利用所述热力图从所述眼底图像中分割出感兴趣区域。具体可参照上述实施例中的步骤S4B。
本领域内的技术人员应明白,本发明的实施例可提供为方法、***、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然,上述实施例仅仅是为清楚地说明所作的举例,而并非对实施方式的限定。对于所属领域的普通技术人员来说,在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (10)

1.一种黄斑图像分类方法,其特征在于,包括:
从眼底图像中截取黄斑区域图像,所述黄斑区域图像中包括黄斑影像和背景;
利用机器学习模型对所述黄斑区域图像和所述眼底图像进行分类,得到至少一个类别信息。
2.根据权利要求1所述的方法,其特征在于,所述从眼底图像中截取黄斑区域图像,包括:
在所述眼底图像中识别第一黄斑区域;
根据所述眼底图像中的视盘影像的尺寸对所述第一黄斑区域进行扩充得到第二黄斑区域;
在所述眼底图像中截取所述第二黄斑区域作为黄斑区域图像。
3.根据权利要求2所述的方法,其特征在于,所述根据所述眼底图像中的视盘影像的尺寸对所述第一黄斑区域进行扩充得到第二黄斑区域,包括:
确定所述视盘影像的半径;
基于所述第一黄斑区域的边缘向***各方位扩展所述半径得到所述第二黄斑区域。
4.根据权利要求1所述的方法,其特征在于,所述机器学习模型输出至少一个类别信息,以及对应所述类别信息的置信度。
5.一种黄斑图像分类模型训练方法,其特征在于,包括:
获取多组训练数据,所述训练数据包括眼底图像、黄斑区域图像和标签信息,其中所述黄斑区域图像截取自所述眼底图像,所述黄斑区域图像中包括黄斑影像和背景;
利用所述多组训练数据对机器学习模型进行训练。
6.根据权利要求5所述的方法,其特征在于,所述获取多组训练数据,包括:
获取眼底图像,并在所述眼底图像中识别第一黄斑区域;
根据所述眼底图像中的视盘影像的尺寸对所述第一黄斑区域进行扩充得到第二黄斑区域;
在所述眼底图像中截取所述第二黄斑区域作为黄斑区域图像。
7.根据权利要求6所述的方法,其特征在于,所述根据所述眼底图像中的视盘影像的尺寸对所述第一黄斑区域进行扩充得到第二黄斑区域,包括:
确定所述视盘影像的半径;
基于所述第一黄斑区域的边缘向***各方位扩展所述半径得到所述第二黄斑区域。
8.一种黄斑图像分类设备,其特征在于,包括:至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器执行如权利要求1-4中任意一项所述的黄斑图像分类方法。
9.一种黄斑图像分类模型训练设备,其特征在于,包括:至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器执行如权利要求5-7中任意一项所述的黄斑图像分类模型训练方法。
10.一种黄斑图像分类装置,其特征在于,包括:
截取单元,用于从眼底图像中截取黄斑区域图像,所述黄斑区域图像中包括黄斑影像和背景;
机器学习模型,用于对所述黄斑区域图像和所述眼底图像进行分类,输出至少一个类别信息。
CN201910262626.2A 2019-04-02 2019-04-02 黄斑图像分类方法和设备 Active CN109961848B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910262626.2A CN109961848B (zh) 2019-04-02 2019-04-02 黄斑图像分类方法和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910262626.2A CN109961848B (zh) 2019-04-02 2019-04-02 黄斑图像分类方法和设备

Publications (2)

Publication Number Publication Date
CN109961848A true CN109961848A (zh) 2019-07-02
CN109961848B CN109961848B (zh) 2022-03-22

Family

ID=67025571

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910262626.2A Active CN109961848B (zh) 2019-04-02 2019-04-02 黄斑图像分类方法和设备

Country Status (1)

Country Link
CN (1) CN109961848B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110415245A (zh) * 2019-08-05 2019-11-05 上海鹰瞳医疗科技有限公司 眼部数据确定方法、模型训练方法及设备
CN110570421A (zh) * 2019-09-18 2019-12-13 上海鹰瞳医疗科技有限公司 多任务的眼底图像分类方法和设备
CN110598652A (zh) * 2019-09-18 2019-12-20 上海鹰瞳医疗科技有限公司 眼底数据预测方法和设备
CN110599480A (zh) * 2019-09-18 2019-12-20 上海鹰瞳医疗科技有限公司 多源输入的眼底图像分类方法和设备
CN110720888A (zh) * 2019-10-12 2020-01-24 杭州电子科技大学 基于深度学习的眼底图视网膜黄斑水肿病变预测的方法
CN112862782A (zh) * 2021-02-05 2021-05-28 佛山科学技术学院 一种基于R-Unet的人眼玻璃体混浊程度分级方法
TWI792511B (zh) * 2021-08-20 2023-02-11 長庚大學 影像辨識方法及系統

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9129148B1 (en) * 2012-11-09 2015-09-08 Orbeus Inc. System, method and apparatus for scene recognition
CN108288073A (zh) * 2018-01-30 2018-07-17 北京小米移动软件有限公司 图片真伪识别方法及装置、计算机可读存储介质
CN108577803A (zh) * 2018-04-26 2018-09-28 上海鹰瞳医疗科技有限公司 基于机器学习的眼底图像检测方法、装置及***

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9129148B1 (en) * 2012-11-09 2015-09-08 Orbeus Inc. System, method and apparatus for scene recognition
CN108288073A (zh) * 2018-01-30 2018-07-17 北京小米移动软件有限公司 图片真伪识别方法及装置、计算机可读存储介质
CN108577803A (zh) * 2018-04-26 2018-09-28 上海鹰瞳医疗科技有限公司 基于机器学习的眼底图像检测方法、装置及***

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
周唯等: "视网膜图像中的黄斑中心检测", 《中国图象图形学报》 *
杨露菁: "智能图像识别", 《智能图像处理及应用》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110415245A (zh) * 2019-08-05 2019-11-05 上海鹰瞳医疗科技有限公司 眼部数据确定方法、模型训练方法及设备
CN110570421A (zh) * 2019-09-18 2019-12-13 上海鹰瞳医疗科技有限公司 多任务的眼底图像分类方法和设备
CN110598652A (zh) * 2019-09-18 2019-12-20 上海鹰瞳医疗科技有限公司 眼底数据预测方法和设备
CN110599480A (zh) * 2019-09-18 2019-12-20 上海鹰瞳医疗科技有限公司 多源输入的眼底图像分类方法和设备
CN110570421B (zh) * 2019-09-18 2022-03-22 北京鹰瞳科技发展股份有限公司 多任务的眼底图像分类方法和设备
CN110720888A (zh) * 2019-10-12 2020-01-24 杭州电子科技大学 基于深度学习的眼底图视网膜黄斑水肿病变预测的方法
CN112862782A (zh) * 2021-02-05 2021-05-28 佛山科学技术学院 一种基于R-Unet的人眼玻璃体混浊程度分级方法
TWI792511B (zh) * 2021-08-20 2023-02-11 長庚大學 影像辨識方法及系統

Also Published As

Publication number Publication date
CN109961848B (zh) 2022-03-22

Similar Documents

Publication Publication Date Title
CN110428421A (zh) 黄斑图像区域分割方法和设备
CN109961848A (zh) 黄斑图像分类方法和设备
CN110570421B (zh) 多任务的眼底图像分类方法和设备
CN105513077B (zh) 一种用于糖尿病性视网膜病变筛查的***
WO2020125319A1 (zh) 青光眼图像识别方法、设备和筛查***
CN108717696A (zh) 黄斑影像检测方法和设备
CN110555845A (zh) 眼底oct图像识别方法及设备
CN107330449A (zh) 一种糖尿病性视网膜病变体征检测方法及装置
CN110021009A (zh) 一种评估眼底图像质量的方法、装置及存储介质
CN110327013A (zh) 眼底图像检测方法、装置及设备和存储介质
CN107209933A (zh) 用于评估视网膜图像以及从视网膜图像获得信息的方法和***
Kauppi Eye fundus image analysis for automatic detection of diabetic retinopathy
CN102567734B (zh) 基于比值的视网膜细小血管分割方法
JP2019192215A (ja) 深層学習を用いた網膜層の3d定量解析
CN110516685A (zh) 基于卷积神经网络的晶状体浑浊程度检测方法
CN110599480A (zh) 多源输入的眼底图像分类方法和设备
CN109671049B (zh) 一种医学图像处理方法、***、设备、存储介质
CN109344763A (zh) 一种基于卷积神经网络的斜眼检测方法
Suero et al. Locating the Optic Disc in Retinal Images Using Morphological Techniques.
CN109658385A (zh) 眼底图像判断方法及设备
CN113658165A (zh) 杯盘比确定方法、装置、设备及存储介质
CN113066066A (zh) 视网膜异常分析方法及设备
CN114862760A (zh) 一种早产儿视网膜病变检测方法及装置
CN112957005A (zh) 眼底造影图像无灌注区自动识别及激光光凝区域推荐算法
CN106446805A (zh) 一种眼底照中视杯的分割方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20210722

Address after: 100083 room 21, 4th floor, building 2, national defense science and Technology Park, beipolytechnic, Haidian District, Beijing

Applicant after: Beijing Yingtong Technology Development Co.,Ltd.

Applicant after: SHANGHAI YINGTONG MEDICAL TECHNOLOGY Co.,Ltd.

Address before: Room 01, 8 / F, building B3, No. 180, Yizhou Road, Xuhui District, Shanghai 200030

Applicant before: SHANGHAI YINGTONG MEDICAL TECHNOLOGY Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant