CN111292296B - 一种基于眼部识别模型的训练集获取方法及设备 - Google Patents

一种基于眼部识别模型的训练集获取方法及设备 Download PDF

Info

Publication number
CN111292296B
CN111292296B CN202010066887.XA CN202010066887A CN111292296B CN 111292296 B CN111292296 B CN 111292296B CN 202010066887 A CN202010066887 A CN 202010066887A CN 111292296 B CN111292296 B CN 111292296B
Authority
CN
China
Prior art keywords
image
pixel point
area
communication area
gray
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010066887.XA
Other languages
English (en)
Other versions
CN111292296A (zh
Inventor
李龙飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN202010066887.XA priority Critical patent/CN111292296B/zh
Publication of CN111292296A publication Critical patent/CN111292296A/zh
Application granted granted Critical
Publication of CN111292296B publication Critical patent/CN111292296B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/187Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30041Eye; Retina; Ophthalmic

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本说明书一个或多个实施例提供一种基于眼部识别模型的训练集获取方法及设备,方法包括:对眼底图像进行灰度化处理,得到灰度图像;对灰度图像进行二值化处理,得到二值化图像;在二值化图像中识别视盘区域,得到识别结果;基于识别结果,在眼底图像中截取视盘区域,作为眼部识别模型的训练集中的样本图像;也就是说,本方案中,并不是基于眼底图像训练神经网络,而是仅基于眼底图像中的视盘区域训练神经网络,视盘区域占眼底图像的一小部分,这样,可以减少神经网络的训练时间及占用内存。

Description

一种基于眼部识别模型的训练集获取方法及设备
技术领域
本说明书一个或多个实施例涉及图像处理技术领域,尤其涉及一种基于眼部识别模型的训练集获取方法及设备。
背景技术
眼底图像可以表达眼球内后部的组织,包括眼球的内膜(视网膜)、视盘、黄斑和视网膜中央动静脉等等。医生可以通过眼底图像,诊断青光眼、糖尿病性视网膜病变、动脉硬化等各种疾病。
目前,一些方案中,获取较多张眼底图像作为训练数据,利用这些训练数据训练神经网络,得到眼部识别模型;医生可以利用该眼部识别模型进行辅助诊断。
但是,眼底图像中携带的信息较多,利用眼底图像训练神经网络,训练时间长,并且训练过程占用较多内存。
发明内容
有鉴于此,本说明书一个或多个实施例的目的在于提出一种基于眼部识别模型的训练集获取方法及设备,以减少训练时间及占用内存。
基于上述目的,本说明书一个或多个实施例提供了一种基于眼部识别模型的训练集获取方法,包括:
获取眼底图像;
对所述眼底图像进行灰度化处理,得到灰度图像;
对所述灰度图像进行二值化处理,得到二值化图像;
在所述二值化图像中识别视盘区域,得到识别结果;
基于所述识别结果,在所述眼底图像中截取视盘区域,作为眼部识别模型的训练集中的样本图像。
可选的,灰度图像中包括每个像素点的灰度值;所述对所述眼底图像进行灰度化处理,得到灰度图像,包括:
针对所述眼底图像中的每个像素点,基于该像素点的RGB值,计算该像素点在YUV空间中的Y值分量,作为该像素点的灰度值。
可选的,所述对所述灰度图像进行二值化处理,得到二值化图像,包括:
计算所述灰度图像中各像素点灰度值的平均值;
基于所述平均值,确定二值化阈值;
基于所述二值化阈值,对所述灰度图像进行二值化处理,得到二值化图像。
可选的,所述在所述二值化图像中识别视盘区域,得到识别结果,包括:
对所述二值化图像进行形态学运算,得到运算后的图像;
在所述运算后的图像中,查找像素值不为0的连通区域,基于查找结果确定视盘区域。
可选的,所述对所述二值化图像进行形态学运算,得到运算后的图像,包括:
对所述二值化图像进行先膨胀后腐蚀处理,得到运算后的图像。
可选的,所述在基于查找结果确定视盘区域,包括:
针对查找到的每个连通区域,统计该连通区域中的像素点数量;
判断所述数量是否满足预设数量条件;
如果满足,将该连通区域确定为视盘区域。
可选的,所述基于所述识别结果,在所述眼底图像中截取视盘区域,作为眼部识别模型的训练集中的样本图像,包括:
在所述运算后的图像中,确定由视盘区域的上边界、下边界、左边界和右边界组成的矩形区域;
将所述矩形区域映射至所述眼底图像中,得到映射区域,截取所述映射区域,作为眼部识别模型的训练集中的样本图像。
可选的,所述在所述运算后的图像中,确定由视盘区域的上边界、下边界、左边界和右边界组成的矩形区域,包括:
在所述运算后的图像中,查找所述连通区域的最左侧的像素点;判断所述最左侧的像素点是否为所述运算后的图像的边缘点;如果是,将所述最左侧的像素点从所述连通区域中剔除,并返回所述查找所述连通区域的最左侧的像素点的步骤;如果否,基于所述最左侧的像素点确定视盘区域的左边界;
查找所述连通区域的最右侧的像素点;判断所述最右侧的像素点是否为所述运算后的图像的边缘点;如果是,将所述最右侧的像素点从所述连通区域中剔除,并返回所述查找所述连通区域的最右侧的像素点的步骤;如果否,基于所述最右侧的像素点确定视盘区域的右边界;
查找所述连通区域的最上侧的像素点;判断所述最上侧的像素点是否为所述运算后的图像的边缘点;如果是,将所述最上侧的像素点从所述连通区域中剔除,并返回所述查找所述连通区域的最上侧的像素点的步骤;如果否,基于所述最上侧的像素点确定视盘区域的上边界;
查找所述连通区域的最下侧的像素点;判断所述最下侧的像素点是否为所述运算后的图像的边缘点;如果是,将所述最下侧的像素点从所述连通区域中剔除,并返回所述查找所述连通区域的最下侧的像素点的步骤;如果否,基于所述最下侧的像素点确定视盘区域的下边界;
确定由所述上边界、所述下边界、所述左边界和所述右边界组成的矩形区域。
基于上述目的,本说明书一个或多个实施例还提供了一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现上述任意一种基于眼部识别模型的训练集获取方法。
基于上述目的,本说明书一个或多个实施例还提供一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质存储计算机指令,所述计算机指令用于使所述计算机执行上述任意一种基于眼部识别模型的训练集获取方法。
应用本发明所示实施例,识别眼底图像中的视盘区域,截取该视盘区域作为眼部识别模型的训练集中的样本图像;也就是说,本方案中,并不是基于眼底图像训练神经网络,而是仅基于眼底图像中的视盘区域训练神经网络,视盘区域占眼底图像的一小部分,这样,可以减少神经网络的训练时间及占用内存。
附图说明
为了更清楚地说明本说明书一个或多个实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本说明书一个或多个实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的基于眼部识别模型的训练集获取方法的第一种流程示意图;
图2为本发明实施例提供的一种眼底图像(灰度图像)示意图;
图3为本发明实施例提供的一种二值化图像示意图;
图4为本发明实施例提供的一种对二值化图像进行开运算后得到的运算后的图像示意图;
图5为本发明实施例提供的一种对二值化图像进行闭运算后得到的运算后的图像示意图;
图6为本发明实施例提供的一种连通区域和矩形区域的示意图;
图7为本发明实施例提供的一种在眼底图像中截取视盘区域的示意图;
图8为本发明实施例提供的基于眼部识别模型的训练集获取方法的第二种流程示意图;
图9为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本公开的目的、技术方案和优点更加清楚明白,以下结合具体实施例,并参照附图,对本公开进一步详细说明。
需要说明的是,除非另外定义,本说明书一个或多个实施例使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本说明书一个或多个实施例中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性,而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同,而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接,而是可以包括电性的连接,不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系,当被描述对象的绝对位置改变后,则该相对位置关系也可能相应地改变。
为了达到上述目的,本发明实施例提供了一种基于眼部识别模型的训练集获取方法及设备,该方法可以应用于各种电子设备,具体不做限定。下面首先对该基于眼部识别模型的训练集获取方法进行详细介绍。
图1为本发明实施例提供的基于眼部识别模型的训练集获取方法的第一种流程示意图,包括:
S101:获取眼底图像。
举例来说,眼底图像可以如图2所示,包括眼球内后部的组织,包括眼球的内膜(视网膜)、视盘、黄斑和视网膜中央动静脉等等。眼底图像一般为彩色图像,图2未表达出彩色效果,图2也可以认为是眼底图像的灰度图像。
S102:对眼底图像进行灰度化处理,得到灰度图像。
举例来说,可以采用分量法、或者最大值法、或者平均值法等各种灰度化法,对眼底图像进行处理,得到灰度图像。灰度图像中包括每个像素点的灰度值,灰度值为0~255之间的整数,数值越大,显示颜色越趋近于白色,相反,数值越小,颜色越趋近于黑色。
一种实施方式中,S102可以包括:针对所述眼底图像中的每个像素点,基于该像素点的RGB值,计算该像素点在YUV空间中的Y值分量,作为该像素点的灰度值。由于灰度图像中包括每个像素点的灰度值,得到每个像素点的灰度值,也就得到了灰度图像。
YUV空间中,Y表示明亮度(Luminance或Luma),也就是灰阶值,“U”和“V”表示的则是色度(Chrominance或Chroma),用于描述影像色彩及饱和度,用于指定像素的颜色。本实施方式中,将YUV空间中的Y值分量作为像素点的灰度值。
举例来说,可以利用如下算式,将像素点的RGB值转化为Y值:Y=0.3R+0.59G+0.11B。
S103:对灰度图像进行二值化处理,得到二值化图像。
对图像进行二值化(Image Binarization)处理,可以理解为:将图像中像素点的灰度值设置为0或255,也就是使图像呈现出明显的黑白效果。二值化处理减少了图像中数据量,可以凸显出目标的轮廓。
二值化处理过程可以包括:针对灰度图像中的每个像素点,如果该像素点的灰度值大于二值化阈值,则将该像素点的灰度值设定为255,如果该像素点的灰度值不大于二值化阈值,则将该像素点的灰度值设定为0。
一种实施方式中,该二值化阈值可以为一个固定值。
另一种实施方式中,可以设定动态的二值化阈值,该动态的二值化阈值适用于不同的灰度图像。比如,可以计算所述灰度图像中各像素点灰度值的平均值;基于所述平均值,确定二值化阈值;基于所述二值化阈值,对所述灰度图像进行二值化处理,得到二值化图像。
举例来说,可以按照如下算式,计算二值化阈值:
numthresh=fmean+C;
其中,numthresh表示二值化阈值,fmean表示灰度图像中各像素点灰度值的平均值,H表示灰度图像的高度,W表示灰度图像的宽度,f(i,j)表示灰度图像中第i行第j列像素点的灰度值;C表示预设值,0<C<255-fmean。比如,C可以为60,或者可以为30,等等,具体数值不做限定。
由于拍摄方式、拍摄设备、环境因素等影响,可能造成图像亮暗不同,本实施方式中,设定适用于不同灰度图像的动态二值化阈值,相比于采用一个固定阈值,二值化效果更佳。
S104:在二值化图像中识别视盘区域,得到识别结果。
二值化图像可以如图3所示,图3中的白色区域即为视盘区域。一种实施方式中,可以识别二值化图像中像素值不为0的的连通区域,作为视盘区域。
或者,另一种实施方式中,可以对所述二值化图像进行形态学运算,得到运算后的图像;在所述运算后的图像中,查找像素值不为0的连通区域,基于查找结果确定视盘区域。
举例来说,形态学运算可以包括腐蚀和膨胀。先腐蚀后膨胀的过程称为开运算;开运算一般具有消除细小物体,在纤细处分离物体和平滑较大物体边界的作用。先膨胀后腐蚀的过程称为闭运算。闭运算一般具有填充物体内细小空洞,连接邻近物体和平滑边界的作用。对二值化图像进行开运算后得到的运算后的图像可以如图4所示,对二值化图像进行闭运算后得到的运算后的图像可以如图5所示。
如图4和图5所示,视盘区域为白色,灰度值为255,非视盘区域为黑色,灰度值为0。本实施方式中,查找像素值不为0的连通区域,也就是在查找视盘区域。
一种实施方式中,可以采用闭运算对二值化图像进行形态学运算,也就是对所述二值化图像进行先膨胀后腐蚀处理,得到运算后的图像。
二值化图像中的视盘区域可能被分割为很多细小的区域,通过闭运算可以把这些细小的区域连接起来,形成较完整的视盘区域。这样,后续截取视盘区域作为样本图像训练眼部识别模型时,样本图像中包括较完整的视盘区域,可以提高训练效果。
一种实施方式中,基于查找结果确定视盘区域,可以包括:针对查找到的每个连通区域,统计该连通区域中的像素点数量;判断所述数量是否满足预设数量条件;如果满足,将该连通区域确定为视盘区域。
举例来说,预设数量条件可以为:大于预设阈值;或者也可以为:大于图像像素点总数量的预设百分比,比如百分之一,或者百分之二,等等。这里的预设数量条件可以理解为:判断连通区域中的像素点数量是否较多。
一些情况下,采集眼底图像时,存在边缘漏光的现象,这会导致眼底图像中存在一些小亮点;对眼底图像进行灰度化、二值化处理(形态学运算)后,这些小亮点可能变成像素值为0的连通区域。这样,小亮点对应的区域会被误识别为视盘区域。而本实施方式中,如果查找到的像素值为0的连通区域中像素点数量较少,则可以认为该连通区域为边缘漏光导致的小亮点,而不是视盘区域,减少了误识别的情况,提高了识别准确度。
S105:基于该识别结果,在眼底图像中截取视盘区域,作为眼部识别模型的训练集中的样本图像。
一种情况下,可以将S104中识别出的视盘区域映射至眼底图像中,然后在眼底图像中直接截取出视盘区域。举例来说,一种情况下,眼底图像、灰度图像、二值化图像、以及上述运算后的图像可以使用相同的坐标系,或者说,这些图像中各像素点的坐标值可以相同。这种情况下,可以将二值化图像或者运算后的图像中的视盘区域的坐标直接映射至眼底图像中,基于映射后的坐标,在眼底图像中截取出视盘区域。
或者,另一种情况下,也可以对S104中识别出的视盘区域进行外扩,这样,有助于截取较完整的视盘区域。
比如,一种实施方式中,S105可以包括:在所述运算后的图像中,确定由视盘区域的上边界、下边界、左边界和右边界组成的矩形区域;将所述矩形区域映射至所述眼底图像中,得到映射区域,截取所述映射区域,作为眼部识别模型的训练集中的样本图像。
本实施方式中,将视盘区域外扩为矩形区域。或者其他实施方式中,也可以将视盘区域外扩为其他形状的区域,比如圆形区域、椭圆形区域,等等,或者,也可以保留视盘区域的形状,等比例外扩,具体不做限定。
以外扩为矩形区域来说,可以在所述运算后的图像中,查找所述连通区域的最左侧的像素点;判断所述最左侧的像素点是否为所述运算后的图像的边缘点;如果是,将所述最左侧的像素点从所述连通区域中剔除,并返回所述查找所述连通区域的最左侧的像素点的步骤;如果否,基于所述最左侧的像素点确定视盘区域的左边界;
查找所述连通区域的最右侧的像素点;判断所述最右侧的像素点是否为所述运算后的图像的边缘点;如果是,将所述最右侧的像素点从所述连通区域中剔除,并返回所述查找所述连通区域的最右侧的像素点的步骤;如果否,基于所述最右侧的像素点确定视盘区域的右边界;
查找所述连通区域的最上侧的像素点;判断所述最上侧的像素点是否为所述运算后的图像的边缘点;如果是,将所述最上侧的像素点从所述连通区域中剔除,并返回所述查找所述连通区域的最上侧的像素点的步骤;如果否,基于所述最上侧的像素点确定视盘区域的上边界;
查找所述连通区域的最下侧的像素点;判断所述最下侧的像素点是否为所述运算后的图像的边缘点;如果是,将所述最下侧的像素点从所述连通区域中剔除,并返回所述查找所述连通区域的最下侧的像素点的步骤;如果否,基于所述最下侧的像素点确定视盘区域的下边界;
确定由所述上边界、所述下边界、所述左边界和所述右边界组成的矩形区域。
举例来说,可以由连通区域的中心点开始,分别从上、下、左、右四个方向,查找第一个像素值为0的像素点,如果该第一个像素值为0的像素点不为图像的边缘点,则基于该第一个像素值为0的像素点确定矩形区域的边界,如果该第一个像素值为0的像素点为图像的边缘点,则沿原方向继续查找第二个像素值为0的像素点,基于该第二个像素值为0的像素点确定矩形区域的边界。
一些情况下,采集眼底图像时,存在边缘漏光的现象,这会导致连通区域到达图像边缘。本实施方式中,如果连通区域的边界点(上、下、左、右四侧边界点)到达图像边缘,则重新确定边界点,这样确定出的视盘区域未到达图像边缘,减少了边缘漏光的现象造成的影响,提高了识别准确度。
参考图6所示,图6中的一个小方格表示一个像素点,假设确定出连通区域的最左侧的像素点的坐标为(xleft,yleft),最右侧的像素点的坐标为(xright,yright),最上侧的像素点的坐标为(xup,yup),最下侧的像素点的坐标为(xdown,ydown),则可以确定矩形区域的四个顶点坐标分别为(xleft,yup)、(xleft,ydown)、(xright,yup)、(xright,ydown)。
一种实施方式中,可以直接将这四个顶点坐标映射到眼底图像中,得到映射区域。如上所述,一种情况下,眼底图像、灰度图像、二值化图像、以及上述运算后的图像可以使用相同的坐标系,这种情况下,可以直接在眼底图像中标注这四个顶点坐标,这四个顶点坐标围成映射区域。
或者,另一种实施方式中,将这四个顶点坐标映射到眼底图像中时,也可以进行外扩。比如,可以将这四个顶点坐标向外延伸原矩形区域的十分之一。这样,眼底图像中视盘区域的四个顶点坐标分别为:
左上
左下
右上
右下
这四个顶点坐标向外延伸的具体比例不做限定,比如,可以为八分之一、十二分之一,等等,具体不做限定。
将这四个顶点坐标向外延伸后,在眼底图像中截取视盘区域可以如图7所示,图7中的矩形框完整的包括了视盘区域。可以将该矩形框截取为眼部识别模型的训练集中的样本图像。眼底图像一般为彩色图像,这样,截取出的视盘区域也为彩色图像,图7未表达出彩色效果。
应用本发明所示实施例,第一方面,实现了在眼底图像中快速定位视盘区域,视盘区域有助于诊断多种疾病。第二方面,并不是基于眼底图像训练神经网络,而是仅基于眼底图像中的视盘区域训练神经网络,视盘区域占眼底图像的一小部分,这样,可以减少神经网络的训练时间及占用内存。第三方面,仅基于视盘区域便可以诊断多种疾病,而眼底图像中携带较多信息,会给诊断造成干扰,本方案中,仅基于眼底图像中的视盘区域训练神经网络,减少了眼底图像中其他信息带来的干扰,得到的眼部识别模型的识别准确度较高。
图8为本发明实施例提供的基于眼部识别模型的训练集获取方法的第二种流程示意图,包括:
S801:获取眼底图像。
举例来说,眼底图像可以如图2所示,包括眼球内后部的组织,包括眼球的内膜(视网膜)、视盘、黄斑和视网膜中央动静脉等等。眼底图像一般为彩色图像,图2未表达出彩色效果,图2也可以认为是眼底图像的灰度图像。
S802:对眼底图像进行灰度化处理,得到灰度图像。
举例来说,可以采用分量法、或者最大值法、或者平均值法等各种灰度化法,对眼底图像进行处理,得到灰度图像。灰度图像中包括每个像素点的灰度值,灰度值为0~255之间的整数,数值越大,显示颜色越趋近于白色,相反,数值越小,颜色越趋近于黑色。
一种实施方式中,S802可以包括:针对所述眼底图像中的每个像素点,基于该像素点的RGB值,计算该像素点在YUV空间中的Y值分量,作为该像素点的灰度值。由于灰度图像中包括每个像素点的灰度值,得到每个像素点的灰度值,也就得到了灰度图像。
YUV空间中,Y表示明亮度(Luminance或Luma),也就是灰阶值,“U”和“V”表示的则是色度(Chrominance或Chroma),用于描述影像色彩及饱和度,用于指定像素的颜色。本实施方式中,将YUV空间中的Y值分量作为像素点的灰度值。
举例来说,可以利用如下算式,将像素点的RGB值转化为Y值:Y=0.3R+0.59G+0.11B。
S803:对灰度图像进行二值化处理,得到二值化图像。
对图像进行二值化(Image Binarization)处理,可以理解为:将图像中像素点的灰度值设置为0或255,也就是使图像呈现出明显的黑白效果。二值化处理减少了图像中数据量,可以凸显出目标的轮廓。
二值化处理过程可以包括:针对灰度图像中的每个像素点,如果该像素点的灰度值大于二值化阈值,则将该像素点的灰度值设定为255,如果该像素点的灰度值不大于二值化阈值,则将该像素点的灰度值设定为0。
一种实施方式中,该二值化阈值可以为一个固定值。
另一种实施方式中,可以设定动态的二值化阈值,该动态的二值化阈值适用于不同的灰度图像。比如,可以计算所述灰度图像中各像素点灰度值的平均值;基于所述平均值,确定二值化阈值;基于所述二值化阈值,对所述灰度图像进行二值化处理,得到二值化图像。
举例来说,可以按照如下算式,计算二值化阈值:
numthresh=fmean+C;
其中,numthresh表示二值化阈值,fmean表示灰度图像中各像素点灰度值的平均值,H表示灰度图像的高度,W表示灰度图像的宽度,f(i,j)表示灰度图像中第i行第j列像素点的灰度值;C表示预设值,0<C<255-fmean。比如,C可以为60,或者可以为30,等等,具体数值不做限定。
S804:对二值化图像进行先膨胀后腐蚀处理,得到运算后的图像。
举例来说,形态学运算可以包括腐蚀和膨胀,先膨胀后腐蚀的过程称为闭运算。闭运算一般具有填充物体内细小空洞,连接邻近物体和平滑边界的作用。二值化图像中的视盘区域可能被分割为很多细小的区域,通过闭运算可以把这些细小的区域连接起来,形成较完整的视盘区域。这样,后续截取视盘区域作为样本图像训练眼部识别模型时,样本图像中包括较完整的视盘区域,可以提高训练效果。
S805:在运算后的图像中,查找像素值不为0的连通区域。
对二值化图像进行闭运算后得到的运算后的图像可以如图5所示,其中,视盘区域为白色,灰度值为255,非视盘区域为黑色,灰度值为0。因此,查找像素值不为0的连通区域,也就是在查找视盘区域。
S806:针对查找到的每个连通区域,统计该连通区域中的像素点数量。
S807:判断该数量是否满足预设数量条件;如果满足,执行S808。
S808:将该连通区域确定为视盘区域。
举例来说,预设数量条件可以为:大于预设阈值;或者也可以为:大于图像像素点总数量的预设百分比,比如百分之一,或者百分之二,等等。这里的预设数量条件可以理解为:判断连通区域中的像素点数量是否较多。
一些情况下,采集眼底图像时,存在边缘漏光的现象,这会导致眼底图像中存在一些小亮点;对眼底图像进行灰度化、二值化处理(形态学运算)后,这些小亮点可能变成像素值为0的连通区域。这样,小亮点对应的区域会被误识别为视盘区域。而本实施方式中,如果查找到的像素值为0的连通区域中像素点数量较少,则可以认为该连通区域为边缘漏光导致的小亮点,而不是视盘区域,减少了误识别的情况,提高了识别准确度。
S809:在运算后的图像中,确定由视盘区域的上边界、下边界、左边界和右边界组成的矩形区域。
举例来说,S809可以包括:在运算后的图像中,查找该连通区域的最左侧的像素点;判断所述最左侧的像素点是否为所述运算后的图像的边缘点;如果是,将所述最左侧的像素点从所述连通区域中剔除,并返回所述查找所述连通区域的最左侧的像素点的步骤;如果否,基于所述最左侧的像素点确定视盘区域的左边界;
查找所述连通区域的最右侧的像素点;判断所述最右侧的像素点是否为所述运算后的图像的边缘点;如果是,将所述最右侧的像素点从所述连通区域中剔除,并返回所述查找所述连通区域的最右侧的像素点的步骤;如果否,基于所述最右侧的像素点确定视盘区域的右边界;
查找所述连通区域的最上侧的像素点;判断所述最上侧的像素点是否为所述运算后的图像的边缘点;如果是,将所述最上侧的像素点从所述连通区域中剔除,并返回所述查找所述连通区域的最上侧的像素点的步骤;如果否,基于所述最上侧的像素点确定视盘区域的上边界;
查找所述连通区域的最下侧的像素点;判断所述最下侧的像素点是否为所述运算后的图像的边缘点;如果是,将所述最下侧的像素点从所述连通区域中剔除,并返回所述查找所述连通区域的最下侧的像素点的步骤;如果否,基于所述最下侧的像素点确定视盘区域的下边界;
确定由所述上边界、所述下边界、所述左边界和所述右边界组成的矩形区域。
一些情况下,采集眼底图像时,存在边缘漏光的现象,这会导致连通区域到达图像边缘。本实施方式中,如果连通区域的边界点(上、下、左、右四侧边界点)到达图像边缘,则重新确定边界点,这样确定出的视盘区域未到达图像边缘,减少了边缘漏光的现象造成的影响,提高了识别准确度。
参考图6所示,假设确定出连通区域的最左侧的像素点的坐标为(xleft,yleft),最右侧的像素点的坐标为(xright,yright),最上侧的像素点的坐标为(xup,yup),最下侧的像素点的坐标为(xdown,ydown),则可以确定矩形区域的四个顶点坐标分别为(xleft,yup)、(xleft,ydown)、(xright,yup)、(xright,ydown)。
S810:将矩形区域映射至眼底图像中,得到映射区域,截取映射区域,作为眼部识别模型的训练集中的样本图像。
一种实施方式中,可以直接将这四个顶点坐标映射到眼底图像中,得到映射区域。如上所述,一种情况下,眼底图像、灰度图像、二值化图像、以及上述运算后的图像可以使用相同的坐标系,这种情况下,可以直接在眼底图像中标注这四个顶点坐标,这四个顶点坐标围成映射区域。
或者,另一种实施方式中,将这四个顶点坐标映射到眼底图像中时,也可以进行外扩。比如,可以将这四个顶点坐标向外延伸原矩形区域的十分之一。这样,眼底图像中视盘区域的四个顶点坐标分别为:
左上
左下
右上
右下
这四个顶点坐标向外延伸的具体比例不做限定,比如,可以为八分之一、十二分之一,等等,具体不做限定。
将这四个顶点坐标向外延伸后,在眼底图像中截取视盘区域可以如图7所示,图7中的矩形框完整的包括了视盘区域。可以将该矩形框截取为眼部识别模型的训练集中的样本图像。眼底图像一般为彩色图像,这样,截取出的视盘区域也为彩色图像,图7未表达出彩色效果。
应用本发明所示实施例,第一方面,实现了在眼底图像中快速定位视盘区域,视盘区域有助于诊断多种疾病。
第二方面,并不是基于眼底图像训练神经网络,而是仅基于眼底图像中的视盘区域训练神经网络,视盘区域占眼底图像的一小部分,这样,可以减少神经网络的训练时间及占用内存。
第三方面,仅基于视盘区域便可以诊断多种疾病,而眼底图像中携带较多信息,会给诊断造成干扰,本方案中,仅基于眼底图像中的视盘区域训练神经网络,减少了眼底图像中其他信息带来的干扰,得到的眼部识别模型的识别准确度较高。
第四方面,由于拍摄方式、拍摄设备、环境因素等影响,可能造成图像亮暗不同,一种实施方式中,设定适用于不同灰度图像的动态二值化阈值,相比于采用一个固定阈值,二值化效果更佳。
第五方面,二值化图像中的视盘区域可能被分割为很多细小的区域,通过闭运算可以把这些细小的区域连接起来,形成较完整的视盘区域。这样,后续截取视盘区域作为样本图像训练眼部识别模型时,样本图像中包括较完整的视盘区域,可以提高训练效果。
第六方面,一些情况下,采集眼底图像时,存在边缘漏光的现象,这会导致眼底图像中存在一些小亮点;对眼底图像进行灰度化、二值化处理(形态学运算)后,这些小亮点可能变成像素值为0的连通区域。这样,小亮点对应的区域会被误识别为视盘区域。一种实施方式中,如果查找到的像素值为0的连通区域中像素点数量较少,则可以认为该连通区域为边缘漏光导致的小亮点,而不是视盘区域,减少了误识别的情况,提高了识别准确度。
第七方面,一些情况下,采集眼底图像时,存在边缘漏光的现象,这会导致连通区域到达图像边缘。一种实施方式中,如果连通区域的边界点(上、下、左、右四侧边界点)到达图像边缘,则重新确定边界点,这样确定出的视盘区域未到达图像边缘,减少了边缘漏光的现象造成的影响,提高了识别准确度。
需要说明的是,本说明书一个或多个实施例的方法可以由单个设备执行,例如一台计算机或服务器等。本实施例的方法也可以应用于分布式场景下,由多台设备相互配合来完成。在这种分布式场景的情况下,这多台设备中的一台设备可以只执行本说明书一个或多个实施例的方法中的某一个或多个步骤,这多台设备相互之间会进行交互以完成所述的方法。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
与上述方法实施例相对应,本发明实施例还提供一种电子设备,如图9所示,包括存储器902、处理器901及存储在存储器902上并可在处理器901上运行的计算机程序,处理器901执行所述程序时实现上述任意一种基于眼部识别模型的训练集获取方法。
处理器901可以采用通用的CPU(Central Processing Unit,中央处理器)、微处理器、应用专用集成电路(Application Specific Integrated Circuit,ASIC)、或者一个或多个集成电路等方式实现,用于执行相关程序,以实现本说明书实施例所提供的技术方案。
存储器902可以采用ROM(Read Only Memory,只读存储器)、RAM(Random AccessMemory,随机存取存储器)、静态存储设备,动态存储设备等形式实现。存储器902可以存储操作***和其他应用程序,在通过软件或者固件来实现本说明书实施例所提供的技术方案时,相关的程序代码保存在存储器902中,并由处理器901来调用执行。
需要说明的是,尽管上述设备仅示出了处理器901、存储器902,但是在具体实施过程中,该设备还可以包括实现正常运行所必需的其他组件。此外,本领域的技术人员可以理解的是,上述设备中也可以仅包含实现本说明书实施例方案所必需的组件,而不必包含图中所示的全部组件。
本发明实施例还提供一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质存储计算机指令,所述计算机指令用于使所述计算机执行上述任意一种基于眼部识别模型的训练集获取方法。
本实施例的计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。
所属领域的普通技术人员应当理解:以上任何实施例的讨论仅为示例性的,并非旨在暗示本公开的范围(包括权利要求)被限于这些例子;在本公开的思路下,以上实施例或者不同实施例中的技术特征之间也可以进行组合,步骤可以以任意顺序实现,并存在如上所述的本说明书一个或多个实施例的不同方面的许多其它变化,为了简明它们没有在细节中提供。
另外,为简化说明和讨论,并且为了不会使本说明书一个或多个实施例难以理解,在所提供的附图中可以示出或可以不示出与集成电路(IC)芯片和其它部件的公知的电源/接地连接。此外,可以以框图的形式示出装置,以便避免使本说明书一个或多个实施例难以理解,并且这也考虑了以下事实,即关于这些框图装置的实施方式的细节是高度取决于将要实施本说明书一个或多个实施例的平台的(即,这些细节应当完全处于本领域技术人员的理解范围内)。在阐述了具体细节(例如,电路)以描述本公开的示例性实施例的情况下,对本领域技术人员来说显而易见的是,可以在没有这些具体细节的情况下或者这些具体细节有变化的情况下实施本说明书一个或多个实施例。因此,这些描述应被认为是说明性的而不是限制性的。
尽管已经结合了本公开的具体实施例对本公开进行了描述,但是根据前面的描述,这些实施例的很多替换、修改和变型对本领域普通技术人员来说将是显而易见的。例如,其它存储器架构(例如,动态RAM(DRAM))可以使用所讨论的实施例。
本说明书一个或多个实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此,凡在本说明书一个或多个实施例的精神和原则之内,所做的任何省略、修改、等同替换、改进等,均应包含在本公开的保护范围之内。

Claims (5)

1.一种基于眼部识别模型的训练集获取方法,其特征在于,包括:
获取眼底图像;
对所述眼底图像进行灰度化处理,得到灰度图像;
对所述灰度图像进行二值化处理,得到二值化图像;
在所述二值化图像中识别视盘区域,得到识别结果;
基于所述识别结果,在所述眼底图像中截取视盘区域,作为眼部识别模型的训练集中的样本图像;
所述在所述二值化图像中识别视盘区域,得到识别结果,包括:
对所述二值化图像进行形态学运算,得到运算后的图像;
在所述运算后的图像中,查找像素值不为0的连通区域,基于查找结果确定视盘区域;
所述基于查找结果确定视盘区域,包括:
针对查找到的每个连通区域,统计该连通区域中的像素点数量;
判断所述数量是否满足预设数量条件;
如果满足,将该连通区域确定为视盘区域;
所述对所述灰度图像进行二值化处理,得到二值化图像,包括:
计算所述灰度图像中各像素点灰度值的平均值;
基于所述平均值,确定二值化阈值;
基于所述二值化阈值,对所述灰度图像进行二值化处理,得到二值化图像;
所述基于所述识别结果,在所述眼底图像中截取视盘区域,作为眼部识别模型的训练集中的样本图像,包括:
在所述运算后的图像中,确定由视盘区域的上边界、下边界、左边界和右边界组成的矩形区域;
将所述矩形区域映射至所述眼底图像中,得到映射区域,截取所述映射区域,作为眼部识别模型的训练集中的样本图像;
所述在所述运算后的图像中,确定由视盘区域的上边界、下边界、左边界和右边界组成的矩形区域,包括:
在所述运算后的图像中,查找所述连通区域的最左侧的像素点;判断所述最左侧的像素点是否为所述运算后的图像的边缘点;如果是,将所述最左侧的像素点从所述连通区域中剔除,并返回所述查找所述连通区域的最左侧的像素点的步骤;如果否,基于所述最左侧的像素点确定视盘区域的左边界;
查找所述连通区域的最右侧的像素点;判断所述最右侧的像素点是否为所述运算后的图像的边缘点;如果是,将所述最右侧的像素点从所述连通区域中剔除,并返回所述查找所述连通区域的最右侧的像素点的步骤;如果否,基于所述最右侧的像素点确定视盘区域的右边界;
查找所述连通区域的最上侧的像素点;判断所述最上侧的像素点是否为所述运算后的图像的边缘点;如果是,将所述最上侧的像素点从所述连通区域中剔除,并返回所述查找所述连通区域的最上侧的像素点的步骤;如果否,基于所述最上侧的像素点确定视盘区域的上边界;
查找所述连通区域的最下侧的像素点;判断所述最下侧的像素点是否为所述运算后的图像的边缘点;如果是,将所述最下侧的像素点从所述连通区域中剔除,并返回所述查找所述连通区域的最下侧的像素点的步骤;如果否,基于所述最下侧的像素点确定视盘区域的下边界;
确定由所述上边界、所述下边界、所述左边界和所述右边界组成的矩形区域。
2.根据权利要求1所述的方法,其特征在于,灰度图像中包括每个像素点的灰度值;所述对所述眼底图像进行灰度化处理,得到灰度图像,包括:
针对所述眼底图像中的每个像素点,基于该像素点的RGB值,计算该像素点在YUV空间中的Y值分量,作为该像素点的灰度值。
3.根据权利要求1所述的方法,其特征在于,所述对所述二值化图像进行形态学运算,得到运算后的图像,包括:
对所述二值化图像进行先膨胀后腐蚀处理,得到运算后的图像。
4.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1至3任意一项所述的方法。
5.一种非暂态计算机可读存储介质,其特征在于,所述非暂态计算机可读存储介质存储计算机指令,所述计算机指令用于使所述计算机执行权利要求1至3任一所述方法。
CN202010066887.XA 2020-01-20 2020-01-20 一种基于眼部识别模型的训练集获取方法及设备 Active CN111292296B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010066887.XA CN111292296B (zh) 2020-01-20 2020-01-20 一种基于眼部识别模型的训练集获取方法及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010066887.XA CN111292296B (zh) 2020-01-20 2020-01-20 一种基于眼部识别模型的训练集获取方法及设备

Publications (2)

Publication Number Publication Date
CN111292296A CN111292296A (zh) 2020-06-16
CN111292296B true CN111292296B (zh) 2024-06-18

Family

ID=71023370

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010066887.XA Active CN111292296B (zh) 2020-01-20 2020-01-20 一种基于眼部识别模型的训练集获取方法及设备

Country Status (1)

Country Link
CN (1) CN111292296B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115937085B (zh) * 2022-06-28 2023-08-01 哈尔滨学院 一种基于神经网络学习的核性白内障图像处理方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106384343A (zh) * 2016-08-24 2017-02-08 上海交通大学 一种基于形态学处理的硬性渗出区域检测方法
CN107292877A (zh) * 2017-07-05 2017-10-24 北京至真互联网技术有限公司 一种基于眼底图像特征的左右眼识别方法
CN110335254A (zh) * 2019-06-10 2019-10-15 北京至真互联网技术有限公司 眼底图像区域化深度学习方法、装置和设备及存储介质
CN110543802A (zh) * 2018-05-29 2019-12-06 北京大恒普信医疗技术有限公司 眼底图像中左右眼识别方法与装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103049763B (zh) * 2012-12-07 2015-07-01 华中科技大学 一种基于上下文约束的目标识别方法
CN104545792B (zh) * 2014-12-31 2016-08-24 浙江大学 眼底图像的动静脉视网膜血管视盘定位方法
CN104751187B (zh) * 2015-04-14 2019-04-16 山西科达自控股份有限公司 抄表图像自动识别方法
US10405739B2 (en) * 2015-10-23 2019-09-10 International Business Machines Corporation Automatically detecting eye type in retinal fundus images
CN107180421B (zh) * 2016-03-09 2020-08-07 南京中兴新软件有限责任公司 一种眼底图像病变检测方法及装置
WO2018116321A2 (en) * 2016-12-21 2018-06-28 Braviithi Technologies Private Limited Retinal fundus image processing method
CN109800615A (zh) * 2018-12-28 2019-05-24 新大陆数字技术股份有限公司 二维码区域的检测定位方法及***

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106384343A (zh) * 2016-08-24 2017-02-08 上海交通大学 一种基于形态学处理的硬性渗出区域检测方法
CN107292877A (zh) * 2017-07-05 2017-10-24 北京至真互联网技术有限公司 一种基于眼底图像特征的左右眼识别方法
CN110543802A (zh) * 2018-05-29 2019-12-06 北京大恒普信医疗技术有限公司 眼底图像中左右眼识别方法与装置
CN110335254A (zh) * 2019-06-10 2019-10-15 北京至真互联网技术有限公司 眼底图像区域化深度学习方法、装置和设备及存储介质

Also Published As

Publication number Publication date
CN111292296A (zh) 2020-06-16

Similar Documents

Publication Publication Date Title
TWI746674B (zh) 識別圖像中物件的類型預測方法、裝置及電子設備
US10438361B2 (en) Image processing apparatus and image processing method for finding background regions in an image
US10216979B2 (en) Image processing apparatus, image processing method, and storage medium to detect parts of an object
JP3810776B2 (ja) ディジタル画像中の赤目を検出し補正する方法
AU2016225841B2 (en) Predicting accuracy of object recognition in a stitched image
US10679358B2 (en) Learning image automatic sorting device, learning image automatic sorting method, and learning image automatic sorting program
CN112464829B (zh) 一种瞳孔定位方法、设备、存储介质及视线追踪***
WO2006011630A1 (en) Image processing apparatus and method, image sensig apparatus, and program
CN114365180A (zh) 图像处理方法、学习装置以及图像处理装置
US10229498B2 (en) Image processing device, image processing method, and computer-readable recording medium
CN109903265B (zh) 一种图像变化区域侦测阀值设定方法、***及其电子装置
CN111292296B (zh) 一种基于眼部识别模型的训练集获取方法及设备
CN114842213A (zh) 一种障碍物轮廓检测方法、装置、终端设备和存储介质
CN113689412A (zh) 甲状腺图像处理方法、装置、电子设备及存储介质
CN111241889B (zh) 检测和评价黑眼圈的方法和装置
US10068321B2 (en) Image processing method, image processing apparatus, and recording medium
KR101881795B1 (ko) 퍼지 이론에 기초한 컬러 이미지의 에지 검출 방법
US20150262382A1 (en) Image processing apparatus and image processing method
US8824734B2 (en) Device, method and recording to determine depressed portions of image regions using shortcut line analysis
US11275926B2 (en) Face tracking method and device
CN114463440A (zh) 一种单摄像头目标定位方法、***、设备及存储介质
CN114648751A (zh) 一种处理视频字幕的方法、装置、终端及存储介质
CN113657234B (zh) 图像识别方法、装置、存储介质及电子设备
EP4060601A1 (en) Image pre-processing for a fundoscopic image
Ghassabi et al. A structure-based region detector for retinal image registration

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant