CN112991343A - 眼底图像黄斑区域的识别检测方法和装置及设备 - Google Patents
眼底图像黄斑区域的识别检测方法和装置及设备 Download PDFInfo
- Publication number
- CN112991343A CN112991343A CN202110478090.5A CN202110478090A CN112991343A CN 112991343 A CN112991343 A CN 112991343A CN 202110478090 A CN202110478090 A CN 202110478090A CN 112991343 A CN112991343 A CN 112991343A
- Authority
- CN
- China
- Prior art keywords
- macular
- region
- macular region
- image
- fundus image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000001514 detection method Methods 0.000 claims abstract description 52
- 238000012545 processing Methods 0.000 claims abstract description 47
- 238000012417 linear regression Methods 0.000 claims description 16
- 230000003044 adaptive effect Effects 0.000 claims description 12
- 230000003321 amplification Effects 0.000 claims description 10
- 239000011159 matrix material Substances 0.000 claims description 10
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 10
- 238000000605 extraction Methods 0.000 claims description 9
- 210000002189 macula lutea Anatomy 0.000 claims description 9
- 238000005259 measurement Methods 0.000 claims description 7
- 238000002372 labelling Methods 0.000 abstract description 4
- 230000004927 fusion Effects 0.000 description 7
- 230000002159 abnormal effect Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 206010025421 Macule Diseases 0.000 description 3
- 230000005856 abnormality Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 210000004220 fundus oculi Anatomy 0.000 description 2
- 238000007499 fusion processing Methods 0.000 description 2
- 208000002780 macular degeneration Diseases 0.000 description 2
- 208000003569 Central serous chorioretinopathy Diseases 0.000 description 1
- 208000033379 Chorioretinopathy Diseases 0.000 description 1
- 208000031471 Macular fibrosis Diseases 0.000 description 1
- 208000035719 Maculopathy Diseases 0.000 description 1
- 208000002367 Retinal Perforations Diseases 0.000 description 1
- 206010064930 age-related macular degeneration Diseases 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 208000029233 macular holes Diseases 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000003733 optic disk Anatomy 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/193—Preprocessing; Feature extraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Ophthalmology & Optometry (AREA)
- Human Computer Interaction (AREA)
- Databases & Information Systems (AREA)
- Eye Examination Apparatus (AREA)
Abstract
本申请涉及一种眼底图像黄斑区域的识别检测方法和装置及设备，方法包括：读取当前待定位检测的眼底图像；采用目标检测模型对眼底图像中的黄斑区域进行检测；在未检测到眼底图像中的黄斑区域时，对眼底图像中的视盘区域进行检测，并基于检测出的视盘区域对黄斑区域进行识别定位；基于黄斑区域的定位结果，由眼底图像中提取出黄斑区域所对应的黄斑图像；对黄斑图像进行多模态处理，将多模态处理得到的图像进行融合得到融合图像，根据融合图像对黄斑区域进行是否合格的检测。其实现了综合考虑黄斑区和视盘区的位置关系进行黄斑区域的识别定位，相较于基于深度学习的黄斑区域定位方法只依赖黄斑区域标注情况的方式，眼底图像的黄斑区域识别更加准确。
Description
技术领域
本申请涉及医学图像处理技术领域，尤其涉及一种眼底图像黄斑区域的识别检测方法和装置及设备。
背景技术
彩色眼底照是辅助眼底图像检测筛查的重要手段之一。黄斑作为眼底生物结构中最重要的部分，直接影响人们的视力。对于黄斑异常的检测和分类方法目前研究较少，通常情况下，黄斑区域的检测和分类主要包括两部分技术模块，即，眼底黄斑区识别定位模块和黄斑区域异常检测模块。其中，基于深度学习的黄斑区识别定位算法相对比较成熟，只需要对眼底图像中的黄斑位置进行标注和学习，便能够达到黄斑区定位的效果。但是，由于异常的眼底图像中黄斑区域的影像内容丰富多变，仅通过有限的眼底图像训练的深度学习模型来进行黄斑区域的定位经常会出现定位不准或失效的情况，进而也就影响了后面对黄斑区域检测分类的结果，最终使得对眼底图像黄斑区域的定位检测结果的准确率偏低。
发明内容
有鉴于此，本申请提出了一种眼底图像黄斑区域的识别检测方法，可以有效提高眼底图像黄斑区的识别和检测结果的准确率。
根据本申请的一方面，提供了一种眼底图像黄斑区域的识别检测方法，包括：
读取当前待定位检测的眼底图像；
采用目标检测模型对所述眼底图像中的黄斑区域进行检测；
在未检测到所述眼底图像中的黄斑区域时，对所述眼底图像中的视盘区域进行检测，并基于检测出的所述视盘区域，对所述黄斑区域进行识别定位；
基于所述黄斑区域的定位结果，由所述眼底图像中提取出所述黄斑区域所对应的黄斑图像；
对所述黄斑图像进行多模态处理，将多模态处理得到的图像进行融合，得到融合图像，并根据所述融合图像对所述黄斑区域进行是否合格的检测。
在一种可能的实现方式中，基于检测出的所述视盘区域，对所述黄斑区域进行定位，包括：
获取所述视盘区域的中心坐标；
根据所述视盘区域的中心坐标，结合多元线性回归模型得到所述黄斑区域的中心坐标。
在一种可能的实现方式中，根据所述视盘区域的中心坐标，结合多元线性回归模型得到所述黄斑区域的中心坐标时，根据公式：
计算得到所述黄斑区域的中心坐标；
其中，Y为所述黄斑区域的中心坐标，X为所述视盘区域的中心坐标，W和B均为矩阵参数。
在一种可能的实现方式中，对所述黄斑图像进行多模态处理包括：对所述黄斑图像进行限制对比度自适应直方图增强处理、高斯滤波增强处理、HSV色彩空间处理中的至少一种。
在一种可能的实现方式中，根据所述融合图像对所述黄斑区域进行是否合格的检测，包括：
将所述融合图像输入至预先训练好的匹配网络中，由所述匹配网络对所述融合图像进行检测；
其中，所述匹配网络包括依次级联的特征提取网络、特征关联网络、相似性度量网络和注意力分配网络。
根据本申请的另一方面，还提供了一种眼底图像黄斑区域的识别检测装置，包括图像读取模块、黄斑区域第一定位模块、黄斑区域第二定位模块、黄斑区域提取模块和黄斑区域检测模块；
所述图像读取模块，被配置为读取当前待定位检测的眼底图像；
所述黄斑区域第一定位模块，被配置为采用目标检测模型对所述眼底图像中的黄斑区域进行检测；
所述黄斑区域第二定位模块，被配置为在所述黄斑区域第一定位模块未检测到所述眼底图像中的黄斑区域时，对所述眼底图像中的视盘区域进行检测，并基于检测出的所述视盘区域，对所述黄斑区域进行识别定位；
所述黄斑区域提取模块，被配置为基于所述黄斑区域的定位结果，由所述眼底图像中提取出所述黄斑区域所对应的黄斑图像；
所述黄斑区域检测模块，被配置为对所述黄斑图像进行多模态处理，将多模态处理得到的图像进行融合，得到融合图像，并根据所述融合图像对所述黄斑区域进行是否合格的检测。
在一种可能的实现方式中，所述黄斑区域第二定位模块包括：坐标获取子模块和黄斑定位子模块；
所述坐标获取子模块，被配置为获取所述视盘区域的中心坐标；
所述黄斑定位子模块，被配置为根据所述视盘区域的中心坐标，结合多元线性回归模型得到所述黄斑区域的中心坐标。
在一种可能的实现方式中，所述黄斑定位子模块，被配置为根据所述视盘区域的中心坐标，结合多元线性回归模型得到所述黄斑区域的中心坐标时，根据公式：
计算得到所述黄斑区域的中心坐标；
其中，Y为所述黄斑区域的中心坐标，X为所述视盘区域的中心坐标，W和B均为矩阵参数。
在一种可能的实现方式中，所述黄斑区域检测模块包括多模态扩增子模块；
所述多模态扩增子模块，被配置为对所述黄斑图像进行多模态处理；
其中，对所述黄斑图像进行多模态处理包括：对所述黄斑图像进行限制对比度自适应直方图增强处理、高斯滤波增强处理、HSV色彩空间处理中的至少一种。
根据本申请的另一方面，还提供了一种眼底图像黄斑区域的定位检测设备，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述可执行指令时实现前面任一所述的方法。
通过采用目标检测模型对眼底图像中的黄斑区域进行检测，在未检测到眼底图像中的黄斑区域时，对眼底图像中的视盘区域进行检测，并基于检测出的视盘区域对黄斑区域进行识别定位，实现了综合考虑黄斑区和视盘区的位置关系进行黄斑区域的识别定位，相较于基于深度学习的黄斑区域定位方法完全依赖眼底黄斑区域的标注情况的方式，使得在进行眼底图像的黄斑区域的识别定位时更加准确。同时，在检测出黄斑区域后，由眼底图像中提取出黄斑区域所对应的黄斑图像，对黄斑图像进行多模态处理，将多模态处理得到的图像进行融合得到融合图像后，再根据融合图像对黄斑区域进行是否合格的检测。其通过对黄斑图像进行多模态融合处理，从而能够采用基于少样本量学习的方式进行建模，以达到对黄斑图像进行合格和异常分类的效果，极大地提高了黄斑图像的识别能力。
根据下面参考附图对示例性实施例的详细说明，本申请的其它特征及方面将变得清楚。
附图说明
包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本申请的示例性实施例、特征和方面，并且用于解释本申请的原理。
图1示出本申请一实施例的眼底图像黄斑区域的识别检测方法的流程图；
图2示出本申请一实施例的眼底图像黄斑区域的识别检测方法中进行黄斑区域的定位的流程图；
图3示出本申请一实施例的眼底图像黄斑区域的识别检测方法中进行黄斑区域检测时对黄斑图像进行多模处理的示意图；
图4示出本申请一实施例的眼底图像黄斑区域的识别检测方法中对黄斑区域检测时的流程图；
图5示出本申请一实施例的眼底图像黄斑区域的识别检测方法对黄斑区域进行是否合格检测时所采用的匹配网络的网络结构示意图；
图6示出本申请一实施例的眼底图像黄斑区域的识别检测装置的结构框图；
图7示出本申请一实施例的眼底图像的黄斑区域的识别检测设备的结构框图。
具体实施方式
以下将参考附图详细说明本申请的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。
在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。
另外，为了更好的说明本申请，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本申请同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本申请的主旨。
图1示出根据本申请一实施例的眼底图像黄斑区域的识别检测方法的流程图。如图1所示，该方法包括：步骤S100，读取当前待定位检测的眼底图像。步骤S200，采用目标检测模型对眼底图像中的黄斑区域进行检测。此处，需要说明的是，所采用的目标检测模型可以为Faster Rcnn神经网络。步骤S300，在未检测到眼底图像中的黄斑区域时，对眼底图像中的视盘区域进行检测，并基于所检测出的视盘区域，对黄斑区域进行识别定位。进而再执行步骤S400，基于黄斑区域的识别定位结果，由眼底图图像中提取出黄斑区域所对应的黄斑图像。最后再通过步骤S500，对黄斑图像进行多模态处理，将多模态处理得到的图像进行融合得到融合图像后，根据融合图像对黄斑区域进行是否合格的检测。
由此，本申请实施例的眼底图像黄斑区域的识别检测方法，通过采用目标检测模型对眼底图像中的黄斑区域进行检测，在未检测到眼底图像中的黄斑区域时，对眼底图像中的视盘区域进行检测，并基于检测出的视盘区域对黄斑区域进行识别定位，实现了综合考虑黄斑区和视盘区的位置关系进行黄斑区域的定位，相较于基于深度学习的黄斑区域定位方法完全依赖眼底黄斑区域的标注情况的方式，使得在进行眼底图像的黄斑区域的识别定位时更加准确。同时，在检测出黄斑区域后，由眼底图像中提取出黄斑区域所对应的黄斑图像，对黄斑图像进行多模态处理，将多模态处理得到的图像进行融合得到融合图像后，再根据融合图像对黄斑区域进行是否合格的检测。其通过对黄斑图像进行多模态融合处理，从而能够采用基于少样本量学习的方式进行建模，以达到对黄斑图像进行合格和异常分类的效果，极大地提高了黄斑图像的识别能力。
其中，在一种可能的实现方式中，在基于检测出的视盘区域对黄斑区域进行识别定位时，可以通过获取视盘区域的中心坐标，然后根据视盘区域的中心坐标，结合多元线性回归模型得到黄斑区域的中心坐标的方式得到。
具体的，在根据视盘区域的中心坐标，结合多元线性回归模型得到黄斑区域的中心坐标时，可以根据公式：
计算得到黄斑区域的中心坐标。其中，Y为黄斑区域的中心坐标，X为视盘区域的中心坐标，W和B均为矩阵参数。此处，需要说明的是，W和B的取值可以通过最小二乘法确定。
即，在采用最小二乘法确定W和B的取值时，可以通过以下矩阵求解公式来实现：
其中，根据前面所述可知，W和B均为矩阵参数，Y为黄斑区域的中心坐标，X为视盘区域的中心坐标。X0为矩阵向量，由X矩阵向量和1向量组成。
同时，还需要说明的是，在通过上述方式，采用多元线性回归模型进行黄斑区域的中心坐标的确定时，还可以分别针对左眼和右眼构建不同的多元线性回归模型，从而基于当前待处理的眼底图像为左眼或右眼的属性采用对应的多元线性回归模型进行黄斑区域中心坐标的确定。
此外，还需要指出的是，根据前面所述，由于在本申请实施例的方法中，对眼底图像进行黄斑区域和视盘区域的检测时采用的是目标检测模型。因此，在对待识别检测的眼底图像进行黄斑区域和视盘区域的识别定位之前，还需要先对目标检测模型进行训练，以使所使用的目标检测模型收敛。
即，对收集到的样本数据（即，眼底图像数据）进行标注，标注的内容包括黄斑区和视盘区所在眼底图像中的位置（可以用矩形框标注），以及黄斑区域和视盘区域的中心坐标（可以用坐标点标注）。
然后，将标注后的各样本数据依次输入至目标检测模型（Faster Rcnn）中，对目标检测模型进行训练，使其能够对眼底图像中的黄斑区和视盘区进行检测定位。
其中，参阅图2，在对待定位检测的眼底图像进行黄斑区域的定位时，首先通过步骤S200，采用预先训练好的目标检测模型对眼底图像进行黄斑区域的检测。同时，执行步骤S200’，判断是否检测出黄斑区域。如果直接检测到黄斑区域，则通过步骤S300’，直接定位出黄斑区域在眼底图像中的位置。如果没有检测到黄斑区域，则执行步骤S310，采用训练好的目标检测模型对眼底图像进行视盘区域的检测，并判断是否检测出视盘区域。如果视盘区域也没有检测出来的话，则表明该眼底图像存在问题，不适宜进行黄斑区域的识别分类。此时则通过步骤S340，发出检测失败的提示，并直接读取下一张眼底图像进行黄斑区域的定位检测。如果检测出视盘区域，则通过步骤S320，获取视盘区域的中心坐标，并使用多元线性回归模型，根据定位出的视盘区域的中心坐标进行黄斑区域的中心坐标的计算确定。由此，定位出黄斑区域的中心坐标后，再通过步骤S330，采用预先设置相应尺寸的矩形框或圆形框等框体，以所定位出的黄斑区域的中心坐标为中心，进行黄斑区域的识别定位。
在一种可能的实现方式中，在根据视盘区域的中心坐标定位出黄斑区域的中心坐标后，以预设尺寸大小的矩形框或圆形框等框体进行黄斑区域的识别定位时，可以直接采用所定位出的视盘区域的尺寸大小进行黄斑区域的定位。
其中，采用所定位出的视盘区域的尺寸大小进行黄斑区域的定位时，可以以所确定的黄斑区域的中心坐标为中心，所定位出的视盘区域的1倍—1.5倍大小尺寸进行黄斑区域的裁剪。如：可以以所定位出的视盘区域的1.5倍大小尺寸进行黄斑区域的裁剪。
在通过上述方式定位出眼底图像中的黄斑区域后，即可将该黄斑区域由眼底图像中剪切并输出，从而提取得到黄斑区域所对应的黄斑图像。
进一步的，通过上述任一方式得到黄斑图像后，即可基于所得到的黄斑图像对黄斑区域进行是否合格的检测。此处，本领域技术人员可以理解的是，对黄斑区域进行是否合格的检测，指的是对所定位出的黄斑区域是否正常，有无异常情况的检测。
其中，根据前面所述，在本申请实施例的方法中，对黄斑区域进行是否合格的检测之前，还包括对黄斑图像进行多模态处理，将多模态处理得到的图像进行融合得到融合图像的操作。
在一种可能的实现方式中，对黄斑图像进行多模态处理包括限制对比度自适应直方图增强处理、高斯滤波增强处理、HSV色彩空间处理中的至少一种。优选的，参阅图3，对黄斑图像进行的多模态处理包括限制对比度自适应直方图增强处理、高斯滤波增强处理和HSV色彩空间处理。
即，通过构建多模态扩增模块，多模态扩增模块包括限制对比度自适应直方图增强处理单元、高斯滤波增强处理单元和HSV色彩空间处理单元，分别由限制对比度自适应直方图增强处理单元、高斯滤波增强处理单元和HSV色彩空间处理单元对黄斑图像进行相应的处理，得到限制对比度自适应直方图增强（CLAHE）图像、高斯滤波增强图像和HSV色彩空间图。
然后，再由多模态扩增模块中的融合单元采用原始图像（即，剪切提取出来的黄斑图像）、限制对比度自适应直方图增强（CLAHE）图像、高斯滤波增强图像和HSV色彩空间图四种模态的图像进行融合，得到融合图像以作为输入图像。进而再将得到的融合图像输入至预先训练好的匹配网络中，由匹配网络对融合图像进行检测，最终得到黄斑图像合格或异常的检测结果。
其中，在将四种模态下的图像进行融合时，可以通过图像通道叠加的方式进行融合。即，对于原始图像（即，剪切提取出来的黄斑图像）、限制对比度自适应直方图增强（CLAHE）图像、高斯滤波增强图像和HSV色彩空间图四种模态的图像，每一种模态的图像均具有3个通道，通过图像通道叠加可得到12个通道的数据作为匹配网络的输入。
此处，应当指出的是，在将得到的融合图像输入至匹配网络中进行是否合格的检测时，匹配网络也是需要预先训练至收敛的。
其中，参阅图4，对匹配网络的训练具体包括：步骤S001，构建黄斑图像数据集，包括合格黄斑图像（即，正常的黄斑图像）以及异常黄斑图像（如：黄斑前膜、黄斑裂孔、年龄性黄斑变性、中心性浆液性脉络膜视网膜病变、中心性渗出性脉络膜视网膜病变等黄斑病变图像）。
进而通过步骤S002，构建多模态扩增模块，采用原始图像、限制对比度自适应直方图增强（CLAHE）图像、高斯滤波增强图像、HSV色彩空间图四种模态的图像进行融合作为模型训练的输入图像。
然后，执行步骤S003，将多模融合的图像分为支撑数据集和目标数据集，并通过步骤S004，将支撑数据集和目标数据集依次输入至匹配网络中进行训练学习以及测试应用。
进一步的，参阅图5，在本申请实施例的方法中，所设计采用的匹配网络的网络结构可以为包括依次级联的特征提取网络、特征关联网络、相似性度量网络和注意力分配网络。其中，特征提取网络可以使用基于卷积神经网络分别对支撑图像和目标图像进行特征提取（如：可以采用ResNet50），特征关联网络使用循环神经网络来解析支撑图像和目标图像内部和外部的关联性（如：可以采用16层LSTM单元网络），相似性度量模块在网络中不进行训练（如：可以采用余弦相似性进行度量），注意力分配网络用于提高模型的训练效率和性能（如：可以采用softmax函数进行注意力分配）。
通过该网络用于学习目标图像与支撑图像的相似性，进而达到使用少量样本达到对目标图像进行分类的效果。
通过将多模融合得到的融合图像输入至训练好的匹配网络中，由匹配网络对融合图像依次进行特征提取、特征关联和相似性度量以及注意力分配后即可得到最终的分类结果。
相应的，基于前面任一所述的眼底图像黄斑区域的识别检测方法，本申请还提供了一种眼底图像黄斑区域的识别检测装置。由于本申请提供的眼底图像黄斑区域的识别检测装置的工作原理，与本申请的眼底图像黄斑区域的识别检测方法的原理相同或相似，因此重复之处不再赘述。
参阅图6，本申请提供的眼底图像黄斑区域的识别检测装置100，包括图像读取模块110、黄斑区域第一定位模块120、黄斑区域第二定位模块130、黄斑区域提取模块140和黄斑区域检测模块150。其中，图像读取模块110，被配置为读取当前待定位检测的眼底图像。黄斑区域第一定位模块120，被配置为采用目标检测模型对眼底图像中的黄斑区域进行检测。黄斑区域第二定位模块130，被配置为在黄斑区域第一定位模块120未检测到眼底图像中的黄斑区域时，对眼底图像中的视盘区域进行检测，并基于检测出的视盘区域，对黄斑区域进行识别定位。黄斑区域提取模块140，被配置为基于黄斑区域的定位结果，由眼底图像中提取出黄斑区域所对应的黄斑图像。黄斑区域检测模块150，被配置为对黄斑图像进行多模态处理，将多模态处理得到的图像进行融合，得到融合图像，并根据融合图像对黄斑区域进行是否合格的检测。
在一种可能的实现方式中，黄斑区域第二定位模块130包括：坐标获取子模块和黄斑定位子模块（图中未示出）。其中，坐标获取子模块，被配置为获取视盘区域的中心坐标。黄斑定位子模块，被配置为根据视盘区域的中心坐标，结合多元线性回归模型得到黄斑区域的中心坐标。
在一种可能的实现方式中，黄斑定位子模块，被配置为根据视盘区域的中心坐标，结合多元线性回归模型得到黄斑区域的中心坐标时，根据公式：
计算得到黄斑区域的中心坐标。其中，Y为黄斑区域的中心坐标，X为视盘区域的中心坐标，W和B均为矩阵参数。
在一种可能的实现方式中，黄斑区域检测模块150包括多模态扩增子模块（图中未示出）。多模态扩增子模块，被配置为对黄斑图像进行多模态处理。其中，对黄斑图像进行多模态处理包括：对黄斑图像进行限制对比度自适应直方图增强处理、高斯滤波增强处理、HSV色彩空间处理中的至少一种。
进一步的，在本申请实施例的眼底图像黄斑区域的定位检测装置100中，黄斑区域检测模块150还包括检测子模块（图中未示出）。此处，需要指出的是，检测子模块可以通过所设计的图像检测识别的神经网络来实现。
具体的，参阅图5，该神经网络（即，匹配网络）包括依次级联的特征提取网络、特征关联网络、相似性度量网络和注意力分配网络。通过该网络用于学习目标图像与支撑图像的相似性，从而能够达到使用少量样本达到对目标图像进行分类检测的效果。
更进一步地，根据本申请的另一方面，还提供了一种眼底图像黄斑区域的识别检测设备200。参阅图7，本申请实施例的眼底图像黄斑区域的识别检测设备200包括处理器210以及用于存储处理器210可执行指令的存储器220。其中，处理器210被配置为执行可执行指令时实现前面任一所述的眼底图像黄斑区域的识别检测方法。
此处，应当指出的是，处理器210的个数可以为一个或多个。同时，在本申请实施例的眼底图像黄斑区域的定位检测设备200中，还可以包括输入装置230和输出装置240。其中，处理器210、存储器220、输入装置230和输出装置240之间可以通过总线连接，也可以通过其他方式连接，此处不进行具体限定。
存储器220作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序和各种模块，如：本申请实施例的眼底图像黄斑区域的定位检测方法所对应的程序或模块。处理器210通过运行存储在存储器220中的软件程序或模块，从而执行眼底图像黄斑区域的定位检测设备200的各种功能应用及数据处理。
输入装置230可用于接收输入的数字或信号。其中，信号可以为产生与设备/终端/服务器的用户设置以及功能控制有关的键信号。输出装置240可以包括显示屏等显示设备。
以上已经描述了本申请的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。
Claims (10)
1.一种眼底图像黄斑区域的识别检测方法，其特征在于，包括：
读取当前待定位检测的眼底图像；
采用目标检测模型对所述眼底图像中的黄斑区域进行检测；
在未检测到所述眼底图像中的黄斑区域时，对所述眼底图像中的视盘区域进行检测，并基于检测出的所述视盘区域，对所述黄斑区域进行识别定位；
基于所述黄斑区域的识别定位结果，由所述眼底图像中提取出所述黄斑区域所对应的黄斑图像；
对所述黄斑图像进行多模态处理，将多模态处理得到的图像进行融合，得到融合图像，并根据所述融合图像对所述黄斑区域进行是否合格的检测。
2.根据权利要求1所述的方法，其特征在于，基于检测出的所述视盘区域，对所述黄斑区域进行识别定位，包括：
获取所述视盘区域的中心坐标；
根据所述视盘区域的中心坐标，结合多元线性回归模型得到所述黄斑区域的中心坐标。
3.根据权利要求2所述的方法，其特征在于，根据所述视盘区域的中心坐标，结合多元线性回归模型得到所述黄斑区域的中心坐标时，根据公式：
计算得到所述黄斑区域的中心坐标；
其中，Y为所述黄斑区域的中心坐标，X为所述视盘区域的中心坐标，W和B均为矩阵参数。
4.根据权利要求1至3任一项所述的方法，其特征在于，对所述黄斑图像进行多模态处理包括：对所述黄斑图像进行限制对比度自适应直方图增强处理、高斯滤波增强处理、HSV色彩空间处理中的至少一种。
5.根据权利要求1所述的方法，其特征在于，根据所述融合图像对所述黄斑区域进行是否合格的检测，包括：
将所述融合图像输入至预先训练好的匹配网络中，由所述匹配网络对所述融合图像进行检测；
其中，所述匹配网络包括依次级联的特征提取网络、特征关联网络、相似性度量网络和注意力分配网络。
6.一种眼底图像黄斑区域的识别检测装置，其特征在于，包括图像读取模块、黄斑区域第一定位模块、黄斑区域第二定位模块、黄斑区域提取模块和黄斑区域检测模块；
所述图像读取模块，被配置为读取当前待定位检测的眼底图像；
所述黄斑区域第一定位模块，被配置为采用目标检测模型对所述眼底图像中的黄斑区域进行检测；
所述黄斑区域第二定位模块，被配置为在所述黄斑区域第一定位模块未检测到所述眼底图像中的黄斑区域时，对所述眼底图像中的视盘区域进行检测，并基于检测出的所述视盘区域，对所述黄斑区域进行识别定位；
所述黄斑区域提取模块，被配置为基于所述黄斑区域的定位结果，由所述眼底图像中提取出所述黄斑区域所对应的黄斑图像；
所述黄斑区域检测模块，被配置为对所述黄斑图像进行多模态处理，将多模态处理得到的图像进行融合，得到融合图像，并根据所述融合图像对所述黄斑区域进行是否合格的检测。
7.根据权利要求6所述的装置，其特征在于，所述黄斑区域第二定位模块包括：坐标获取子模块和黄斑定位子模块；
所述坐标获取子模块，被配置为获取所述视盘区域的中心坐标；
所述黄斑定位子模块，被配置为根据所述视盘区域的中心坐标，结合多元线性回归模型得到所述黄斑区域的中心坐标。
8.根据权利要求7所述的装置，其特征在于，所述黄斑定位子模块，被配置为根据所述视盘区域的中心坐标，结合多元线性回归模型得到所述黄斑区域的中心坐标时，根据公式：
计算得到所述黄斑区域的中心坐标；
其中，Y为所述黄斑区域的中心坐标，X为所述视盘区域的中心坐标，W和B均为矩阵参数。
9.根据权利要求6至8任一项所述的装置，其特征在于，所述黄斑区域检测模块包括多模态扩增子模块；
所述多模态扩增子模块，被配置为对所述黄斑图像进行多模态处理；
其中，对所述黄斑图像进行多模态处理包括：对所述黄斑图像进行限制对比度自适应直方图增强处理、高斯滤波增强处理、HSV色彩空间处理中的至少一种。
10.一种眼底图像黄斑区域的定位检测设备，其特征在于，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述可执行指令时实现权利要求1至5中任意一项所述的方法。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110478090.5A CN112991343B (zh) | 2021-04-30 | 2021-04-30 | 眼底图像黄斑区域的识别检测方法和装置及设备 |
| US18/010,804 US11908137B2 (en) | 2021-04-30 | 2021-08-17 | Method, device and equipment for identifying and detecting macular region in fundus image |
| PCT/CN2021/112998 WO2022227342A1 (zh) | 2021-04-30 | 2021-08-17 | 眼底图像黄斑区域的识别检测方法和装置及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110478090.5A CN112991343B (zh) | 2021-04-30 | 2021-04-30 | 眼底图像黄斑区域的识别检测方法和装置及设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112991343A true CN112991343A (zh) | 2021-06-18 |
| CN112991343B CN112991343B (zh) | 2021-08-13 |
Family
ID=76336709
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110478090.5A Active CN112991343B (zh) | 2021-04-30 | 2021-04-30 | 眼底图像黄斑区域的识别检测方法和装置及设备 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US11908137B2 (zh) |
| CN (1) | CN112991343B (zh) |
| WO (1) | WO2022227342A1 (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114494734A (zh) * | 2022-01-21 | 2022-05-13 | 平安科技（深圳）有限公司 | 基于眼底图像的病变检测方法、装置、设备及存储介质 |
| WO2022227342A1 (zh) * | 2021-04-30 | 2022-11-03 | 北京至真互联网技术有限公司 | 眼底图像黄斑区域的识别检测方法和装置及设备 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110137157A1 (en) * | 2009-12-08 | 2011-06-09 | Canon Kabushiki Kaisha | Image processing apparatus and image processing method |
| CN106650596A (zh) * | 2016-10-10 | 2017-05-10 | 北京新皓然软件技术有限责任公司 | 一种眼底图像分析方法、装置及*** |
| CN109662686A (zh) * | 2019-02-01 | 2019-04-23 | 北京致远慧图科技有限公司 | 一种眼底黄斑定位方法、装置、***及存储介质 |
| CN109886955A (zh) * | 2019-03-05 | 2019-06-14 | 百度在线网络技术（北京）有限公司 | 用于处理眼底图像的方法和装置 |
| US20200000331A1 (en) * | 2015-10-23 | 2020-01-02 | International Business Machines Corporation | Automatically detecting eye type in retinal fundus images |
| CN110739071A (zh) * | 2019-10-10 | 2020-01-31 | 北京致远慧图科技有限公司 | 一种视盘黄斑联合定位模型的确定方法、装置及存储介质 |
| CN110751637A (zh) * | 2019-10-14 | 2020-02-04 | 北京至真互联网技术有限公司 | 糖尿病视网膜病变检测***、方法、设备和训练*** |
| CN111046717A (zh) * | 2019-10-11 | 2020-04-21 | 平安科技（深圳）有限公司 | 眼底图像黄斑中心定位方法、装置、电子设备及存储介质 |
| CN112017187A (zh) * | 2020-11-02 | 2020-12-01 | 平安科技（深圳）有限公司 | 眼底图像黄斑中心定位方法及装置、服务器、存储介质 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6656063B2 (ja) | 2016-04-15 | 2020-03-04 | キヤノン株式会社 | 画像処理装置及び画像処理方法、プログラム |
| CN109784337B (zh) * | 2019-03-05 | 2022-02-22 | 北京康夫子健康技术有限公司 | 一种黄斑区识别方法、装置及计算机可读存储介质 |
| CN111951933B (zh) | 2020-08-07 | 2023-01-17 | 平安科技（深圳）有限公司 | 眼底彩照图像分级方法、装置、计算机设备及存储介质 |
| CN112991343B (zh) | 2021-04-30 | 2021-08-13 | 北京至真互联网技术有限公司 | 眼底图像黄斑区域的识别检测方法和装置及设备 |
-
2021
- 2021-04-30 CN CN202110478090.5A patent/CN112991343B/zh active Active
- 2021-08-17 US US18/010,804 patent/US11908137B2/en active Active
- 2021-08-17 WO PCT/CN2021/112998 patent/WO2022227342A1/zh active Application Filing
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110137157A1 (en) * | 2009-12-08 | 2011-06-09 | Canon Kabushiki Kaisha | Image processing apparatus and image processing method |
| US20200000331A1 (en) * | 2015-10-23 | 2020-01-02 | International Business Machines Corporation | Automatically detecting eye type in retinal fundus images |
| CN106650596A (zh) * | 2016-10-10 | 2017-05-10 | 北京新皓然软件技术有限责任公司 | 一种眼底图像分析方法、装置及*** |
| CN109662686A (zh) * | 2019-02-01 | 2019-04-23 | 北京致远慧图科技有限公司 | 一种眼底黄斑定位方法、装置、***及存储介质 |
| CN109886955A (zh) * | 2019-03-05 | 2019-06-14 | 百度在线网络技术（北京）有限公司 | 用于处理眼底图像的方法和装置 |
| CN110739071A (zh) * | 2019-10-10 | 2020-01-31 | 北京致远慧图科技有限公司 | 一种视盘黄斑联合定位模型的确定方法、装置及存储介质 |
| CN111046717A (zh) * | 2019-10-11 | 2020-04-21 | 平安科技（深圳）有限公司 | 眼底图像黄斑中心定位方法、装置、电子设备及存储介质 |
| CN110751637A (zh) * | 2019-10-14 | 2020-02-04 | 北京至真互联网技术有限公司 | 糖尿病视网膜病变检测***、方法、设备和训练*** |
| CN112017187A (zh) * | 2020-11-02 | 2020-12-01 | 平安科技（深圳）有限公司 | 眼底图像黄斑中心定位方法及装置、服务器、存储介质 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022227342A1 (zh) * | 2021-04-30 | 2022-11-03 | 北京至真互联网技术有限公司 | 眼底图像黄斑区域的识别检测方法和装置及设备 |
| US11908137B2 (en) | 2021-04-30 | 2024-02-20 | Beijing Zhenhealth Technology Co., Ltd. | Method, device and equipment for identifying and detecting macular region in fundus image |
| CN114494734A (zh) * | 2022-01-21 | 2022-05-13 | 平安科技（深圳）有限公司 | 基于眼底图像的病变检测方法、装置、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112991343B (zh) | 2021-08-13 |
| US20230274419A1 (en) | 2023-08-31 |
| US11908137B2 (en) | 2024-02-20 |
| WO2022227342A1 (zh) | 2022-11-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112991343B (zh) | 眼底图像黄斑区域的识别检测方法和装置及设备 | |
| JP2020507836A (ja) | 重複撮像を予測した手術アイテムの追跡 | |
| EP3901816A1 (en) | Glaucoma image recognition method and device and screening system | |
| US10395091B2 (en) | Image processing apparatus, image processing method, and storage medium identifying cell candidate area | |
| CN112446870B (zh) | 管道损伤检测方法、装置、设备及存储介质 | |
| CN109697716B (zh) | 青光眼图像识别方法、设备和筛查*** | |
| CN111914665A (zh) | 一种人脸遮挡检测方法、装置、设备及存储介质 | |
| US20220012884A1 (en) | Image analysis system and analysis method | |
| CN113222913B (zh) | 一种电路板缺陷检测定位方法、装置和存储介质 | |
| CN110543823B (zh) | 基于残差网络的行人再识别方法、装置和计算机设备 | |
| CN110136153A (zh) | 一种图像处理方法、设备及存储介质 | |
| CN113158821B (zh) | 基于多模态的眼部检测数据的处理方法、装置及终端设备 | |
| CN112215217B (zh) | 模拟医师阅片的数字图像识别方法及装置 | |
| CN113763348A (zh) | 图像质量确定方法、装置、电子设备及存储介质 | |
| CN114419029A (zh) | 表面缺陷检测模型的训练方法、表面缺陷检测方法及装置 | |
| CN115151952A (zh) | 一种变电设备高精度识别方法及*** | |
| EP3176726A1 (en) | Method and device for positioning human eyes | |
| CN116629270B (zh) | 基于考试大数据以及文本语义的主观题评分方法和装置 | |
| CN115359412B (zh) | 一种盐酸中和实验评分方法、装置、设备及可读存储介质 | |
| CN113537407B (zh) | 基于机器学习的图像数据评价处理方法及装置 | |
| CN113591601B (zh) | 角膜共聚焦图像中菌丝识别方法及装置 | |
| CN112102502A (zh) | 用于飞机驾驶舱功能试验的增强现实辅助方法 | |
| CN112084889A (zh) | 一种图像行为识别方法、装置、计算设备及存储介质 | |
| CN113706449B (zh) | 基于病理图像的细胞分析方法、装置、设备及存储介质 | |
| CN115690092B (zh) | 角膜共聚焦图像中阿米巴包囊的识别与计数方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CB03 | Change of inventor or designer information | ||
| CB03 | Change of inventor or designer information |
Inventor after: Zhang Dongdong Inventor after: Yang Kang Inventor after: Liu Peng Inventor before: Zhang Dongdong |
|
| CP03 | Change of name, title or address | ||
| CP03 | Change of name, title or address |
Address after: Room 707, Unit 1, Building 1, Courtyard 1, Longyu Middle Street, Huilongguan Town, Changping District, Beijing, 100085 Patentee after: Beijing Zhizhen Health Technology Co.,Ltd. Address before: 100085 room 1210, Building 29, yard 9, anningzhuang West Road, Haidian District, Beijing Patentee before: BEIJING ZHIZHEN INTERNET TECHNOLOGY CO.,LTD. |