CN114494734A - 基于眼底图像的病变检测方法、装置、设备及存储介质 - Google Patents

基于眼底图像的病变检测方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN114494734A
CN114494734A CN202210073516.3A CN202210073516A CN114494734A CN 114494734 A CN114494734 A CN 114494734A CN 202210073516 A CN202210073516 A CN 202210073516A CN 114494734 A CN114494734 A CN 114494734A
Authority
CN
China
Prior art keywords
image
fundus
network
acquiring
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210073516.3A
Other languages
English (en)
Inventor
郑喜民
王天誉
舒畅
陈又新
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN202210073516.3A priority Critical patent/CN114494734A/zh
Priority to PCT/CN2022/090164 priority patent/WO2023137904A1/zh
Publication of CN114494734A publication Critical patent/CN114494734A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/253Fusion techniques of extracted features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10101Optical tomography; Optical coherence tomography [OCT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30041Eye; Retina; Ophthalmic

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Quality & Reliability (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Epidemiology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本申请涉及图像识别及数字医疗领域,揭示了一种基于眼底图像的病变检测方法、装置、计算机设备及存储介质,其中方法包括:获取眼底筛查图像,所述眼底筛查图像包括扫描图像和造影图像;将所述扫描图像输入到深度学习网络模型的双通道网络中的第一网络,获取所述第一网络得到的第一图像特征;所述第一图像特征包括眼底曲率与反射率;将所述造影图像输入到深度学习网络模型的双通道网络中的第二网络,获取所述第二网络得到的第二图像特征;所述第二图像特征包括血管密度以及眼底组织厚度;将所述第一图像特征与第二图像特征进行融合,得到融合特征;根据所述融合特征匹配所述图像对应的黄斑病变等级。本申请能够提高眼底黄斑病变等级识别的准确度。

Description

基于眼底图像的病变检测方法、装置、设备及存储介质
技术领域
本申请涉及到图像识别及数字医疗领域,特别是涉及到一种基于眼底图像的病变检测方法、装置、计算机设备及存储介质。
背景技术
老年性黄斑变性(AMD)是一种严重影响老年人视力的眼部疾病,目前对AMD的检测是通过基于彩色眼底照片对眼底图像进行深入而耗时的分析。目前研究使用的眼底图像分别是眼底彩色图像和光学相干断层扫描(OCT)图像,该两者图像的眼底特征相互独立,无法准确地识别出眼底黄斑病变的程度。
发明内容
本申请的主要目的为提供一种基于眼底图像的病变检测方法、装置、计算机设备及存储介质,旨在解决目前眼底黄斑病变的程度的识别成都的准确性低的问题。
为了实现上述发明目的,本申请提出一种基于眼底图像的病变检测方法,包括:
获取眼底筛查图像,所述眼底筛查图像包括扫描图像和造影图像;
将所述扫描图像输入到深度学习网络模型的双通道网络中的第一网络,获取所述第一网络得到的第一图像特征;所述第一图像特征包括眼底曲率与反射率;
将所述造影图像输入到深度学习网络模型的双通道网络中的第二网络,获取所述第二网络得到的第二图像特征;所述第二图像特征包括血管密度以及眼底组织厚度;
将所述第一图像特征与第二图像特征进行融合,得到融合特征;
根据所述融合特征匹配所述图像对应的黄斑病变等级。
进一步地,所述根据所述融合特征匹配所述图像对应的黄斑病变等级,包括:
计算所述融合特征与标准特征的损失度,根据所述损失度匹配所述黄斑病变等级。
进一步地,所述将所述第一图像特征与第二图像特征进行融合,得到融合特征,包括:
获取第一图像特征的第一眼底曲率与第一反射率,获取第二图像特征的第二眼底曲率与第二反射率;
获取第一图像特征的第一血管密度与第一眼底组织厚度,获取第二图像特征的第二血管密度与第二眼底组织厚度;
获取所述第一图像特征与第二图像特征中各项特征的融合比例;
根据所述融合比例对所述第一眼底曲率与第一反射率、第二眼底曲率与第二反射率、第一血管密度与第一眼底组织厚度、第二血管密度与第二眼底组织厚度进行融合,得到融合特征。
进一步地,所述获取眼底筛查图像之后,包括:
获取所述眼底筛查图像的眼底周围部位的第一冗余图像;
从所述眼底筛查图像删除所述第一冗余图像,得到待选眼底筛查图像;
从所述待选眼底筛查图像中获取黄斑部位的中央凹区域图像;
在所述待选眼底筛查图像中对所述中央凹区域图像进行随机翻转,得到目标眼底筛查图像。
进一步的,所述在所述待选眼底筛查图像中对所述中央凹区域图像进行随机翻转,得到目标眼底筛查图像之后,还包括:
调用区域动态直方图均衡化对所述目标眼底筛查图像进行处理,得到均衡化的目标眼底筛查图像;
调用拉普拉斯滤波器对所述均衡化的目标眼底筛查图像进行增强,以增强目标眼底筛查图像中的眼底曲率、反射率、血管密度以及各层组织厚度的特征,得到增强后的目标眼底筛查图像。
进一步地,所述将所述扫描图像输入到深度学习网络模型的双通道网络中的第一网络之前,还包括:
构建具有两个分支网络的双通道网络,所述两个分支网络包括第一网络与第二网络;
分别构建所述第一网络的若干个分支与所述第二网络的若干个分支,并配置每一个分支的滤波函数;所述第一网络与第二网络的分支之间能够进行信息传递;
基于所述滤波函数对所述扫描图像或所述造影图像的特征信息进行增强。
进一步地,所述分别构建所述第一网络的若干个分支与所述第二网络的若干个分支,并配置每一个分支的滤波函数之后,还包括:
获取所述滤波函数对应的滤波器包含的信息通道;
获取第一信息通道的第一通道参数以及第二信息通道的第二通道参数;
判断当所述第一通道参数与所述第二通道参数在参数超空间中是否被约束向心生长;
若是,将所述第二信息通道加入至所述第二信息通道,以对第一网络或第二网络进行剪枝,其中,所述第二信息通道为处于所述第一信息通道之后的信息通道。
本申请还提供一种基于眼底图像的病变检测装置,包括:
眼底图像模块,用于获取眼底筛查图像,所述眼底筛查图像包括扫描图像和造影图像;
第一网络模块,用于将所述扫描图像输入到深度学习网络模型的双通道网络中的第一网络,获取所述第一网络得到的第一图像特征;所述第一图像特征包括眼底曲率与反射率;
第二网络模块,用于将所述造影图像输入到深度学习网络模型的双通道网络中的第二网络,获取所述第二网络得到的第二图像特征;所述第二图像特征包括血管密度以及眼底组织厚度;
特征融合模块,用于将所述第一图像特征与第二图像特征进行融合,得到融合特征;
等级匹配模块,用于根据所述融合特征匹配所述图像对应的黄斑病变等级。
本申请还提供一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现上述任一项所述基于眼底图像的病变检测方法的步骤。
本申请还提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述任一项所述基于眼底图像的病变检测方法的步骤。
本申请例提供了一种基于光学相干断层扫描图像和光学相干断层扫描血管造影图像,并结合深度双通道神经网络算法进行眼底黄斑病变进行识别、分级检测的方法,首先获取眼底筛查图像,所述眼底筛查图像包括扫描图像和造影图像,然后将所述扫描图像输入到深度学习网络模型的双通道网络中的第一网络,获取所述第一网络得到的第一图像特征;所述第一图像特征包括眼底曲率与反射率,将所述造影图像输入到深度学习网络模型的双通道网络中的第二网络,获取所述第二网络得到的第二图像特征;所述第二图像特征包括血管密度以及眼底组织厚度,将所述第一图像特征与第二图像特征进行融合,得到融合特征,所述融合特征中包含判定黄斑病变的各项眼底参数的数值,包括眼底曲率、反射率、血管密度以及眼底组织厚度等,且该多项眼底参数是由第一图像特征与第二图像特征融合得到的,即所述第二图像特征中亦包含眼底曲率、反射率,并基于第二图像特征中的眼底曲率、反射率对第一图像特征的眼底曲率与反射率进行修正,从而得到融合特征;根据所述融合特征匹配所述图像对应的黄斑病变等级,从而提高黄斑病变识别、检测的精度与准确度。
附图说明
图1为本申请基于眼底图像的病变检测方法的一实施例流程示意图;
图2为本申请基于眼底图像的病变检测装置的一实施例结构示意图;
图3为本申请计算机设备的一实施例结构示意框图。
本申请目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请实施例可以基于人工智能的深度学习模型对医疗诊断相关的数据进行获取和处理。其中,人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用***。
参照图1,本申请实施例提供一种基于眼底图像的病变检测方法,包括步骤S10-S50,对于所述基于眼底图像的病变检测方法的各个步骤的详细阐述如下,所述基于眼底图像的病变检测方法可以由内置有相应功能的应用程序完成,例如内置于应用程序中的“眼底图像黄斑病变检测识别”功能,通过该功能使得应用程序能够从眼底筛查图像中识别和判定是否产生黄斑病变以及对黄斑病变进行分级,所述应用程序可以运行于终端设备上或运行于云端服务器中,因此,所述基于眼底图像的病变检测方法也可以理解为由运行所述应用程序的终端设备或云端服务器完成。
S10、获取眼底筛查图像,所述眼底筛查图像包括扫描图像和造影图像。
本实施例应用于基于图像识别技术对眼底是否产生黄斑变性以及黄斑病变的等级进行检测的场景,首先获取眼底筛查图像,所述眼底筛查图像包括扫描图像和造影图像,所述扫描图像为光学相干断层扫描图像(简称OCT),所述造影图像为光学相干断层扫描血管造影图像(简称OCTA),所述扫描图像和所述造影图像中均具有判定黄斑病变的特征,且所述扫描图像和所述造影图像中判定黄斑病变的侧重特征不相同,基于所述扫描图像和所述造影图像可以更加准确地对眼底黄斑病变进行识别、检测。
S20、将所述扫描图像输入到深度学习网络模型的双通道网络中的第一网络,获取所述第一网络得到的第一图像特征;所述第一图像特征包括眼底曲率与反射率。
本实施例中,在获获取眼底筛查图像,所述眼底筛查图像包括扫描图像和造影图像之后,本实施例中通过深度学习网络模型学习到扫描图像和造影图像判别所述黄斑病变的图像特征,所述深度学习网络为双通道网络,包括第一网络与第二网络,通过两个不同的网络分别接收所述扫描图像和造影图像,其中,第一网络能够提取扫描图像中的判断黄斑病变的特征,将所述扫描图像输入到深度学习网络模型的双通道网络中的第一网络,获取所述第一网络得到的第一图像特征;所述第一图像特征包括眼底曲率与反射率,即将提取到的第一图像特征转化为眼底的参数,包括眼底曲率与反射率。
S30、将所述造影图像输入到深度学习网络模型的双通道网络中的第二网络,获取所述第二网络得到的第二图像特征;所述第二图像特征包括血管密度以及眼底组织厚度。
本实施例中,在将所述扫描图像输入到双通道网络中的第一网络,获取所述第一网络得到的第一图像特征;所述第一图像特征包括眼底曲率与反射率之后,将所述造影图像输入到深度学习网络模型的双通道网络中的第二网络,获取所述第二网络得到的第二图像特征;所述第二图像特征包括血管密度以及眼底组织厚度,其中,第二网络能够提取造影图像中的判断黄斑病变的特征,将提取到的第二图像特征转化为眼底的参数,包括血管密度以及眼底组织厚度。
S40、将所述第一图像特征与第二图像特征进行融合,得到融合特征。
本实施例中,在将所述扫描图像输入到双通道网络中的第一网络,获取所述第一网络得到的第一图像特征;所述第一图像特征包括眼底曲率与反射率,以及将所述造影图像输入到双通道网络中的第二网络,获取所述第二网络得到的第二图像特征;所述第二图像特征包括血管密度以及眼底组织厚度后,为了更加准确地对黄斑病变进行判断,将两种不同图像的识别到的眼底特征进行结合,即将所述第一图像特征与第二图像特征进行融合,得到融合特征,所述融合特征中包含判定黄斑病变的各项眼底参数的数值,包括眼底曲率、反射率、血管密度以及眼底组织厚度等,且该多项眼底参数是由第一图像特征与第二图像特征融合得到的,即所述第二图像特征中亦包含眼底曲率、反射率,并基于第二图像特征中的眼底曲率、反射率对第一图像特征的眼底曲率与反射率进行修正,从而得到融合特征。
S50、根据所述融合特征匹配所述图像对应的黄斑病变等级。
本实施例中,在将所述第一图像特征与第二图像特征进行融合,得到融合特征之后,根据所述融合特征匹配所述图像对应的黄斑病变等级,融合了光学相干断层扫描图像与光学相干断层扫描血管造影图像中提取到的表征黄斑病变的图像特征,然后根据融合特征匹配对应的黄斑病变等级,在一种实施方式中,每一等级的黄斑病变均预先设置有每种眼底参数的数值范围,当所述融合特征的各项参数的数值满足对应等级的黄斑病变的眼底参数的范围时,为所述融合特征匹配相应的黄斑病变等级,从而提高黄斑病变识别、检测的精度与准确度。
本实施例提供一种基于光学相干断层扫描图像和光学相干断层扫描血管造影图像,并结合深度双通道神经网络算法进行眼底黄斑病变进行识别、分级检测的方法,首先获取眼底筛查图像,所述眼底筛查图像包括扫描图像和造影图像,然后将所述扫描图像输入到深度学习网络模型的双通道网络中的第一网络,获取所述第一网络得到的第一图像特征;所述第一图像特征包括眼底曲率与反射率,将所述造影图像输入到深度学习网络模型的双通道网络中的第二网络,获取所述第二网络得到的第二图像特征;所述第二图像特征包括血管密度以及眼底组织厚度,将所述第一图像特征与第二图像特征进行融合,得到融合特征,所述融合特征中包含判定黄斑病变的各项眼底参数的数值,包括眼底曲率、反射率、血管密度以及眼底组织厚度等,且该多项眼底参数是由第一图像特征与第二图像特征融合得到的,即所述第二图像特征中亦包含眼底曲率、反射率,并基于第二图像特征中的眼底曲率、反射率对第一图像特征的眼底曲率与反射率进行修正,从而得到融合特征;根据所述融合特征匹配所述图像对应的黄斑病变等级,从而提高黄斑病变识别、检测的精度与准确度。
在一个实施例中,所述根据所述融合特征匹配所述图像对应的黄斑病变等级,包括:
计算所述融合特征与标准特征的损失度,根据所述损失度匹配所述黄斑病变等级。
本实施例中,在根据所述融合特征匹配所述图像对应的黄斑病变等级的过程中,将所述融合特征与标准特征进行对比,然后计算所述融合特征与标准特征的损失度,然后根据所述损失度匹配所述黄斑病变等级,其中,所述融合特征中,第一图像特征与第二图像特征对应标准特征的损失度的重要程度相同,在计算所述融合特征与标准特征的损失度时,可以先计算第一图像特征与标准特征的第一损失度,以及计算第二图像特征与标准特征的第二损失度,再将第一损失度与第二损失度进行加和,得到所述融合特征与标准特征的损失度,从而准确地对两种图像的特征进行计算与匹配,提高了黄斑病变识别的准确度。
在一个实施例中,所述将所述第一图像特征与第二图像特征进行融合,得到融合特征,包括:
获取第一图像特征的第一眼底曲率与第一反射率,获取第二图像特征的第二眼底曲率与第二反射率;
获取第一图像特征的第一血管密度与第一眼底组织厚度,获取第二图像特征的第二血管密度与第二眼底组织厚度;
获取所述第一图像特征与第二图像特征中各项特征的融合比例;
根据所述融合比例对所述第一眼底曲率与第一反射率、第二眼底曲率与第二反射率、第一血管密度与第一眼底组织厚度、第二血管密度与第二眼底组织厚度进行融合,得到融合特征。
本实施例中,在将所述第一图像特征与第二图像特征进行融合,得到融合特征的过程中,先获取第一图像特征的第一眼底曲率与第一反射率,获取第二图像特征的第二眼底曲率与第二反射率,获取第一图像特征的第一血管密度与第一眼底组织厚度,获取第二图像特征的第二血管密度与第二眼底组织厚度,再获取所述第一图像特征与第二图像特征中各项特征的融合比例,即第一图像特征中各项特征的比例以及第二图像特征中各项特征的比例,所述第二图像特征中亦包含眼底曲率、反射率,所述第一图像特征中亦包含血管密度及眼底组织厚度,然后根据所述融合比例对所述第一眼底曲率与第一反射率、第二眼底曲率与第二反射率、第一血管密度与第一眼底组织厚度、第二血管密度与第二眼底组织厚度进行融合,得到融合特征,将两种不同图像的识别到的眼底特征进行结合,从而提高融合后的特征的准确性。
在一个实施例中,所述获取眼底筛查图像之后,包括:
获取所述眼底筛查图像的眼底周围部位的第一冗余图像;
从所述眼底筛查图像删除所述第一冗余图像,得到待选眼底筛查图像;
从所述待选眼底筛查图像中获取黄斑部位的中央凹区域图像;
在所述待选眼底筛查图像中对所述中央凹区域图像进行随机翻转,得到目标眼底筛查图像。
本实施例中,在获取眼底筛查图像之后,需要对所述眼底筛查图像进行增强,包括对扫描图像和造影图像的增强,具体的,获取所述眼底筛查图像的眼底周围部位的第一冗余图像,从所述眼底筛查图像删除所述第一冗余图像,得到待选眼底筛查图像,然后从所述待选眼底筛查图像中获取黄斑部位的中央凹区域图像,再在所述待选眼底筛查图像中对所述中央凹区域图像进行随机翻转来对图像进行增强,得到目标眼底筛查图像,从而提高眼底筛查图像识别的准确度。
在一个实施例中,所述在所述待选眼底筛查图像中对所述中央凹区域图像进行随机翻转,得到目标眼底筛查图像之后,还包括:
调用区域动态直方图均衡化对所述目标眼底筛查图像进行处理,得到均衡化的目标眼底筛查图像;
调用拉普拉斯滤波器对所述均衡化的目标眼底筛查图像进行增强,以增强目标眼底筛查图像中的眼底曲率、反射率、血管密度以及各层组织厚度的特征,得到增强后的目标眼底筛查图像。
本实施例中,在在所述待选眼底筛查图像中对所述中央凹区域图像进行随机翻转,得到目标眼底筛查图像之后,即对眼底筛查图形进行了一次图像增强,进一步的,第一次增强后的图像对比度可能还较低,对图像进行第二次增强,具体的,调用区域动态直方图均衡化对所述目标眼底筛查图像进行处理,得到均衡化的目标眼底筛查图像,然后调用拉普拉斯滤波器对所述均衡化的目标眼底筛查图像进行增强,以增强目标眼底筛查图像中的眼底曲率、反射率、血管密度以及各层组织厚度的特征,得到增强后的目标眼底筛查图像,从而对眼底筛查图像中的关键细节如眼底曲率、反射率、血管密度以及各层组织厚度继续图像增强,从而提高眼底筛查图像识别的准确度。
在一个实施例中,所述将所述扫描图像输入到深度学习网络模型的双通道网络中的第一网络之前,还包括:
构建具有两个分支网络的双通道网络,所述两个分支网络包括第一网络与第二网络;
分别构建所述第一网络的若干个分支与所述第二网络的若干个分支,并配置每一个分支的滤波函数;所述第一网络与第二网络的分支之间能够进行信息传递;
基于所述滤波函数对所述扫描图像或所述造影图像的特征信息进行增强。
本实施例中,在将所述扫描图像输入到深度学习网络模型的双通道网络中的第一网络之前,构建具有两个分支网络的双通道网络,所述两个分支网络包括第一网络与第二网络,通过两个不同分支网络对不同图像的特征进行提取,接着分别构建所述第一网络的若干个分支与所述第二网络的若干个分支,并配置每一个分支的滤波函数;所述第一网络与第二网络的分支之间能够进行信息传递,使得第一图像特征与第二图像特征能够更好地融合,然后基于所述滤波函数对所述扫描图像或所述造影图像的特征信息进行增强,从而提高图像识别的准确率。
在一个实施例中,所述分别构建所述第一网络的若干个分支与所述第二网络的若干个分支,并配置每一个分支的滤波函数之后,还包括:
获取所述滤波函数对应的滤波器包含的信息通道;
获取第一信息通道的第一通道参数以及第二信息通道的第二通道参数;
判断当所述第一通道参数与所述第二通道参数在参数超空间中是否被约束向心生长;
若是,将所述第二信息通道加入至所述第二信息通道,以对第一网络或第二网络进行剪枝,其中,所述第二信息通道为处于所述第一信息通道之后的信息通道。
本实施例中,在分别构建所述第一网络的若干个分支与所述第二网络的若干个分支,并配置每一个分支的滤波函数之后,获取所述滤波函数对应的滤波器包含的信息通道,每一个滤波器都包含有多个通道供特征数据的接入与传递,然后获取第一信息通道的第一通道参数以及第二信息通道的第二通道参数,其中,第一信息通道与第二信息通道表征滤波器中不同的两个通道,且所述第一信息通道位于第二信息通道的前方,第一信息通道将计算后的特征数据传至第二信息通道,进一步的,判断当所述第一通道参数与所述第二通道参数在参数超空间中是否被约束向心生长,若是,将所述第二信息通道加入至所述第二信息通道,以对第一网络或第二网络进行剪枝,其中,所述第二信息通道为处于所述第一信息通道之后的信息通道,当多个滤波器在参数超空间中被约束向心生长时,虽然它们开始产生越来越相似的信息,但下一层对应输入通道传递的信息仍然充分使用,可以将下一层的通道进行融合,从而减少内存占用、功耗和所需的浮点操作,提高计算效率,提高对眼底图像的病变的筛查效率。
参照图2,本申请还提供一种基于眼底图像的病变检测装置,包括:
眼底图像模块10,用于获取眼底筛查图像,所述眼底筛查图像包括扫描图像和造影图像;
第一网络模块20,用于将所述扫描图像输入到双通道网络中的第一网络,获取所述第一网络得到的第一图像特征;所述第一图像特征包括眼底曲率与反射率;
第二网络模块30,用于将所述造影图像输入到双通道网络中的第二网络,获取所述第二网络得到的第二图像特征;所述第二图像特征包括血管密度以及眼底组织厚度;
特征融合模块40,用于将所述第一图像特征与第二图像特征进行融合,得到融合特征;
等级匹配模块50,用于根据所述融合特征匹配所述图像对应的黄斑病变等级。
如上所述,可以理解地,本申请中提出的所述基于眼底图像的病变检测装置的各组成部分可以实现如上所述基于眼底图像的病变检测方法任一项的功能。
在一个实施例中,所述根据所述融合特征匹配所述图像对应的黄斑病变等级,包括:
计算所述融合特征与标准特征的损失度,根据所述损失度匹配所述黄斑病变等级。
在一个实施例中,所述将所述第一图像特征与第二图像特征进行融合,得到融合特征,包括:
获取第一图像特征的第一眼底曲率与第一反射率,获取第二图像特征的第二眼底曲率与第二反射率;
获取第一图像特征的第一血管密度与第一眼底组织厚度,获取第二图像特征的第二血管密度与第二眼底组织厚度;
获取所述第一图像特征与第二图像特征中各项特征的融合比例;
根据所述融合比例对所述第一眼底曲率与第一反射率、第二眼底曲率与第二反射率、第一血管密度与第一眼底组织厚度、第二血管密度与第二眼底组织厚度进行融合,得到融合特征。
在一个实施例中,所述获取眼底筛查图像之后,包括:
获取所述眼底筛查图像的眼底周围部位的第一冗余图像;
从所述眼底筛查图像删除所述第一冗余图像,得到待选眼底筛查图像;
从所述待选眼底筛查图像中获取黄斑部位的中央凹区域图像;
在所述待选眼底筛查图像中对所述中央凹区域图像进行随机翻转,得到目标眼底筛查图像。
在一个实施例中,所述在所述待选眼底筛查图像中对所述中央凹区域图像进行随机翻转,得到目标眼底筛查图像之后,还包括:
调用区域动态直方图均衡化对所述目标眼底筛查图像进行处理,得到均衡化的目标眼底筛查图像;
调用拉普拉斯滤波器对所述均衡化的目标眼底筛查图像进行增强,以增强目标眼底筛查图像中的眼底曲率、反射率、血管密度以及各层组织厚度的特征,得到增强后的目标眼底筛查图像。
在一个实施例中,所述将所述扫描图像输入到深度学习网络模型的双通道网络中的第一网络之前,还包括:
构建具有两个分支网络的双通道网络,所述两个分支网络包括第一网络与第二网络;
分别构建所述第一网络的若干个分支与所述第二网络的若干个分支,并配置每一个分支的滤波函数;所述第一网络与第二网络的分支之间能够进行信息传递;
基于所述滤波函数对所述扫描图像或所述造影图像的特征信息进行增强。
在一个实施例中,所述分别构建所述第一网络的若干个分支与所述第二网络的若干个分支,并配置每一个分支的滤波函数之后,还包括:
获取所述滤波函数对应的滤波器包含的信息通道;
获取第一信息通道的第一通道参数以及第二信息通道的第二通道参数;
判断当所述第一通道参数与所述第二通道参数在参数超空间中是否被约束向心生长;
若是,将所述第二信息通道加入至所述第二信息通道,以对第一网络或第二网络进行剪枝,其中,所述第二信息通道为处于所述第一信息通道之后的信息通道。
参照图3,本申请实施例中还提供一种计算机设备,该计算机设备可以是移动终端,其内部结构可以如图3所示。该计算机设备包括通过***总线连接的处理器、存储器、网络接口和显示装置及输入装置。其中,该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机设备的输入装置用于接收用户的输入。该计算机设计的处理器用于提供计算和控制能力。该计算机设备的存储器包括存储介质。该存储介质存储有操作***、计算机程序和数据库。该计算机设备的数据库用于存放数据。该计算机程序被处理器执行时以实现一种基于眼底图像的病变检测方法。
上述处理器执行上述的基于眼底图像的病变检测方法,包括:获取眼底筛查图像,所述眼底筛查图像包括扫描图像和造影图像;将所述扫描图像输入到双通道网络中的第一网络,获取所述第一网络得到的第一图像特征;所述第一图像特征包括眼底曲率与反射率;将所述造影图像输入到双通道网络中的第二网络,获取所述第二网络得到的第二图像特征;所述第二图像特征包括血管密度以及眼底组织厚度;将所述第一图像特征与第二图像特征进行融合,得到融合特征;根据所述融合特征匹配所述图像对应的黄斑病变等级。
所述计算机设备提供了一种基于光学相干断层扫描图像和光学相干断层扫描血管造影图像,并结合深度双通道神经网络算法进行眼底黄斑病变进行识别、分级检测的方法,首先获取眼底筛查图像,所述眼底筛查图像包括扫描图像和造影图像,然后将所述扫描图像输入到双通道网络中的第一网络,获取所述第一网络得到的第一图像特征;所述第一图像特征包括眼底曲率与反射率,将所述造影图像输入到双通道网络中的第二网络,获取所述第二网络得到的第二图像特征;所述第二图像特征包括血管密度以及眼底组织厚度,将所述第一图像特征与第二图像特征进行融合,得到融合特征,所述融合特征中包含判定黄斑病变的各项眼底参数的数值,包括眼底曲率、反射率、血管密度以及眼底组织厚度等,且该多项眼底参数是由第一图像特征与第二图像特征融合得到的,即所述第二图像特征中亦包含眼底曲率、反射率,并基于第二图像特征中的眼底曲率、反射率对第一图像特征的眼底曲率与反射率进行修正,从而得到融合特征;根据所述融合特征匹配所述图像对应的黄斑病变等级,从而提高黄斑病变识别、检测的精度与准确度。
本申请一实施例还提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被所述处理器执行时实现一种基于眼底图像的病变检测方法,包括步骤:获取眼底筛查图像,所述眼底筛查图像包括扫描图像和造影图像;将所述扫描图像输入到双通道网络中的第一网络,获取所述第一网络得到的第一图像特征;所述第一图像特征包括眼底曲率与反射率;将所述造影图像输入到双通道网络中的第二网络,获取所述第二网络得到的第二图像特征;所述第二图像特征包括血管密度以及眼底组织厚度;将所述第一图像特征与第二图像特征进行融合,得到融合特征;根据所述融合特征匹配所述图像对应的黄斑病变等级。
所述计算机可读存储介质提供了一种基于光学相干断层扫描图像和光学相干断层扫描血管造影图像,并结合深度双通道神经网络算法进行眼底黄斑病变进行识别、分级检测的方法,首先获取眼底筛查图像,所述眼底筛查图像包括扫描图像和造影图像,然后将所述扫描图像输入到双通道网络中的第一网络,获取所述第一网络得到的第一图像特征;所述第一图像特征包括眼底曲率与反射率,将所述造影图像输入到双通道网络中的第二网络,获取所述第二网络得到的第二图像特征;所述第二图像特征包括血管密度以及眼底组织厚度,将所述第一图像特征与第二图像特征进行融合,得到融合特征,所述融合特征中包含判定黄斑病变的各项眼底参数的数值,包括眼底曲率、反射率、血管密度以及眼底组织厚度等,且该多项眼底参数是由第一图像特征与第二图像特征融合得到的,即所述第二图像特征中亦包含眼底曲率、反射率,并基于第二图像特征中的眼底曲率、反射率对第一图像特征的眼底曲率与反射率进行修正,从而得到融合特征;根据所述融合特征匹配所述图像对应的黄斑病变等级,从而提高黄斑病变识别、检测的精度与准确度。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。
本申请所提供的和实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性或易失性存储器。
非易失性存储器可以包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双速据率SDRAM(SSRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
以上所述仅为本申请的优选实施例,并非因此限制本申请的专利范围。
凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本申请的专利保护范围内。

Claims (10)

1.一种基于眼底图像的病变检测方法,其特征在于,包括:
获取眼底筛查图像,所述眼底筛查图像包括扫描图像和造影图像;
将所述扫描图像输入到深度学习网络模型的双通道网络中的第一网络,获取所述第一网络得到的第一图像特征;所述第一图像特征包括眼底曲率与反射率;
将所述造影图像输入到深度学习网络模型的双通道网络中的第二网络,获取所述第二网络得到的第二图像特征;所述第二图像特征包括血管密度以及眼底组织厚度;
将所述第一图像特征与第二图像特征进行融合,得到融合特征;
根据所述融合特征匹配所述图像对应的黄斑病变等级。
2.根据权利要求1所述的基于眼底图像的病变检测方法,其特征在于,所述根据所述融合特征匹配所述图像对应的黄斑病变等级,包括:
计算所述融合特征与标准特征的损失度,根据所述损失度匹配所述黄斑病变等级。
3.根据权利要1所述的基于眼底图像的病变检测方法,其特征在于,所述将所述第一图像特征与第二图像特征进行融合,得到融合特征,包括:
获取第一图像特征的第一眼底曲率与第一反射率,获取第二图像特征的第二眼底曲率与第二反射率;
获取第一图像特征的第一血管密度与第一眼底组织厚度,获取第二图像特征的第二血管密度与第二眼底组织厚度;
获取所述第一图像特征与第二图像特征中各项特征的融合比例;
根据所述融合比例对所述第一眼底曲率与第一反射率、第二眼底曲率与第二反射率、第一血管密度与第一眼底组织厚度、第二血管密度与第二眼底组织厚度进行融合,得到融合特征。
4.根据权利要求1所述的基于眼底图像的病变检测方法,其特征在于,所述获取眼底筛查图像之后,包括:
获取所述眼底筛查图像的眼底周围部位的第一冗余图像;
从所述眼底筛查图像删除所述第一冗余图像,得到待选眼底筛查图像;
从所述待选眼底筛查图像中获取黄斑部位的中央凹区域图像;
在所述待选眼底筛查图像中对所述中央凹区域图像进行随机翻转,得到目标眼底筛查图像。
5.根据权利要求4所述的基于眼底图像的病变检测方法,其特征在于,所述在所述待选眼底筛查图像中对所述中央凹区域图像进行随机翻转,得到目标眼底筛查图像之后,还包括:
调用区域动态直方图均衡化对所述目标眼底筛查图像进行处理,得到均衡化的目标眼底筛查图像;
调用拉普拉斯滤波器对所述均衡化的目标眼底筛查图像进行增强,以增强目标眼底筛查图像中的眼底曲率、反射率、血管密度以及各层组织厚度的特征,得到增强后的目标眼底筛查图像。
6.根据权利要求1所述的基于眼底图像的病变检测方法,其特征在于,所述将所述扫描图像输入到深度学习网络模型的双通道网络中的第一网络之前,还包括:
构建具有两个分支网络的双通道网络,所述两个分支网络包括第一网络与第二网络;
分别构建所述第一网络的若干个分支与所述第二网络的若干个分支,并配置每一个分支的滤波函数;所述第一网络与第二网络的分支之间能够进行信息传递;
基于所述滤波函数对所述扫描图像或所述造影图像的特征信息进行增强。
7.根据权利要求6所述的基于眼底图像的病变检测方法,其特征在于,所述分别构建所述第一网络的若干个分支与所述第二网络的若干个分支,并配置每一个分支的滤波函数之后,还包括:
获取所述滤波函数对应的滤波器包含的信息通道;
获取第一信息通道的第一通道参数以及第二信息通道的第二通道参数;
判断当所述第一通道参数与所述第二通道参数在参数超空间中是否被约束向心生长;
若是,将所述第二信息通道加入至所述第二信息通道,以对第一网络或第二网络进行剪枝,其中,所述第二信息通道为处于所述第一信息通道之后的信息通道。
8.一种基于眼底图像的病变检测装置,其特征在于,包括:
眼底图像模块,用于获取眼底筛查图像,所述眼底筛查图像包括扫描图像和造影图像;
第一网络模块,用于将所述扫描图像输入到深度学习网络模型的双通道网络中的第一网络,获取所述第一网络得到的第一图像特征;所述第一图像特征包括眼底曲率与反射率;
第二网络模块,用于将所述造影图像输入到深度学习网络模型的双通道网络中的第二网络,获取所述第二网络得到的第二图像特征;所述第二图像特征包括血管密度以及眼底组织厚度;
特征融合模块,用于将所述第一图像特征与第二图像特征进行融合,得到融合特征;
等级匹配模块,用于根据所述融合特征匹配所述图像对应的黄斑病变等级。
9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述基于眼底图像的病变检测方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述基于眼底图像的病变检测方法的步骤。
CN202210073516.3A 2022-01-21 2022-01-21 基于眼底图像的病变检测方法、装置、设备及存储介质 Pending CN114494734A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210073516.3A CN114494734A (zh) 2022-01-21 2022-01-21 基于眼底图像的病变检测方法、装置、设备及存储介质
PCT/CN2022/090164 WO2023137904A1 (zh) 2022-01-21 2022-04-29 基于眼底图像的病变检测方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210073516.3A CN114494734A (zh) 2022-01-21 2022-01-21 基于眼底图像的病变检测方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN114494734A true CN114494734A (zh) 2022-05-13

Family

ID=81472176

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210073516.3A Pending CN114494734A (zh) 2022-01-21 2022-01-21 基于眼底图像的病变检测方法、装置、设备及存储介质

Country Status (2)

Country Link
CN (1) CN114494734A (zh)
WO (1) WO2023137904A1 (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190191988A1 (en) * 2016-09-02 2019-06-27 Spect Inc. Screening method for automated detection of vision-degenerative diseases from color fundus images
CN110021009A (zh) * 2019-01-18 2019-07-16 平安科技(深圳)有限公司 一种评估眼底图像质量的方法、装置及存储介质
CN110766656A (zh) * 2019-09-19 2020-02-07 平安科技(深圳)有限公司 筛查眼底黄斑区异常的方法、装置、设备和存储介质
CN112446860A (zh) * 2020-11-23 2021-03-05 中山大学中山眼科中心 一种基于迁移学习的糖尿病黄斑水肿自动筛查方法
CN112883962A (zh) * 2021-01-29 2021-06-01 北京百度网讯科技有限公司 眼底图像识别方法、装置、设备、存储介质以及程序产品
CN112884729A (zh) * 2021-02-04 2021-06-01 北京邮电大学 基于双模态深度学习的眼底疾病辅助诊断方法和装置
CN112991343A (zh) * 2021-04-30 2021-06-18 北京至真互联网技术有限公司 眼底图像黄斑区域的识别检测方法和装置及设备

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11074495B2 (en) * 2013-02-28 2021-07-27 Z Advanced Computing, Inc. (Zac) System and method for extremely efficient image and pattern recognition and artificial intelligence platform
CN113011485B (zh) * 2021-03-12 2023-04-07 北京邮电大学 多模态多病种长尾分布眼科疾病分类模型训练方法和装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190191988A1 (en) * 2016-09-02 2019-06-27 Spect Inc. Screening method for automated detection of vision-degenerative diseases from color fundus images
CN110021009A (zh) * 2019-01-18 2019-07-16 平安科技(深圳)有限公司 一种评估眼底图像质量的方法、装置及存储介质
CN110766656A (zh) * 2019-09-19 2020-02-07 平安科技(深圳)有限公司 筛查眼底黄斑区异常的方法、装置、设备和存储介质
CN112446860A (zh) * 2020-11-23 2021-03-05 中山大学中山眼科中心 一种基于迁移学习的糖尿病黄斑水肿自动筛查方法
CN112883962A (zh) * 2021-01-29 2021-06-01 北京百度网讯科技有限公司 眼底图像识别方法、装置、设备、存储介质以及程序产品
CN112884729A (zh) * 2021-02-04 2021-06-01 北京邮电大学 基于双模态深度学习的眼底疾病辅助诊断方法和装置
CN112991343A (zh) * 2021-04-30 2021-06-18 北京至真互联网技术有限公司 眼底图像黄斑区域的识别检测方法和装置及设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘建成: "《临床常见五官科疾病诊治》", 31 August 2021, 江西科学技术出版社, pages: 79 - 82 *

Also Published As

Publication number Publication date
WO2023137904A1 (zh) 2023-07-27

Similar Documents

Publication Publication Date Title
JP7085007B2 (ja) 画像認識方法、コンピュータ装置及びプログラム
Laibacher et al. M2u-net: Effective and efficient retinal vessel segmentation for real-world applications
CN110796161A (zh) 识别模型训练、眼底特征的识别方法、装置、设备及介质
CN108022251B (zh) 一种管状结构的中心线的提取方法及***
EP3424406A1 (en) Method and system for classifying optic nerve head
CN110889826B (zh) 眼部oct图像病灶区域的分割方法、装置及终端设备
CN110263755B (zh) 眼底图像识别模型训练方法、眼底图像识别方法和设备
CN110443254B (zh) 图像中金属区域的检测方法、装置、设备和存储介质
CN107563434B (zh) 一种基于三维卷积神经网络的脑部mri图像分类方法、装置
CN112017185A (zh) 病灶分割方法、装置及存储介质
CN112464809A (zh) 一种人脸关键点检测方法、装置、电子设备及存储介质
CN110310723A (zh) 骨骼图像处理方法、电子设备及存储介质
CN110210544B (zh) 图像分类方法、计算机设备和存储介质
CN111340087A (zh) 图像识别方法、装置、计算机可读存储介质和计算机设备
CN111986202B (zh) 青光眼辅助诊断装置、方法及存储介质
CN111695616A (zh) 基于多模态数据的病灶分类方法及相关产品
CN109859139B (zh) 彩色眼底图像的血管增强方法
CN113610842B (zh) 基于CAS-Net的OCT图像视网膜脱离和劈裂自动分割方法
CN111681233A (zh) 基于深度神经网络的us-ct图像分割方法、***及设备
CN111833334A (zh) 一种基于孪生网络架构的眼底影像特征处理分析方法
CN117058676B (zh) 一种基于眼底检查影像的血管分割方法、装置和***
CN111563910A (zh) 眼底图像分割方法及设备
CN111028218A (zh) 眼底图像质量判定模型训练方法、装置和计算机设备
CN110543823A (zh) 基于残差网络的行人再识别方法、装置和计算机设备
Tsietso et al. Multi-input deep learning approach for breast cancer screening using thermal infrared imaging and clinical data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination