CN117952964A - 基于计算机视觉技术的眼底医学影像分析方法 - Google Patents

基于计算机视觉技术的眼底医学影像分析方法 Download PDF

Info

Publication number
CN117952964A
CN117952964A CN202410343063.0A CN202410343063A CN117952964A CN 117952964 A CN117952964 A CN 117952964A CN 202410343063 A CN202410343063 A CN 202410343063A CN 117952964 A CN117952964 A CN 117952964A
Authority
CN
China
Prior art keywords
fundus
feature
fusion
feature map
color
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202410343063.0A
Other languages
English (en)
Other versions
CN117952964B (zh
Inventor
郭劲宏
邹媛媛
王勇
郭九川
李小松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shaoxing Keqiao Medical Laboratory Technology Research Center Of Chongqing Medical University
Original Assignee
Shaoxing Keqiao Medical Laboratory Technology Research Center Of Chongqing Medical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shaoxing Keqiao Medical Laboratory Technology Research Center Of Chongqing Medical University filed Critical Shaoxing Keqiao Medical Laboratory Technology Research Center Of Chongqing Medical University
Priority to CN202410343063.0A priority Critical patent/CN117952964B/zh
Publication of CN117952964A publication Critical patent/CN117952964A/zh
Application granted granted Critical
Publication of CN117952964B publication Critical patent/CN117952964B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016Operational features thereof
    • A61B3/0025Operational features thereof characterised by electronic signal processing, e.g. eye models
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/12Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14Arrangements specially adapted for eye photography
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/46Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30041Eye; Retina; Ophthalmic

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Computation (AREA)
  • Veterinary Medicine (AREA)
  • Multimedia (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Signal Processing (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本申请公开了一种基于计算机视觉技术的眼底医学影像分析方法,其通过采集患者眼底的医学影像,并在后端引入基于计算机视觉技术和人工智能技术的图像处理和分析算法来进行该眼底医疗影像的分析,以此来综合患者眼底的形状、颜色和结构等特征,从而更为准确地检测和识别患者的眼底病变,如黄斑变性、糖尿病视网膜病变和青光眼等。这样,能够基于计算机视觉技术来进行患者眼底病变的自动识别和检测,从而为患者眼底病变的早期诊断和治疗提供有力支持。

Description

基于计算机视觉技术的眼底医学影像分析方法
技术领域
本申请涉及计算机视觉领域,且更为具体地,涉及一种基于计算机视觉技术的眼底医学影像分析方法。
背景技术
眼底医学影像是一种非常有用的诊断工具,可以帮助医生检测和诊断多种眼部疾病,如黄斑变性、糖尿病视网膜病变和青光眼等。然而,传统的眼底医学影像分析通常需要医生依靠丰富的经验和专业知识来进行眼底医学影像分析和病变诊断,不同的医生可能会有不同的诊断结果,导致诊断结果的不一致性,这种主观性可能会影响疾病的准确诊断和治疗。并且,由于眼底医学影像通常包含了大量的细节信息,医生需要耗费大量时间来仔细分析每幅影像,这限制了诊断的效率和速度。特别是在繁忙的医疗环境下,这种耗时性可能会延误诊断和治疗。此外,人类视力和认知能力存在局限性,有些微小的眼底病变或特征可能会被忽略或误判,影响诊断的能力和准确性。
因此,期望一种基于计算机视觉技术的眼底医学影像分析方案。
发明内容
为了解决上述技术问题,提出了本申请。本申请的实施例提供了一种基于计算机视觉技术的眼底医学影像分析方法,其通过采集患者眼底的医学影像,并在后端引入基于计算机视觉技术和人工智能技术的图像处理和分析算法来进行该眼底医疗影像的分析,以此来综合患者眼底的形状、颜色和结构等特征,从而更为准确地检测和识别患者的眼底病变,如黄斑变性、糖尿病视网膜病变和青光眼等。这样,能够基于计算机视觉技术来进行患者眼底病变的自动识别和检测,从而为患者眼底病变的早期诊断和治疗提供有力支持。
根据本申请的一个方面,提供了一种基于计算机视觉技术的眼底医学影像分析方法,其包括:
获取待分析眼底医学影像;
通过基于深度神经网络模型的形状特征提取器对所述待分析眼底医学影像进行形状语义特征提取以得到眼底形状特征图;
通过基于深度神经网络模型的颜色特征提取器对所述待分析眼底医学影像进行颜色语义特征提取以得到眼底颜色特征图;
通过基于深度神经网络模型的结构特征提取器对所述待分析眼底医学影像进行结构语义特征提取以得到眼底结构特征图;
将所述眼底颜色特征图和所述眼底形状特征图通过多通道特征融合模块以得到眼底颜色-形状融合特征图;
将所述眼底颜色-形状融合特征图和所述眼底结构特征图通过基于注意力融合机制网络的跨阶次特征融合器以得到眼底多尺度融合特征图作为眼底多尺度融合特征;
基于所述眼底多尺度融合特征,确定是否存在眼底病变。
与现有技术相比,本申请提供的一种基于计算机视觉技术的眼底医学影像分析方法,其通过采集患者眼底的医学影像,并在后端引入基于计算机视觉技术和人工智能技术的图像处理和分析算法来进行该眼底医疗影像的分析,以此来综合患者眼底的形状、颜色和结构等特征,从而更为准确地检测和识别患者的眼底病变,如黄斑变性、糖尿病视网膜病变和青光眼等。这样,能够基于计算机视觉技术来进行患者眼底病变的自动识别和检测,从而为患者眼底病变的早期诊断和治疗提供有力支持。
附图说明
通过结合附图对本申请实施例进行更详细的描述,本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解,并且构成说明书的一部分,与本申请实施例一起用于解释本申请,并不构成对本申请的限制。在附图中,相同的参考标号通常代表相同部件或步骤。
图1为根据本申请实施例的基于计算机视觉技术的眼底医学影像分析方法的流程图;
图2为根据本申请实施例的基于计算机视觉技术的眼底医学影像分析方法的***架构图;
图3为根据本申请实施例的基于计算机视觉技术的眼底医学影像分析方法的训练阶段的流程图。
具体实施方式
下面,将参考附图详细地描述根据本申请的示例实施例。显然,所描述的实施例仅仅是本申请的一部分实施例,而不是本申请的全部实施例,应理解,本申请不受这里描述的示例实施例的限制。
如本申请和权利要求书中所示,除非上下文明确提示例外情形,“一”、“一个”、“一种”和/或“该”等词并非特指单数,也可包括复数。一般说来,术语“包括”与“包含”仅提示包括已明确标识的步骤和元素,而这些步骤和元素不构成一个排它性的罗列,方法或者设备也可能包含其他的步骤或元素。
虽然本申请对根据本申请的实施例的***中的某些模块做出了各种引用,然而,任何数量的不同模块可以被使用并运行在用户终端和/或服务器上。所述模块仅是说明性的,并且所述***和方法的不同方面可以使用不同模块。
本申请中使用了流程图用来说明根据本申请的实施例的***所执行的操作。应当理解的是,前面或下面操作不一定按照顺序来精确地执行。相反,根据需要,可以按照倒序或同时处理各种步骤。同时,也可以将其他操作添加到这些过程中,或从这些过程移除某一步或数步操作。
下面,将参考附图详细地描述根据本申请的示例实施例。显然,所描述的实施例仅仅是本申请的一部分实施例,而不是本申请的全部实施例,应理解,本申请不受这里描述的示例实施例的限制。
传统的眼底医学影像分析通常需要医生依靠丰富的经验和专业知识来进行眼底医学影像分析和病变诊断,不同的医生可能会有不同的诊断结果,导致诊断结果的不一致性,这种主观性可能会影响疾病的准确诊断和治疗。并且,由于眼底医学影像通常包含了大量的细节信息,医生需要耗费大量时间来仔细分析每幅影像,这限制了诊断的效率和速度。特别是在繁忙的医疗环境下,这种耗时性可能会延误诊断和治疗。此外,人类视力和认知能力存在局限性,有些微小的眼底病变或特征可能会被忽略或误判,影响诊断的能力和准确性。随着计算机视觉技术的不断进步,基于计算机视觉技术的眼底医学影像分析方法在临床诊断中的应用越来越广泛。通过利用机器视觉来进行高精度的影像分析,医生能够更准确地识别和评估眼底病变,如黄斑变性、糖尿病视网膜病变和青光眼等。
在本申请的技术方案中,提出了一种基于计算机视觉技术的眼底医学影像分析方法。图1为根据本申请实施例的基于计算机视觉技术的眼底医学影像分析方法的流程图。图2为根据本申请实施例的基于计算机视觉技术的眼底医学影像分析方法的***架构图。如图1和图2所示,根据本申请的实施例的基于计算机视觉技术的眼底医学影像分析方法,包括步骤:S1,获取待分析眼底医学影像;S2,通过基于深度神经网络模型的形状特征提取器对所述待分析眼底医学影像进行形状语义特征提取以得到眼底形状特征图;S3,通过基于深度神经网络模型的颜色特征提取器对所述待分析眼底医学影像进行颜色语义特征提取以得到眼底颜色特征图;S4,通过基于深度神经网络模型的结构特征提取器对所述待分析眼底医学影像进行结构语义特征提取以得到眼底结构特征图;S5,将所述眼底颜色特征图和所述眼底形状特征图通过多通道特征融合模块以得到眼底颜色-形状融合特征图;S6,将所述眼底颜色-形状融合特征图和所述眼底结构特征图通过基于注意力融合机制网络的跨阶次特征融合器以得到眼底多尺度融合特征图作为眼底多尺度融合特征;S7,基于所述眼底多尺度融合特征,确定是否存在眼底病变。
特别地,所述S1,获取待分析眼底医学影像。其中,眼底医学影像是一种用于诊断和监测眼部疾病的影像学技术。这种技术通过拍摄眼球后部(眼底)的图像,可以提供有关眼部结构和病变的详细信息。
特别地,所述S2,通过基于深度神经网络模型的形状特征提取器对所述待分析眼底医学影像进行形状语义特征提取以得到眼底形状特征图。考虑到在眼底医学影像中包含着丰富信息,例如血管网络和视盘的形状信息。因此,为了能够捕捉到眼底医学影像中的形状语义,在本申请的技术方案中,需要将所述待分析眼底医学影像通过基于第一卷积神经网络模型的形状特征提取器中进行特征挖掘,以提取出所述待分析眼底医学影像中的眼底形状语义特征信息,从而得到眼底形状特征图。通过提取眼底形状特征,可以为医生提供有关于眼底的形状语义,一些病变会使得眼底形状发生改变,因此,这样有助于提高疾病诊断的准确性和可靠性。具体地,将所述待分析眼底医学影像通过基于第一卷积神经网络模型的形状特征提取器以得到所述眼底形状特征图,包括:使用所述基于第一卷积神经网络模型的形状特征提取器的各层在层的正向传递中分别对输入数据进行:对输入数据进行卷积处理以得到卷积特征图;对所述卷积特征图进行基于局部特征矩阵的池化以得到池化特征图;以及,对所述池化特征图进行非线性激活以得到激活特征图;其中,所述基于第一卷积神经网络模型的形状特征提取器的最后一层的输出为所述眼底形状特征图,所述基于第一卷积神经网络模型的形状特征提取器的第一层的输入为所述待分析眼底医学影像。
卷积神经网络(Convolutional Neural Network,CNN)是一种深度学***均池化;全连接层:全连接层将池化层的输出连接到一个或多个全连接层,用于将特征映射到最终的输出类别或回归值。全连接层中的每个神经元都与前一层的所有神经元相连;输出层:输出层根据任务的不同选择适当的激活函数,如softmax函数用于多分类任务,线性激活函数用于回归任务;损失函数:根据任务的不同选择适当的损失函数,如交叉熵损失函数用于分类任务,均方误差损失函数用于回归任务;反向传播和优化:通过反向传播算法和梯度下降优化算法,根据损失函数计算模型参数的梯度,并更新参数以最小化损失函数。
特别地,所述S3,通过基于深度神经网络模型的颜色特征提取器对所述待分析眼底医学影像进行颜色语义特征提取以得到眼底颜色特征图。考虑到眼底医学影像中的色彩信息对于诊断眼部疾病至关重要。不同的眼部疾病在眼底图像中表现出不同的颜色特征,如出血、渗出和色素沉着等。通过提取眼底图像的颜色特征,可以帮助医生更好地识别和区分不同类型的眼部疾病。因此,在本申请的技术方案中,进一步将所述待分析眼底医学影像通过基于第二卷积神经网络模型的颜色特征提取器中进行特征挖掘,以提取出所述待分析眼底医学影像中关于患者眼底的颜色语义特征信息,从而得到眼底颜色特征图。具体地,将所述待分析眼底医学影像通过基于第二卷积神经网络模型的颜色特征提取器以得到所述眼底颜色特征图,包括:使用所述基于第二卷积神经网络模型的颜色特征提取器的各层在层的正向传递中分别对输入数据进行:对输入数据进行卷积处理以得到卷积特征图;对所述卷积特征图进行基于局部特征矩阵的池化以得到池化特征图;以及,对所述池化特征图进行非线性激活以得到激活特征图;其中,所述基于第二卷积神经网络模型的颜色特征提取器的最后一层的输出为所述眼底颜色特征图,所述基于第二卷积神经网络模型的颜色特征提取器的第一层的输入为所述待分析眼底医学影像。
特别地,所述S4,通过基于深度神经网络模型的结构特征提取器对所述待分析眼底医学影像进行结构语义特征提取以得到眼底结构特征图。考虑到眼底医学影像中的结构信息对于诊断眼部疾病至关重要。不同的眼部疾病在眼底图像中表现出不同的结构特征,如血管网络的密度、视盘的形态特征等。因此,为了能够帮助医生更为全面地分析眼底影像,从而更为准确地识别眼部疾病,在本申请的技术方案中,进一步将所述待分析眼底医学影像通过基于第三卷积神经网络模型的结构特征提取器以得到眼底结构特征图。通过提取眼底的结构特征,可以帮助医生更全面地了解眼部疾病的情况,提高诊断的准确性和可靠性。具体地,将所述待分析眼底医学影像通过基于第三卷积神经网络模型的结构特征提取器以得到所述眼底结构特征图,包括:使用所述基于第三卷积神经网络模型的结构特征提取器的各层在层的正向传递中分别对输入数据进行:对输入数据进行卷积处理以得到卷积特征图;对所述卷积特征图进行基于局部特征矩阵的池化以得到池化特征图;以及,对所述池化特征图进行非线性激活以得到激活特征图;其中,所述基于第三卷积神经网络模型的结构特征提取器的最后一层的输出为所述眼底结构特征图,所述基于第三卷积神经网络模型的结构特征提取器的第一层的输入为所述待分析眼底医学影像。
特别地,所述S5,将所述眼底颜色特征图和所述眼底形状特征图通过多通道特征融合模块以得到眼底颜色-形状融合特征图。应可以理解,由于眼底医学影像中关于眼底的颜色语义特征信息和形状语义特征信息都包含了重要的诊断线索,例如,颜色特征通常反映了眼底病变区域的颜色变化,而形状特征则反映了眼部的形态特征,但单独使用其中一种信息可能无法提供足够的信息来准确诊断眼部疾病。因此,为了能够更好地理解眼底医学影像的语义,以提供关于眼底颜色和形状的更全面、更丰富的特征信息,需要对于所述眼底颜色特征图和所述眼底形状特征图进行融合处理。将这两种信息进行融合可以使它们相互补充,提供更全面的信息来帮助医生做出准确的诊断。然而,在不同层次的眼底医学影像特征中,两者在特征表达上存在着差异性,若通过简单的特征融合,如像素求和与通道拼接等,往往忽略了语义信息与细节特征之间的不一致。因此,为了使网络能够更为充分和准确地关注到眼底医学影像中的颜色和形状特征之间的融合语义特征,需要利用高级特征提供语义信息来指导多通道的特征融合,从而生成更具判别性的融合特征。具体地,在本申请的技术方案中,将所述眼底颜色特征图和所述眼底形状特征图通过多通道特征融合模块以得到眼底颜色-形状融合特征图。通过所述多通道特征融合模块进行处理可以将眼底医学影像的颜色语义特征和形状语义特征结合起来,使得所述眼底颜色-形状融合特征图具有更丰富的语义信息,从而帮助进行眼底病变的识别和诊断。具体地,将所述眼底颜色特征图和所述眼底形状特征图通过多通道特征融合模块以得到眼底颜色-形状融合特征图,包括:将所述眼底颜色特征图和所述眼底形状特征图通过所述多通道特征融合模块以如下多通道特征融合公式进行处理以得到所述眼底颜色-形状融合特征图;其中,所述多通道特征融合公式为:
其中,和/>分别为所述眼底颜色特征图和所述眼底形状特征图,/>为拼接操作,/>为卷积操作,/>为批量归一化处理,/>为/>激活函数,/>为融合表征特征图,/>为全局均值池化处理,/>激活函数,/>为权重向量,/>为对特征图像进行加权操作,/>为所述眼底颜色-形状融合特征图。
特别地,所述S6,将所述眼底颜色-形状融合特征图和所述眼底结构特征图通过基于注意力融合机制网络的跨阶次特征融合器以得到眼底多尺度融合特征图作为眼底多尺度融合特征。由于所述眼底颜色-形状融合特征图和所述眼底结构特征图分别表示了眼底的颜色和形状的融合语义特征和眼底结构深层语义特征,而不同层次的眼底特征都对于眼底病变的识别和检测都具有重要意义。因此,为了结合不同层次的眼底特征信息,在本申请的技术方案中,进一步将所述眼底颜色-形状融合特征图和所述眼底结构特征图通过基于注意力融合机制网络的跨阶次特征融合器以得到眼底多尺度融合特征图。具体地,将所述眼底结构特征图在通道维度上进行全局平均池化处理后,二维特征矩阵会被压缩变成一个实数,这个实数具有高等级的眼底结构特征图中各个特征的全局感受野。进而把该值作为注意力信息与所述眼底颜色-形状融合特征图的不同特征相乘,指导低等级的眼底颜色-形状融合特征图中的位置信息还原眼底状态和病变类别,最后将生成的关于眼底的不同阶次多尺度特征进行融合,得到语义信息更丰富的所述眼底多尺度融合特征图。通过所述跨阶次特征融合器进行处理,可以将低层次的颜色-形状特征和高层次的结构特征进行有效融合,从而整合眼底的不同阶次特征信息,提高特征的多样性和表达能力。具体地,将所述眼底颜色-形状融合特征图和所述眼底结构特征图通过基于注意力融合机制网络的跨阶次特征融合器以得到眼底多尺度融合特征图作为眼底多尺度融合特征,包括:将所述眼底结构特征图中沿通道维度的各个特征矩阵进行全局均值池化处理以得到眼底结构深层池化特征向量;将所述眼底结构深层池化特征向量通过全连接层以对所述眼底结构深层池化特征向量进行全连接编码以得到眼底结构深层语义全连接特征向量;将所述眼底结构深层语义全连接特征向量和所述眼底颜色-形状融合特征图进行基于通道维度的加权融合以得到融合特征图;将所述融合特征图和所述眼底结构特征图进行融合以得到所述眼底多尺度融合特征图。
特别地,所述S7,基于所述眼底多尺度融合特征,确定是否存在眼底病变。特别地,在本申请的一个具体示例中,将所述眼底多尺度融合特征图通过基于分类器的眼底病变识别器以得到识别结果,所述识别结果用于表示是否存在眼底病变。也就是说,利用眼底的不同阶次的多尺度融合特征来进行眼底病变的是被和检测,以此来更为准确地检测和识别患者的眼底病变,如黄斑变性、糖尿病视网膜病变和青光眼等。具体地,将所述眼底多尺度融合特征图通过基于分类器的眼底病变识别器以得到识别结果,包括:将所述眼底多尺度融合特征图基于行向量或列向量展开为分类特征向量;使用所述分类器的多个全连接层对所述分类特征向量进行全连接编码以得到编码分类特征向量;以及,将所述编码分类特征向量通过所述分类器的Softmax分类函数以得到所述分类结果。
也就是,在本申请的技术方案中,所述分类器的标签包括存在眼底病变(第一标签),以及,不存在眼底病变(第二标签),其中,所述分类器通过软最大值函数来确定所述眼底多尺度融合特征图属于哪个分类标签。值得注意的是,这里的所述第一标签p1和所述第二标签p2并不包含人为设定的概念,实际上在训练过程当中,计算机模型并没有“是否存在眼底病变”这种概念,其只是有两种分类标签且输出特征在这两个分类标签下的概率,即p1和p2之和为一。因此,是否存在眼底病变的分类结果实际上是通过分类标签转化为符合自然规律的二分类的类概率分布,实质上用到的是标签的自然概率分布的物理意义,而不是“是否存在眼底病变”的语言文本意义。
分类器是指一种机器学习模型或算法,用于将输入数据分为不同的类别或标签。分类器是监督学习的一部分,它通过学习从输入数据到输出类别的映射关系来进行分类任务。
全连接层是神经网络中常见的一种层类型。在全连接层中,每个神经元都与上一层的所有神经元相连接,每个连接都有一个权重。这意味着全连接层中的每个神经元都接收来自上一层所有神经元的输入,并通过权重对这些输入进行加权求和,然后将结果传递给下一层。
Softmax分类函数是一种常用的激活函数,用于多分类问题。它将输入向量的每个元素转化为一个介于0和1之间的概率值,并且这些概率值的和等于1。Softmax函数常用于神经网络的输出层,特别适用于多分类问题,因为它能够将网络输出映射为各个类别的概率分布。在训练过程中,Softmax函数的输出可以用于计算损失函数,并通过反向传播算法来更新网络参数。值得注意的是,Softmax函数的输出并不会改变元素之间的相对大小关系,只是对其进行了归一化处理。因此,Softmax函数并不改变输入向量的特性,只是将其转化为概率分布形式。
应可以理解,在利用上述神经网络模型进行推断之前,需要对所述基于第一卷积神经网络模型的形状特征提取器、所述基于第二卷积神经网络模型的颜色特征提取器、所述基于第三卷积神经网络模型的结构特征提取器、所述多通道特征融合模块、所述基于注意力融合机制网络的跨阶次特征融合器和所述基于分类器的眼底病变识别器进行训练。也就是说,在本申请的基于计算机视觉技术的眼底医学影像分析方法中,还包括训练阶段,用于对所述基于第一卷积神经网络模型的形状特征提取器、所述基于第二卷积神经网络模型的颜色特征提取器、所述基于第三卷积神经网络模型的结构特征提取器、所述多通道特征融合模块、所述基于注意力融合机制网络的跨阶次特征融合器和所述基于分类器的眼底病变识别器进行训练。
图3为根据本申请实施例的基于计算机视觉技术的眼底医学影像分析方法的训练阶段的流程图。如图3所示,根据本申请实施例的基于计算机视觉技术的眼底医学影像分析方法,包括:训练阶段,包括:S110,获取训练数据,所述训练数据包括训练待分析眼底医学影像;S120,将所述训练待分析眼底医学影像通过基于第一卷积神经网络模型的形状特征提取器以得到训练眼底形状特征图;S130,将所述训练待分析眼底医学影像通过基于第二卷积神经网络模型的颜色特征提取器以得到训练眼底颜色特征图;S140,将所述训练待分析眼底医学影像通过基于第三卷积神经网络模型的结构特征提取器以得到训练眼底结构特征图;S150,将所述训练眼底颜色特征图和所述训练眼底形状特征图通过多通道特征融合模块以得到训练眼底颜色-形状融合特征图;S160,将所述训练眼底颜色-形状融合特征图和所述训练眼底结构特征图通过基于注意力融合机制网络的跨阶次特征融合器以得到训练眼底多尺度融合特征图;S170,对所述训练眼底多尺度融合特征图的各个特征值进行聚类优化以得到优化训练眼底多尺度融合特征图;S180,将所述优化训练眼底多尺度融合特征图通过基于分类器的眼底病变识别器以得到分类损失函数值;S190,基于所述分类损失函数值对所述基于第一卷积神经网络模型的形状特征提取器、所述基于第二卷积神经网络模型的颜色特征提取器、所述基于第三卷积神经网络模型的结构特征提取器、所述多通道特征融合模块、所述基于注意力融合机制网络的跨阶次特征融合器和所述基于分类器的眼底病变识别器进行训练。
其中,对所述训练眼底多尺度融合特征图的各个特征值进行聚类优化以得到优化训练眼底多尺度融合特征图,包括:对所述眼底多尺度融合特征图的各个特征值进行基于特征值间距离的聚类以得到聚类特征集合;基于所述聚类特征集合中聚类后的特征类内和类外表征对所述眼底多尺度融合特征图进行优化以得到所述优化后眼底多尺度融合特征图。
特别地,在上述技术方案中,所述训练眼底形状特征图、所述训练眼底颜色特征图和所述训练眼底结构特征图分别表示所述待分析眼底医学影像的基于不同深度的卷积编码得到的眼底形状特征、眼底颜色特征和眼底结构特征。但考虑到因卷积编码深度不同而使得所述训练眼底形状特征图、所述训练眼底颜色特征图和所述训练眼底结构特征图具有不同的特征阶次和分辨率,因此,为了充分利用所述训练眼底形状特征图、所述训练眼底颜色特征图和所述训练眼底结构特征图各自本身的特征信息、相互之间的特征关联以及上述信息对于最终类概率回归的不同贡献度,在本申请的技术方案中,首先利用所述多通道特征融合模块来融合所述训练眼底颜色特征图和所述训练眼底形状特征图以得到训练眼底颜色-形状融合特征图,进而将所述训练眼底颜色-形状融合特征图和所述训练眼底结构特征图通过基于注意力融合机制网络的跨阶次特征融合器以得到所述训练眼底多尺度融合特征图。但是上述融合机制的技术矛盾在于,如果充分保留所述训练眼底形状特征图、所述训练眼底颜色特征图和所述训练眼底结构特征图各自本身的特征信息,则特征之间的相互关联信息以及上述信息对于最终类概率回归的贡献度信息会被压制,反之亦然,这使得所述训练眼底多尺度融合特征图作为整体具有局部特征分布离散性,使得其通过基于分类器的眼底病变识别器进行分类时导致类概率收敛困难,从而影响基于分类器的眼底病变识别器的训练速度和最终得到的分类结果的准确性。基于此,本申请的申请人对所述训练眼底多尺度融合特征图进行聚类优化,也就是,首先对所述训练眼底多尺度融合特征图的各个特征值进行聚类,例如基于特征值间距离的聚类,再基于聚类后的特征类内和类外表征进行优化,表示为:
其中,是所述训练眼底多尺度融合特征图的各个特征值,/>是所述训练眼底多尺度融合特征图对应的特征集合数目,/>是聚类特征数目,/>表示聚类特征集合。具体地,通过将所述训练眼底多尺度融合特征图的类内特征和类外特征作为不同的实例角色来进行基于聚类比例分布的类实例描述,并引入基于类内和类外动态上下文的聚类响应历史,来对所述训练眼底多尺度融合特征图的整体特征的类内分布和类外分布保持协调的全局视角,使得对于所述训练眼底多尺度融合特征图阵的优化的特征聚类操作可以维持类内和类外特征的连贯一致的响应,从而在分类过程中基于特征聚类的类概率收敛路径保持连贯一致,提升所述训练眼底多尺度融合特征图的类概率收敛效果。这样,能够基于计算机视觉技术,根据患者眼底的形状、颜色和结构等语义特征来更为准确地检测和识别患者的眼底病变,从而为患者眼底病变的早期诊断和治疗提供有力支持。
综上,根据本申请实施例的基于计算机视觉技术的眼底医学影像分析方法被阐明,其通过采集患者眼底的医学影像,并在后端引入基于计算机视觉技术和人工智能技术的图像处理和分析算法来进行该眼底医疗影像的分析,以此来综合患者眼底的形状、颜色和结构等特征,从而更为准确地检测和识别患者的眼底病变,如黄斑变性、糖尿病视网膜病变和青光眼等。这样,能够基于计算机视觉技术来进行患者眼底病变的自动识别和检测,从而为患者眼底病变的早期诊断和治疗提供有力支持。
以上已经描述了本公开的各实施例,上述说明是示例性的,并非穷尽性的,并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下,对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择,旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进,或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (9)

1.一种基于计算机视觉技术的眼底医学影像分析方法,其特征在于,包括:
获取待分析眼底医学影像;
通过基于深度神经网络模型的形状特征提取器对所述待分析眼底医学影像进行形状语义特征提取以得到眼底形状特征图;
通过基于深度神经网络模型的颜色特征提取器对所述待分析眼底医学影像进行颜色语义特征提取以得到眼底颜色特征图;
通过基于深度神经网络模型的结构特征提取器对所述待分析眼底医学影像进行结构语义特征提取以得到眼底结构特征图;
将所述眼底颜色特征图和所述眼底形状特征图通过多通道特征融合模块以得到眼底颜色-形状融合特征图;
将所述眼底颜色-形状融合特征图和所述眼底结构特征图通过基于注意力融合机制网络的跨阶次特征融合器以得到眼底多尺度融合特征图作为眼底多尺度融合特征;
基于所述眼底多尺度融合特征,确定是否存在眼底病变。
2.根据权利要求1所述的基于计算机视觉技术的眼底医学影像分析方法,其特征在于,通过基于深度神经网络模型的形状特征提取器对所述待分析眼底医学影像进行形状语义特征提取以得到眼底形状特征图,包括:将所述待分析眼底医学影像通过基于第一卷积神经网络模型的形状特征提取器以得到所述眼底形状特征图。
3.根据权利要求2所述的基于计算机视觉技术的眼底医学影像分析方法,其特征在于,通过基于深度神经网络模型的颜色特征提取器对所述待分析眼底医学影像进行颜色语义特征提取以得到眼底颜色特征图,包括:将所述待分析眼底医学影像通过基于第二卷积神经网络模型的颜色特征提取器以得到所述眼底颜色特征图。
4.根据权利要求3所述的基于计算机视觉技术的眼底医学影像分析方法,其特征在于,通过基于深度神经网络模型的结构特征提取器对所述待分析眼底医学影像进行结构语义特征提取以得到眼底结构特征图,包括:将所述待分析眼底医学影像通过基于第三卷积神经网络模型的结构特征提取器以得到所述眼底结构特征图。
5.根据权利要求4所述的基于计算机视觉技术的眼底医学影像分析方法,其特征在于,将所述眼底颜色特征图和所述眼底形状特征图通过多通道特征融合模块以得到眼底颜色-形状融合特征图,包括:将所述眼底颜色特征图和所述眼底形状特征图通过所述多通道特征融合模块以如下多通道特征融合公式进行处理以得到所述眼底颜色-形状融合特征图;
其中,所述多通道特征融合公式为:
其中,和/>分别为所述眼底颜色特征图和所述眼底形状特征图,/>为拼接操作,/>为卷积操作,/>为批量归一化处理,/>为/>激活函数,/>为融合表征特征图,/>为全局均值池化处理,/>激活函数,/>为权重向量,为对特征图像进行加权操作,/>为所述眼底颜色-形状融合特征图。
6.根据权利要求5所述的基于计算机视觉技术的眼底医学影像分析方法,其特征在于,将所述眼底颜色-形状融合特征图和所述眼底结构特征图通过基于注意力融合机制网络的跨阶次特征融合器以得到眼底多尺度融合特征图作为眼底多尺度融合特征,包括:
将所述眼底结构特征图中沿通道维度的各个特征矩阵进行全局均值池化处理以得到眼底结构深层池化特征向量;
将所述眼底结构深层池化特征向量通过全连接层以对所述眼底结构深层池化特征向量进行全连接编码以得到眼底结构深层语义全连接特征向量;
将所述眼底结构深层语义全连接特征向量和所述眼底颜色-形状融合特征图进行基于通道维度的加权融合以得到融合特征图;
将所述融合特征图和所述眼底结构特征图进行融合以得到所述眼底多尺度融合特征图。
7.根据权利要求6所述的基于计算机视觉技术的眼底医学影像分析方法,其特征在于,基于所述眼底多尺度融合特征,确定是否存在眼底病变,包括:将所述眼底多尺度融合特征图通过基于分类器的眼底病变识别器以得到识别结果,所述识别结果用于表示是否存在眼底病变。
8.根据权利要求7所述的基于计算机视觉技术的眼底医学影像分析方法,其特征在于,还包括训练步骤:用于对所述基于第一卷积神经网络模型的形状特征提取器、所述基于第二卷积神经网络模型的颜色特征提取器、所述基于第三卷积神经网络模型的结构特征提取器、所述多通道特征融合模块、所述基于注意力融合机制网络的跨阶次特征融合器和所述基于分类器的眼底病变识别器进行训练;
其中,所述训练步骤,包括:
获取训练数据,所述训练数据包括训练待分析眼底医学影像;
将所述训练待分析眼底医学影像通过基于第一卷积神经网络模型的形状特征提取器以得到训练眼底形状特征图;
将所述训练待分析眼底医学影像通过基于第二卷积神经网络模型的颜色特征提取器以得到训练眼底颜色特征图;
将所述训练待分析眼底医学影像通过基于第三卷积神经网络模型的结构特征提取器以得到训练眼底结构特征图;
将所述训练眼底颜色特征图和所述训练眼底形状特征图通过多通道特征融合模块以得到训练眼底颜色-形状融合特征图;
将所述训练眼底颜色-形状融合特征图和所述训练眼底结构特征图通过基于注意力融合机制网络的跨阶次特征融合器以得到训练眼底多尺度融合特征图;
对所述训练眼底多尺度融合特征图的各个特征值进行聚类优化以得到优化训练眼底多尺度融合特征图;
将所述优化训练眼底多尺度融合特征图通过基于分类器的眼底病变识别器以得到分类损失函数值;
基于所述分类损失函数值对所述基于第一卷积神经网络模型的形状特征提取器、所述基于第二卷积神经网络模型的颜色特征提取器、所述基于第三卷积神经网络模型的结构特征提取器、所述多通道特征融合模块、所述基于注意力融合机制网络的跨阶次特征融合器和所述基于分类器的眼底病变识别器进行训练。
9.根据权利要求8所述的基于计算机视觉技术的眼底医学影像分析方法,其特征在于,对所述训练眼底多尺度融合特征图的各个特征值进行聚类优化以得到优化训练眼底多尺度融合特征图,包括:
对所述眼底多尺度融合特征图的各个特征值进行基于特征值间距离的聚类以得到聚类特征集合;
基于所述聚类特征集合中聚类后的特征类内和类外表征对所述眼底多尺度融合特征图进行优化以得到所述优化后眼底多尺度融合特征图。
CN202410343063.0A 2024-03-25 2024-03-25 基于计算机视觉技术的眼底医学影像分析方法 Active CN117952964B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410343063.0A CN117952964B (zh) 2024-03-25 2024-03-25 基于计算机视觉技术的眼底医学影像分析方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410343063.0A CN117952964B (zh) 2024-03-25 2024-03-25 基于计算机视觉技术的眼底医学影像分析方法

Publications (2)

Publication Number Publication Date
CN117952964A true CN117952964A (zh) 2024-04-30
CN117952964B CN117952964B (zh) 2024-06-07

Family

ID=90798174

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410343063.0A Active CN117952964B (zh) 2024-03-25 2024-03-25 基于计算机视觉技术的眼底医学影像分析方法

Country Status (1)

Country Link
CN (1) CN117952964B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118135407A (zh) * 2024-05-07 2024-06-04 中邦生态环境有限公司 基于大数据的乔木营养液配制动态调整***及方法
CN118266854A (zh) * 2024-05-30 2024-07-02 美视康健(吉林)医疗设备有限公司 一种立体视检测控制***和方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210353262A1 (en) * 2020-05-14 2021-11-18 Sichuan University Method for positioning key features of a lens based on ocular b-mode ultrasound images
CN113793301A (zh) * 2021-08-19 2021-12-14 首都医科大学附属北京同仁医院 基于稠密卷积网络模型的眼底影像分析模型的训练方法
EP3944185A1 (en) * 2020-07-23 2022-01-26 INESC TEC - Instituto de Engenharia de Sistemas e Computadores, Tecnologia e Ciência Computer-implemented method, system and computer program product for detecting a retinal condition from eye fundus images
CN114219687A (zh) * 2021-11-02 2022-03-22 三峡大学 融合人机视觉的施工安全隐患智能识别方法
CN114287878A (zh) * 2021-10-18 2022-04-08 江西财经大学 一种基于注意力模型的糖尿病性视网膜病变病灶图像识别方法
WO2022166399A1 (zh) * 2021-02-04 2022-08-11 北京邮电大学 基于双模态深度学习的眼底疾病辅助诊断方法和装置
WO2023155488A1 (zh) * 2022-02-21 2023-08-24 浙江大学 基于多源多尺度特征融合的眼底图像质量评价方法和装置
WO2023181072A1 (en) * 2022-03-24 2023-09-28 Mahathma Centre Of Moving Images Private Limited Digital system and 3d tool for training and medical counselling in ophthalmology
CN117611926A (zh) * 2024-01-22 2024-02-27 重庆医科大学绍兴柯桥医学检验技术研究中心 一种基于ai模型的医学影像识别方法及***

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210353262A1 (en) * 2020-05-14 2021-11-18 Sichuan University Method for positioning key features of a lens based on ocular b-mode ultrasound images
EP3944185A1 (en) * 2020-07-23 2022-01-26 INESC TEC - Instituto de Engenharia de Sistemas e Computadores, Tecnologia e Ciência Computer-implemented method, system and computer program product for detecting a retinal condition from eye fundus images
WO2022166399A1 (zh) * 2021-02-04 2022-08-11 北京邮电大学 基于双模态深度学习的眼底疾病辅助诊断方法和装置
CN113793301A (zh) * 2021-08-19 2021-12-14 首都医科大学附属北京同仁医院 基于稠密卷积网络模型的眼底影像分析模型的训练方法
CN114287878A (zh) * 2021-10-18 2022-04-08 江西财经大学 一种基于注意力模型的糖尿病性视网膜病变病灶图像识别方法
CN114219687A (zh) * 2021-11-02 2022-03-22 三峡大学 融合人机视觉的施工安全隐患智能识别方法
WO2023155488A1 (zh) * 2022-02-21 2023-08-24 浙江大学 基于多源多尺度特征融合的眼底图像质量评价方法和装置
WO2023181072A1 (en) * 2022-03-24 2023-09-28 Mahathma Centre Of Moving Images Private Limited Digital system and 3d tool for training and medical counselling in ophthalmology
CN117611926A (zh) * 2024-01-22 2024-02-27 重庆医科大学绍兴柯桥医学检验技术研究中心 一种基于ai模型的医学影像识别方法及***

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
曹新容;薛岚燕;林嘉雯;余轮;: "基于视觉显著性和旋转扫描的视盘分割新方法", 生物医学工程学杂志, no. 02, 25 April 2018 (2018-04-25) *
赵荣昌;陈再良;段宣初;陈奇林;刘可;朱承璋;: "聚合多通道特征的青光眼自动检测", 计算机辅助设计与图形学学报, no. 06, 15 June 2017 (2017-06-15) *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118135407A (zh) * 2024-05-07 2024-06-04 中邦生态环境有限公司 基于大数据的乔木营养液配制动态调整***及方法
CN118266854A (zh) * 2024-05-30 2024-07-02 美视康健(吉林)医疗设备有限公司 一种立体视检测控制***和方法

Also Published As

Publication number Publication date
CN117952964B (zh) 2024-06-07

Similar Documents

Publication Publication Date Title
CN109886273B (zh) 一种cmr图像分割分类***
CN117952964B (zh) 基于计算机视觉技术的眼底医学影像分析方法
US11580409B2 (en) System and method for iterative classification using neurophysiological signals
Abbas et al. DenseHyper: an automatic recognition system for detection of hypertensive retinopathy using dense features transform and deep-residual learning
CN111080643A (zh) 基于眼底图像的糖尿病及相关疾病的分类方法及设备
CN114724231A (zh) 一种基于迁移学习的青光眼多模态智能识别***
CN111461220B (zh) 图像分析方法、图像分析装置及图像分析***
CN111028232A (zh) 基于眼底图像的糖尿病分类方法及设备
Aurangzeb et al. An efficient and light weight deep learning model for accurate retinal vessels segmentation
CN113610118A (zh) 一种基于多任务课程式学习的眼底图像分类方法、装置、设备及介质
CN114781441B (zh) Eeg运动想象分类方法及多空间卷积神经网络模型
CN110503636B (zh) 参数调整方法、病灶预测方法、参数调整装置及电子设备
Shenavarmasouleh et al. Drdr ii: Detecting the severity level of diabetic retinopathy using mask rcnn and transfer learning
CN111047590A (zh) 基于眼底图像的高血压分类方法及设备
CN113786185A (zh) 一种基于卷积神经网络的静态脑网络特征提取方法和***
Tian et al. Learning discriminative representations for fine-grained diabetic retinopathy grading
Kamal et al. A comprehensive review on the diabetic retinopathy, glaucoma and strabismus detection techniques based on machine learning and deep learning
Nugroho et al. Image dermoscopy skin lesion classification using deep learning method: systematic literature review
Singh et al. A Deep Learning Approach to Analyze Diabetic Retinopathy Lesions using Scant Data
Ahmed et al. An effective deep learning network for detecting and classifying glaucomatous eye.
CN112614092A (zh) 脊柱检测方法和装置
Mounika et al. A Deep Hybrid Neural Network Model to Detect Diabetic Retinopathy from Eye Fundus Images
AKYOL et al. Detection of hard exudates in retinal fundus images based on important features obtained from local image descriptors
Ara et al. Novel approach of brain tumor segmentation using convolutional neural network hybridized with water cycle algorithm
Raj et al. Detection of Diabetic Retinopathy Using Convolutional Neural Network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant