CN116092667A - 基于多模态影像的疾病检测方法、***、装置及存储介质 - Google Patents

基于多模态影像的疾病检测方法、***、装置及存储介质 Download PDF

Info

Publication number
CN116092667A
CN116092667A CN202211727966.6A CN202211727966A CN116092667A CN 116092667 A CN116092667 A CN 116092667A CN 202211727966 A CN202211727966 A CN 202211727966A CN 116092667 A CN116092667 A CN 116092667A
Authority
CN
China
Prior art keywords
data
characteristic
mode image
inputting
disease detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211727966.6A
Other languages
English (en)
Inventor
钟培勋
林克
曾金梁
戴少椰
贺飞飞
程绪猛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianyi IoT Technology Co Ltd
Original Assignee
Tianyi IoT Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianyi IoT Technology Co Ltd filed Critical Tianyi IoT Technology Co Ltd
Priority to CN202211727966.6A priority Critical patent/CN116092667A/zh
Publication of CN116092667A publication Critical patent/CN116092667A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Public Health (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Epidemiology (AREA)
  • Quality & Reliability (AREA)
  • Primary Health Care (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pathology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种基于多模态影像的疾病检测方法、***、装置及存储介质。该方法包括：获取多模态影像数据；将所述多模态影像数据进行预处理，得到预处理数据；将所述预处理数据输入前置特征提取模型，得到前置特征数据；所述前置特征提取模型通过将多模态影像数据共享卷积权重的方式，提取多模态影像的特征数据；将所述前置特征数据输入特征融合模型，得到所述多模态影像数据对应的疾病分类结果。通过上述方法，能够实现小样本、多模态影像的疾病检测，有利于提升检测效率和准确度。本方法可以广泛的应用于计算机技术领域。

Description

基于多模态影像的疾病检测方法、***、装置及存储介质
技术领域
本申请涉及计算机技术领域，尤其是一种基于多模态影像的疾病检测方法、***、装置及存储介质。
背景技术
传统的眼底视网膜疾病筛查，通常是有丰富临床经验的医生通过人工肉眼阅片，对比多种模态眼底照片(眼底彩照、眼底OCT、眼底荧光血管造影FFA等)，分析得出疾病情况，效率低下，容易发生误诊的情况。相关技术中，眼底疾病自动检测方法，大多采用单一模态影像，使用图像处理技术或神经网络模型；属于单模态大样本有监督学习的检测，该方法需要大量已有标签的眼底影像数据，同时需要耗费大量的人力进行标记；且对于小样本、多模态数据的疾病检测，准确度低。
发明内容
本申请的目的在于至少一定程度上解决现有技术中存在的技术问题之一。
为此，本发明的目的在于提供一种高效、高准确度的基于多模态影像的疾病检测方法、***、装置及存储介质。
为了达到上述技术目的，本申请实施例所采取的技术方案包括：
一方面，本申请实施例提供了一种基于多模态影像的疾病检测方法，包括以下步骤：
本申请实施例的基于多模态影像的疾病检测方法，该方法包括：获取多模态影像数据；将所述多模态影像数据进行预处理，得到预处理数据；将所述预处理数据输入前置特征提取模型，得到前置特征数据；所述前置特征提取模型通过将多模态影像数据共享卷积权重的方式，提取多模态影像的特征数据；将所述前置特征数据输入特征融合模型，得到所述多模态影像数据对应的疾病分类结果。本申请实施例通过前置特征提取模型进行多模态影像数据的权重共享，然后通过特征融合模型进行通道拼接处理，提升疾病检测的效率，使得在小样本的情况下，不降低疾病检测的准确度。通过本申请提供的疾病检测方法，能够实现小样本、多模态影像的疾病检测，有利于提升检测效率和准确度。
另外，根据本申请上述实施例的基于多模态影像的疾病检测方法，还可以具有以下附加的技术特征：
进一步地，本申请实施例的基于多模态影像的疾病检测方法，所述将所述多模态影像数据进行预处理，得到预处理数据，包括：
将所述多模态影像数据进行缩放处理，得到第一数据；
将所述第一数据进行局部自适应对比度拉伸处理，得到第二数据；
将所述第二数据进行受限对比度自适应直方图均衡化处理，得到第三数据；
将所述第三数据进行直方图匹配融合处理，得到预处理数据。
进一步地，在本申请的一个实施例中，所述将所述第一数据进行局部自适应对比度拉伸处理，得到第二数据这一步骤，包括：
根据所述第一数据，得到第一灰度；所述第一灰度用于表征所述第一数据中的灰度极值；
对所述第一数据进行分块处理，得到若干子块；
根据每个所述子块的灰度均值，确定像素灰度值；
若所述像素灰度值小于灰度阈值，更新像素灰度值为第一灰度；
若所述像素灰度值大于或等于灰度阈值，对所述像素灰度值进行伽玛灰度拉伸处理，更新所述像素灰度值；
根据更新后的像素灰度值，确定第二数据。
进一步地，在本申请的一个实施例中，所述前置特征提取模型包括ResNet50网络模型，所述方法还包括：
通过ImageNet数据集对所述ResNet50网络模型进行训练，得到训练好的ResNet50网络模型。
进一步地，在本申请的一个实施例中，所述将所述预处理数据输入前置特征提取模型，得到前置特征数据这一步骤，包括：
通过所述训练好的ResNet50网络模型，对所述预处理数据进行特征提取，并共享所述ResNet50网络模型的训练权重，得到前置特征数据。
进一步地，在本申请的一个实施例中，所述将所述前置特征数据输入特征融合模型，得到所述多模态影像数据对应的疾病分类结果，包括：
对所述前置特征数据进行卷积处理，得到深度特征数据；
对所述深度特征数据进行特征融合处理，得到第四数据；
将所述第四数据输入注意力机制模块，得到第五数据；所述注意力机制模块用于对所述第四数据进行加权强调处理；
将所述第五数据输入分类器模块，得到所述多模态影像数据对应的疾病分类结果。
进一步地，在本申请的一个实施例中，所述将所述第四数据输入注意力机制模块，得到第五数据，包括：
对所述第四数据进行卷积操作，得到第一特征数据及对应的第一权重；
对所述第一特征数据进行池化处理，得到压缩数据；
通过全连接层，对所述第一权重进行训练，得到加权数据；
根据所述压缩数据和所述加权数据，得到第五数据。
另一方面，本申请实施例提出了一种基于多模态影像的疾病检测***，包括：
第一模块，用于获取多模态影像数据；
第二模块，用于将所述多模态影像数据进行预处理，得到预处理数据；
第三模块，用于将所述预处理数据输入前置特征提取模型，得到前置特征数据；所述前置特征提取模型通过将多模态影像数据共享卷积权重的方式，提取多模态影像的特征数据；
第四模块，用于将所述前置特征数据输入特征融合模型，得到所述多模态影像数据对应的疾病分类结果。
另一方面，本申请实施例提供了一种基于多模态影像的疾病检测装置，包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行时，使得所述至少一个处理器实现上述的任一种基于多模态影像的疾病检测方法。
另一方面，本申请实施例提供了一种存储介质，其中存储有处理器可执行的程序，所述处理器可执行的程序在由处理器执行时用于实现上述的任一种基于多模态影像的疾病检测方法。
本申请实施例通过前置特征提取模型进行多模态影像数据的权重共享，然后通过特征融合模型进行通道拼接处理，提升疾病检测的效率，使得在小样本的情况下，不降低疾病检测的准确度。通过本申请提供的疾病检测方法，能够实现小样本、多模态影像的疾病检测，有利于提升检测效率和准确度。
附图说明
为了更清楚地说明本申请实施例或者现有技术中的技术方案，下面对本申请实施例或者现有技术中的相关技术方案附图作以下介绍，应当理解的是，下面介绍中的附图仅仅为了方便清晰表述本申请的技术方案中的部分实施例，对于本领域的技术人员来说，在无需付出创造性劳动的前提下，还可以根据这些附图获取到其他附图。
图1为相关技术中基于影像的疾病检测方法的一种实施例的结构示意图；
图2为本申请提供的基于多模态影像的疾病检测方法的一种实施例的流程示意图；
图3为本申请提供的基于多模态影像的疾病检测方法的一种实施例的结构示意图；
图4为本申请提供的注意力机制模块的一种实施例的流程示意图；
图5为本申请提供的基于多模态影像的疾病检测方法的另一种实施例的流程示意图；
图6为本申请提供的基于多模态影像的疾病检测***的一种实施例的结构示意图；
图7为本申请提供的基于多模态影像的疾病检测装置的一种实施例的结构示意图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能理解为对本申请的限制。对于以下实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。
传统的眼底视网膜疾病筛查，通常是需要有丰富临床经验的眼科医生通过人工肉眼阅片，对比多种模态眼底照片(眼底彩照、眼底OCT、眼底荧光血管造影FFA等)分析得出的，自动化程度低，筛查效率低，且存在疲劳误诊的情况。参照图1所示的一种实施例，现有眼底疾病自动检测方法，大多是采用单一模态影像(如眼底彩照)，使用图像处理技术或AI神经网络模型，属于单模态大样本有监督学习的检测，需要大量已有标签的眼底影像数据，需要耗费大量的人力进行标记，而对于小样本数据多模态的疾病检测，上述方法的准确性较低。
在眼底视网膜疾病跨模态筛查的研究上，相关技术中，可通过机器学习算法和CNN等DL神经网络进行联合筛查的。如下面的示例：
相关技术中的一种实施例通过电子病历获取红外黄斑区眼底影像和光学相干断层扫描OCT影像组成双模态影像样本，然后将两种影像样本分别同时输入一个神经网络进行训练，获取两种模态影像的特征信息，之后通过权重计算出总图像特征信息输入全连接网络，获取预测结果。该方法，能实现联合筛查预测的影像模态较少，并且在融合前的眼底影像没做预处理操作，且使用的较常用简单的神经网络模型，性能较差。同时双模态影像的融合使用了简单的权重加权叠加，无法突出各种模态影像的具体贡献。
相关技术中的一种实施例使用眼底OCT和眼底彩照双模态眼底图像去联合训练DL网络，使用预先训练的VGG-19和结合随机森林的转移学习方法设计实现的联合筛查网络模型被证实在老年性黄斑变性的早期诊断中是更有效的，眼底彩照与OCT联合使用提高了诊断率，受试者曲线下面积AUC为0.969，准确率为90.5％，比仅使用其中一种单模态眼底图像更加优越。该方法使用了迁移学习，减弱了对大样本的依赖也缩短了网络的收敛时间，但该方法把眼底疾病检测问题简易化为简单的二分类问题，即只能检测出正常和老年性黄斑变性，降低了模型的通用性，无法应用于其他眼底疾病类型。
相关技术中还使用眼前节照相、眼底彩照和B型超声数据，并应用SVM、ANN和CNN等多种AI算法设计并分析出早期白内障的诊断和分级***，其算法***精度、灵敏度和特异性均能达到人类眼科医生的筛查水平。该方法使用的是SVM等机器学习算法进入多模态图像的特征压缩提取，然后在进行融合，需要人为干预，无法做到端到端的自动筛查；同时，使用CNN作为特征提取器，在训练模型参数的阶段，需要使用大量的带标签的数据，需要消耗大量人力物力，且注释过程耗时且需要该领域专家的领域知识，难度极大，模型的推广性不高。
基于以上问题，本申请提供的方法用于解决在没有大量已标注的眼底影像的小样本情况下，针对跨模态眼底疾病筛查的情形，使用参数规模相对较小的，计算速度较快的多模态AI网络模型，实现小样本、跨模态、多种类型眼底疾病自动筛查分类，在同等条件下，取得比单一模态数据训练的AI网络较高的筛查准确率。
下面参照附图详细描述根据本申请实施例提出的基于多模态影像的疾病检测方法和***，首先将参照附图描述根据本申请实施例提出的基于多模态影像的疾病检测方法。
参照图2，本申请实施例中提供一种基于多模态影像的疾病检测方法，本申请实施例中的基于多模态影像的疾病检测方法，可应用于终端中，也可应用于服务器中，还可以是运行于终端或服务器中的软件等。终端可以是平板电脑、笔记本电脑、台式计算机等，但并不局限于此。服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式***，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。本申请实施例中的基于多模态影像的疾病检测方法主要包括以下步骤：
S100：获取多模态影像数据；
本步骤中，获取的多模态影像数据可以是眼底彩照、眼底OCT、眼底荧光血管造影FFA中的至少一种。当然，本领域技术人员可以根据需求，选取需要进行检查的疾病的相关模态影像数据，通过本申请提供的方法进行疾病检测。
S200：将多模态影像数据进行预处理，得到预处理数据；
本步骤中，对多模态影像数据的预处理过程可以是：对多模态眼底影像数据进行缩放、局部自适应对比度拉伸、受限对比度自适应直方图均衡化和直方图均衡化融合等预处理操作，通过上述预处理操作进一步突出了特征丰富的前景区域，削弱背景噪声,有效提高眼科图像质量。
S300：将预处理数据输入前置特征提取模型，得到前置特征数据；前置特征提取模型通过将多模态影像数据共享卷积权重的方式，提取多模态影像的特征数据；
本步骤中，通过将预训练前置特征提取模型作为前置特征提取器，跨模态影像分支做通道拼接融合的注意力多模态筛查方法，实现了多模态分类筛查，有效模拟了现实中眼科医生跨模态阅片联合诊断的情形，通过有限的多模态有标记数据小样本达到了同等条件下单一模态海量数据训练的筛查准确度。弥补了有监督学习小样本数据情况下眼科疾病多分类检测准确率不高的问题，降低了标记样本的数量要求和模型训练时间，压缩了模型参数规模，提升了便携设备实现自动检测的可行性。具体地，前置特征提取模型可以是ResNet50网络模型。
S400：将前置特征数据输入特征融合模型，得到多模态影像数据对应的疾病分类结果。
本申请实施例为了实现多模态影像的融合筛查，加快多模态眼底影像训练的收敛速度并减少大量标签收集和标记的工作，提供了一种预训练ResNet50作为前置特征提取器，跨模态影像分支做通道拼接融合的注意力多模态筛查方法，即权重共享多分支注意力拼接融合模型。具体地，如图3所示，使用一个在ImageNet数据集预训练过的ResNet50网络作为前置特征提取器，将ResNet50预训练后的权重作为初始化权重，进行前向传播提取特征，实际上就是让各模态影像分支共享卷积权重，在初步提取到三个模态的特征之后，将各自模态分支再各自经过几层卷积进一步深度提取特征，然后做特征级别融合，融合方式也是通道拼接，最后经过SE注意力模块是对融合后的多模态特征集通道特征进行加权强调后送往分类器分类。
可选地，本申请实施例的基于多模态影像的疾病检测方法，将多模态影像数据进行预处理，得到预处理数据，包括：
将多模态影像数据进行缩放处理，得到第一数据；
将第一数据进行局部自适应对比度拉伸处理，得到第二数据；
将第二数据进行受限对比度自适应直方图均衡化处理，得到第三数据；
将第三数据进行直方图匹配融合处理，得到预处理数据。
本步骤中，预处理过程可以是：把多模态影像数据(示例性地，可以是三个模态的眼底影像)均缩放到一定大小比例(示例性地，256×256)，得到第一数据。利用局部自适应对比度拉伸(SACS)对第一数据进行处理，减弱了光照不均对图像的影响。对SACS处理后的图像(即第二数据)做受限对比度自适应直方图均衡化(CLAHE)，突出OCT的层间信息和眼底彩照及血管荧光造影FFA图像的血管和病灶斑块的轮廓信息。把增强去噪后的图像与CLAHE操作后的图像做直方图匹配融合，进一步突出了前景区域，削弱背景噪声,有效提高图像质量。
可选地，在本申请的一个实施例中，将第一数据进行局部自适应对比度拉伸处理，得到第二数据这一步骤，包括：
根据第一数据，得到第一灰度；第一灰度用于表征第一数据中的灰度极值；
对第一数据进行分块处理，得到若干子块；
根据每个子块的灰度均值，确定像素灰度值；
若像素灰度值小于灰度阈值，更新像素灰度值为第一灰度；
若像素灰度值大于或等于灰度阈值，对像素灰度值进行伽玛灰度拉伸处理，更新像素灰度值；
根据更新后的像素灰度值，确定第二数据。
本步骤中，局部自适应对比度拉伸(SACS)的算法步骤为：先遍历图像，获得图像全局灰度最小值
Figure BDA0004025472390000071
(即第一灰度)。然后对图像(256*256)进行分块，分为M*N块(示例性地，M和N均取值16)，计算每块的平均灰度值
Figure BDA0004025472390000072
再遍历当前图像块，比较当前像素灰度值
Figure BDA0004025472390000073
与灰度阈值(示例性地，可以是当前块平均灰度值的一半)的大小，若像素灰度值小于灰度阈值，则置为全局灰度最小值
Figure BDA0004025472390000074
否则对当前像素灰度值做gamma＝1.5的伽玛(gamma)灰度拉伸，并替换原来灰度值。具体地，相关计算公式如下所示：
Figure BDA0004025472390000075
公式中，Iij表示当前第i*j块图像块，
Figure BDA0004025472390000076
在一些可能的实现方式中，受限对比度自适应直方图均衡化(CLAHE)算法步骤可以是：进行图像分块，计算每块图像区域灰度直方图字典。再定义截取阈值Cliplimit(灰度级频数/占比)，遍历当前区域直方图字典，若当前灰度级的频数或占比高于Cliplimit阈值，则截取该灰度级频数/占比(幅度)，并平均到各灰度级上；然后计算该区域累积分布直方图(CDF)，进行直方图均衡化处理。最后对邻近图像分块进行双线性内插，加快区域均衡化速度，并消除区域间的边界跳跃，使灰度级变换更加平缓。
可选地，在本申请的一个实施例中，前置特征提取模型包括ResNet50网络模型，方法还包括：
通过ImageNet数据集对ResNet50网络模型进行训练，得到训练好的ResNet50网络模型。
本步骤中，前置特征提取模型包括ResNet50网络模型，具体地，预训练ResNet50网络模型，就是使用一个在mageNet数据集预训练过的ResNet50网络模型作为特征提取器，也就是保存了ResNet50预训练后的权重作为初始化权重，进行前向传播提取特征，实质上就是使用预训练过的ResNet50网络模型去提取眼底OCT和眼底彩照以及眼底血管荧光造影图像特征并共享ResNet50的训练权重，起到一个特征提取器的作用。通过ResNet50网络模型的作用，实现基于多模态影像的疾病检测。
可选地，在本申请的一个实施例中，将预处理数据输入前置特征提取模型，得到前置特征数据这一步骤，包括：
通过训练好的ResNet50网络模型，对预处理数据进行特征提取，并共享ResNet50网络模型的训练权重，得到前置特征数据。
可选地，在本申请的一个实施例中，将前置特征数据输入特征融合模型，得到多模态影像数据对应的疾病分类结果，包括：
对前置特征数据进行卷积处理，得到深度特征数据；
对深度特征数据进行特征融合处理，得到第四数据；
将第四数据输入注意力机制模块，得到第五数据；注意力机制模块用于对第四数据进行加权强调处理；
将第五数据输入分类器模块，得到多模态影像数据对应的疾病分类结果。
本步骤中，在前置特征提取器初步提取到三个模态的特征之后，将各自模态分支再各自经过几层卷积进一步深度提取特征，然后做特征级别融合，融合方式也是通道拼接，在送往分类器之前引入了通道注意力机制模块(示例性地，SE模块)，进一步对融合后的特征混合集进行通道加权强调，加重有用特征的对分类结果的贡献，削弱无用特征的表现，提高分类结果的准确性。
其中，通道拼接融合，也叫通道堆叠融合，属于特征级别的数据融合，它是先用一层或少量几层卷积层提取多个模态图像的特征，然后对提取到的两种模态的图像特征向量进行通道的堆叠(拼接)，这种特征融合方法要求进行堆叠的两个模态图像特征向量的宽高必须一致，但通道数可以不一样。它的优点是操作简单且进行特征融合的时候可尽可能保留多个模态各自的图像特征信息。
在一些可能的实现方式中，分类器模块，可以选择常见的四层卷积加一层softmax输出层将结果压缩到0～1之间，最终得出最高置信分的四类常见眼底疾病。可以理解的是，本申请并不限制具体的分类器模块的实现方式。
可选地，在本申请的一个实施例中，将第四数据输入注意力机制模块，得到第五数据，包括：
对第四数据进行卷积操作，得到第一特征数据及对应的第一权重；
对第一特征数据进行池化处理，得到压缩数据；
通过全连接层，对第一权重进行训练，得到加权数据；
根据压缩数据和加权数据，得到第五数据。
本步骤中，注意力机制模块可以通过SE注意力模块实现。可以理解的是，SE模块(Sequeeze-and-Excitation Block)的首次提出是在SENET网络模型，通过对输入特征通道维度上的相关性进行显式建模，提升了网络模型的性能，本质上就是对输入样本通道特征进行加权强调，对分类识别贡献大的更为重要的通道特征分配更大的权重；相反，对贡献小的不是很重要的通道特征分配较小的权重，实际上就是一种通道上的注意力机制。如图4所示，SE模块可拆分成压(Sequeeze)、解压(Excitation)和重标定(Scale)三个步骤。首先输入样本x经过一系列卷积操作得到通道数为C的特征，然后是压缩(Sequeeze)操作，通过一个全局平均池化层，将通道数为C，宽高为WxH的输入特征在空间维度上压缩成一个实数，这个实数某种意义上拥有全局感受野，也就是说包含了输入特征在空间上的依赖关系。之后是解压(Excitation)操作，通过两层全连接层训练学习到权重参数W，这个权重参数W为特征的每个通道生成一个权重，对重要的通道赋予较大的权重，对次之的通道赋予较小的权重，以此类推，完成全部通道的加权处理，实质上就是完成特征通道间依赖性的建模，也就是说解压操作才是SE模块核心。最后是重标定(Scale)操作，也就是将之前压缩操作和解压操作后获得的输入特征各通道加权系数通过乘法逐通道加权到原来的输入特征上，完成最终的特征通道的重标定。
综上可知，参照图5所示，本申请实施例提供的方法，与传统人工阅片比，检测流程自动化程度更高，输出诊断结果相对稳定，能实现端到端的自动筛查检测。在传统医生人工阅片受到资源限制时，可辅助提升检测的效率，减少医生工作量，避免疲劳误诊，一人一结果的情况发生。与现有眼科影像AI方案比，适用于小样本数据情况。本申请实施例使用了预训练ResNet50作为前置特征提取器，且利用了跨模态影像数据信息互补，减少了标记数据的工作量，节省人力物力的同时还提升了模型的训练周期，可推广性强。现有的眼科AI自动检测技术，大部分都是有监督学习，需要海量的有标签数据集，此方法可以有效的弥补小样本数据检测的问题。
同时，本申请提供的实施例，与现有眼科影像AI方案比，适用于多模态眼科影像的联合筛查的场景。现大多数眼科图像自动化端到端的AI筛查分类模型只适用于单一模态类型的图片的输入，无法真正模拟现实中眼科医生联合跨模态的眼科图像，进行信息互补，辅助诊断，提高诊断的准确性，此方法可以有效的利用跨模态信息进行互补筛查。
在一些可能的实现方式中，本申请提供的实施例与现有眼科影像AI方案比，本模型参数规模更小，适用于便携设备，且支持多种类型眼科疾病自动筛查(多分类)。本方法，在同等条件下，使用更短的预训练时间和更少的训练样本就可以达到有监督学习大样本的检测准确率，且能检测出更多种类型眼科疾病情况，通用型更强。
其次，参照附图6描述根据本申请实施例提出的一种基于多模态影像的疾病检测***。
图6是本申请一个实施例的基于多模态影像的疾病检测***结构示意图，***具体包括：
第一模块610，用于获取多模态影像数据；
第二模块620，用于将多模态影像数据进行预处理，得到预处理数据；
第三模块630，用于将预处理数据输入前置特征提取模型，得到前置特征数据；前置特征提取模型通过将多模态影像数据共享卷积权重的方式，提取多模态影像的特征数据；
第四模块640，用于将前置特征数据输入特征融合模型，得到多模态影像数据对应的疾病分类结果。
可见，上述方法实施例中的内容均适用于本***实施例中，本***实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。
参照图7，本申请实施例提供了一种基于多模态影像的疾病检测装置，包括：
至少一个处理器710；
至少一个存储器720，用于存储至少一个程序；
当至少一个程序被至少一个处理器710执行时，使得至少一个处理器710实现的基于多模态影像的疾病检测方法。
同理，上述方法实施例中的内容均适用于本装置实施例中，本装置实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。
本申请实施例还提供了一种计算机可读存储介质，其中存储有处理器710可执行的程序，处理器710可执行的程序在由处理器710执行时用于执行上述的基于多模态影像的疾病检测方法。
同理，上述方法实施例中的内容均适用于本存储介质实施例中，本存储介质实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。
在一些可选择的实施例中，在方框图中提到的功能/操作可以不按照操作示图提到的顺序发生。例如，取决于所涉及的功能/操作，连续示出的两个方框实际上可以被大体上同时地执行或所述方框有时能以相反顺序被执行。此外，在本申请的流程图中所呈现和描述的实施例以示例的方式被提供，目的在于提供对技术更全面的理解。所公开的方法不限于本文所呈现的操作和逻辑流程。可选择的实施例是可预期的，其中各种操作的顺序被改变以及其中被描述为较大操作的一部分的子操作被独立地执行。
此外，虽然在功能性模块的背景下描述了本申请，但应当理解的是，除非另有相反说明，功能和/或特征中的一个或多个可以被集成在单个物理装置和/或软件模块中，或者一个或多个功能和/或特征可以在单独的物理装置或软件模块中被实现。还可以理解的是，有关每个模块的实际实现的详细讨论对于理解本申请是不必要的。更确切地说，考虑到在本文中公开的装置中各种功能模块的属性、功能和内部关系的情况下，在工程师的常规技术内将会了解该模块的实际实现。因此，本领域技术人员运用普通技术就能够在无需过度试验的情况下实现在权利要求书中所阐明的本申请。还可以理解的是，所公开的特定概念仅仅是说明性的，并不意在限制本申请的范围，本申请的范围由所附权利要求书及其等同方案的全部范围来决定。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干程序用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行程序的定序列表，可以具体实现在任何计算机可读介质中，以供程序执行***、装置或设备(如基于计算机的***、包括处理器的***或其他可以从程序执行***、装置或设备取程序并执行程序的***)使用，或结合这些程序执行***、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供程序执行***、装置或设备或结合这些程序执行***、装置或设备而使用的装置。
计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的程序执行***执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
在本说明书的上述描述中，参考术语“一个实施方式/实施例”、“另一实施方式/实施例”或“某些实施方式/实施例”等的描述意指结合实施方式或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。
尽管已经示出和描述了本申请的实施方式，本领域的普通技术人员可以理解：在不脱离本申请的原理和宗旨的情况下可以对这些实施方式进行多种变化、修改、替换和变型，本申请的范围由权利要求及其等同物限定。
以上是对本申请的较佳实施进行了具体说明，但本申请并不限于所述实施例，熟悉本领域的技术人员在不违背本申请精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (10)

1.一种基于多模态影像的疾病检测方法，其特征在于，包括以下步骤：
获取多模态影像数据；
将所述多模态影像数据进行预处理，得到预处理数据；
将所述预处理数据输入前置特征提取模型，得到前置特征数据；所述前置特征提取模型通过将多模态影像数据共享卷积权重的方式，提取多模态影像的特征数据；
将所述前置特征数据输入特征融合模型，得到所述多模态影像数据对应的疾病分类结果。
2.根据权利要求1所述的基于多模态影像的疾病检测方法，其特征在于，所述将所述多模态影像数据进行预处理，得到预处理数据，包括：
将所述多模态影像数据进行缩放处理，得到第一数据；
将所述第一数据进行局部自适应对比度拉伸处理，得到第二数据；
将所述第二数据进行受限对比度自适应直方图均衡化处理，得到第三数据；
将所述第三数据进行直方图匹配融合处理，得到预处理数据。
3.根据权利要求2所述的基于多模态影像的疾病检测方法，其特征在于，所述将所述第一数据进行局部自适应对比度拉伸处理，得到第二数据这一步骤，包括：
根据所述第一数据，得到第一灰度；所述第一灰度用于表征所述第一数据中的灰度极值；
对所述第一数据进行分块处理，得到若干子块；
根据每个所述子块的灰度均值，确定像素灰度值；
若所述像素灰度值小于灰度阈值，更新像素灰度值为第一灰度；
若所述像素灰度值大于或等于灰度阈值，对所述像素灰度值进行伽玛灰度拉伸处理，更新所述像素灰度值；
根据更新后的像素灰度值，确定第二数据。
4.根据权利要求1所述的基于多模态影像的疾病检测方法，其特征在于，所述前置特征提取模型包括ResNet50网络模型，所述方法还包括：
通过ImageNet数据集对所述ResNet50网络模型进行训练，得到训练好的ResNet50网络模型。
5.根据权利要求4所述的基于多模态影像的疾病检测方法，其特征在于，所述将所述预处理数据输入前置特征提取模型，得到前置特征数据这一步骤，包括：
通过所述训练好的ResNet50网络模型，对所述预处理数据进行特征提取，并共享所述ResNet50网络模型的训练权重，得到前置特征数据。
6.根据权利要求1所述的基于多模态影像的疾病检测方法，其特征在于，所述将所述前置特征数据输入特征融合模型，得到所述多模态影像数据对应的疾病分类结果，包括：
对所述前置特征数据进行卷积处理，得到深度特征数据；
对所述深度特征数据进行特征融合处理，得到第四数据；
将所述第四数据输入注意力机制模块，得到第五数据；所述注意力机制模块用于对所述第四数据进行加权强调处理；
将所述第五数据输入分类器模块，得到所述多模态影像数据对应的疾病分类结果。
7.根据权利要求6所述的基于多模态影像的疾病检测方法，其特征在于，所述将所述第四数据输入注意力机制模块，得到第五数据，包括：
对所述第四数据进行卷积操作，得到第一特征数据及对应的第一权重；
对所述第一特征数据进行池化处理，得到压缩数据；
通过全连接层，对所述第一权重进行训练，得到加权数据；
根据所述压缩数据和所述加权数据，得到第五数据。
8.一种基于多模态影像的疾病检测***，其特征在于，包括：
第一模块，用于获取多模态影像数据；
第二模块，用于将所述多模态影像数据进行预处理，得到预处理数据；
第三模块，用于将所述预处理数据输入前置特征提取模型，得到前置特征数据；所述前置特征提取模型通过将多模态影像数据共享卷积权重的方式，提取多模态影像的特征数据；
第四模块，用于将所述前置特征数据输入特征融合模型，得到所述多模态影像数据对应的疾病分类结果。
9.一种基于多模态影像的疾病检测装置，其特征在于，包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如权利要求1至7中任一项所述的基于多模态影像的疾病检测方法。
10.一种计算机可读存储介质，其中存储有处理器可执行的程序，其特征在于：所述处理器可执行的程序在由处理器执行时用于实现如权利要求1至7中任一项所述的基于多模态影像的疾病检测方法。
CN202211727966.6A 2022-12-29 2022-12-29 基于多模态影像的疾病检测方法、***、装置及存储介质 Pending CN116092667A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211727966.6A CN116092667A (zh) 2022-12-29 2022-12-29 基于多模态影像的疾病检测方法、***、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211727966.6A CN116092667A (zh) 2022-12-29 2022-12-29 基于多模态影像的疾病检测方法、***、装置及存储介质

Publications (1)

Publication Number Publication Date
CN116092667A true CN116092667A (zh) 2023-05-09

Family

ID=86205708

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211727966.6A Pending CN116092667A (zh) 2022-12-29 2022-12-29 基于多模态影像的疾病检测方法、***、装置及存储介质

Country Status (1)

Country Link
CN (1) CN116092667A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117350982A (zh) * 2023-10-23 2024-01-05 郑州大学 一种基于多医学图像的糖尿病肾病分析方法及***

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117350982A (zh) * 2023-10-23 2024-01-05 郑州大学 一种基于多医学图像的糖尿病肾病分析方法及***
CN117350982B (zh) * 2023-10-23 2024-05-14 郑州大学 一种基于多医学图像的糖尿病肾病分析方法及***

Similar Documents

Publication Publication Date Title
US11295178B2 (en) Image classification method, server, and computer-readable storage medium
Wang et al. Multi-label classification of fundus images with efficientnet
CN110197493B (zh) 眼底图像血管分割方法
CN111340819B (zh) 图像分割方法、装置和存储介质
CN110443813B (zh) 血管、眼底图像的分割方法、装置、设备及可读存储介质
Li et al. Accurate retinal vessel segmentation in color fundus images via fully attention-based networks
Lin et al. Automatic retinal vessel segmentation via deeply supervised and smoothly regularized network
CN112102266B (zh) 基于注意力机制的脑梗死医学影像分类模型的训练方法
CN110930416A (zh) 一种基于u型网络的mri图像***分割方法
CN114998210B (zh) 一种基于深度学习目标检测的早产儿视网膜病变检测***
Tennakoon et al. Image quality classification for DR screening using convolutional neural networks
WO2022166399A1 (zh) 基于双模态深度学习的眼底疾病辅助诊断方法和装置
CN111767952A (zh) 一种可解释的肺结节良恶性分类方法
CN113012163A (zh) 一种基于多尺度注意力网络的视网膜血管分割方法、设备及存储介质
CN117058676B (zh) 一种基于眼底检查影像的血管分割方法、装置和***
CN112348059A (zh) 基于深度学习的多种染色病理图像分类方法及***
CN116758336A (zh) 一种基于人工智能的医学图像智能分析***
CN116092667A (zh) 基于多模态影像的疾病检测方法、***、装置及存储介质
CN115147640A (zh) 一种基于改进胶囊网络的脑肿瘤图像分类方法
Qin et al. A review of retinal vessel segmentation for fundus image analysis
CN117557840B (zh) 一种基于小样本学习的眼底病变分级方法
CN110610480A (zh) 基于Attention机制的MCASPP神经网络眼底图像视杯视盘分割模型
Sallam et al. Diabetic retinopathy grading using resnet convolutional neural network
CN116703837B (zh) 一种基于mri图像的肩袖损伤智能识别方法及装置
Bhuvaneswari et al. Contrast enhancement of retinal images using green plan masking and whale optimization algorithm

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination