CN113793326A - 一种基于图像的疾病识别方法和装置 - Google Patents

一种基于图像的疾病识别方法和装置 Download PDF

Info

Publication number
CN113793326A
CN113793326A CN202111109909.7A CN202111109909A CN113793326A CN 113793326 A CN113793326 A CN 113793326A CN 202111109909 A CN202111109909 A CN 202111109909A CN 113793326 A CN113793326 A CN 113793326A
Authority
CN
China
Prior art keywords
modal
feature maps
modality
disease
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111109909.7A
Other languages
English (en)
Inventor
赵建春
周阳
林海澜
丁大勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Vistel Technology Co ltd
Original Assignee
Beijing Vistel Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Vistel Technology Co ltd filed Critical Beijing Vistel Technology Co ltd
Priority to CN202111109909.7A priority Critical patent/CN113793326A/zh
Publication of CN113793326A publication Critical patent/CN113793326A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10101—Optical tomography; Optical coherence tomography [OCT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

本申请实施例公开了一种基于图像的疾病识别方法和装置，其中，该方法包括：通过对所述N个第一模态特征图和所述M个第二模态特征图分别进行H次特征融合，得到H个待识别的融合模态特征图，按照预设疾病类别分别对所述H个待识别的融合模态特征图进行分类，得到所述预设疾病类别中每个疾病类别对应的概率值，所述概率值表征所述预设类别中每个类别疾病的可能性。从而实现了至少融合两种模态特征图像，根据融合后的模态特征图像对病种类别进行自动检测，避免了人工检测，提高了图像病种类别检测的准确率，即提高了病种类别检测的效率，同时也避免了人工进行挑选图像和人工标注图像的病变和病变类别。

Description

一种基于图像的疾病识别方法和装置
技术领域
本申请涉及图像处理技术领域，具体涉及一种基于图像的疾病识别方法和装置。
背景技术
目前，在临床医学上基于眼底彩照和OCT图像对眼底病种进行分类，分类的手段主要包括人工标注，是通过对拍摄好的图像进行人工标注，再进行病种判断，进而确定眼底彩照和OCT图像中包含的病种类别。
现有的多模态眼底疾病自动检测方面包括对眼底彩照和OCT图像处理，但OCT图像仅仅输入一张，且需要人工挑选，而OCT图像往往是个序列，仅使用一张OCT图像将会损失不少OCT模态的信息，并且将得到的OCT图像信息通过人工标注图像，导致无法充分利用已有数据，致使检测准确率不高。
发明内容
针对上述技术问题，本申请实施例提出了一种基于图像的疾病识别方法和装置，以解决上述方法无法充分利用已有数据，致使检测准确率不高的问题。
本申请实施例的第一方面提供了一种基于图像的疾病识别方法，包括：
获取N个第一模态特征图和M个第二模态特征图，N和M均是大于等于1的整数，其中，所述N个第一模态特征图分别是N副第一模态子图像的特征图，所述N副第一模态子图像根据第一模态图像得到；
对所述N个第一模态特征图和所述M个第二模态特征图分别进行H次特征融合，得到H个待识别的融合模态特征图，H是大于等于2的整数，所述H个待识别的融合模态特征图均包含所述第一模态特征和所述第二模态特征，相同模态特征在所述H个待识别的融合模态特征图中的权重各不相同；
按照预设疾病类别分别对所述H个待识别的融合模态特征图进行分类，得到所述预设疾病类别中每个疾病类别对应的概率值，所述概率值表征所述预设类别中每个类别疾病的可能性。
在一种实施例中，针对任一待识别的融合模态特征图，所述对所述N个第一模态特征图和所述M个第二模态特征图进行特征融合，包括：
分别将所述N个第一模态特征图转换为所述N个第三模态特征图，以及分别将所述M个第二模态特征图转换为所述M个第四模态特征图，所述N个第三模态特征图和所述M个第四模态特征图模态间可比；
分别为所述N个第三模态特征图配置第一初始权重，以及分别为所述M个第四模态特征图配置第二初始权重，每个所述第一初始权重表征相应第三模态特征图的重要性，每个所述第二初始权重表征相应第四模态特征图的重要性；
根据所述第一初始权重和所述第二初始权重融合所述N个第三模态特征图和所述M个第四模态特征图，得到待识别的融合模态特征图。
在一种实施例中，其特征在于，根据所述第一初始权重和所述第二初始权重融合所述N个第三模态特征图和所述M个第四模态特征图，得到待识别的融合模态特征图，包括：
分别计算所述N个第三模态特征图与相应第一初始权重相乘的结果，以及分别计算所述M个第四模态特征图与相应第二初始权重相乘的结果；
将所有相乘的结果相加得到所述待识别的融合模态特征图。
在一种实施例中，所述方法包括：
分别获取所述N个第一模态特征图中每个第一模态特征图的第一重要性系数和第二重要性系数，所述第一重要性系数表征相应第一模态特征图的重要性，所述第二重要性系数表征相应第一模态特征图的区域重要性；
根据所述每个第一模态特征图的第一重要性系数和第二重要性系数生成第一疾病预测图，所述第一疾病预测图表征第一模态下的疾病表现图。
在一种实施例中，所述方法还包括：
分别获取所述M个第二模态特征图中每个第二模态特征图的第一重要性系数和第二重要性系数，所述第一重要性系数表征相应第二模态特征图的重要性，所述第二重要性系数表征相应第二模态特征图的区域重要性；
根据所述每个第二模态特征图的第一重要性系数和第二重要性系数生成第二疾病预测图，所述第二疾病预测图表征第二模态下的疾病表现图。
在一种实施例中，针对任一第一模态特征图，获取相应第一模态特征图的第一重要性系数，包括：
获取所述第一模态特征图对应的H个第一初始权重的平均值，得到所述第一模态特征图的第一重要性系数，所述H个第一初始权重是对所述N个第一模态特征图和所述M个第二模态特征图进行H次特征融合的过程中得到的。
在一种实施例中，所述N副第一模态子图像根据第一模态图像得到，包括：
裁剪所述第一模态图像得到N1个第一模态子图像，分别翻转所述N1个第一模态子图像得到N2个第一模态子图像，N1和N2的和为N。
在一种实施例中，所述获取N个第一模态特征图和M个第二模态特征图，包括：
通过第一特征提取模型对所述N副第一模态子图像进行特征提取，得到所述N个第一模态特征图和每个第一模态特征图的第二重要性系数；
通过第二特征提取模型对所述M副第二模态子图像进行特征提取，得到所述M个第二模态特征图和每个第二模态特征图的第二重要性系数。
在一种实施例中，所述按照预设疾病类别分别对所述H个待识别的融合模态特征图进行分类，得到所述预设疾病类别中每个疾病类别对应的概率值，包括：
若相应概率值大于0.5，将相应概率值对应的疾病种类确定为目标种类。
本申请实施例的第二方面提供了一种基于图像的疾病识别装置，所述装置包括：
图像获取模块，用于获取N个第一模态特征图和M个第二模态特征图，N和M均是大于等于1的整数，其中，所述N个第一模态特征图分别是N副第一模态子图像的特征图，所述N副第一模态子图像根据第一模态图像得到；
图像融合模块，用于对所述N个第一模态特征图和所述M个第二模态特征图分别进行H次特征融合，得到H个待识别的融合模态特征图，H是大于等于2的整数，所述H个待识别的融合模态特征图均包含所述第一模态特征和所述第二模态特征，相同模态特征在所述H个待识别的融合模态特征图中的权重各不相同；
图像分类模块，用于按照预设疾病类别分别对所述H个待识别的融合模态特征图进行分类，得到所述预设疾病类别中每个疾病类别对应的概率值，所述概率值表征所述预设类别中每个类别疾病的可能性。
本申请实施例，通过对所述N个第一模态特征图和所述M个第二模态特征图分别进行H次特征融合，得到H个待识别的融合模态特征图，所述H个待识别的融合模态特征图均包含所述第一模态特征和所述第二模态特征，相同模态特征在所述H个待识别的融合模态特征图中的权重各不相同，从而实现了至少融合两种模态特征图像，根据融合后的模态特征图像对病种类别进行自动检测，避免了人工检测，按照预设疾病类别分别对所述H个待识别的融合模态特征图进行分类，得到所述预设疾病类别中每个疾病类别对应的概率值，所述概率值表征所述预设类别中每个类别疾病的可能性，提高了图像病种类别检测的准确率，即提高了病种类别检测的效率，同时也避免了人工进行挑选图像和人工标注图像的病变和病变类别。
附图说明
通过参考附图会更加清楚的理解本申请的特征和优点，附图是示意性的而不应理解为对本申请进行任何限制，在附图中：
图1是本申请提供的一种基于图像的疾病识别方法流程示意图；
图2是本申请提供的一种基于图像的疾病识别方法具体两种模态特征图融合流程示意图。
具体实施方式
在下面的描述中，通过示例阐述了本申请的许多具体细节，以便提供对相关披露的透彻理解。然而，对于本领域的普通技术人员来讲，本申请显而易见的可以在没有这些细节的情况下实施。应当理解的是，本申请中使用“***”、“装置”、“单元”和/或“模块”术语，是用于区分在顺序排列中不同级别的不同部件、元件、部分或组件的一种方法。然而，如果其他表达式可以实现相同的目的，这些术语可以被其他表达式替换。
应当理解的是，当设备、单元或模块被称为“在……上”、“连接到”或“耦合到”另一设备、单元或模块时，其可以直接在另一设备、单元或模块上，连接或耦合到或与其他设备、单元或模块通信，或者可以存在中间设备、单元或模块，除非上下文明确提示例外情形。例如，本申请所使用的术语“和/或”包括一个或多个相关所列条目的任何一个和所有组合。
本申请所用术语仅为了描述特定实施例，而非限制本申请范围。如本申请说明书和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的特征、整体、步骤、操作、元素和/或组件，而该类表述并不构成一个排它性的罗列，其他特征、整体、步骤、操作、元素和/或组件也可以包含在内。
参看下面的说明以及附图，本申请的这些或其他特征和特点、操作方法、结构的相关元素的功能、部分的结合以及制造的经济性可以被更好地理解，其中说明和附图形成了说明书的一部分。然而，可以清楚地理解，附图仅用作说明和描述的目的，并不意在限定本申请的保护范围。可以理解的是，附图并非按比例绘制。
本申请描述了一种基于图像的疾病识别方法，如图1所示，该方法包括：
步骤S10获取N个第一模态特征图和M个第二模态特征图，N和M均是大于等于1的整数，其中，所述N个第一模态特征图分别是N副第一模态子图像的特征图，所述N副第一模态子图像根据第一模态图像得到。
步骤S20对所述N个第一模态特征图和所述M个第二模态特征图分别进行H次特征融合，得到H个待识别的融合模态特征图，H是大于等于2的整数，所述H个待识别的融合模态特征图均包含所述第一模态特征和所述第二模态特征，相同模态特征在所述H个待识别的融合模态特征图中的权重各不相同。
步骤S30按照预设疾病类别分别对所述H个待识别的融合模态特征图进行分类，得到所述预设疾病类别中每个疾病类别对应的概率值，所述概率值表征所述预设类别中每个类别疾病的可能性。
可见，采用本实现方式，从而实现了至少融合两种模态特征图像，根据融合后的模态特征图像对病种类别进行自动检测，避免了人工检测，提高了图像病种类别检测的准确率，即提高了病种类别检测的效率，同时也避免了人工进行挑选图像和人工标注图像的病变和病变类别。
通过步骤S10获取N个第一模态特征图和M个第二模态特征图，N和M均是大于等于1的整数，本申请采用了第一模态特征图的数量和第二模态特征图的数量相同，因为具有数量相同的特征图，后续N个第一模态特征图和M个第二模态特征图融合会更加均匀，得到的融合后的特征也更加明显,从而提高识别病种的准确率。当然，在其他实施例中，也可以使第一模态特征图的数量和第二模态特征图的数量不相同。
步骤S20对所述N个第一模态特征图和所述M个第二模态特征图分别进行H次特征融合，得到H个待识别的融合模态特征图，从而实现了两个不同模态特征之间融合，通过两种不同模态特征图融合实现了两个模态特征图之间的信息互补，对后续病种识别更加快速有利，并且两个模态特征图之间融合更加充分。
通过步骤S30得到所述预设疾病类别中每个疾病类别对应的概率值，所述概率值表征所述预设类别中每个类别疾病的可能性，最终确定病种类别，从而避免了人工检测，提高了图像病种类别检测的准确率，即提高了病种类别检测的效率，同时也避免了人工进行挑选图像和人工标注图像的病变和病变类别。
以下实施例请参阅图1以及图2，在一些实施例中，针对任一待识别的融合模态特征图，所述对所述N个第一模态特征图和所述M个第二模态特征图进行特征融合，包括：分别将所述N个第一模态特征图转换为所述N个第三模态特征图，以及分别将所述M个第二模态特征图转换为所述M个第四模态特征图，所述N个第三模态特征图和所述M个第四模态特征图模态间可比。
具体地，本申请是通过MM-MIL模块完成图像融合以及分类，用于多模态特征融合的新模块，MM-MIL模块继承了基于示例注意力的MIL的可解释性，它将示例级CFP/OCT特征与示例注意力权重融合成实例级特征向量，即所述N个第一模态特征图和所述M个第二模态特征图进行特征融合形成向量特征图，MM-MIL模块分为两部分：第一部分为跨模态映射部分。跨模态映射部分接受两个模态的输入(n×d)，即输入(n×d)个第一模态特征图和输入(n×d)个第二模态特征图，分别将两个模态的输入的(n×d)第一模态特征图和(n×d)第二模态特征图经过全连接层和层标准化，以去除不同模态的模态信息，使得模态间可比，进而实现两个模态图融合。
分别为所述N个第三模态特征图配置第一初始权重，以及分别为所述M个第四模态特征图配置第二初始权重，每个所述第一初始权重表征相应第三模态特征图的重要性，每个所述第二初始权重表征相应第四模态特征图的重要性。根据所述第一初始权重和所述第二初始权重融合所述N个第三模态特征图和所述M个第四模态特征图，得到待识别的融合模态特征图。
具体地，MM-MIL模块的第二部分为示例注意力计算部分，示例注意力计算部分将第一部分输出的两个特征拼接起来得到2n×d大小的特征，经过两次的线性层和激活函数层后得到每个示例的权重，大小为2n×1，获得的每个示例的权重再与原始每个示例特征相乘，得到最终大小为1×d的模块输出。通过使用多个MM-MIL模块，每个模块学到的特征侧重点不同，即待识别的融合模态特征图得到的特征是不相同，结合每个模块的信息能使得模型学得更加全面，决策更加准确，得出的病种类型是更加准确。
在一种实施例中，根据所述第一初始权重和所述第二初始权重融合所述N个第三模态特征图和所述M个第四模态特征图，得到待识别的融合模态特征图，包括：分别计算所述N个第三模态特征图与相应第一初始权重相乘的结果，以及分别计算所述M个第四模态特征图与相应第二初始权重相乘的结果。将所有相乘的结果相加得到所述待识别的融合模态特征图。
具体地，通过MM-MIL模块计算所述N个第三模态特征图与相应第一初始权重相乘的结果，以及分别计算所述M个第四模态特征图与相应第二初始权重相乘的结果，最终得到所述待识别的融合模态特征图，进一步地分为两步：第一步将示例注意力分数计算部分得出的模态特征(2n×d)与经过经过两次的线性层和激活函数层后得到每个示例的权重的特征2n×1进行逐元素相乘，获得2n×d大小的特征；第二步将第一步的特征在第一维度(长度为2n)上相加，获得1×d大小的特征作为模块的输出。
在一种实施例中，所述方法包括：分别获取所述N个第一模态特征图中每个第一模态特征图的第一重要性系数和第二重要性系数，所述第一重要性系数表征相应第一模态特征图的重要性，所述第二重要性系数表征相应第一模态特征图的区域重要性。通过根据第一模态特征图的重要性和第一模态特征图的区域重要性的双重的重要特征进而能够进行准确的预测病种，提高了对病种的准确率。
根据所述每个第一模态特征图的第一重要性系数和第二重要性系数生成第一疾病预测图，所述第一疾病预测图表征第一模态下的疾病表现图。
需要说明的是，通过根据所述每个第一模态特征图的第一重要性系数和第二重要性系数生成第一疾病预测图，所述第一疾病预测图表征第一模态下的疾病表现图，在特殊紧急情况下，可以通过此方法观看模态特征图，先预测出眼睛是否有具有疾病，为后续对眼睛处理做了充分的准备。事实上，通过将第一模态模态特征图或第二模态模态特征图进行进行可视化处理，为最终确认眼睛病种类型做了初步的筛选判断，为后续节省了大量的时间。
在一种实施例中，分别获取所述M个第二模态特征图中每个第二模态特征图的第一重要性系数和第二重要性系数，所述第一重要性系数表征相应第二模态特征图的重要性，所述第二重要性系数表征相应第二模态特征图的区域重要性。通过根据第二模态特征图的重要性和第二模态特征图的区域重要性的双重的重要特征进而能够进行准确的预测病种，提高了对病种的准确率。
根据所述每个第二模态特征图的第一重要性系数和第二重要性系数生成第二疾病预测图，所述第二疾病预测图表征第二模态下的疾病表现图。
需要说明的是，通过根据所述每个第二模态特征图的第一重要性系数和第二重要性系数生成第二疾病预测图，所述第二疾病预测图表征第一模态下的疾病表现图，在特殊紧急情况下，可以通过此方法观看模态特征图，先预测眼睛出是否有具有疾病，为后续对眼睛处理做了充分的准备。事实上，通过将第一模态模态特征图或第二模态模态特征图进行进行可视化处理，为最终确认眼睛病种类型做了初步的筛选判断，为后续节省了大量的时间。
在一种实施例中，针对任一第一模态特征图，获取相应第一模态特征图的第一重要性系数，包括：
获取所述第一模态特征图对应的H个第一初始权重的平均值，得到所述第一模态特征图的第一重要性系数，所述H个第一初始权重是对所述N个第一模态特征图和所述M个第二模态特征图进行H次特征融合的过程中得到的。通过将第一初始权重平均池化(MeanPooling)，平均池化是个取平均的操作，取平均化是为了对多个MM-MIL模块输出的融合特征图结果取平均值，通过平均值与预设的分数进行比较，得出特征图是否含有疾病。
在一种实施例中，所述N副第一模态子图像根据第一模态图像得到，包括：裁剪所述第一模态图像得到N1个第一模态子图像，分别翻转所述N1个第一模态子图像得到N2个第一模态子图像，N1和N2的和为N。
可选的，通过对第一模态图像进行伪过采样，进而得到所述N副第一模态子图像，裁剪所述第一模态图像得到N1个第一模态子图像，其中，需要对所述第一模态图像进行四角的裁剪和中心的裁剪，得到N1个第一模态子图像。
在一些实施例中，其特征在于，所述获取N个第一模态特征图和M个第二模态特征图，包括：
通过第一特征提取模型对所述N副第一模态子图像进行特征提取，得到所述N个第一模态特征图和每个第一模态特征图的第二重要性系数。
通过第二特征提取模型对所述M副第二模态子图像进行特征提取，得到所述M个第二模态特征图和每个第二模态特征图的第二重要性系数。
在另外实施例中，通过对N副第一模态子图像进行特征提取和对所述M副第二模态子图像进行特征提取，并分别将提取出的特征图进行序列化，再分别将序列化的第一模态特征图和第二模态特征图并行送入两个不同的2D-CNN(二维卷积神经网络)，其中，提取的特征图大小为w×h×d，如N个第二模态特序列的征图的大小为N×w×h×d和M×w×h×d(d＝2048,h＝w＝8)，N和M分别取12，12表示的是图像的数量。本方案里使用的是ResNet-50(残差神经网络)。可选的，也可以使用其他特征提取模型。
进一步地，分别将N个第一模态特征图和M个第二模态特征图进行空间全局平均池化，以使第一模态特征图和第二模态特特征图获得需要自身维度的特征向量，通过MM-MIL模块将第一模态特征图和第二模态特征图融合，得到所述待识别模态特征图，从而实现了N个第一模态特征图和M个第二模态特征图融合互补了彼此之间的信息，进一步增加判断病种的准确率。
在一种实施例中，所述按照预设疾病类别分别对所述H个待识别的融合模态特征图进行分类，得到所述预设疾病类别中每个疾病类别对应的概率值，包括：若相应概率值大于0.5，将相应概率值对应的疾病种类确定为目标种类。
优选的，在得到每个模态特征的概率前需要每个模态特征通过线性层均转化为相应权重大小，并将其输出依次通过平均池化和sigmoid(S型函数)最终计算得出病种类别的平均概率，若概率大于0.5，则确认眼睛有疾病，并根据相应模态特征对应的病种类别确定为目标病种，实际上，需要将预设好的不同病种类别具有对应的模态特征，与已经计算出对应的各个模态特征的概率的模态特征进行做比较，通过预设的模态特征与现需要确认的病种进行模态特征之间做出比对，而且往往是具有相同权重或权重接近的模态特征之间进行比对，这样会缩短比对的时间，提高了确认病种类别的效率。
本申请还提供了一种基于图像的疾病识别的装置，所述装置包括：
图像获取模块，用于获取N个第一模态特征图和M个第二模态特征图，N和M均是大于等于1的整数，其中，所述N个第一模态特征图分别是N副第一模态子图像的特征图，所述N副第一模态子图像根据第一模态图像得到；
图像融合模块，用于对所述N个第一模态特征图和所述M个第二模态特征图分别进行H次特征融合，得到H个待识别的融合模态特征图，H是大于等于2的整数，所述H个待识别的融合模态特征图均包含所述第一模态特征和所述第二模态特征，相同模态特征在所述H个待识别的融合模态特征图中的权重各不相同；
图像分类模块，用于按照预设疾病类别分别对所述H个待识别的融合模态特征图进行分类，得到所述预设疾病类别中每个疾病类别对应的概率值，所述概率值表征所述预设类别中每个类别疾病的可能性。
通过图像获取模块、图像融合模块和图像分类模块对两种模态图像进行处理并最终融合，实现了至少两种模态能够对病种类别进行自动检测，避免了人工检测，提高了图像病种类别检测的准确率，即提高了病种类别检测的效率，同时也避免了人工进行挑选图像和人工标注图像的病变和病变类别。
需要说明的是，图像获取模块，包括对获取N个第一模态特征图和N个第二模态特征图，并将获取到的N个第一模态特征图和N个第二模态特征图分别序列并行送入两个不同的2D-CNN网络，其中，提取的N个第一模态特征图和N个第二模态特征图大小均是固定的，而每个序列的N个第一模态特征图和N个第二模态特征图的大小是与模态特征图数量多少也是相关的。然后对N个第一模态特征图和N个第二模态特征图空间全局平均池化，可得到N个第一模态特征图和N个第二模态特征图的模态特征图向量化。
图像融合模块，包括两部分，第一部分为跨模态映射部分，第二部分为权重计算部分，第一部分接收到向量化的N个第一模态特征图和N个第二模态特征图，分别接收两个模态的输入(n×d)，分别将两个模态特征经过全连接层和层标准化，以去除两个模态特征之间不同模态的信息，使留下的两模态特征之间的信息可以做出比较，进而两种模态特征之间的信息可以做出鲜明的对比。第二部分将第一部分输出的两个模态特征图拼接起来得到一个2n×d大小的特征，经过两次的线性层和激活函数层后得到每个特征图的相对应的权重，得到大小为2n×1的特征，最终将每个模态特征的相对应的权重与所述N个第一模态特征图和所述N个第二模态特征图相乘，计算得出大小为1×d的的特征。
可选的，融合模块为MM-MIL模块，这是一种用于至少两种模态特征图融合的新模块，它继承了基于示例注意力的MIL的可解释性，它将示例级CFP(color fundus picture)/OCT(optical coherence tomography)模态特征与示例注意力权重融合成实例级特征向量，上述的权重均表示为此处的示例注意力权重。其中，融合成实例级特征向量需要先通过至少两个模态的SW-GAP(空间全局平均池化)的输出一起送入h个MM-MIL模块里，在MM-MIL模块里，将2n个示例级特征(2n×d)聚合为1个带有多模态信息的特征(1×d)，每个特征通过线性层都被转换为类别决策分数(1×m)作为输出，将输出的类别决策分数(1×m)再通过平均池化，在经过sigmoid(可称为S型函数)激活获得最终的概率预测分数，即上述的病种类别概率值，而平均池化是个取平均的操作，对于本模型，是对多个MM-MIL模块的输出结果取平均。若某一类的平均值分数大于0.5，则模型认为眼睛含有该疾病。使用多个MM-MIL模块，每个模块学到的特征侧重点不同，结合每个模块的信息能使得模型学得更加全面，决策更加准确。
进一步地，需要对MM-MIL模块的特征进行计算，是将h个MM-MIL中计算的注意力权重，即每个示例的h个注意力分数取平均，以获得每个示例的注意力权重。根据注意力权重，我们可以看出每个示例对整个模型的贡献程度，即每个示例在多大程度下影响模型的决策。
具体地，计算方法可分为两步：第一步将示例注意力分数(2n×1)与经过模态映射后的特征(2n×d)进行逐元素相乘，获得2n×d大小的特征。
第二步将第一步的特征在第一维度(长度为2n)上相加，获得1×d大小的特征作为模块的输出。由于这两步实际上与矩阵乘法等价，因而在模块图上只画了一个乘号。
图像分类模块，通过预设的模态特征与现需要确认的病种进行模态特征之间做出比对，进而确认出病种类别，而且往往是具有相同权重或权重接近的模态特征之间进行比对，这样会缩短比对的时间，提高了确认病种类别的效率。
病种类别模块，通过得到所述预设疾病类别中每个疾病类别对应的概率值，所述概率值表征所述预设类别中每个类别疾病的可能性。需要将H个待识别的融合模态特征图进行分类，其中，需要将待识别的融合模态特征图平均化处理，与预设的概率大小作比较，大于预设概率确认为眼睛图像具有疾病，并根据模态特征图判断出疾病的类型，其中，预设概率大小为0.5。事实上，需要先将模态特征的权重概率平均池化，再通过sigmoid(S型函数)激活得到平均的模态特征图的权重概率，通过模态特征图的权重平均概率与预设概率作比较。
应当理解的是，本申请的上述具体实施方式仅仅用于示例性说明或解释本申请的原理，而不构成对本申请的限制。因此，在不偏离本申请的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。此外，本申请所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。

Claims (10)

1.一种基于图像的疾病识别方法，其特征在于，所述方法包括：
获取N个第一模态特征图和M个第二模态特征图，N和M均是大于等于1的整数，其中，所述N个第一模态特征图分别是N副第一模态子图像的特征图，所述N副第一模态子图像根据第一模态图像得到；
对所述N个第一模态特征图和所述M个第二模态特征图分别进行H次特征融合，得到H个待识别的融合模态特征图，H是大于等于2的整数，所述H个待识别的融合模态特征图均包含所述第一模态特征和所述第二模态特征，相同模态特征在所述H个待识别的融合模态特征图中的权重各不相同；
按照预设疾病类别分别对所述H个待识别的融合模态特征图进行分类，得到所述预设疾病类别中每个疾病类别对应的概率值，所述概率值表征所述预设类别中每个类别疾病的可能性。
2.根据权利要求1所述的基于图像的疾病识别方法，其特征在于，针对任一待识别的融合模态特征图，所述对所述N个第一模态特征图和所述M个第二模态特征图进行特征融合，包括：
分别将所述N个第一模态特征图转换为所述N个第三模态特征图，以及分别将所述M个第二模态特征图转换为所述M个第四模态特征图，所述N个第三模态特征图和所述M个第四模态特征图模态间可比；
分别为所述N个第三模态特征图配置第一初始权重，以及分别为所述M个第四模态特征图配置第二初始权重，每个所述第一初始权重表征相应第三模态特征图的重要性，每个所述第二初始权重表征相应第四模态特征图的重要性；
根据所述第一初始权重和所述第二初始权重融合所述N个第三模态特征图和所述M个第四模态特征图，得到待识别的融合模态特征图。
3.根据权利要求2所述的基于图像的疾病识别方法，其特征在于，根据所述第一初始权重和所述第二初始权重融合所述N个第三模态特征图和所述M个第四模态特征图，得到待识别的融合模态特征图，包括：
分别计算所述N个第三模态特征图与相应第一初始权重相乘的结果，以及分别计算所述M个第四模态特征图与相应第二初始权重相乘的结果；
将所有相乘的结果相加得到所述待识别的融合模态特征图。
4.根据权利要求1所述的基于图像的疾病识别方法，其特征在于，所述方法包括：
分别获取所述N个第一模态特征图中每个第一模态特征图的第一重要性系数和第二重要性系数，所述第一重要性系数表征相应第一模态特征图的重要性，所述第二重要性系数表征相应第一模态特征图的区域重要性；
根据所述每个第一模态特征图的第一重要性系数和第二重要性系数生成第一疾病预测图，所述第一疾病预测图表征第一模态下的疾病表现图。
5.根据权利要求1所述的基于图像的疾病识别方法，其特征在于，所述方法还包括：
分别获取所述M个第二模态特征图中每个第二模态特征图的第一重要性系数和第二重要性系数，所述第一重要性系数表征相应第二模态特征图的重要性，所述第二重要性系数表征相应第二模态特征图的区域重要性；
根据所述每个第二模态特征图的第一重要性系数和第二重要性系数生成第二疾病预测图，所述第二疾病预测图表征第二模态下的疾病表现图。
6.根据权利要求2-4任意一项所述的基于图像的疾病识别方法，针对任一第一模态特征图，获取相应第一模态特征图的第一重要性系数，包括：
获取所述第一模态特征图对应的H个第一初始权重的平均值，得到所述第一模态特征图的第一重要性系数，所述H个第一初始权重是对所述N个第一模态特征图和所述M个第二模态特征图进行H次特征融合的过程中得到的。
7.根据权利要求1所述的基于图像的疾病识别方法，其特征在于，所述N副第一模态子图像根据第一模态图像得到，包括：
裁剪所述第一模态图像得到N1个第一模态子图像，分别翻转所述N1个第一模态子图像得到N2个第一模态子图像，N1和N2的和为N。
8.根据权利要求1-5所述的基于图像的疾病识别方法，其特征在于，所述获取N个第一模态特征图和M个第二模态特征图，包括：
通过第一特征提取模型对所述N副第一模态子图像进行特征提取，得到所述N个第一模态特征图和每个第一模态特征图的第二重要性系数；
通过第二特征提取模型对所述M副第二模态子图像进行特征提取，得到所述M个第二模态特征图和每个第二模态特征图的第二重要性系数。
9.根据权利要求1所述的基于图像的疾病识别方法，其特征在于，所述按照预设疾病类别分别对所述H个待识别的融合模态特征图进行分类，得到所述预设疾病类别中每个疾病类别对应的概率值，包括：
若相应概率值大于0.5，将相应概率值对应的疾病种类确定为目标种类。
10.一种基于图像的疾病识别装置，其特征在于，所述装置包括：
图像获取模块，用于获取N个第一模态特征图和M个第二模态特征图，N和M均是大于等于1的整数，其中，所述N个第一模态特征图分别是N副第一模态子图像的特征图，所述N副第一模态子图像根据第一模态图像得到；
图像融合模块，用于对所述N个第一模态特征图和所述M个第二模态特征图分别进行H次特征融合，得到H个待识别的融合模态特征图，H是大于等于2的整数，所述H个待识别的融合模态特征图均包含所述第一模态特征和所述第二模态特征，相同模态特征在所述H个待识别的融合模态特征图中的权重各不相同；
图像分类模块，用于按照预设疾病类别分别对所述H个待识别的融合模态特征图进行分类，得到所述预设疾病类别中每个疾病类别对应的概率值，所述概率值表征所述预设类别中每个类别疾病的可能性。
CN202111109909.7A 2021-09-18 2021-09-18 一种基于图像的疾病识别方法和装置 Pending CN113793326A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111109909.7A CN113793326A (zh) 2021-09-18 2021-09-18 一种基于图像的疾病识别方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111109909.7A CN113793326A (zh) 2021-09-18 2021-09-18 一种基于图像的疾病识别方法和装置

Publications (1)

Publication Number Publication Date
CN113793326A true CN113793326A (zh) 2021-12-14

Family

ID=78879087

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111109909.7A Pending CN113793326A (zh) 2021-09-18 2021-09-18 一种基于图像的疾病识别方法和装置

Country Status (1)

Country Link
CN (1) CN113793326A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114841970A (zh) * 2022-05-09 2022-08-02 北京字节跳动网络技术有限公司 检查图像的识别方法、装置、可读介质和电子设备
CN117292443A (zh) * 2023-09-25 2023-12-26 杭州名光微电子科技有限公司 一种融合人脸和掌静脉的多模态识别***及其方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109685819A (zh) * 2018-12-11 2019-04-26 厦门大学 一种基于特征增强的三维医学图像分割方法
CN113129267A (zh) * 2021-03-22 2021-07-16 杭州电子科技大学 一种基于视网膜分层数据的oct图像检测方法及***
CN113158821A (zh) * 2021-03-29 2021-07-23 中国科学院深圳先进技术研究院 基于多模态的眼部检测数据的处理方法、装置及终端设备
WO2021169723A1 (zh) * 2020-02-27 2021-09-02 Oppo广东移动通信有限公司 图像识别方法、装置、电子设备及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109685819A (zh) * 2018-12-11 2019-04-26 厦门大学 一种基于特征增强的三维医学图像分割方法
WO2021169723A1 (zh) * 2020-02-27 2021-09-02 Oppo广东移动通信有限公司 图像识别方法、装置、电子设备及存储介质
CN113129267A (zh) * 2021-03-22 2021-07-16 杭州电子科技大学 一种基于视网膜分层数据的oct图像检测方法及***
CN113158821A (zh) * 2021-03-29 2021-07-23 中国科学院深圳先进技术研究院 基于多模态的眼部检测数据的处理方法、装置及终端设备

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114841970A (zh) * 2022-05-09 2022-08-02 北京字节跳动网络技术有限公司 检查图像的识别方法、装置、可读介质和电子设备
CN117292443A (zh) * 2023-09-25 2023-12-26 杭州名光微电子科技有限公司 一种融合人脸和掌静脉的多模态识别***及其方法
CN117292443B (zh) * 2023-09-25 2024-06-07 杭州名光微电子科技有限公司 一种融合人脸和掌静脉的多模态识别***及其方法

Similar Documents

Publication Publication Date Title
JP7058373B2 (ja) 医療画像に対する病変の検出及び位置決め方法、装置、デバイス、及び記憶媒体
EP3779774B1 (en) Training method for image semantic segmentation model and server
CN112949710B (zh) 一种图像的聚类方法和装置
AU2016332947B2 (en) Semi-automatic labelling of datasets
CN108280477B (zh) 用于聚类图像的方法和装置
KR101640998B1 (ko) 화상 처리 장치 및 화상 처리 방법
CN110264444B (zh) 基于弱分割的损伤检测方法及装置
EP3520045A1 (en) Image-based vehicle loss assessment method, apparatus, and system, and electronic device
CN111476806B (zh) 图像处理方法、装置、计算机设备和存储介质
CN113728335A (zh) 用于3d图像的分类和可视化的方法和***
CN110197716B (zh) 医学影像的处理方法、装置及计算机可读存储介质
CN108198172B (zh) 图像显著性检测方法和装置
CN113793326A (zh) 一种基于图像的疾病识别方法和装置
CN110738102A (zh) 一种人脸识别方法及***
CN110879982A (zh) 一种人群计数***及方法
CN110689440A (zh) 基于图片识别的车险理赔识别方法、装置、计算机设备及存储介质
US9529935B2 (en) Efficient link management for graph clustering
CN111179270A (zh) 基于注意力机制的图像共分割方法和装置
CN116457776A (zh) 图像处理方法、装置、计算设备及介质
CN113052295A (zh) 一种神经网络的训练方法、物体检测方法、装置及设备
CN116681923A (zh) 一种基于人工智能的眼科疾病自动分类方法及***
CN116824203A (zh) 基于神经网络的青光眼的识别装置和识别方法
CN112183303A (zh) 变电设备图像分类方法、装置、计算机设备和介质
CN116959099A (zh) 一种基于时空图卷积神经网络的异常行为识别方法
CN116805522A (zh) 诊断报告输出方法、装置、终端及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination