CN117036894A - 基于深度学习的多模态数据分类方法、装置及计算机设备 - Google Patents

基于深度学习的多模态数据分类方法、装置及计算机设备 Download PDF

Info

Publication number
CN117036894A
CN117036894A CN202311297044.0A CN202311297044A CN117036894A CN 117036894 A CN117036894 A CN 117036894A CN 202311297044 A CN202311297044 A CN 202311297044A CN 117036894 A CN117036894 A CN 117036894A
Authority
CN
China
Prior art keywords
features
data
image
training
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311297044.0A
Other languages
English (en)
Other versions
CN117036894B (zh
Inventor
赵博涛
张瑜
蒋田仔
刘盛锋
程禄祺
钱浩天
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Lab
Original Assignee
Zhejiang Lab
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Lab filed Critical Zhejiang Lab
Priority to CN202311297044.0A priority Critical patent/CN117036894B/zh
Publication of CN117036894A publication Critical patent/CN117036894A/zh
Application granted granted Critical
Publication of CN117036894B publication Critical patent/CN117036894B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G06V10/811—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data the classifiers operating on different input data, e.g. multi-modal recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

本申请涉及一种基于深度学习的多模态数据分类方法、装置及计算机设备。所述方法包括：获取待分类数据，所述待分类数据至少包括医学图像以及人口学信息；基于所述待分类数据确定数据特征，所述数据特征包括图像特征以及人口学信息特征，所述图像特征通过将所述医学图像输入特征提取模型得到；将所述数据特征输入训练好的分类器，确定分类结果。通过特征提取模型提取图像特征，并综合考虑图像特征和人口学信息特征，通过分类器确定分类结果，能够在待分类数据包括多种数据类型的多模态数据的情况下对待分类数据进行分类，有效提高分类结果的准确性。

Description

基于深度学习的多模态数据分类方法、装置及计算机设备
技术领域
本申请涉及数据分类技术领域，特别是涉及一种基于深度学习的多模态数据分类方法、装置及计算机设备。
背景技术
近年来，深度学习作为近年发展最快的人工智能技术之一，已经在数据分类领域得到的广泛的应用，例如，将深度学习应用于医学数据分类等。
传统技术中，通常是基于深度学习对采集到的医学影像进行分类处理。然而，由于疾病的多样性和临床的复杂性，人口学信息也可能对分类结果产生影响，若仅考虑对医学影像进行分类处理，存在分类结果准确度低的问题。
基于此，考虑到现有临床影像数据特征提取的局限性以及临床采集数据的多样性，传统技术中亟需一种能够对多种数据源类型的多模态数据进行分类的方法。
发明内容
针对上述技术问题，本申请提供一种能够对多种数据源类型的多模态数据进行分类的基于深度学习的多模态数据分类方法、装置及计算机设备。
第一方面，本申请提供了一种基于深度学习的多模态数据分类方法。所述方法包括：
获取待分类数据，所述待分类数据至少包括医学图像以及人口学信息；
基于所述待分类数据确定数据特征，所述数据特征包括图像特征以及人口学信息特征，所述图像特征通过将所述医学图像输入特征提取模型得到；
将所述数据特征输入训练好的分类器，确定分类结果。
在其中一个实施例中，所述特征提取模型通过如下方式训练得到：
获取训练集，所述训练集包括训练医学图像以及对应的特征标签；
基于所述训练集训练第一、第二初始模型，得到第一初始模型作为所述特征提取模型。
在其中一个实施例中，所述基于所述训练集训练第一初始模型，得到所述特征提取模型包括：
将所述训练医学图像输入第二初始模型，得到辅助图像特征；
基于所述训练医学图像的种类对所述辅助图像特征进行分类，确定不同种类的特征集；
基于所述训练集以及所述特征集训练第一初始模型，得到所述特征提取模型。
在其中一个实施例中，所述基于所述医学图像的种类对所述辅助图像特征进行分类，确定不同种类的特征集包括：
确定所述辅助图像特征之间的相似度，基于所述医学图像的种类以及所述相似度对所述辅助图像特征进行分类，确定不同种类的特征集。
在其中一个实施例中，在基于所述训练集以及所述特征集训练第一初始模型之后包括：
基于所述第一初始模型的参数更新所述第二初始模型。
在其中一个实施例中，所述训练集还包括病灶分割标签，所述基于所述训练集训练第一初始模型，得到所述特征提取模型包括：
将所述医学图像输入所述第一初始模型，得到预测特征；
将所述预测特征输入病灶分割模型，确定预测病灶分割结果；
基于所述病灶分割结果以及病灶分割标签确定第一损失函数；
基于所述特征标签以及预测特征确定第二损失函数；
基于所述第一损失函数以及第二损失函数更新所述第一初始模型的参数，得到所述特征提取模型。
在其中一个实施例中，所述医学图像包括至少两种影像模态类型的图像，所述图像特征包括至少两种影像模态类型对应的图像特征，所述基于所述待分类数据确定数据特征包括：
判断所述医学图像的影像模态类型与预设模态类型是否匹配；
若匹配，则将所述医学图像输入所述特征提取模型得到图像特征；
若不匹配，则确定对应影像模态类型的图像特征为置零特征。
在其中一个实施例中，所述将所述数据特征输入训练好的分类器，确定分类结果包括：
对所述数据特征进行标准化处理，得到标准化特征，所述标准化特征包括人口学信息特征和标准化图像特征；
将所述人口学信息特征和标准化图像特征进行维度拼接得到拼接特征，并将所述拼接特征输入训练好的分类器，确定分类结果。
在其中一个实施例中，所述人口学信息包括性别信息以及年龄信息，所述对所述数据特征进行标准化处理，得到标准化特征包括：
对所述性别信息进行二值化处理，对所述年龄信息进行最大最小标准化处理。
第二方面，本申请还提供了一种基于深度学习的多模态数据分类装置。所述装置包括：
数据获取模块，用于获取待分类数据，所述待分类数据至少包括医学图像以及人口学信息；
特征提取模块，用于基于所述待分类数据确定数据特征，所述数据特征包括图像特征以及人口学信息特征，所述图像特征通过将所述医学图像输入特征提取模型得到；
分类模块，用于将所述数据特征输入训练好的分类器，确定分类结果。
第三方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述第一方面中任一基于深度学习的多模态数据分类方法的步骤。
第四方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面中任一基于深度学习的多模态数据分类方法的步骤。
上述基于深度学习的多模态数据分类方法、装置及计算机设备，通过获取待分类数据，所述待分类数据至少包括医学图像以及人口学信息，基于所述待分类数据确定数据特征，所述数据特征包括图像特征以及人口学信息特征，所述图像特征通过将所述医学图像输入特征提取模型得到，并将所述数据特征输入训练好的分类器，确定分类结果。通过特征提取模型提取图像特征，并综合考虑图像特征和人口学信息特征，通过分类器确定分类结果，能够在待分类数据包括多种数据类型的情况下对待分类数据进行分类，有效提高分类结果的准确性。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为一个实施例中基于深度学习的多模态数据分类方法的应用环境图；
图2为一个实施例中基于深度学习的多模态数据分类方法的流程示意图；
图3为一个实施例中特征提取模型训练过程的示意图；
图4为一个实施例中基于深度学习的多模态数据分类流程的示意图；
图5为一个实施例中基于深度学习的多模态数据分类方法测试评估结果的曲线示意图；
图6为一个实施例中基于深度学习的多模态数据分类装置的结构框图；
图7为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
除另作定义外，本申请所涉及的技术术语或者科学术语应具有本申请所属技术领域具备一般技能的人所理解的一般含义。在本申请中的“一”、“一个”、“一种”、“该”、“这些”等类似的词并不表示数量上的限制，它们可以是单数或者复数。在本申请中所涉及的术语“包括”、“包含”、“具有”及其任何变体，其目的是涵盖不排他的包含；例如，包含一系列步骤或模块（单元）的过程、方法和***、产品或设备并未限定于列出的步骤或模块（单元），而可包括未列出的步骤或模块（单元），或者可包括这些过程、方法、产品或设备固有的其他步骤或模块（单元）。在本申请中所涉及的“连接”、“相连”、“耦接”等类似的词语并不限定于物理的或机械连接，而可以包括电气连接，无论是直接连接还是间接连接。在本申请中所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。通常情况下，字符“/”表示前后关联的对象是一种“或”的关系。在本申请中所涉及的术语“第一”、“第二”、“第三”等，只是对相似对象进行区分，并不代表针对对象的特定排序。
以下所使用的术语“模块”、“单元”等为可以实现预定功能的软件和/或硬件的组合。尽管在以下实施例中所描述的装置较佳地以硬件来实现，但是软件，或者软件和硬件的组合的实现也是可能并被构想的。
本申请实施例提供的基于深度学***板电脑、物联网设备和便携式可穿戴设备，物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中，如图2所示，提供了一种基于深度学习的多模态数据分类方法，以该方法应用于图1中的应用场景为例进行说明，包括以下步骤：
S201：获取待分类数据，所述待分类数据至少包括医学图像以及人口学信息。
本申请实施例中，医学图像包括三维医学影像数据，例如，可以包括肿瘤T2增强磁共振图像，心脏疾病的T1加权图像等。人口学信息可以包括年龄、性别等。可以理解的，医学图像与人口学信息相对应，例如医学图像可以包括人员甲的医学影像数据，人口学信息可以包括人员甲的性别信息和年龄信息。所述获取待分类数据可以包括，通过医学影像生成设备获取医学图像，以及获取所述医学图像对应的人口学信息，所述医学影像生成设备可以包括CT设备、磁共振设备、数字化X线摄影设备等。
在其中一些实施例中，获取待分类数据之后还包括对待分类数据进行预处理，所述预处理包括对医学图像进行预处理，和/或，对人口学信息进行预处理。所述对医学图像进行预处理包括，基于预设算法对医学图像进行灰度校正并进行尺寸固定，其中，所述预设算法可以包括N4偏置场校正算法，所述尺寸固定可以包括插值法、尺寸裁剪等。所述对人口学信息进行预处理包括，对所述人口学信息中的缺失信息进行替代补全处理，其中，若所述缺失信息包括年龄信息，则将所述年龄信息设置为待分类数据对应历史类型的年龄均值；若所述缺失信息包括性别信息，则将所述性别信息设置为基于待分类数据对应历史类型的性别比例确定的随机性别。在其他实施例中，所述对待分类数据进行预处理还包括匿名化处理，具体包括剔除所有数据中包含有个人信息的成分，如姓名信息等。
在其他实施例中，所述对医学图像进行预处理还包括，基于训练好的预分割模型对所述医学图像进行预处理。在一些具体的实施例中，若所述待分类数据包括脑肿瘤数据，且所述脑肿瘤疾病仅发病于小脑或脑干区域，则可以使用预先训练好的小脑-脑干预分割模型，对感兴趣的目标区域图像进行提取，得到待分类的医学图像。
S203：基于所述待分类数据确定数据特征，所述数据特征包括图像特征以及人口学信息特征，所述图像特征通过将所述医学图像输入特征提取模型得到。
本申请实施例中，图像特征可以包括基于特征提取模型在医学图像中提取得到的特征向量，所述特征提取模型用于提取医学图像中的特征并以输出的特征向量表示图像特征。在一些实施例中，所述特征提取模型可以用于提取三维医学图像的图像特征。人口学信息特征可以包括人口学信息对应的数字化特征，也可以包括将人口学信息进行标准化处理后得到的人口学信息特征，其中，所述数字化特征可以包括年龄数字特征、基于数字表示的性别信息特征等。
在传统技术中，通常通过手动设定提取规则或基于深度学习的方式从医学图像中提取特征。然而，手动设定提取规则的方式不具备通用性，且特征提取效果较差；而传统技术中的深度学习方法则需要大量的训练数据，然而在实际应用场景中，尤其是对于一些罕见样本而言，通常难以获取大量的训练数据。基于此，在一些实施例中，所述特征提取模型通过如下方式训练得到：
S2031：获取训练集，所述训练集包括训练医学图像以及对应的特征标签。
S2033：基于所述训练集训练第一初始模型，得到所述特征提取模型。
本申请实施例中，训练医学图像可以包括已确定分类结果的历史医学图像，例如，可以包括已经确定癌症类型的磁共振医学图像。对应的特征标签可以包括训练医学图像对应的分类结果标签，如冠状动脉狭窄的冠心病等。
本申请实施例中，第一初始模型可以包括查询编码器。在一些具体的实施例中，所述第一初始模型可以基于ResNet50卷积神经网络作为网络主干，但与传统的ResNet50卷积神经网络不同之处在于，卷积层之后的向量，先进行平均池化，然后通过线性层将维度压缩为所设定的目标提取维度，得到提取的中间特征向量。随后再将所提取的中间特征向量再经过一个线性层，将维度进一步压缩为输入的1/2。基于上述结构的第一初始模型，能够将三维医学图像进行降维后提取相应的特征向量，可以适用于医学图像中包括三维图像的应用场景。在其他实施例中，第一初始模型也可以基于分类任务的不同选择其他网络作为网络主干，本申请对此不作具体限制。可以理解的，基于训练集训练第一初始模型后，训练完成的第一初始模型即可作为特征提取模型。
本申请实施例的特征提取模型，在不需要大量训练数据的情况下，即可实现对特征提取模型的训练以及对医学图像中特征的有效提取。解决了传统技术中难以提取三维医学图像特征的技术问题，同时也有效提高了提取特征的有效性和实用性。
S205：将所述数据特征输入训练好的分类器，确定分类结果。
本申请实施例中，分类器用于对所述数据特征进行分类并确定分类结果，所述分类结果可以包括确定的疾病类型。所述分类器可以包括两层的全连接神经网络，也可包括传统的机器学习模型，如支持向量机（Support Vector Machine， SVM）、极端梯度提升树（eXtremeGradient Boosting, XGBoost）等，本申请对此不作具体限制。
本申请实施例提供的基于深度学习的多模态数据分类方法，还可以应用于针对不同分类目标的分类任务中。例如，若所述医学图像包括待分类的肿瘤图像，人口学信息包括与该肿瘤图像匹配的性别信息和年龄信息，在确定待分类数据的数据特征后，可以基于分类器输出对应于不同病灶区域的分类结果，在其他实施例中，还可以基于分类器输出对应于不同阶段肿瘤的分类结果。
本申请实施例提供的基于深度学习的多模态数据分类方法，通过获取待分类数据，所述待分类数据至少包括医学图像以及人口学信息，基于所述待分类数据确定数据特征，所述数据特征包括图像特征以及人口学信息特征，所述图像特征通过将所述医学图像输入特征提取模型得到，并将所述数据特征输入训练好的分类器，确定分类结果。通过特征提取模型提取图像特征，并综合考虑图像特征和人口学信息特征，通过分类器确定分类结果，能够在待分类数据包括多种数据类型的情况下对待分类数据进行分类，有效提高分类结果的准确性。
为进一步提高特征提取模型提取图像特征的有效性，本申请实施例中，如图3所示，所述基于所述训练集训练第一初始模型，得到所述特征提取模型包括：
S301：将所述训练医学图像输入第二初始模型，得到辅助图像特征。
S303：基于所述训练医学图像的种类对所述辅助图像特征进行分类，确定不同种类的特征集。
S305：基于所述训练集以及所述特征集训练第一初始模型，得到所述特征提取模型。
本申请实施例中，第二初始模型可以包括关键字编码器，所述第二初始模型的网络结构可以参考本申请上述实施例中查询编码器的结构设置，此处不再赘述。类似的，第二初始模型也可以基于分类任务的不同选择其他网络作为网络主干，本申请对此不作具体限制。在一些实施例中，训练医学图像输入第二初始模型的顺序与输入第一初始模型的顺序不同，例如，若训练医学图像中包括已确定分类结果的100个三维图像，且编号分别为1-100，则在特征提取模型的训练过程中，可以分别将不同编号的训练医学图像输入第一初始模型与第二初始模型。通过将相同分类结果的不同图像分别输入第一初始模型与第二初始模型，再基于第二初始模型得到的结果训练第一初始模型，可以有效提高第一初始模型输出的特征向量的有效性，进而提高特征提取模型输出的图像特征的有效性。
本申请实施例中，在所述基于所述训练医学图像的种类对所述辅助图像特征进行分类之前，可以基于不同的特征标签相应设置预设特征集，用于动态存取第二初始模型输出的辅助图像特征，进而可以在特征提取模型的每一次迭代优化过程中能够使用更多的数据对特征提取模型的参数进行调整。基于训练医学图像的种类对所述辅助图像特征进行分类，并根据分类结果将辅助图像特征加入相应的预设特征集，确定不同种类的特征集，所述医学图像的种类与相应的特征标签相匹配。在一个具体实施例中，如图3所示，特征集为类别1、类别2，但可以理解的，图3所示仅为本申请一个具体实施例，特征集的数量并不仅限于两种，应根据实际应用场景基于实际分类任务设置。
需要说明的是，第一初始模型与第二初始模型的训练是不断优化迭代的过程。在模型训练的过程中，为了提高模型的训练效果，第一初始模型与第二初始模型可以不断交叉迭代进行训练，也即本申请并不限制第一初始模型与第二初始模型训练的先后顺序。
在特征提取模型每进行一次迭代的训练过程中，包括辅助图像特征加入预设特征集得到不同种类特征集、从不同种类特征集中提取特征的过程，为了特征提取模型可以更好地收敛，在一些实施例中，所述基于所述医学图像的种类对所述辅助图像特征进行分类，确定不同种类的特征集包括：
S401：确定所述辅助图像特征之间的相似度，基于所述医学图像的种类以及所述相似度对所述辅助图像特征进行分类，确定不同种类的特征集。
本申请实施例中，相似度可以包括余弦相似度。为了保证辅助图像特征加入预设特征集的特征能够更准确地表示该类别，可以根据式（1）-式（3）确定不同种类的特征集。
（1）
（2）
（3）
式（1）中，i表示训练医学图像，表示辅助图像特征，/>表示和训练医学图像i所对应的种类特征集中包含的辅助图像特征数量，/>表示和训练医学图像i所对应的种类特征集中的辅助图像特征，/>表示同一种类特征集中的辅助图像特征之间的余弦相似度。
式（2）中，i表示训练医学图像，表示辅助图像特征，/>表示和训练医学图像i所对应的种类不同的特征集中包含的辅助图像特征数量，/>表示和训练医学图像i所对应的种类不同的特征集中的辅助图像特征，/>表示辅助图像特征/>和不同种类特征集中的辅助图像特征之间的余弦相似度。
式（3）中，s表示特征集，、/>、/>表示的含义参照前述，此处不再赘述。
在一些实施例中，若特征集中的辅助图像特征达到特征数量上限，则根据先入先出原则，输出特征集中的辅助图像特征作为所述第二初始模型的输出。
本申请实施例中，基于训练集以及特征集训练第一初始模型可以包括，基于训练集以及特征集确定有监督对比损失函数，并基于所述有监督对比损失函数训练所述第一初始模型，得到特征提取模型。其中，有监督对比损失函数可以根据式（4）得到。
（4）
式（4）中，表示有监督对比损失函数，/>表示将训练医学图像输入第一初始模型后得到的预测特征，/>表示第二初始模型输出得到的辅助图像特征，在一些实施例中，/>也可以表示特征集中输出的辅助图像特征，q表示训练集中的训练医学图像，P（q）表示不含有训练医学图像q所对应种类的所有特征集，/>表示种类j对应的特征集，/>表示种类j对应的特征集中的辅助图像特征，τ表示标量温度参数。
为减小第二初始模型的参数变化，并进一步提升特征提取模型的训练效率，本申请实施例中，在基于所述训练集以及所述特征集训练第一初始模型之后包括：
S501：基于所述第一初始模型的参数更新所述第二初始模型。
本申请实施例中，可以根据式（5）基于第一初始模型的参数更新第二初始模型。
（5）
式（5）中，θ k ，θ q 分别表示第一初始模型的参数和第二初始模型的参数，m表示取值范围为[0,1]的动量因子。通过向量更新法基于第一初始模型的参数更新第二初始模型的参数，能够有效提高特征提取模型的训练效率。
为进一步提高特征提取模型输出图像特征的有效性，本申请实施例中，所述训练集还包括病灶分割标签，所述基于所述训练集训练第一初始模型，得到所述特征提取模型包括：
S601：将所述医学图像输入所述第一初始模型，得到预测特征。
S603：将所述预测特征输入病灶分割模型，确定预测病灶分割结果。
S605：基于所述病灶分割结果以及病灶分割标签确定第一损失函数。
S607：基于所述特征标签以及预测特征确定第二损失函数。
S609：基于所述第一损失函数以及第二损失函数更新所述第一初始模型的参数，得到所述特征提取模型。
本申请实施例中，病灶分割标签包括与医学图像对应的预设病灶区域标签。在一些具体的实施例中，病灶分割标签可以包括所述医学图像是病灶区域，或所述医学图像不是病灶区域。病灶分割模型用于基于第一初始模型输出的预测特征得到预测病灶分割结果。在一些具体实施例中，如图3所示，所述病灶分割模型可以包括分割头，所述第一初始模型可以包括查询编码器，所述分割头可以用于将所提取的编码特征解码为病灶分割结果。其中，所述病灶分割结果可以包括确定所述医学图像是病灶区域，或确定所述医学图像不是病灶区域。
在一些具体实施例中，病灶分割模型包含三个分辨率层级，其中前两个分辨率层级分别依次由三维反卷积层、批归一化层、Leaky ReLu激活函数层、三维卷积层、批归一化层、Leaky ReLu激活函数层、三维卷积层、批归一化层、Leaky ReLu激活函数层组成，其中三维反卷积层的补偿为2。最后一个分辨率层级相较于前两个分辨率层级，不包括最后的批归一化层、Leaky ReLu激活函数层，并且最后的输出通道为类别数。
本申请实施例中，可以根据式（6）基于所述病灶分割结果以及病灶分割标签确定第一损失函数。
（6）
式（6）中，为第一损失函数，X，Y分别表示病灶分割结果以及病灶分割标签，/>为平滑因子，防止分母为0。
本申请实施例中，可以根据式（7）基于所述特征标签以及预测特征确定第二损失函数。
（7）
式（7）中，表示第二损失函数，/>表示在医学图像体素i处对于特征种类c的特征标签和预测特征，N表示所有医学图像体素的个数，M表示所有特征种类的数量,/>表示该种类对应的权重。
在其他实施例中，所述基于所述训练集训练第一初始模型，得到所述特征提取模型还可以包括，基于有监督对比损失函数、第一损失函数和第二损失函数训练第一初始模型，得到所述特征提取模型。在一些实施例中，可以根据式（8）基于有监督对比损失函数、第一损失函数和第二损失函数得到特征提取模型损失函数，并基于特征提取模型损失函数训练第一初始模型，得到所述特征提取模型。
（8）
式（8）中，为有监督对比损失函数，/>为第一损失函数，/>为第二损失函数，/>表示不同损失函数对应的系数。基于上述损失函数，通过随机梯度下降法，即可实现对特征提取模型的训练。在模型训练过程，为了防止过拟合，还可以对训练医学图像进行随机旋转、平移、翻转、加噪等方式来实现数据增广。
本申请实施例中，所述医学图像包括至少两种影像模态类型的图像，所述图像特征包括至少两种影像模态类型对应的图像特征，所述基于所述待分类数据确定数据特征包括：
S701：判断所述医学图像的影像模态类型与预设模态类型是否匹配。
S703：若匹配，则将所述医学图像输入所述特征提取模型得到图像特征。
S705：若不匹配，则确定对应影像模态类型的图像特征为置零特征。
本申请实施例中，影像模态类型可以包括医学图像对应的影像学信息类型，例如，可以包括DWI模态类型、T2flair模态类型和T1CE模态类型等。判断所述医学图像的影像模态类型与预设模态类型是否匹配，若匹配，则说明医学图像的影像模态类型完整，将所述医学图像输入所述特征提取模型得到图像特征；若不匹配，则说明医学图像的影像模态类型有缺失，则确定对应影像模态类型的图像特征为置零特征。所述确定对应影像模态类型的图像特征为置零特征可以包括，将所述对应影像模态类型的图像特征设置为全零向量。通过将缺失影像模态类型的图像特征置零处理，可以对医学图像中缺失的影像模态进行补全，有效解决医学图像模态缺失的问题。
本申请实施例中，所述将所述数据特征输入训练好的分类器，确定分类结果包括：
S801：对所述数据特征进行标准化处理，得到标准化特征，所述标准化特征包括人口学信息特征和标准化图像特征。
S803：将所述人口学信息特征和标准化图像特征进行维度拼接得到拼接特征，并将所述拼接特征输入训练好的分类器，确定分类结果。
本申请实施例中，所述人口学信息包括性别信息以及年龄信息，对所述数据特征进行标准化处理，得到标准化特征可以包括，对图像特征进行标准化处理得到标准化图像特征，以及对所述性别信息进行二值化处理，对所述年龄信息进行最大最小标准化处理。
在一些具体的实施例中，如图4所示，对所述性别信息进行二值化处理可以包括将性别信息二值化为0和1，对所述年龄信息进行最大最小标准化处理可以包括将年龄信息最大最小标准化至0到1，对图像特征进行标准化处理得到标准化图像特征可以包括，对图像特征进行0-1标准化处理。将所述人口学信息特征和标准化图像特征进行维度拼接得到拼接特征，并将拼接特征输入训练好的分类器，确定诊断类型。
本申请实施例中，所述分类器可以基于分类器训练集训练得到，所述分类器训练集可以包括特征提取模型的训练集以及人口学信息训练集。在所述分类器的训练过程中，可以基于超参数查找使用网格搜索的方式在一定范围内确定最优参数，并基于最优参数更新所述分类器的参数。所述超参数查找可以包括学习率、最佳迭代次数、子树最大深度等。
在传统技术中，因为深度网络的参数量往往是巨大的，所以需要海量的训练数据训练模型，防止其过拟合。特别是对于三维图像的分类任务，需要将原始数据从一个很高的数据维度（三维图像的尺寸）映射成几个维度（分类数）的分布。但因为在反向传播过程中，标签所能带来的可供学习的信息量很少，所以极易发生过拟合现象，导致分类诊断效果较差。此外，考虑到临床上采集的数据往往不仅限于影像数据，还会包含年龄性别等人口学信息等多种类型的数据，但由于疾病的多样性和临床的复杂性，往往收集到的信息存在模态缺失，如缺少某种磁共振模态等。这会进一步引起数据量的较少，给模型训练带来困难。
因此，基于本申请实施例提供的基于深度学***的多模态融合框架，通过对缺失模态的补全，有效解决了模态缺失的问题。
本申请实施例中，在特征提取模型和分类器训练完成后对其分类效果进行测试。首先将获取到的数据集基于五折交叉验证划分为训练集和测试集，对每一折通过上述实施例中所述的方法进行特征提取模型和分类器的训练，然后再在对应的数据上进行模型测试。最终通过计算分类的准确性、精确性、召回率、F1-分数以及曲线下面积等多个指标对模型的每一折分类结果进行定量分析，然后通过取平均值来评估模型最终的分类结果。同时通过绘制受试者工作特征曲线进一步对分类结果进行评估。测试评估结果如表1和图5所示。
表1
从表1中可以看出，本申请分类结果的各项指标均高于同类型的其他分类方法。图5中横坐标表示假阳率，纵坐标表示真阳率，曲线越靠近左上角表示分类结果越精确。
应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的基于深度学习的多模态数据分类方法的基于深度学习的多模态数据分类装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个基于深度学习的多模态数据分类装置实施例中的具体限定可以参见上文中对于基于深度学习的多模态数据分类方法的限定，在此不再赘述。
在一个实施例中，如图6所示，提供了一种基于深度学习的多模态数据分类装置900，包括：
数据获取模块901，用于获取待分类数据，所述待分类数据至少包括医学图像以及人口学信息；
特征提取模块902，用于基于所述待分类数据确定数据特征，所述数据特征包括图像特征以及人口学信息特征，所述图像特征通过将所述医学图像输入特征提取模型得到；
分类模块903，用于将所述数据特征输入训练好的分类器，确定分类结果。
在一个实施例中，所述基于深度学习的多模态数据分类装置900还包括特征提取训练模块，所述特征提取训练模块用于，
获取训练集，所述训练集包括训练医学图像以及对应的特征标签；基于所述训练集训练第一初始模型，得到所述特征提取模型。
在一个实施例中，所述特征提取训练模块还用于，
将所述训练医学图像输入第二初始模型，得到辅助图像特征；
基于所述训练医学图像的种类对所述辅助图像特征进行分类，确定不同种类的特征集；
基于所述训练集以及所述特征集训练第一初始模型，得到所述特征提取模型。
在一个实施例中，所述特征提取训练模块还用于，
确定所述辅助图像特征之间的相似度，基于所述医学图像的种类以及所述相似度对所述辅助图像特征进行分类，确定不同种类的特征集。
在一个实施例中，所述特征提取训练模块还用于，
在基于所述训练集以及所述特征集训练第一初始模型之后，基于所述第一初始模型的参数更新所述第二初始模型。
在一个实施例中，所述训练集还包括病灶分割标签，所述特征提取训练模块还用于，
将所述医学图像输入所述第一初始模型，得到预测特征；
将所述预测特征输入病灶分割模型，确定预测病灶分割结果；
基于所述病灶分割结果以及病灶分割标签确定第一损失函数；
基于所述特征标签以及预测特征确定第二损失函数；
基于所述第一损失函数以及第二损失函数更新所述第一初始模型的参数，得到所述特征提取模型。
在一个实施例中，所述医学图像包括至少两种影像模态类型的图像，所述图像特征包括至少两种影像模态类型对应的图像特征，所述特征提取模块902还用于，
判断所述医学图像的影像模态类型与预设模态类型是否匹配；
若匹配，则将所述医学图像输入所述特征提取模型得到图像特征；
若不匹配，则确定对应影像模态类型的图像特征为置零特征。
在一个实施例中，所述分类模块903还用于，
对所述数据特征进行标准化处理，得到标准化特征，所述标准化特征包括人口学信息特征和标准化图像特征；
将所述人口学信息特征和标准化图像特征进行维度拼接得到拼接特征，并将所述拼接特征输入训练好的分类器，确定分类结果。
在一个实施例中，所述人口学信息包括性别信息以及年龄信息，所述分类模块903还用于，
对所述性别信息进行二值化处理，对所述年龄信息进行最大最小标准化处理。
上述基于深度学习的多模态数据分类装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图7所示。该计算机设备包括通过***总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***和计算机程序。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、移动蜂窝网络、NFC（近场通信）或其他技术实现。该计算机程序被处理器执行时以实现一种基于深度学习的多模态数据分类方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
获取待分类数据，所述待分类数据至少包括医学图像以及人口学信息；
基于所述待分类数据确定数据特征，所述数据特征包括图像特征以及人口学信息特征，所述图像特征通过将所述医学图像输入特征提取模型得到；
将所述数据特征输入训练好的分类器，确定分类结果。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
获取训练集，所述训练集包括训练医学图像以及对应的特征标签；
基于所述训练集训练第一初始模型，得到所述特征提取模型。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
将所述训练医学图像输入第二初始模型，得到辅助图像特征；
基于所述训练医学图像的种类对所述辅助图像特征进行分类，确定不同种类的特征集；
基于所述训练集以及所述特征集训练第一初始模型，得到所述特征提取模型。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
确定所述辅助图像特征之间的相似度，基于所述医学图像的种类以及所述相似度对所述辅助图像特征进行分类，确定不同种类的特征集。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
在基于所述训练集以及所述特征集训练第一初始模型之后，基于所述第一初始模型的参数更新所述第二初始模型。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
所述训练集还包括病灶分割标签；
将所述医学图像输入所述第一初始模型，得到预测特征；
将所述预测特征输入病灶分割模型，确定预测病灶分割结果；
基于所述病灶分割结果以及病灶分割标签确定第一损失函数；
基于所述特征标签以及预测特征确定第二损失函数；
基于所述第一损失函数以及第二损失函数更新所述第一初始模型的参数，得到所述特征提取模型。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
所述医学图像包括至少两种影像模态类型的图像，所述图像特征包括至少两种影像模态类型对应的图像特征；
判断所述医学图像的影像模态类型与预设模态类型是否匹配；
若匹配，则将所述医学图像输入所述特征提取模型得到图像特征；
若不匹配，则确定对应影像模态类型的图像特征为置零特征。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
对所述数据特征进行标准化处理，得到标准化特征，所述标准化特征包括人口学信息特征和标准化图像特征；
将所述人口学信息特征和标准化图像特征进行维度拼接得到拼接特征，并将所述拼接特征输入训练好的分类器，确定分类结果。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
所述人口学信息包括性别信息以及年龄信息；
对所述性别信息进行二值化处理，对所述年龄信息进行最大最小标准化处理。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
获取待分类数据，所述待分类数据至少包括医学图像以及人口学信息；
基于所述待分类数据确定数据特征，所述数据特征包括图像特征以及人口学信息特征，所述图像特征通过将所述医学图像输入特征提取模型得到；
将所述数据特征输入训练好的分类器，确定分类结果。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
获取训练集，所述训练集包括训练医学图像以及对应的特征标签；
基于所述训练集训练第一初始模型，得到所述特征提取模型。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
将所述训练医学图像输入第二初始模型，得到辅助图像特征；
基于所述训练医学图像的种类对所述辅助图像特征进行分类，确定不同种类的特征集；
基于所述训练集以及所述特征集训练第一初始模型，得到所述特征提取模型。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
确定所述辅助图像特征之间的相似度，基于所述医学图像的种类以及所述相似度对所述辅助图像特征进行分类，确定不同种类的特征集。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
在基于所述训练集以及所述特征集训练第一初始模型之后，基于所述第一初始模型的参数更新所述第二初始模型。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
所述训练集还包括病灶分割标签；
将所述医学图像输入所述第一初始模型，得到预测特征；
将所述预测特征输入病灶分割模型，确定预测病灶分割结果；
基于所述病灶分割结果以及病灶分割标签确定第一损失函数；
基于所述特征标签以及预测特征确定第二损失函数；
基于所述第一损失函数以及第二损失函数更新所述第一初始模型的参数，得到所述特征提取模型。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
所述医学图像包括至少两种影像模态类型的图像，所述图像特征包括至少两种影像模态类型对应的图像特征；
判断所述医学图像的影像模态类型与预设模态类型是否匹配；
若匹配，则将所述医学图像输入所述特征提取模型得到图像特征；
若不匹配，则确定对应影像模态类型的图像特征为置零特征。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
对所述数据特征进行标准化处理，得到标准化特征，所述标准化特征包括人口学信息特征和标准化图像特征；
将所述人口学信息特征和标准化图像特征进行维度拼接得到拼接特征，并将所述拼接特征输入训练好的分类器，确定分类结果。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
所述人口学信息包括性别信息以及年龄信息；
对所述性别信息进行二值化处理，对所述年龄信息进行最大最小标准化处理。
需要说明的是，本申请所涉及的用户信息（包括但不限于用户设备信息、用户个人信息等）和数据（包括但不限于用于分析的数据、存储的数据、展示的数据等），均为经用户授权或者经过各方充分授权的信息和数据。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（Read-OnlyMemory，ROM）、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器（ReRAM）、磁变存储器（MagnetoresistiveRandom Access Memory，MRAM）、铁电存储器（Ferroelectric Random Access Memory，FRAM）、相变存储器（PhaseChange Memory，PCM）、石墨烯存储器等。易失性存储器可包括随机存取存储器（Random Access Memory，RAM）或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器（StaticRandom Access Memory，SRAM）或动态随机存取存储器（Dynamic Random AccessMemory，DRAM）等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (12)

1.一种基于深度学习的多模态数据分类方法，其特征在于，所述方法包括：
获取待分类数据，所述待分类数据至少包括医学图像以及人口学信息；
基于所述待分类数据确定数据特征，所述数据特征包括图像特征以及人口学信息特征，所述图像特征通过将所述医学图像输入特征提取模型得到；
将所述数据特征输入训练好的分类器，确定分类结果。
2.根据权利要求1所述的方法，其特征在于，所述特征提取模型通过如下方式训练得到：
获取训练集，所述训练集包括训练医学图像以及对应的特征标签；
基于所述训练集训练第一初始模型，得到所述特征提取模型。
3.根据权利要求2所述的方法，其特征在于，所述基于所述训练集训练第一初始模型，得到所述特征提取模型包括：
将所述训练医学图像输入第二初始模型，得到辅助图像特征；
基于所述训练医学图像的种类对所述辅助图像特征进行分类，确定不同种类的特征集；
基于所述训练集以及所述特征集训练第一初始模型，得到所述特征提取模型。
4.根据权利要求3所述的方法，其特征在于，所述基于所述医学图像的种类对所述辅助图像特征进行分类，确定不同种类的特征集包括：
确定所述辅助图像特征之间的相似度，基于所述医学图像的种类以及所述相似度对所述辅助图像特征进行分类，确定不同种类的特征集。
5.根据权利要求3所述的方法，其特征在于，在基于所述训练集以及所述特征集训练第一初始模型之后包括：
基于所述第一初始模型的参数更新所述第二初始模型。
6.根据权利要求2所述的方法，其特征在于，所述训练集还包括病灶分割标签，所述基于所述训练集训练第一初始模型，得到所述特征提取模型包括：
将所述医学图像输入所述第一初始模型，得到预测特征；
将所述预测特征输入病灶分割模型，确定预测病灶分割结果；
基于所述病灶分割结果以及病灶分割标签确定第一损失函数；
基于所述特征标签以及预测特征确定第二损失函数；
基于所述第一损失函数以及第二损失函数更新所述第一初始模型的参数，得到所述特征提取模型。
7.根据权利要求1所述的方法，其特征在于，所述医学图像包括至少两种影像模态类型的图像，所述图像特征包括至少两种影像模态类型对应的图像特征，所述基于所述待分类数据确定数据特征包括：
判断所述医学图像的影像模态类型与预设模态类型是否匹配；
若匹配，则将所述医学图像输入所述特征提取模型得到图像特征；
若不匹配，则确定对应影像模态类型的图像特征为置零特征。
8.根据权利要求1所述的方法，其特征在于，所述将所述数据特征输入训练好的分类器，确定分类结果包括：
对所述数据特征进行标准化处理，得到标准化特征，所述标准化特征包括人口学信息特征和标准化图像特征；
将所述人口学信息特征和标准化图像特征进行维度拼接得到拼接特征，并将所述拼接特征输入训练好的分类器，确定分类结果。
9.根据权利要求8所述的方法，其特征在于，所述人口学信息包括性别信息以及年龄信息，所述对所述数据特征进行标准化处理，得到标准化特征包括：
对所述性别信息进行二值化处理，对所述年龄信息进行最大最小标准化处理。
10.一种基于深度学习的多模态数据分类装置，其特征在于，所述装置包括：
数据获取模块，用于获取待分类数据，所述待分类数据至少包括医学图像以及人口学信息；
特征提取模块，用于基于所述待分类数据确定数据特征，所述数据特征包括图像特征以及人口学信息特征，所述图像特征通过将所述医学图像输入特征提取模型得到；
分类模块，用于将所述数据特征输入训练好的分类器，确定分类结果。
11.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至权利要求9中任一项所述的方法的步骤。
12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至权利要求9中任一项所述的方法的步骤。
CN202311297044.0A 2023-10-09 2023-10-09 基于深度学习的多模态数据分类方法、装置及计算机设备 Active CN117036894B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311297044.0A CN117036894B (zh) 2023-10-09 2023-10-09 基于深度学习的多模态数据分类方法、装置及计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311297044.0A CN117036894B (zh) 2023-10-09 2023-10-09 基于深度学习的多模态数据分类方法、装置及计算机设备

Publications (2)

Publication Number Publication Date
CN117036894A true CN117036894A (zh) 2023-11-10
CN117036894B CN117036894B (zh) 2024-03-26

Family

ID=88630450

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311297044.0A Active CN117036894B (zh) 2023-10-09 2023-10-09 基于深度学习的多模态数据分类方法、装置及计算机设备

Country Status (1)

Country Link
CN (1) CN117036894B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117558414A (zh) * 2023-11-23 2024-02-13 之江实验室 多任务肝细胞癌早期复发预测***、电子设备、介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210390695A1 (en) * 2019-06-28 2021-12-16 Tencent Technology (Shenzhen) Company Limited Image classification method, apparatus, and device, storage medium, and medical electronic device
CN114298234A (zh) * 2021-12-31 2022-04-08 深圳市铱硙医疗科技有限公司 脑部医学影像分类方法、装置、计算机设备和存储介质
CN114332547A (zh) * 2022-03-17 2022-04-12 浙江太美医疗科技股份有限公司 医学目标分类方法和装置、电子设备和存储介质
CN114596467A (zh) * 2022-03-10 2022-06-07 山东大学 基于证据深度学习的多模态影像分类方法
CN114998247A (zh) * 2022-05-30 2022-09-02 深圳市联影高端医疗装备创新研究院 异常预测方法、装置、计算机设备、存储介质
WO2023073346A1 (en) * 2021-10-29 2023-05-04 Panakeia Technologies Limited A method of classification
CN116129200A (zh) * 2023-04-17 2023-05-16 厦门大学 一种基于深度学习的支气管镜图像良恶性病灶分类装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210390695A1 (en) * 2019-06-28 2021-12-16 Tencent Technology (Shenzhen) Company Limited Image classification method, apparatus, and device, storage medium, and medical electronic device
WO2023073346A1 (en) * 2021-10-29 2023-05-04 Panakeia Technologies Limited A method of classification
CN114298234A (zh) * 2021-12-31 2022-04-08 深圳市铱硙医疗科技有限公司 脑部医学影像分类方法、装置、计算机设备和存储介质
CN114596467A (zh) * 2022-03-10 2022-06-07 山东大学 基于证据深度学习的多模态影像分类方法
CN114332547A (zh) * 2022-03-17 2022-04-12 浙江太美医疗科技股份有限公司 医学目标分类方法和装置、电子设备和存储介质
CN114998247A (zh) * 2022-05-30 2022-09-02 深圳市联影高端医疗装备创新研究院 异常预测方法、装置、计算机设备、存储介质
CN116129200A (zh) * 2023-04-17 2023-05-16 厦门大学 一种基于深度学习的支气管镜图像良恶性病灶分类装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
HAIBO YANG 等: ""Denoising of 3D MR images using a voxel-wise hybrid residual MLP-CNN model to improve small lesion diagnostic confidence"", 《ARXIV》 *
刘鸣谦;兰钧;陈旭;于广军;杨秀军;: "基于多维度特征融合的深度学习骨龄评估模型", 第二军医大学学报, no. 08 *
武志远;马圆;唐浩;姚二林;郭秀花;: "基于深度卷积神经网络方法构建肺部多模态图像分类诊断模型", 中国卫生统计, no. 06 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117558414A (zh) * 2023-11-23 2024-02-13 之江实验室 多任务肝细胞癌早期复发预测***、电子设备、介质
CN117558414B (zh) * 2023-11-23 2024-05-24 之江实验室 多任务肝细胞癌早期复发预测***、电子设备、介质

Also Published As

Publication number Publication date
CN117036894B (zh) 2024-03-26

Similar Documents

Publication Publication Date Title
CN110807495B (zh) 多标签分类方法、装置、电子设备及存储介质
Jin et al. A deep 3D residual CNN for false‐positive reduction in pulmonary nodule detection
Alex et al. Semisupervised learning using denoising autoencoders for brain lesion detection and segmentation
JP2022538866A (ja) 画像前処理のためのシステム及び方法
Xu et al. Texture-specific bag of visual words model and spatial cone matching-based method for the retrieval of focal liver lesions using multiphase contrast-enhanced CT images
Kodipalli et al. An inception‐ResNet deep learning approach to classify tumours in the ovary as benign and malignant
Alqahtani et al. Breast cancer pathological image classification based on the multiscale CNN squeeze model
WO2018107371A1 (zh) 图像搜索***及方法
CN115953665B (zh) 一种目标检测方法、装置、设备及存储介质
Feng et al. Supervoxel based weakly-supervised multi-level 3D CNNs for lung nodule detection and segmentation
CN117036894B (zh) 基于深度学习的多模态数据分类方法、装置及计算机设备
Shubham et al. Identify glomeruli in human kidney tissue images using a deep learning approach
Peng et al. Automated mammographic mass detection using deformable convolution and multiscale features
Galshetwar et al. Local energy oriented pattern for image indexing and retrieval
Bhattacharjee et al. An efficient lightweight CNN and ensemble machine learning classification of prostate tissue using multilevel feature analysis
Naga Srinivasu et al. Variational Autoencoders‐BasedSelf‐Learning Model for Tumor Identification and Impact Analysis from 2‐D MRI Images
Bonkhoff et al. Reclassifying stroke lesion anatomy
El Kader et al. Brain tumor detection and classification by hybrid CNN-DWA model using MR images
Routray et al. Ensemble Learning with Symbiotic Organism Search Optimization Algorithm for Breast Cancer Classification & Risk Identification of Other Organs on Histopathological Images
Hema et al. Region‐Based Segmentation and Classification for Ovarian Cancer Detection Using Convolution Neural Network
Alyami et al. Automatic skin lesions detection from images through microscopic hybrid features set and machine learning classifiers
Wang et al. Segment medical image using U-Net combining recurrent residuals and attention
Dimitriadis et al. Enhancing cancer differentiation with synthetic MRI examinations via generative models: a systematic review
Anusha et al. Parkinson’s disease identification in homo sapiens based on hybrid ResNet-SVM and resnet-fuzzy svm models
Arunachalam et al. An effective tumor detection in MR brain images based on deep CNN approach: i-YOLOV5

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant