CN116612886A - 一种脑卒中早期辅助诊断方法、***、装置及存储介质 - Google Patents

一种脑卒中早期辅助诊断方法、***、装置及存储介质 Download PDF

Info

Publication number
CN116612886A
CN116612886A CN202310507668.4A CN202310507668A CN116612886A CN 116612886 A CN116612886 A CN 116612886A CN 202310507668 A CN202310507668 A CN 202310507668A CN 116612886 A CN116612886 A CN 116612886A
Authority
CN
China
Prior art keywords
data
mode
modal
neural network
audio
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310507668.4A
Other languages
English (en)
Inventor
李欣
李伟峰
胡北
何斌斌
周浩
李坚婷
张文熙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong General Hospital
Original Assignee
Guangdong General Hospital
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong General Hospital filed Critical Guangdong General Hospital
Priority to CN202310507668.4A priority Critical patent/CN116612886A/zh
Publication of CN116612886A publication Critical patent/CN116612886A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Primary Health Care (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Epidemiology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种脑卒中早期辅助诊断方法、***、装置及存储介质，本发明实施例首先通过多模态数据的音频数据和视频数据联合加强相关脑卒中辅助诊断信息的提取，并通过预设条件的多模态数据定位具体脑卒中症状的相关信息数据；进而通过预处理和特征提取，建立旨在提供信息和非冗余的派生值(特征)，从而促进后续的基于神经网络进行学习和泛化的风险预测步骤；最终通过已标注诊断结果的特征数据训练生成的神经网络基于多层全连接层和激活函数配合对多模态融合表征实现准确风险预测，可广泛应用于数据处理技术领域。

Description

一种脑卒中早期辅助诊断方法、***、装置及存储介质
技术领域
本发明涉及数据处理技术领域，尤其是一种脑卒中早期辅助诊断方法、***、装置及存储介质。
背景技术
脑卒中是目前全球范围内致死率和致残率最高的疾病之一。急性期再灌注治疗可以显著改善脑梗死患者功能预后，降低患者卒中负担，但上述治疗措施必须在起病后限定的时间内完成。
鉴于此，如何有效进行脑卒中早期识别以辅助脑卒中早期诊断是一个亟需解决的问题。
发明内容
有鉴于此，本发明实施例提供一种脑卒中早期辅助诊断方法、***、装置及存储介质，能够有效辅助脑卒中早期诊断。
一方面，本发明的实施例提供了一种脑卒中早期辅助诊断方法，包括：
基于预设条件，获取指定的多模态数据；所述多模态数据包括视频数据和音频数据；
对所述多模态数据进行预处理，基于对比学习对所述预处理后的多模态数据进行特征提取，获得多模态融合表征；
基于所述多模态融合表征，利用第一神经网络进行风险预测，得到风险等级；其中，所述第一神经网络通过已标注诊断结果的特征数据训练生成的，所述第一神经网络包括多层全连接层和激活函数像。
可选地，所述基于预设条件，获取指定的多模态数据，包括：
获取目标对象执行预设动作运动的视频数据，和，获取所述目标对象复述预设文本的音频数据。
可选地，所述对所述多模态数据进行预处理，包括：
基于预设间距对所述视频数据进行等距切片，得到若干视频帧图片；并基于预设规格将所述视频帧图片调整成统一大小；
对所述音频数据进行信号补全，得到预设时长的音频数据。
可选地，所述基于对比学习对所述预处理后的多模态数据进行特征提取，获得多模态融合表征，包括：
利用编码器对所述视频数据和所述音频数据进行特征提取，获得视频特征向量和音频特征向量；所述编码器通过对比学习损失的优化训练得到的；
对所述视频特征向量和所述音频特征向量进行特征维度的拼接处理，得到多模态拼接向量；
利用第二神经网络，对所述多模态拼接向量进行自适应多模态特征融合，得到多模态融合表征；所述第二神经网络包括Transformer结构。
可选地，还包括通过对比学习损失的优化训练得到编码器的步骤，这一步骤包括：
根据所述多模态数据，获得正样本对和负样本对；
根据所述正样本对和所述负样本对，结合余弦相似度函数，对编码器进行基于样本相似度度量的优化训练，获得训练完成的编码器。
可选地，所述根据所述多模态数据，获得正样本对和负样本对，包括：
从所述多模态数据中获取第一多模态数据；
对所述第一多模态数据进行基于空间级和/或时间级的数据增强，并进行随机裁剪拼接处理，获得第二多模态数据；
根据所述第一多模态数据与所述第二多模态数据构成正样本对；根据所述第二多模态数据与所述多模态数据除所述第一多模态数据的其它多模态数据构成负样本对。
可选地，所述基于所述多模态融合表征，利用第一神经网络进行风险预测，得到风险等级，包括：
通过多层所述全连接层，对所述多模态融合表征进行非线性映射处理；
通过所述激活函数，获得所述非线性映射处理后的多模态融合表征的风险置信度；
基于预设阈值，确定所述风险置信度所属的风险等级。
另一方面，本发明的实施例提供了一种脑卒中早期辅助诊断***，包括：
第一模块，用于基于预设条件，获取指定的多模态数据；所述多模态数据包括视频数据和音频数据；
第二模块，用于对所述多模态数据进行预处理，基于对比学习对所述预处理后的多模态数据进行特征提取，获得多模态融合表征；
第三模块，用于基于所述多模态融合表征，利用第一神经网络进行风险预测，得到风险等级；其中，所述第一神经网络通过已标注诊断结果的特征数据训练生成的，所述第一神经网络包括多层全连接层和激活函数。
另一方面，本发明的实施例提供了一种脑卒中早期辅助诊断装置，包括处理器以及存储器；
存储器用于存储程序；
处理器执行程序实现如前面的方法。
另一方面，本发明的实施例提供了一种计算机可读存储介质，存储介质存储有程序，程序被处理器执行实现如前面的方法。
本发明实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行前面的方法。
本发明实施例首先基于预设条件，获取指定的多模态数据；所述多模态数据包括视频数据和音频数据；对所述多模态数据进行预处理，基于对比学习对所述预处理后的多模态数据进行特征提取，获得多模态融合表征；基于所述多模态融合表征，利用第一神经网络进行风险预测，得到风险等级；其中，所述第一神经网络通过已标注诊断结果的特征数据训练生成的，所述第一神经网络包括多层全连接层和激活函数。本发明实施例首先通过多模态数据的音频数据和视频数据联合加强相关脑卒中辅助诊断信息的提取，并通过预设条件的多模态数据定位具体脑卒中症状的相关信息数据；进而通过预处理和特征提取，建立旨在提供信息和非冗余的派生值(特征)，从而促进后续的基于神经网络进行学习和泛化的风险预测步骤；最终通过已标注诊断结果的特征数据训练生成的神经网络基于多层全连接层和激活函数配合对多模态融合表征实现准确风险预测。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种脑卒中早期辅助诊断方法的流程示意图；
图2为本发明实施例提供的一种脑卒中早期辅助诊断***的框架示意图；
图3为本发明实施例提供的分析处理平台的结构框架示意图；
图4为本发明实施例提供的一种脑卒中早期辅助诊断装置的的架构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
面、臂、言语量表(face arm speech time,FAST)和动作平衡、眼睛、面部、手臂、言语量表(balance eye face arm speech time，BEFAST)等临床测试是常用的卒中筛查工具，但需要一定的专业知识背景，普及率不高。因此，本发明实施例借助计算机工具和人工智能方法进行脑卒中早期辅助诊断。
一方面，如图1所示，本发明的实施例提供了一种脑卒中早期辅助诊断方法，方法包括：
S100、基于预设条件，获取指定的多模态数据；
需要说明的是，多模态数据包括视频数据和音频数据；多模态数据为BEFAST量表数据格式；一些实施例中，包括：获取目标对象执行预设动作运动的视频数据，和，获取所述目标对象复述预设文本的音频数据。
具体地，一些具体实施例中，采集目标对象的多模态数据：获取目标对象的BEFAST量表数据，分别为：抬手、抬腿、申舌、指鼻四个不同的动作的运动视频；获取目标对象的音频数据，所述音频数据为患者复述数段固定长度的语句；其中，目标对象为待诊断脑卒中患者。
S200、对所述多模态数据进行预处理，基于对比学习对所述预处理后的多模态数据进行特征提取，获得多模态融合表征；
需要说明的是，一些实施例中，对所述多模态数据进行预处理，包括：基于预设间距对所述视频数据进行等距切片，得到若干视频帧图片；并基于预设规格将所述视频帧图片调整成统一大小；对所述音频数据进行信号补全，得到预设时长的音频数据。
具体地，一些具体实施例中，目标对象的运动视频(即视频数据)和语音音频(即音频)的预处理方式包括：对运动视频进行等距切片得到多张视频帧图片和将视频帧图片调整成统一大小；对语音音频进行信号补全调整成固定时长的音频。
还需要说明的是，所述第一神经网络通过已标注诊断结果的特征数据训练生成的，所述第一神经网络包括多层全连接层和激活函数；一些实施例中，包括：利用编码器对所述视频数据和所述音频数据进行特征提取，获得视频特征向量和音频特征向量；所述编码器通过对比学习损失的优化训练得到的；对所述视频特征向量和所述音频特征向量进行特征维度的拼接处理，得到多模态拼接向量；利用第二神经网络，对所述多模态拼接向量进行自适应多模态特征融合，得到多模态融合表征；所述第二神经网络包括Transformer结构；
其中，一些实施例中，还包括通过对比学习损失的优化训练得到编码器的步骤，这一步骤包括：根据所述多模态数据，获得正样本对和负样本对；根据所述正样本对和所述负样本对，结合余弦相似度函数，对编码器进行基于样本相似度度量的优化训练，获得训练完成的编码器。
其中，一些实施例中，根据所述多模态数据，获得正样本对和负样本对，包括：从所述多模态数据中获取第一多模态数据；对所述第一多模态数据进行基于空间级和/或时间级的数据增强，并进行随机裁剪拼接处理，获得第二多模态数据；根据所述第一多模态数据与所述第二多模态数据构成正样本对；根据所述第二多模态数据与所述多模态数据除所述第一多模态数据的其它多模态数据构成负样本对。
具体地，一些具体实施例中，通过对比自监督学习的方式实现对比学习的特征提取，对比自监督学习特征提取方式具体包括：基于所述目标对象的多模态数据，构造用于对比学习所需的正样本对以及负样本对；基于对比学习方法，使用编码器对所述构造的正样本及负样本对进行特征提取，通过对比学习损失进行编码器网络参数优化训练，结合相似度度量，使正样本得到的特征尽可能相似，使负样本对得到的特征尽可能不同；使用对比学习训练好的编码器对所述目标对象的视频数据和音频数据进行特征提取，得到视频特征向量和音频特征向量。正样本对及负样本对构造方法，包括：正样本对由基于空间级或时间级的音视频数据增强方法，对目标对象的某一音视频数据(即第一多模态数据，属于多模态数据)进行随机裁剪、拼接得到新的音视频(即第二多模态数据)，该音视频与原音视频构成正样本对，与其它音视频数据构成负样本对。其中，构造正负样本之间的相似度度量采用余弦相似度函数，表达式为：
式中，similarity(x,y)表示余弦相似度，x、y分别表示用于相似度度量的两个样本，如正样本对中的第一多模态数据和第二多模态数据，或，负样本对中的第二多模态数据和其它多模态数据。
进一步，将多个视频特征和音频特征进行多模态特征融合的具体过程包括：将所述视频特征向量和音频特征向量从特征维度进行拼接，得到多模态拼接向量，再将该拼接向量经过一个具有Transformer结构的神经网络进行自适应多模态特征融合，得到多模态融合表征。
总得来说，一些具体实施例中，通过对用户的音视频数据进行处理和分析，包括：对运动视频、语音音频进行预处理；对预处理后的多模态数据进行对比自监督学习特征提取，分别提取肢体运动视频特征、患者音频特征；通过多模态融合模型，将多个视频特征和音频特征进行多模态融合，获得患者的多模态融合表征。
还需要说明的是，一些实施例中，对多模态融合表征进行历史记录的存储，以便于历史记录查询以及后续相关多模态融合表征的应用。
S300、基于所述多模态融合表征，利用第一神经网络进行风险预测，得到风险等级；
需要说明的是，所述第一神经网络通过已标注诊断结果的特征数据训练生成的，所述第一神经网络包括多层全连接层和激活函数，一些实施例中，通过多层所述全连接层，对所述多模态融合表征进行非线性映射处理；通过所述激活函数，获得所述非线性映射处理后的多模态融合表征的风险置信度；基于预设阈值，确定所述风险置信度所属的风险等级。
具体地，一些具体实施例中，通过神经网络对多模态融合表征进行风险预测的具体过程包括：通过3层全连接神经网络，对所述的多模态融合表征进行非线性映射。多模态融合表征经过神经网络的处理以后，再经过Softmax激活函数以概率的形式获得患者的脑卒中风险置信度，若风险置信度小于设定的阈值，则判定目标对象为卒中低风险；若风险置信度大于设定的阈值，则判定目标对象为卒中高风险。其中，神经网络的激活函数为Softmax，网络的具体结构为：第一层：全连接层，输入特征维度为1024，输出特征维度为2048；第二层：全连接层，输入特征维度为2048，输出特征维度为2048；第三层：全连接层，输入特征维度为2048，输出特征维度为2。Softmax激活函数的数学表达式为：
式中，e表示自然常数，xi表示输出特征中第i维的值。
一些具体实施例中，对患者的卒中患病率进行决策分析：获取脑卒中患者的行为视频特征、音频特征和多模态融合表征，通过多层全连接神经网络结合激活函数对这些表征特征进行风险预测，输出目标对象的脑卒中风险置信度，进而通过经验法确定的预设阈值，确定所述风险置信度所属的风险等级。
还需要说明的是，一些具体实施例中，还包括：传输目标对象的脑卒中风险置信度和/或风险等级并进行显示。
另一方面，如图2所示，本发明的实施例提供了一种脑卒中早期辅助诊断***400，包括：第一模块410，用于基于预设条件，获取指定的多模态数据；所述多模态数据包括视频数据和音频数据；第二模块420，用于对所述多模态数据进行预处理，基于对比学习对所述预处理后的多模态数据进行特征提取，获得多模态融合表征；第三模块430，用于基于所述多模态融合表征，利用第一神经网络进行风险预测，得到风险等级；其中，所述第一神经网络通过已标注诊断结果的特征数据训练生成的，所述第一神经网络包括多层全连接层和激活函数。
本发明方法实施例的内容均适用于本***实施例，本***实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法达到的有益效果也相同。
具体地，一些具体实施例中，如图3所示，脑卒中早期辅助诊断***通过分析处理平台实现，分析处理平台通信连接有音视频采集模块、数据处理模块、风险预测分析模块、显示模块以及储存模块，其中：
音视频采集模块用于采集目标对象的多模态数据：获取目标对象的BEFAST量表数据，分别为：抬手、抬腿、申舌、指鼻四个不同的动作的运动视频；获取目标对象的音频数据，所述音频数据为患者复述数段固定长度的语句；其中，目标对象为待诊断脑卒中患者。
数据处理模块用于对用户的音视频数据进行处理和分析，包括：对运动视频、语音音频进行预处理；对预处理后的多模态数据进行对比自监督学习特征提取，分别提取肢体运动视频特征、患者音频特征；通过多模态融合模型，将多个视频特征和音频特征进行多模态融合，获得患者的多模态融合表征。
储存模块用于对多模态融合表征进行历史记录的存储，以便于历史记录查询以及后续相关多模态融合表征的应用。
风险预测分析模块用于对患者的卒中患病率进行决策分析：获取脑卒中患者的行为视频特征、音频特征和多模态融合表征，通过多层全连接神经网络结合激活函数对这些表征特征进行风险预测，输出目标对象的脑卒中风险置信度，进而通过经验法确定的预设阈值，确定所述风险置信度所属的风险等级。
显示模块用于对目标对象的脑卒中风险置信度和/或风险等级进行显示。
下面以脑卒中早期辅助诊断***的应用场景，对本发明实施例的脑卒中早期辅助诊断方法的实现原理进行进一步说明，下述说明是对本发明技术方案的解释，不能看做对本发明的限制：
如图3所示，通过分析处理平台作为脑卒中早期辅助诊断***，分析处理平台通信连接有音视频采集模块、数据处理模块、风险预测分析模块、显示模块以及储存模块。
音视频采集模块用于收集疑似脑卒中患者的肢体运动视频数据：包括抬手、抬腿、申舌、指鼻；音频数据：包括由病人复述预先设定好的语句。然后，对收集到的对动作视频进行等距切片得到多张视频帧图片，并将视频帧图片调整成统一224*224大小；对音频数据进行信号补全调整成时长为10秒的音频。然后，将预处理后的数据发送到数据处理模块。
数据处理模块用于提取预处理后的脑卒中病人多模态数据特征。首先通过基于空间级或时间级的视频数据增强方法和随机取样方法，构造用于对比学习所需的正样本对以及负样本对，通过编码器对所构造的正样本及负样本对进行特征提取，然后使用对比学习损失进行编码器网络参数优化训练，通过训练好的编码器对所述的多模态脑卒中病人音视频数据集进行特征提取，得到多模态脑卒中病人动作特征。将多得到的视频特征和音频特征进行拼接，得到多模态拼接向量，再将该拼接向量经过一个Transformer神经网络进行自适应多模态特征融合，得到多模态融合表征。然后，将多模态融合表征发送到风险预测分析模块。
风险预测分析模块用于对患者的特征进行患病风险预测：通过多层全连接神经网络，对多模态融合表征进行非线性映射，经过Softmax激活函数后以概率的形式获得患者的脑卒中风险置信度，若风险置信度小于设定的阈值，则判定患者为卒中低风险；若风险置信度大于设定的阈值0.65，则判定患者为卒中高风险。
综上所述，本发明实施例通过数据处理模块中的对比自监督特征提取，可以无需专业医生提供信息，自适应挖掘患者行为、语言中与病患相关的部分特征。通过风险预测分析模块可以高效实现对目标对象是否患脑卒中疾病进行风险预测。
如图4所示，本发明实施例的另一方面还提供了一种脑卒中早期辅助诊断装置500，包括处理器510以及存储器520；
存储器520用于存储程序；
处理器510执行程序实现如前面的方法。
本发明方法实施例的内容均适用于本装置实施例，本装置实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法达到的有益效果也相同。
本发明实施例的另一方面还提供了一种计算机可读存储介质，存储介质存储有程序，程序被处理器执行实现如前面的方法。
本发明方法实施例的内容均适用于本计算机可读存储介质实施例，本计算机可读存储介质实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法达到的有益效果也相同。
本发明实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行前面的方法。
在一些可选择的实施例中，在方框图中提到的功能/操作可以不按照操作示图提到的顺序发生。例如，取决于所涉及的功能/操作，连续示出的两个方框实际上可以被大体上同时地执行或方框有时能以相反顺序被执行。此外，在本发明的流程图中所呈现和描述的实施例以示例的方式被提供，目的在于提供对技术更全面的理解。所公开的方法不限于本文所呈现的操作和逻辑流程。可选择的实施例是可预期的，其中各种操作的顺序被改变以及其中被描述为较大操作的一部分的子操作被独立地执行。
此外，虽然在功能性模块的背景下描述了本发明，但应当理解的是，除非另有相反说明，的功能和/或特征中的一个或多个可以被集成在单个物理装置和/或软件模块中，或者一个或多个功能和/或特征可以在单独的物理装置或软件模块中被实现。还可以理解的是，有关每个模块的实际实现的详细讨论对于理解本发明是不必要的。更确切地说，考虑到在本文中公开的装置中各种功能模块的属性、功能和内部关系的情况下，在工程师的常规技术内将会了解该模块的实际实现。因此，本领域技术人员运用普通技术就能够在无需过度试验的情况下实现在权利要求书中所阐明的本发明。还可以理解的是，所公开的特定概念仅仅是说明性的，并不意在限制本发明的范围，本发明的范围由所附权利要求书及其等同方案的全部范围来决定。
功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行装置、装置或设备(如基于计算机的装置、包括处理器的装置或其他可以从指令执行装置、装置或设备取指令并执行指令的装置)使用，或结合这些指令执行装置、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行装置、装置或设备或结合这些指令执行装置、装置或设备而使用的装置。
计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行装置执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。
以上是对本发明的较佳实施进行了具体说明，但本发明并不限于实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做出种种的等同变形或替换，这些等同的变形或替换均包含在本发明权利要求所限定的范围内。

Claims (10)

1.一种脑卒中早期辅助诊断方法，其特征在于，包括：
基于预设条件，获取指定的多模态数据；所述多模态数据包括视频数据和音频数据；
对所述多模态数据进行预处理，基于对比学习对所述预处理后的多模态数据进行特征提取，获得多模态融合表征；
基于所述多模态融合表征，利用第一神经网络进行风险预测，得到风险等级；其中，所述第一神经网络通过已标注诊断结果的特征数据训练生成的，所述第一神经网络包括多层全连接层和激活函数。
2.根据权利要求1所述一种脑卒中早期辅助诊断方法，其特征在于，所述基于预设条件，获取指定的多模态数据，包括：
获取目标对象执行预设动作运动的视频数据，和，获取所述目标对象复述预设文本的音频数据。
3.根据权利要求1所述一种脑卒中早期辅助诊断方法，其特征在于，所述对所述多模态数据进行预处理，包括：
基于预设间距对所述视频数据进行等距切片，得到若干视频帧图片；并基于预设规格将所述视频帧图片调整成统一大小；
对所述音频数据进行信号补全，得到预设时长的音频数据。
4.根据权利要求1所述一种脑卒中早期辅助诊断方法，其特征在于，所述基于对比学习对所述预处理后的多模态数据进行特征提取，获得多模态融合表征，包括：
利用编码器对所述视频数据和所述音频数据进行特征提取，获得视频特征向量和音频特征向量；所述编码器通过对比学习损失的优化训练得到的；
对所述视频特征向量和所述音频特征向量进行特征维度的拼接处理，得到多模态拼接向量；
利用第二神经网络，对所述多模态拼接向量进行自适应多模态特征融合，得到多模态融合表征；所述第二神经网络包括Transformer结构。
5.根据权利要求4所述一种脑卒中早期辅助诊断方法，其特征在于，还包括通过对比学习损失的优化训练得到编码器的步骤，这一步骤包括：
根据所述多模态数据，获得正样本对和负样本对；
根据所述正样本对和所述负样本对，结合余弦相似度函数，对编码器进行基于样本相似度度量的优化训练，获得训练完成的编码器。
6.根据权利要求5所述一种脑卒中早期辅助诊断方法，其特征在于，所述根据所述多模态数据，获得正样本对和负样本对，包括：
从所述多模态数据中获取第一多模态数据；
对所述第一多模态数据进行基于空间级和/或时间级的数据增强，并进行随机裁剪拼接处理，获得第二多模态数据；
根据所述第一多模态数据与所述第二多模态数据构成正样本对；根据所述第二多模态数据与所述多模态数据除所述第一多模态数据的其它多模态数据构成负样本对。
7.根据权利要求1所述一种脑卒中早期辅助诊断方法，其特征在于，所述基于所述多模态融合表征，利用第一神经网络进行风险预测，得到风险等级，包括：
通过多层所述全连接层，对所述多模态融合表征进行非线性映射处理；
通过所述激活函数，获得所述非线性映射处理后的多模态融合表征的风险置信度；
基于预设阈值，确定所述风险置信度所属的风险等级。
8.一种脑卒中早期辅助诊断***，其特征在于，包括：
第一模块，用于基于预设条件，获取指定的多模态数据；所述多模态数据包括视频数据和音频数据；
第二模块，用于对所述多模态数据进行预处理，基于对比学习对所述预处理后的多模态数据进行特征提取，获得多模态融合表征；
第三模块，用于基于所述多模态融合表征，利用第一神经网络进行风险预测，得到风险等级；其中，所述第一神经网络通过已标注诊断结果的特征数据训练生成的，所述第一神经网络包括多层全连接层和激活函数。
9.一种脑卒中早期辅助诊断装置，包括处理器以及存储器；
所述存储器用于存储程序；
所述处理器执行所述程序实现如权利要求1至7中任一项所述方法。
10.一种计算机可读存储介质，其特征在于，所述存储介质存储有程序，所述程序被处理器执行实现如权利要求1至7中任一项所述方法。
CN202310507668.4A 2023-05-06 2023-05-06 一种脑卒中早期辅助诊断方法、***、装置及存储介质 Pending CN116612886A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310507668.4A CN116612886A (zh) 2023-05-06 2023-05-06 一种脑卒中早期辅助诊断方法、***、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310507668.4A CN116612886A (zh) 2023-05-06 2023-05-06 一种脑卒中早期辅助诊断方法、***、装置及存储介质

Publications (1)

Publication Number Publication Date
CN116612886A true CN116612886A (zh) 2023-08-18

Family

ID=87677431

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310507668.4A Pending CN116612886A (zh) 2023-05-06 2023-05-06 一种脑卒中早期辅助诊断方法、***、装置及存储介质

Country Status (1)

Country Link
CN (1) CN116612886A (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111968746A (zh) * 2020-07-21 2020-11-20 华中科技大学协和深圳医院 一种基于混合深度迁移学习的脑卒中风险预测方法及装置
CN112489793A (zh) * 2020-12-16 2021-03-12 郑州航空工业管理学院 一种脑卒中风险患者用预警***
CN113241135A (zh) * 2021-04-30 2021-08-10 山东大学 一种基于多模态融合的疾病风险预测方法和***
CN113724876A (zh) * 2021-09-10 2021-11-30 南昌大学第二附属医院 基于多模态融合和dfs-lle算法的脑卒中院内并发症预测模型
CN114188015A (zh) * 2021-10-26 2022-03-15 北京清华长庚医院 基于人工智能的脑卒中疾病预测方法及装置
CN114913982A (zh) * 2022-07-18 2022-08-16 之江实验室 基于对比学习的终末期肾病并发症风险预测***
CN115481283A (zh) * 2021-05-27 2022-12-16 北京字节跳动网络技术有限公司 音视频特征提取方法、装置、电子设备及计算机可读存储介质
CN115953645A (zh) * 2022-12-15 2023-04-11 百度在线网络技术（北京）有限公司 模型训练方法、装置、电子设备及存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111968746A (zh) * 2020-07-21 2020-11-20 华中科技大学协和深圳医院 一种基于混合深度迁移学习的脑卒中风险预测方法及装置
CN112489793A (zh) * 2020-12-16 2021-03-12 郑州航空工业管理学院 一种脑卒中风险患者用预警***
CN113241135A (zh) * 2021-04-30 2021-08-10 山东大学 一种基于多模态融合的疾病风险预测方法和***
CN115481283A (zh) * 2021-05-27 2022-12-16 北京字节跳动网络技术有限公司 音视频特征提取方法、装置、电子设备及计算机可读存储介质
CN113724876A (zh) * 2021-09-10 2021-11-30 南昌大学第二附属医院 基于多模态融合和dfs-lle算法的脑卒中院内并发症预测模型
CN114188015A (zh) * 2021-10-26 2022-03-15 北京清华长庚医院 基于人工智能的脑卒中疾病预测方法及装置
CN114913982A (zh) * 2022-07-18 2022-08-16 之江实验室 基于对比学习的终末期肾病并发症风险预测***
CN115953645A (zh) * 2022-12-15 2023-04-11 百度在线网络技术（北京）有限公司 模型训练方法、装置、电子设备及存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
何俊;张彩庆;李小珍;张德海;: "面向深度学习的多模态融合技术研究综述", 计算机工程, no. 05, pages 7 - 17 *
李雅洁;吴伟;周宝森;: "人工神经网络在脑卒中早期快速分类诊断中的应用", 实用医学杂志, no. 10, 25 May 2008 (2008-05-25), pages 85 - 87 *
湖北省脑卒中防治中心科普宣教专家组 湖北省脑血管病防治学会: "脑卒中防治科普宣教专家共识", 卒中与神经疾病, vol. 28, no. 6, 31 December 2021 (2021-12-31), pages 713 - 718 *

Similar Documents

Publication Publication Date Title
Zhu et al. Electrocardiogram generation with a bidirectional LSTM-CNN generative adversarial network
JP7100087B2 (ja) 情報を出力する方法および装置
Roy et al. ChronoNet: A deep recurrent neural network for abnormal EEG identification
Sardari et al. Audio based depression detection using Convolutional Autoencoder
US20200027211A1 (en) Knockout Autoencoder for Detecting Anomalies in Biomedical Images
CN113421547B (zh) 一种语音处理方法及相关设备
CN112418166B (zh) 一种基于多模态信息的情感分布学习方法
CN109034203A (zh) 表情推荐模型的训练、表情推荐方法、装置、设备及介质
CN117038055B (zh) 一种基于多专家模型的疼痛评估方法、***、装置及介质
CN111382616A (zh) 视频分类方法、装置及存储介质、计算机设备
CN113380413A (zh) 一种构建无效再通fr预测模型的方法和装置
CN113469958A (zh) 一种胚胎发育潜能预测方法、***、设备及存储介质
CN111145903A (zh) 获取眩晕症问诊文本的方法、装置、电子设备及问诊***
CN115545093A (zh) 一种多模态数据的融合方法、***及存储介质
CN114549541A (zh) 一种基于眼底图像的心脑血管疾病发生种类及风险预测方法、***、计算机设备及存储介质
CN116503684A (zh) 模型训练方法、装置、电子设备及存储介质
Shanthi et al. An integrated approach for mental health assessment using emotion analysis and scales
CN117828355A (zh) 基于多模态信息的情绪定量模型训练方法及情绪定量方法
CN116884648A (zh) 基于中医问诊的语音交互优化方法、装置、设备及介质
US20230386504A1 (en) System and method for pathological voice recognition and computer-readable storage medium
CN116564505A (zh) 基于深度学习的甲状腺疾病筛查方法、***、设备及存储介质
CN116612886A (zh) 一种脑卒中早期辅助诊断方法、***、装置及存储介质
US12033365B2 (en) Image processing method and apparatus and storage medium
US20220358851A1 (en) Generating question answer pairs
CN115116117A (zh) 一种基于多模态融合网络的学习投入度数据的获取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination