CN116712099A - 基于多模态数据的胎心状态检测方法、电子设备、存储介质 - Google Patents

基于多模态数据的胎心状态检测方法、电子设备、存储介质 Download PDF

Info

Publication number
CN116712099A
CN116712099A CN202310696509.3A CN202310696509A CN116712099A CN 116712099 A CN116712099 A CN 116712099A CN 202310696509 A CN202310696509 A CN 202310696509A CN 116712099 A CN116712099 A CN 116712099A
Authority
CN
China
Prior art keywords
data
mode
fetal heart
features
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310696509.3A
Other languages
English (en)
Inventor
苏至钒
汪吉梅
潘晶
金宇赢
夏知拓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Timi Robot Co ltd
Obstetrics and Gynecology Hospital of Fudan University
Original Assignee
Shanghai Timi Robot Co ltd
Obstetrics and Gynecology Hospital of Fudan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Timi Robot Co ltd, Obstetrics and Gynecology Hospital of Fudan University filed Critical Shanghai Timi Robot Co ltd
Priority to CN202310696509.3A priority Critical patent/CN116712099A/zh
Publication of CN116712099A publication Critical patent/CN116712099A/zh
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/02—Measuring pulse or heart rate
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
    • A61B5/02055—Simultaneously evaluating both cardiovascular condition and temperature
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/021—Measuring pressure in heart or blood vessels
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/145—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/14532—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue for measuring glucose, e.g. by tissue impedance measurement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7253—Details of waveform analysis characterised by using transforms
    • A61B5/7257—Details of waveform analysis characterised by using transforms using Fourier transforms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48—Diagnostic techniques
    • A61B8/488—Diagnostic techniques involving Doppler signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2131—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on a transform domain processing, e.g. wavelet transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00—Evaluating a particular growth phase or type of persons or animals
    • A61B2503/02—Foetus
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Theoretical Computer Science (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Cardiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physiology (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Biology (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Fuzzy Systems (AREA)
  • Pulmonology (AREA)
  • Vascular Medicine (AREA)
  • Emergency Medicine (AREA)
  • Optics & Photonics (AREA)

Abstract

本申请提供一种基于多模态数据的胎心状态检测方法、电子设备、存储介质，包括：获取多模态数据；针对每一模态，分别对所述模态下数据进行预处理，得到所述模态的数据特征；将多模态的数据特征分别输入至对应的循环神经网络，得到多个循环神经网络分别输出的特征向量；将多个特征向量融合为待检测特征，并将所述待检测特征输入已训练的分类器，得到胎心状态类别信息。本申请方案，有效提取和整合来自不同模态的有关信息，有效提高了胎心状态检测的准确性和鲁棒性。

Description

基于多模态数据的胎心状态检测方法、电子设备、存储介质
技术领域
本申请涉及医疗数据处理技术领域，特别涉及一种基于多模态数据的胎心状态检测方法及装置、电子设备、计算机可读存储介质。
背景技术
胎心即胎儿的心跳，反映胎儿在宫内状态，当各种原因引起胎儿缺氧时，胎心会出现相应的变化。因此，胎儿心跳监测是评估胎儿健康状况的重要手段。相关技术中，胎心的监测方法通常仅依赖单一模态的数据，这些方法可能收到噪声干扰、数据质量不佳等因素影响，导致胎心状态的检测结果的准确性和鲁棒性有限。
发明内容
本申请实施例的目的在于提供一种基于多模态数据的胎心状态检测方法及装置、电子设备、计算机可读存储介质，用于有效提取和整合来自不同模态的有关信息，有效提高了胎心状态检测的准确性和鲁棒性。
一方面，本申请提供了一种基于多模态数据的胎心状态检测方法，包括：
获取多模态数据；
针对每一模态，分别对所述模态下数据进行预处理，得到所述模态的数据特征；
将多模态的数据特征分别输入至对应的循环神经网络，得到多个循环神经网络分别输出的特征向量；
将多个特征向量融合为待检测特征，并将所述待检测特征输入已训练的分类器，得到胎心状态类别信息。
在一实施例中，所述获取多模态数据，包括：
采集多模态的模拟信号，并分别将每一模态的模拟信号转化为数字信号；
将多模态的数字信号分别进行编码处理，得到指定格式的多模态数据。
在一实施例中，所述多模态的模拟信号为多普勒波形、皮肤电信号波形、心电信号波形、母体血压数据、母体血糖数据、母体体温中至少两种的组合。
在一实施例中，所述针对每一模态，分别对所述模态下数据进行预处理，得到所述模态的数据特征，包括：
针对每一模态，分别将所述模态下数据进行归一化处理，得到归一化后数据序列；
将多模态的归一化后数据序列，在数据采集时间上进行对齐，得到多模态的对齐后数据序列；
为多模态的对齐后数据序列，统一至目标采样率，得到多模态的目标数据序列；
对每一模态的目标数据序列，进行特征提取，得到对应的数据特征。
在一实施例中，所述对每一模态的目标数据序列，进行特征提取，得到对应的数据特征，包括：
对所述目标数据序列进行傅里叶变换，得到第一数据特征；
对所述目标数据序列进行短时傅里叶变换，得到第二数据特征。
在一实施例中，所述方法还包括：
将样本数据集中多组多模态的样本数据特征输入至对应的循环神经网络，得到每一数据特征对应的样本特征向量；其中，所述样本数据集中每一组多模态样本数据特征携带胎心状态类别标签；
将每一组的多个样本特征向量融合为样本待检测特征，并将所述样本待检测特征输入至分类器，得到预测胎心状态类别；
基于所述预测胎心状态类别与所述胎心状态类别标签之间的差异，对所述分类器和所述循环神经网络的模型参数进行调整；
重复上述过程，直至所述分类器和所述循环神经网络收敛，得到已训练的分类器和已训练的循环神经网络。
在一实施例中，所述循环神经网络为长短时记忆网络。
另一方面，本申请提供了一种基于多模态数据的胎心状态检测装置，包括：
获取模块，用于获取多模态数据；
预处理模块，用于针对每一模态，分别对所述模态下数据进行预处理，得到所述模态的数据特征；
输入模块，用于将多模态的数据特征分别输入至对应的循环神经网络，得到多个循环神经网络分别输出的特征向量；
分类模块，用于将多个特征向量融合为待检测特征，并将所述待检测特征输入已训练的分类器，得到胎心状态类别信息。
进一步的，本申请提供了一种电子设备，所述电子设备包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为执行上述基于多模态数据的胎心状态检测方法。
此外，本申请提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序可由处理器执行以完成上述基于多模态数据的胎心状态检测方法。
本申请方案，通过融合多模态数据，可以获取到更丰富的胎儿心跳有关信息，有助于提高预测准确性，且由于综合利用了多种数据来源，在面对单一模态数据质量不佳的情况下，仍能保持较高的预测性能，高了胎心状态检测的鲁棒性；此外，采用深度学习模型进行特征提取和融合，能够自动学习数据中的潜在归类，具有较强的自适应性；通过对多模态数据进行实时处理和预测，可以及时发现胎儿心跳异常。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍。
图1为本申请一实施例提供的基于多模态数据的胎心状态检测方法的应用场景示意图；
图2为本申请一实施例提供的电子设备的结构示意图；
图3为本申请一实施例提供的基于多模态数据的胎心状态检测方法的流程示意图；
图4为本申请一实施例提供的图3中步骤320的细节流程示意图；
图5为本申请一实施例提供的模型架构示意图；
图6为本申请一实施例提供的模型训练流程示意图；
图7为本申请一实施例提供的基于多模态数据的胎心状态检测装置的框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。
相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
图1为本申请实施例提供的基于多模态数据的胎心状态检测方法的应用场景示意图。如图1所示，该应用场景包括客户端20和服务端30；客户端20可以是数据采集设备，比如多普勒超声设备、皮肤电传感器、动态心点图仪等，用于向服务端30传输采集到的数据；服务端30可以是主机、服务器、服务器集群或云计算中心，可以基于多模态数据检测胎心状态。
如图2所示，本实施例提供一种电子设备1，包括：至少一个处理器11和存储器12，图2中以一个处理器11为例。处理器11和存储器12通过总线10连接，存储器12存储有可被处理器11执行的指令，指令被处理器11执行，以使电子设备1可执行下述的实施例中方法的全部或部分流程。在一实施例中，电子设备1可以是上述服务端30，用于执行基于多模态数据的胎心状态检测方法。
存储器12可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(Static Random Access Memory，简称SRAM)，电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，简称EEPROM)，可擦除可编程只读存储器(Erasable Programmable Read Only Memory，简称EPROM)，可编程只读存储器(Programmable Red-Only Memory，简称PROM)，只读存储器(Read-Only Memory，简称ROM)，磁存储器，快闪存储器，磁盘或光盘。
本申请还提供了一种计算机可读存储介质，存储介质存储有计算机程序，计算机程序可由处理器11执行以完成本申请提供的基于多模态数据的胎心状态检测方法。
参见图3，为本申请一实施例提供的基于多模态数据的胎心状态检测方法的流程示意图，如图3所示，该方法可以包括以下步骤310-步骤340。
步骤310：获取多模态数据。
本申请方案中，可以采用多模态数据用于胎心状态检测。示例性的，多模态数据可以是多普勒波形、皮肤电信号波形、心电信号波形、母体血压数据、母体血糖数据、母体体温中至少两种的组合。
在一实施例中，在获取多模态数据时，可以采集多模态的模拟信号。示例性的，如果多模态数据包括多普勒波形，可以通过专业的多普勒超声设备采集胎儿的心脏和血流信息，从而得到表征胎儿心跳的原始波形和频率信息的多普勒波形。如果多模态数据包括皮肤电信号波形，可以通过在孕妇腹部放置皮肤电传感器来采集胎心电信号，从而获得皮肤电信号波形。如果多模态数据包括心电信号波形，可以在孕妇的胸部和腹部放置相应的电极，以实时捕捉心电信号，从而获得心电信号波形，心电信号波形可以表征胎心率变异性等指标，有助于评估胎儿心跳的稳定性。如果多模态数据包括母体血压数据，可以通过血压计在多个时间点测量母体血压。如果多模态数据包括母体血糖数据，可以通过血糖仪在多个时间点测量母体血糖。如果多模态数据包括母体体温，可以通过体温计在多个时间点测量母体体温。
由于采集到的数据为模拟信号，可以分别将每一模态的模拟信号，通过数模转化器(Analog-to-Digital Converter)转化为数字信号，便于后续处理。
进一步，可以将多模态的数字信号分别进行编码处理，得到指定格式的多模态数据。这里，指定格式可以是CSV(Comma-Separated Values，逗号分隔值)格式。由于每一多模态的数据实际为数据序列，指定格式的数据中可以加入对应的时间戳和设备信息，便于后续处理。
步骤320：针对每一模态，分别对模态下数据进行预处理，得到模态的数据特征。
对于每一模态下的数据分别进行预处理，从而生成该模态的数据特征。
在一实施例中，参见图4，为本申请一实施例提供的图3中步骤320的细节流程示意图，如图4所示，可以通过如下步骤321至步骤324完成预处理过程。
步骤321：针对每一模态，分别将模态下数据进行归一化处理，得到归一化后数据序列。
任一模态下的数据均为数据序列，可以分别为每一模态下的数据序列进行归一化处理。示例性的，可以通过如下公式(1)表示归一化的过程：
其中，x’为归一化后数据序列中的数值；x为原始数据序列中的数值；μ表示原始数据序列中数值的均值；σ表示原始数据序列中数值的标准差。
对每一模态的数据序列分别执行公式(1)的归一化过程，可以得到每一模态的归一化后数据序列。
步骤322：将多模态的归一化后数据序列，在数据采集时间上进行对齐，得到多模态的对齐后数据序列。
对于多模态的归一化后数据序列，可以基于每一归一化后数据序列中各个数值对应的时间戳，在数据采集时间上进行对齐，从而得到多模态的对齐后数据序列。这里，不同模态的数据序列中，若数值的时间戳差值小于预设时长阈值(比如：0.01秒)，可以认为这几个数值是在同一时刻采集的。
步骤323：为多模态的对齐后数据序列，统一至目标采样率，得到多模态的目标数据序列。
由于数据采集设备不同，多模态的数据可能对应不同的采样频率，为便于后续处理，可以将多模态的对齐后数据序列，统一至目标采样率。这里，目标采样率可以根据需要进行设置。示例性的，目标采样率可以是多个数据采集设备所具有的最大采样率。
对于低频数据，可以进行线性插值，使其提高到目标采样率。示例性的，可以通过如下公式(2)来表示线性插值过程：
其中，x’表示插值得到的t’时刻的数值；ti和ti+1是两个采样点时刻；xi和xi+1是两个采样点时刻的数值。
任一模态的数据序列统一至目标采样率之后，即为目标数据序列。因此，可以得到多模态的多个目标数据序列。
步骤324：对每一模态的目标数据序列，进行特征提取，得到对应的数据特征。
在获得任一模态的目标数据序列之后，可以对齐进行特征提取，从而得到该模态下的数据特征。
在一实施例中，针对每一模态的目标数据序列，可以对该目标数据序列进行傅里叶变换(Fourier Transform)，得到第一数据特征。该第一数据特征为频域特征。
示例性的，可以通过如下公式(3)来表示傅里叶变换过程：
其中，N为信号长度，也就是采样点数量；x(n)为目标数据序列的采样点数值；x(k)为频域信号的复数值。
针对每一模态的目标数据序列，还可以对该目标数据序列进行短时傅里叶变换(short-time Fourier transform)，得到第二数据特征。该第二数据特征为时频域特征。短时傅里叶变换是通过在时域信号(目标数据序列)上滑动一个窗户函数(比如：汉明窗、汉宁窗等)，对窗口内的信号片段进行傅里叶变换来实现。
示例性的，可以通过如下公式(4)来表示短时傅里叶变换过程：
其中，w(n)为窗口函数；m为时间索引；k为频率索引；N为窗口长度；x(n)为目标数据序列的采样点数值；x(m,k)为时频域信号的复数矩阵，表示了不同时间和频率上的信号分布。
步骤330：将多模态的数据特征分别输入至对应的循环神经网络，得到多个循环神经网络分别输出的特征向量。
其中，循环神经网络(Recurrent Neural Network，RNN)用于数据特征的进一步处理。在一实施例中，本申请所使用的循环神经网络可以是长短时记忆网络(Long short-term memory,LSTM)。长短时记忆网络可以包括遗忘门、输入门、单元状态更新和输出门几个组件。
每一模态的每一数据特征分布预设置对应的循环神经网络。示例性的，若选择5个模态的数据用于胎心状态检测，且每一模态的数据提取出2种数据特征，则需要设置10个循环神经网络。
通过多个循环神经网络分别对数据特征进行处理，可以输出特征向量，得到多个特征向量。
步骤340：将多个特征向量融合为待检测特征，并将待检测特征输入已训练的分类器，得到胎心状态类别信息。
在获得多个特征向量之后，可以依据预设排列顺序，将多个特征向量进行连接，从而融合得到待检测特征。示例性的，待检测特征可以表示为h＝[h1,h2,h3,h4,h5,h6]，这里，h1、h2、h3、h4、h5、h6表示6个特征向量。
将待检测特征输入分类器，示例性的，分类器可以是全连接层。在分类器内，可以对待检测特征进行线性变换。示例性的，可以通过如下公式(5)来表示线性变换过程：
z＝hW+b (5)
其中，h为待检测特征；W为权重矩阵；b为偏置向量；z为输出向量。
进一步的，将线性变换后的输出向量传递至激活函数，得到全连接层的最终输出向量，该最终输出向量可以表征胎心状态类别信息。
示例性的，使用softmax为激活函数，通过如下公式(6)来表示计算过程：
其中，zi表示输出向量中的第i个元素；yi表示最终输出向量中的第i个元素，表征待检测特征h属于第i个类别的概率。
在得到最终输出向量之后，确定最终输出向量中最大的元素对应的类别，即为胎心状态类别信息。本申请方案所能检测的胎心状态类别信息可以包括但不限于正常、过速、过缓、不规则、窦性心律、心律不齐、胎心起搏异常等，可以根据需要进行设置。
示例性的，参见图5，为本申请一实施例提供的模型架构示意图，如图5所示，为多普勒波形的频域特征、多普勒波形的时频域特征、皮肤电信号波形的频域特征、皮肤电信号波形的时频域特征、心电信号波形的频域特征、心电信号波形的时频域特征设置了对应的长短时记忆网络。多个长短时记忆网络输入的特征向量经过融合，得到待检测特征。将待检测特征输入至全连接层，可以得到分类结果，作为胎心状态类别信息。
本申请方案，通过融合多模态数据，可以获取到更丰富的胎儿心跳有关信息，有助于提高预测准确性，且由于综合利用了多种数据来源，在面对单一模态数据质量不佳的情况下，仍能保持较高的预测性能，高了胎心状态检测的鲁棒性；此外，采用深度学习模型进行特征提取和融合，能够自动学习数据中的潜在归类，具有较强的自适应性；通过对多模态数据进行实时处理和预测，可以及时发现胎儿心跳异常。
在一实施例中，参见图6为本申请一实施例提供的模型训练流程示意图，如图6所示，该方法可以包括如下步骤610至步骤640。
步骤610：将样本数据集中多组多模态的样本数据特征输入至对应的循环神经网络，得到每一样本数据特征对应的样本特征向量；其中，样本数据集中每一组多模态样本数据特征携带胎心状态类别标签。
样本数据集中包括预先采集多模态数据、并以多模态数据生成的样本数据特征。每组多模态数据特征均是相同时刻采集的多模态数据生成的，可表征该时刻的胎心状态。基于人为判断的胎心状态类别，可以为各组多模态样本数据特征标注胎心状态类别标签。
将每一组多模态的样本数据特征输入至对应的循环神经网络之后，可以通过循环神经网络为样本数据特征分布计算出对应的样本特征向量。因此，每一组多模态的样本数据特征，可以获得多个样本特征向量。
步骤620：将每一组的多个样本特征向量融合为样本待检测特征，并将样本待检测特征输入至分类器，得到预测胎心状态类别。
对于每一组的多个样本特征向量，可以通过预设排列顺序进行连接，从而得到该组对应的样本待检测特征。将该样本待检测特征输入至分类器之后，可以计算出预测胎心状态类别。这里，预测胎心状态类别是训练过程中分类器输出的胎心状态类别信息。
步骤630：基于预测胎心状态类别与胎心状态类别标签之间的差异，对分类器和循环神经网络的模型参数进行调整。
步骤640：重复上述过程，直至分类器和循环神经网络收敛，得到已训练的分类器和已训练的循环神经网络。
通过预设损失函数评估预测胎心状态类别和胎心状态类别标签之间的差异，基于损失函数的函数值，通过反向传播法对分类器和循环神经网络的模型参数进行调整。
在调整模型参数后，可以返回步骤610，重复执行上述步骤。经过反复迭代，当训练次数达到预设次数阈值或当损失函数的函数值趋于稳定时，可以确定分类器和循环神经网络收敛，得到已训练的分类器和已训练的循环神经网络。
图7是本发明一实施例的一种基于多模态数据的胎心状态检测装置的框图，如图7所示，该装置可以包括：
获取模块710，用于获取多模态数据；
预处理模块720，用于针对每一模态，分别对所述模态下数据进行预处理，得到所述模态的数据特征；
输入模块730，用于将多模态的数据特征分别输入至对应的循环神经网络，得到多个循环神经网络分别输出的特征向量；
分类模块740，用于将多个特征向量融合为待检测特征，并将所述待检测特征输入已训练的分类器，得到胎心状态类别信息。
上述装置中各个模块的功能和作用的实现过程具体详见上述基于多模态数据的胎心状态检测方法中对应步骤的实现过程，在此不再赘述。
在本申请所提供的几个实施例中，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (10)

1.一种基于多模态数据的胎心状态检测方法，其特征在于，包括：
获取多模态数据；
针对每一模态，分别对所述模态下数据进行预处理，得到所述模态的数据特征；
将多模态的数据特征分别输入至对应的循环神经网络，得到多个循环神经网络分别输出的特征向量；
将多个特征向量融合为待检测特征，并将所述待检测特征输入已训练的分类器，得到胎心状态类别信息。
2.根据权利要求1所述的方法，其特征在于，所述获取多模态数据，包括：
采集多模态的模拟信号，并分别将每一模态的模拟信号转化为数字信号；
将多模态的数字信号分别进行编码处理，得到指定格式的多模态数据。
3.根据权利要求2所述的方法，其特征在于，所述多模态的模拟信号为多普勒波形、皮肤电信号波形、心电信号波形、母体血压数据、母体血糖数据、母体体温中至少两种的组合。
4.根据权利要求1所述的方法，其特征在于，所述针对每一模态，分别对所述模态下数据进行预处理，得到所述模态的数据特征，包括：
针对每一模态，分别将所述模态下数据进行归一化处理，得到归一化后数据序列；
将多模态的归一化后数据序列，在数据采集时间上进行对齐，得到多模态的对齐后数据序列；
为多模态的对齐后数据序列，统一至目标采样率，得到多模态的目标数据序列；
对每一模态的目标数据序列，进行特征提取，得到对应的数据特征。
5.根据权利要求4所述的方法，其特征在于，所述对每一模态的目标数据序列，进行特征提取，得到对应的数据特征，包括：
对所述目标数据序列进行傅里叶变换，得到第一数据特征；
对所述目标数据序列进行短时傅里叶变换，得到第二数据特征。
6.根据权利要求1所述的方法，其特征在于，所述方法还包括：
将样本数据集中多组多模态的样本数据特征输入至对应的循环神经网络，得到每一数据特征对应的样本特征向量；其中，所述样本数据集中每一组多模态样本数据特征携带胎心状态类别标签；
将每一组的多个样本特征向量融合为样本待检测特征，并将所述样本待检测特征输入至分类器，得到预测胎心状态类别；
基于所述预测胎心状态类别与所述胎心状态类别标签之间的差异，对所述分类器和所述循环神经网络的模型参数进行调整；
重复上述过程，直至所述分类器和所述循环神经网络收敛，得到已训练的分类器和已训练的循环神经网络。
7.根据权利要求1或6所述的方法，其特征在于，所述循环神经网络为长短时记忆网络。
8.一种基于多模态数据的胎心状态检测装置，其特征在于，包括：
获取模块，用于获取多模态数据；
预处理模块，用于针对每一模态，分别对所述模态下数据进行预处理，得到所述模态的数据特征；
输入模块，用于将多模态的数据特征分别输入至对应的循环神经网络，得到多个循环神经网络分别输出的特征向量；
分类模块，用于将多个特征向量融合为待检测特征，并将所述待检测特征输入已训练的分类器，得到胎心状态类别信息。
9.一种电子设备，其特征在于，所述电子设备包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为执行权利要求1-7任意一项所述的基于多模态数据的胎心状态检测方法。
10.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序可由处理器执行以完成权利要求1-7任意一项所述的基于多模态数据的胎心状态检测方法。
CN202310696509.3A 2023-06-13 2023-06-13 基于多模态数据的胎心状态检测方法、电子设备、存储介质 Pending CN116712099A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310696509.3A CN116712099A (zh) 2023-06-13 2023-06-13 基于多模态数据的胎心状态检测方法、电子设备、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310696509.3A CN116712099A (zh) 2023-06-13 2023-06-13 基于多模态数据的胎心状态检测方法、电子设备、存储介质

Publications (1)

Publication Number Publication Date
CN116712099A true CN116712099A (zh) 2023-09-08

Family

ID=87874797

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310696509.3A Pending CN116712099A (zh) 2023-06-13 2023-06-13 基于多模态数据的胎心状态检测方法、电子设备、存储介质

Country Status (1)

Country Link
CN (1) CN116712099A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117392396A (zh) * 2023-12-08 2024-01-12 安徽蔚来智驾科技有限公司 跨模态目标状态的检测方法、设备、智能设备和介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117392396A (zh) * 2023-12-08 2024-01-12 安徽蔚来智驾科技有限公司 跨模态目标状态的检测方法、设备、智能设备和介质
CN117392396B (zh) * 2023-12-08 2024-03-05 安徽蔚来智驾科技有限公司 跨模态目标状态的检测方法、设备、智能设备和介质

Similar Documents

Publication Publication Date Title
Sangaiah et al. An intelligent learning approach for improving ECG signal classification and arrhythmia analysis
US20230131876A1 (en) Systems and methods of identity analysis of electrocardiograms
Übeyli Combining recurrent neural networks with eigenvector methods for classification of ECG beats
CN110020623B (zh) 基于条件变分自编码器的人体活动识别***及方法
CN107714023B (zh) 基于人工智能自学习的静态心电图分析方法和装置
US20200337580A1 (en) Time series data learning and analysis method using artificial intelligence
US10368792B2 (en) Method for detecting deception and predicting interviewer accuracy in investigative interviewing using interviewer, interviewee and dyadic physiological and behavioral measurements
CN113052113B (zh) 一种基于紧凑型卷积神经网络的抑郁症识别方法及***
CN112426160A (zh) 一种心电信号类型识别方法及装置
CN116602642B (zh) 心率监测方法、装置、设备
CN110598676A (zh) 基于置信度得分模型的深度学习手势肌电信号识别方法
CN111956214A (zh) 基于U-net端对端神经网络模型的QRS波自动检测方法
CN116712099A (zh) 基于多模态数据的胎心状态检测方法、电子设备、存储介质
CN115666387A (zh) 基于多导联的心电信号识别方法和心电信号识别装置
CN111053552B (zh) 一种基于深度学习的qrs波检测方法
Gao et al. Real time ECG characteristic point detection with randomly selected signal pair difference (RSSPD) feature and random forest classifier
Chen et al. Edge2Analysis: a novel AIoT platform for atrial fibrillation recognition and detection
CN116503673A (zh) 一种基于心电图的心律失常识别检测方法及***
CN115486849A (zh) 心电信号质量评估方法、装置及设备
CN112957018A (zh) 基于人工智能的心脏状态检测方法和装置
Liu et al. Semantic segmentation of qrs complex in single channel ecg with bidirectional lstm networks
Vimala et al. Classification of cardiac vascular disease from ECG signals for enhancing modern health care scenario
Wen et al. ECG beat classification using GreyART network
CN111513702A (zh) 心电数据的检测方法及存储介质
CN112686091A (zh) 基于深度神经网络的两步骤心律失常分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination