CN116138755A - 一种构建用于无创血压监测的模型的方法以及可穿戴设备 - Google Patents

Abstract

本发明提供了一种构建用于无创血压监测的模型的方法以及可穿戴设备，方法包括A1、获取源域训练集和目标域训练集，任意一个训练集均包括多个样本和指示每个样本对应血压真值的标签，每个样本为一个被测人员在一段时间中多个模态的生理信号；A2、利用源域训练集对用于从多种模态的生理信号提取样本特征的多模态编码器和用于根据样本特征输出血压预测值的回归层进行训练；A3、利用经步骤A2训练的多模态编码器从目标域训练集的样本提取样本特征，利用目标域训练集的样本对应的样本特征以及标签对用于输出血压预测值的非线性回归器进行训练；A4、将经步骤A2训练的多模态编码器和经步骤A3训练的非线性回归器进行组合，构建用于无创血压监测的模型。

Description

一种构建用于无创血压监测的模型的方法以及可穿戴设备

技术领域

本发明涉及智能医学领域，具体来说涉及人工智能中的迁移学习领域，更具体地说，涉及一种构建用于无创血压监测的模型的方法。

背景技术

高血压是一种常见的慢性疾病。在我国，随着社会的发展和生活条件(尤其是膳食条件)的改善，高血压的患病率呈显著的上升趋势。作为一种慢性疾病，高血压虽然可以被有效防控，但难以完全治愈。长期高血压患者可能伴随着各类靶器官(心脏、脑血管、眼底等)的损害。高血压及其并发疾病的治疗，以及患者生活质量和心理健康的维持，都严重地消耗了我国有限的医疗资源，给社会和家庭都带来了沉重的负担。高血压的患者一般较难感知到自身出现高血压的情况，患者在身体发生明显的不良事件之前不会意识到自己的状况。因此，对血压信息的长期连续监测很重要。

无创连续血压监测(Continuous Non-invasive Blood Pressure Monitoring,cNIBP)无需加压袖带，是一种基于非侵入式生理信号传感器的新型连续血压监测方法，其易用性可有效支持高血压的诊疗和筛查工作。由于采用非侵入式的生理信号(如光脉搏容积描述信号(Photoplethysmographic,PPG)，心电信号(ECG)，心冲击信号(BCG)等)，其与血压量值无直接联系，因此，使用非侵入式的生理信号进行连续血压监测需要基于多种信号特征和血压量值的关系进行建模。现有的无创连续血压监测建模方法主要经历了以下三个技术发展阶段：

第一个技术发展阶段：采用的是基于经典血压动力学模型方法。基于理想脉搏波传导模型的Moens-Kortreweg方程建立了血压量值与血液脉搏波速(Pulse WaveVelocity，PWV)和脉搏波传输时间(Pulse Transit Time，PTT)之间的关系。已有的方法通常根据以上关系得到血压量值与PTT间的线性、或非线性关系。该类方法的主要问题是：Moens-Kortreweg方程的推导基于理想血液动力学模型，且最终使用的拟合公式通常经过大量的简化，不足以描述复杂的心血管***特性，难以进一步提高模型精度。

第二个技术发展阶段：对基于手动提取的特征和用户血压量值之间的关系进行建模的方法。该类方法的主要问题在于依赖手工设计和提取的信号特征。对于生理信号而言，手工设计和提取的信号特征容易被各类噪声污染，以及受到不同用户信号形态特征差异的影响，使得提取的特征的鲁棒性较低，最终导致实际使用环境中机器学习模型精度的下降。

第三个技术发展阶段：采用的是基于深度学习方法的无创血压监测模型建模方法。深度学习方法采用数据驱动方法进行特征提取，训练“端到端”的无创连续血压监测模型。其代表性工作如斯拉普尼卡(Slapnicar)等人提出的时空混合神经网络，通过对时域和时频特征的提取，采用混合卷积神经网络和循环神经网络，基于大型公共数据集(MIMIC-III)进行模型构建。数据驱动的特征提取过程克服了以往方法特征提取对噪声和被试差异敏感的缺陷，深度神经网络较高的参数容量可以支撑描述复杂的心血管***特性。因此，这一类方法的血压监测精度相较于过去的方法有飞跃性的提高。但是，现有的基于深度学习无创连续血压模型建模方法在实际应用过程中，仍然存在较为严重的阻碍。其原因在于，不同用户的心血管***特性不同，生理信号和血压监测量值的联合分布具有较大差异，体现在公共大数据集上获得的血压监测模型在可穿戴用户侧性能下降，甚至完全失准。为了解决模型个性化为题，已有的方法采用公共大数据集(源域)中的样本对深度学习模型进行预训练，随后使用个性化可穿戴数据(目标域)的样本让深度学习模型进行迁移学习以实现参数微调，最终提高模型在可穿戴用户侧的监测精度；这需要大量的、有标签的可穿戴用户数据作为模型参数微调的基础，否则模型的精度将难以保障。而在可穿戴用户端，获取有标签的血压监测数据需要使用袖带式的血压计，其操作繁琐，单次采集时间长；且可穿戴用户端的生理信号的测量方式与公共数据集中的侵入式测量方式有较大差异，导致样本数据分布不一致，直接微调效果不佳。

总的来说，在血压监测领域，已有一些大型的公共数据集(源域)记录了多种模态的生理信号以及对应的血压真值(标签)，可以用于帮助训练在可穿戴设备上部署的无创血压监测模型，但是存在以下问题：

1、现有技术先用公共数据集(源域)的样本训练血压监测模型后，用目标域的样本直接对血压监测模型进行微调训练，得到最终的血压监测模型并部署于可穿戴设备上；因公共数据集的样本和标签往往是用医疗领域中专业的设备采集，而目标域的样本使用可穿戴设备的传感器采集，目标域的标签采用袖带式的血压计测量，使得目标域与源域的数据分布往往不一致，导致这种传统的微调方式的效果不佳，模型的精度有待进一步提高；

2、用目标域的样本直接对血压监测模型进行微调训练的情况下，如果需要得到更好的效果，就需要在目标域也采集大量的样本；但是，由于目标域的样本采集需要配合使用采集生理信号的传感器以及袖带式的血压计，袖带式的血压计又不能实时、方便地记录各个时间的血压真值，导致目标域的样本采集难度大，大量地采集目标域样本难以在实践中应用。

发明内容

因此，本发明的目的在于克服上述现有技术的缺陷，提供一种构建用于无创血压监测的模型的方法以及可穿戴设备。

本发明的目的是通过以下技术方案实现的：

根据本发明的第一方面，提供一种构建用于无创血压监测的模型的方法，包括：A1、获取源域训练集和目标域训练集，其中任意一个训练集均包括多个样本和指示每个样本对应血压真值的标签，每个样本为一个被测人员在一段时间中多个模态的生理信号；A2、利用源域训练集对基于神经网络的用于从多种模态的生理信号提取样本特征的多模态编码器和用于根据所述样本特征输出血压预测值的回归层进行训练；A3、利用经步骤A2训练的多模态编码器从目标域训练集的样本提取对应的样本特征，并利用所述目标域训练集的样本对应的样本特征以及标签对用于输出血压预测值的非线性回归器进行训练；A4、将经步骤A2训练的多模态编码器和经步骤A3训练的非线性回归器进行组合，构建用于无创血压监测的模型。

在本发明的一些实施例中，在步骤A3中，根据目标域训练集中样本对应的样本特征、人工选择的辅助特征以及标签训练非线性回归器，所述人工选择的辅助特征是根据人工指定的时刻从多个模态的生理信号提取得到的。

在本发明的一些实施例中，人工选择的辅助特征包括：与被测人员的脉搏传输时间相关的特征、与被测人员的心率相关的特征和与被测人员的生理信号形态相关的特征或者其组合。

在本发明的一些实施例中，非线性回归器是以非梯度下降法进行参数更新的回归器。

在本发明的一些实施例中，所述非线性回归器采用随机森林回归器。

在本发明的一些实施例中，所述随机森林回归器的决策树的数量的取值范围为5-20，决策树最大深度的取值范围为2-3，每个叶子节点需要的最少样本数设为1，***一个非叶子节点需要的最少样本数的取值范围2-3。

在本发明的一些实施例中，目标域训练集中样本对应的被测人员不同于源域训练集中样本对应的被测人员。

在本发明的一些实施例中，每个样本为一个被测人员在一段时间中的光脉搏容积描述信号和心电信号，血压真值为对应样本的被测人员在该样本被采集时的舒张压和收缩压。

在本发明的一些实施例中，所述多模态编码器包括每个模态对应的用于提取该模态的生理信号中的时域特征以及时频特征的特征提取器以及用于对各模态的生理信号中的时域特征以及时频特征进行融合以得到样本特征的多模态信息融合器。

在本发明的一些实施例中，每个模态对应的特征提取器被配置为对该模态的生理信号分别求一阶导数和二阶导数并在该模态的生理信号上、该模态的生理信号的一阶导数上和二阶导数上分别提取时域特征以及时频特征。

在本发明的一些实施例中，每个模态对应的特征提取器包括：多个时域特征提取模块，每个时域特征提取模块用于对该模态的生理信号、该模态的生理信号的一阶导数和二阶导数中的一个信号提取中间的时域特征；门控循环单元，用于根据该模态的生理信号、该模态的生理信号的一阶导数和二阶导数的中间的时域特征进行建模得到该模态的生理信号的时域特征；多个时频特征提取模块，每个时频特征提取模块用于对该模态的生理信号、该模态的生理信号的一阶导数和二阶导数中的一个信号提取中间的时频特征；时频特征连接模块，用于对该模态的生理信号、该模态的生理信号的一阶导数和二阶导数的中间的时频特征进行连接，得到该模态的生理信号的时频特征。

在本发明的一些实施例中，每个时域特征提取模块由多个ResNet块堆叠而成，并且被配置为对其输入信号依次经过多个ResNet块的处理，得到对应的中间的时域特征。

在本发明的一些实施例中，每个时频特征提取模块被配置为：对其输入信号依次经过短时傅里叶变换层、实例归一化层、特征平铺层、全连接层、批次归一化层的处理，得到对应的中间的时频特征；其中：短时傅里叶变换层，用于对输入当前时频特征提取模块的信号进行短时傅里叶变换，得到变换后的信号；实例归一化层，用于对变换后的信号中的数值进行实例归一化，得到实例归一化后的信号；特征平铺层，用于对实例归一化的信号进行一维化，得到平铺向量；全连接层，用于根据平铺向量进行全连接运算，得到融合特征；批次归一化层，用于对融合特征进行批次归一化处理，得到对应的中间的时频特征。

根据本发明的第二方面，提供一种无创血压监测方法，包括：获取由源域训练集以及能安装在可穿戴设备或者移动设备上的传感器采集的样本组成的目标域训练集根据第一方面所述的方法构建的用于无创血压监测的模型；获取对用户测量的多个模态的生理信号并输入所述用于无创血压监测的模型，以得到用户的血压预测值。

根据本发明的第三方面，提供一种可穿戴设备，其为智能手表、智能手环、智能眼镜、VR头戴或者智能头盔，所述可穿戴设备包括：一个或者多个传感器，用于测量佩戴者的多个模态的生理信号；以及无创血压监测模块，其中部署有根据第一方面所述的方法构建的用于无创血压监测的模型，并且训练采用的目标域训练集是由能安装在可穿戴设备上的传感器采集的样本组成，该模型用于根据测量的所述多个模态的生理信号确定佩戴者的血压预测值。

根据本发明的第四方面，提供一种移动设备，其为手机、平板电脑或者笔记本电脑，所述移动设备包括：一个或者多个传感器，用于测量用户的多个模态的生理信号；以及无创血压监测模块，其中部署有根据第一方面所述的方法构建的用于无创血压监测的模型，并且训练采用的目标域训练集是由能安装在移动设备上的传感器采集的样本组成，该模型用于根据测量的所述多个模态的生理信号确定用户的血压预测值。

根据本发明的第五方面，提供一种无创血压监测设备，包括一个或者多个传感器，用于测量患者的多个模态的生理信号；以及无创血压监测模块，其中部署有根据第一方面所述的方法构建的用于无创血压监测的模型，并且训练采用的目标域训练集是医疗设备上的传感器采集的样本组成，该模型用于根据测量的所述多个模态的生理信号确定患者的血压预测值。

根据本发明的第六方面，提供一种电子设备，包括：一个或多个处理器；以及存储器，其中存储器用于存储可执行指令；所述一个或多个处理器被配置为经由执行所述可执行指令以实现第一方面以及第二方面中相应方法的步骤。

附图说明

以下参照附图对本发明实施例作进一步说明，其中：

图1为根据本发明实施例的多模态神经网络模型的结构示意图；

图2为根据本发明实施例的多模态神经网络模型在将PPG信号和ECG信号作为输入的场景下的结构示意图；

图3为根据本发明实施例的特征提取器的一种结构示意图；

图4为根据本发明实施例的时域特征提取块中的一个ResNet块的一种结构示意图；

图5为根据本发明实施例的多模态信息融合器的一个ResNet块的一种结构示意图；

图6为根据本发明实施例的构建用于无创血压监测的模型的方法的流程示意图；

图7为根据本发明实施例的没有人工选择的辅助特征参与非线性回归器训练的实施方式示意图；

图8为根据本发明实施例的一些时间点的示意图；

图9为根据本发明实施例的有人工选择的辅助特征参与非线性回归器训练的实施方式示意图

图10为根据本发明实施例的有人工选择的辅助特征参与非线性回归器训练的实施流程示意图；

图11为根据本发明实施例的UCIBP源域-UCIBP目标域神经网络结构对比实验结果的柱状图；

图12为根据本发明实施例的UCIBP源域-UCIBP目标域PA消融实验结果的折线图；

图13为根据本发明实施例的UCIBP源域-UE目标域血压模型个性化适配实验结果的柱状图；

具体实施方式

为了使本发明的目的，技术方案及优点更加清楚明白，以下结合附图通过具体实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

如在背景技术部分提到的，现有技术因为微调训练的方式、源域与目标域的数据分布不一致的原因导致微调效果不佳，模型精度有待进一步提高；而且，目标域的样本采集难度大也导致现有的微调训练的方式实际应用难度大，不方便实施。发明人经过研究，认为以梯度下降法进行参数更新的回归层可能是最主要的阻碍，而回归层在神经网络训练时是必不可少的，因为涉及到使用随机梯度下降和更新模型参数的问题。相比于非线性回归器，回归层存在不够灵活难以捕捉更复杂的模式的缺点。但是，神经网络的编码器和非线性回归器这两种结构并不能直接组合在一起训练。为此，本发明提供一种构建用于无创血压监测的模型的方法，该方法先利用源域训练集训练多模态编码器从多种模态的生理信号提取样本特征以及回归层根据样本特征输出血压预测值，由此在利用传统的神经网络学习的方式采用回归层帮助多模态编码器学习到提取样本特征的知识；随后，利用经训训练的多模态编码器提取目标域的样本的样本特征，然后利用提取到的目标域的样本对应的样本特征与对应的标签去训练非线性回归器，最后再将多模态编码器和非线性回归器组合成最终的无创血压监测的模型，由此利用多模态编码器中的神经网络提取到的与血压相关的样本特征的能力以及非线性回归器的更复杂、灵活地耦合数据的能力来提高用于无创血压监测的模型的模型精度；并且，经过实验，相比于现有技术，本发明能够以更少目标域的样本达到优秀的血压测量精度，更有利于实际地推广应用。

在对本发明的实施例进行具体介绍之前，先对其中使用到的部分术语作如下解释：

基于神经网络的多模态编码器，其是采用可训练的神经网络构建的对至少两种模态的输入信号进行特征提取以得到样本特征的编码器。本领域有很多现有的多模态编码器可用，也可自定义编码器结构，后文再进行详细介绍。

回归层，指用于回归运算的层。回归指在因变量与一系列自变量之间建立关系的过程。本发明中，回归层是以梯度下降法进行参数更新的回归层。或者称：回归层是可根据反向传播的梯度更新的层。本领域技术人员所知晓的，在基于神经网络的模型中，若设有编码器(如本发明的多模态编码器)和回归层，在训练编码器和回归层时，需要根据计算的损失值求梯度并通过反向传播的方式更新编码器和回归层的参数(即该回归层是可根据反向传播的梯度更新的层)。

非线性回归器，指在因变量与一系列自变量之间建立非线性关系的回归器。

收缩压，代表血压测量中的高压。

舒张压，代表血压测量中的低压。

光脉搏容积描述信号(Photoplethysmography，简称PPG信号)，其是借助光电技术在活体组织中监测血液容积变化获得的波形信号。PPG信号通常采用LED光源和探测器为基础，测量经过人体血管和组织反射、吸收后的衰减光并经相应的计算得到。

心电图信号(Electrocardiogram，简称ECG信号)，其是记录心脏搏动时产生的生物电流变化的信号。

为更好地说明本发明的原理，下面从模型结构、所使用的样本、训练过程、应用场景四个方面进行说明。

一、模型结构

根据本发明的一个实施例，用于无创血压监测的模型包括基于神经网络的多模态编码器(后续简称多模态编码器)和非线性回归器，其中，多模态编码器用于多种模态的生理信号提取样本特征，非线性回归器用于根据样本特征输出血压预测值。但是，如前面提到的，多模态编码器和非线性回归器并不能直接组合在一起训练，因此，训练前需要准备两部分的结构：多模态编码器和回归层构成的多模态神经网络模型，以及非线性回归器。下面分别就这两部分的结构进行说明：

根据本发明的一个实施例，多模态编码器包括每个模态对应的用于提取该模态的生理信号中的特征的特征提取器，以及用于对各模态的生理信号中的特征进行融合以得到样本特征的多模态信息融合器。例如，参见图1，设置至少两个模态的生理信号，分别是第一模态的生理信号、第二模态的生理信号、……；并分别输入第一模态对应的特征提取器1、第二模态对应的特征提取器2、……，输出各模态对应的特征；各模态的特征提取器输出的特征被输入多模态信息融合器3中进行融合，得到样本特征；回归层4根据样本特征输出血压预测值。优选的，假设有PPG信号和ECG信号两种模态的生理信号，参见图2，针对PPG信号设置用于提取PPG信号中特征的PPG特征提取器，针对ECG信号设置用于提取ECG信号中特征的PPG特征提取器，PPG信号中的特征、ECG信号中的特征输入(或者经向量连接后输入)到多模态信息融合器进行融合，得到样本特征。另外，应当理解，当前也存在一些可用现有结构。根据本发明的一个实施例，多模态神经网络模型的多模态编码器可以采用现有的多模态编码器。另外，现有技术中也存在一些基于神经网络的单模态编码器，虽然不能直接使用，但是可以通过稍加改造应用于本发明。根据本发明的一个实施例，多模态神经网络模型的多模态编码器中，每个模态对应特征提取器采用现有的单模态编码器，各单模态编码器的输出经过多模态信息融合器进行融合，以得到样本特征。该实施例的技术方案至少能够实现以下有益技术效果：本发明的多模态编码器分别对每种模态的生理信号采用独立的特征提取器分别提取对应的特征并进行融合，可以得到更有助于血压预测的样本特征，提高模型预测的精度。

进一步的，为了更充分获取不同方面的隐含信息来提高模型精度，根据本发明的一个实施例，多模态编码器包括每个模态对应的用于提取该模态的生理信号中的时域特征以及时频特征的特征提取器以及用于对各模态的生理信号中的时域特征以及时频特征进行融合以得到样本特征的多模态信息融合器。例如，参见图1，假设有PPG信号和ECG信号两种模态的生理信号，则针对PPG信号设置用于提取PPG信号中的时域特征以及时频特征的PPG特征提取器，针对ECG信号设置用于提取ECG信号中的时域特征以及时频特征的PPG特征提取器，然后将PPG信号中的时域特征以及时频特征、ECG信号中的时域特征以及时频特征输入(或者经向量连接后输入)到多模态信息融合器进行融合。该实施例的技术方案至少能够实现以下有益技术效果：本发明在采用多种模态的生理信号的情况下，进一步在每种模态采用能提取时频、时域特征的特征提取器，以得到含有更丰富信息的样本特征，以提高最终的模型的性能。

前面实施例可以是仅直接将样本中的各模态的生理信号输入到多模态编码器的神经网络结构中，但是这种情况下需要编码器具有更深的网络层才能更好地挖掘对血压预测有用的隐含信息(比如时域特征、时频特征)。考虑到本发明主要应用到可穿戴设备中，且目前可穿戴设备的存储和运算能力有限，可通过一些改进来改善该情况。进一步的，根据本发明的一个实施例，每个模态对应的特征提取器被配置为对该模态的生理信号分别求一阶导数和二阶导数并在该模态的生理信号上、该模态的生理信号的一阶导数上和二阶导数上分别提取时域特征以及时频特征。例如，获得输入的各模态的生理信号后，先通过对应的求导计算模块(比如调用)针对每个模态的生理信号求出对应的一阶导数和二阶导数，然后根据每个模态的生理信号及其对应的一阶导数和二阶导数分别输入对应的时域特征提取模块提取时域特征和输入对应的时频特征提取模块提取时频特征。该实施例的技术方案至少能够实现以下有益技术效果：本发明先对一个模态的生理信号分别求一阶导数和二阶导数，相当于先分出多种有关维度的信号，然后再用神经网络分别在该模态的生理信号上、该模态的生理信号的一阶导数上和二阶导数上分别提取时域特征以及时频特征，可在更浅层的网络结构上实现更优的效果。

为了便于理解，参加图3，给出一个结合多模态的生理信号及其一阶导数、二阶导数以及可分别提取时间特征、时频特征的示意性的多模态编码器的结构示例。为了简洁起见，将任意一个模态的生理信号表示为信号s(t)，对信号s(t)而言，在特征提取器的输入阶段分别计算s(t)的一阶导数

和二阶导数/>

根据本发明的一个实施例，每个模态对应的特征提取器包括：多个时域特征提取模块，每个时域特征提取模块用于对该模态的生理信号s(t)、该模态的生理信号的一阶导数/>

和二阶导数/>

中的一个信号提取中间的时域特征；门控循环单元GRU，用于根据该模态的生理信号、该模态的生理信号的一阶导数和二阶导数的中间的时域特征进行建模得到该模态的生理信号的时域特征；多个时频特征提取模块，每个时频特征提取模块用于对该模态的生理信号、该模态的生理信号的一阶导数和二阶导数中的一个信号提取中间的时频特征；时频特征连接模块，用于对该模态的生理信号、该模态的生理信号的一阶导数和二阶导数的中间的时频特征进行连接，得到该模态的生理信号的时频特征。该实施例的技术方案至少能够实现以下有益技术效果：本实施例在时域特征提取模块之后，还设置门控循环单元GRU用于信息融合，相当于同时结合了卷积神经网络(对应时域特征提取模块)以及循环神经网络(对应门控循环单元GRU)的结构来提取特征，可得到更优的样本特征用以提高模型精度。

根据本发明的一个实施例，时域特征提取模块，可采用常规的多个卷积层的堆叠而成，并且被配置为对其输入信号依次经过多个卷积层的处理，得到对应的中间的时域特征。另外，优选的，也可采用残差块进行堆叠，仍旧参见图3，每个时域特征提取模块由多个ResNet块堆叠而成，并且被配置为对其输入信号依次经过多个ResNet块(例如图4中所示的ResNet块1、……、ResNet块n)的处理，得到对应的中间的时域特征。首个ResNet块的输入是某个模态的生理信号s(t)、某个模态的生理信号的一阶导数

或者某个模态的生理信号的二阶导数/>

其他的ResNet块的输入是其前一个ResNet块的输出。作为示意，时域特征提取块由4个ResNet块组成，分别为ResNet块1、ResNet块2、ResNet块3、ResNet块4。每个ResNet块可以包括图4所显示的结构，其中，每个ResNet块包括两个分支，一个主分支和一个跳转分支，每个ResNet块被配置为：将当前ResNet块的输入在主分支依次经过卷积层conv0、卷积层conv1、卷积层conv2的处理得到主分支提取的特征，将当前ResNet块的输入在跳转分支经过卷积层convres1的处理得到跳转分支提取的特征，主分支提取的特征和跳转分支提取的特征相加后经过平均池化层AvgPool的处理得到当前ResNet块的输出。在本实施例中，4个ResNet块的卷积层参数如下所示：

ResNet块1：

conv0:conv1d(1,32,7,1)

conv1:conv1d(32,32,5,1)

conv2:conv1d(32,32,5,1)

convres:conv1d(1,32,1，0)

ResNet块2：

conv0:conv1d(32,64,7,1)

conv1:conv1d(64,64,5,1)

conv2:conv1d(64,64,5,1)

convres:conv1d(32,64,1，0)

ResNet块3：

conv0:conv1d(64,64,7,1)

conv1:conv1d(64,64,5,1)

conv2:conv1d(64,64,5,1)

convres:conv1d(64,64,1，0)

ResNet块4：

conv0:conv1d(64,64,7,1)

conv1:conv1d(64,64,5,1)

conv2:conv1d(64,64,5,1)

convres1:conv1d(64,64,1，0)

其中，一维卷积层以conv1d(输入特征通道数量，输出特征通道数量，卷积核尺寸，填充尺寸)的形式表示。例如，以ResNet块1的卷积层conv0为例，表示该卷积层的输入特征通道数量为1，输出特征通道数量为32，卷积核尺寸为7，填充(Padding)尺寸为1。其余卷积核类似，此处不再赘述。应当理解，ResNet卷积块也可改为其他结构形式，比如，跳转分支改为含有两个、三个或者更多的conv1d(64,64,1，0)的堆叠结构；又比如，主分支改为conv0:conv1d(32,64,7,1)和conv1:conv1d(64,64,5,1)堆叠的结构，本发明对此不做任何限制。

在通过4个ResNet卷积块后，信号s(t)及其一阶导数、二阶导数的中间的时域特征输入门控循环单元(Gated Recurrent Unit，GRU)对时域相关性进行建模后形成信号s(t)的时域特征。

时频特征的提取与时域特征的提取不同，往往需要先对时域的信号进行傅里叶变换后再提取。根据本发明的一个实施例，每个时频特征提取模块被配置为：对其输入信号依次经过短时傅里叶变换层、实例归一化层、特征平铺层、全连接层、批次归一化层的处理，得到对应的中间的时频特征。其中：短时傅里叶变换层，用于对输入当前时频特征提取模块的信号进行短时傅里叶变换，得到变换后的信号；实例归一化层，用于对变换后的信号中的数值进行实例归一化，得到实例归一化后的信号；特征平铺层，用于对实例归一化的信号进行一维化，得到平铺向量；全连接层，用于根据平铺向量进行全连接运算，得到融合特征；批次归一化层，用于对融合特征进行批次归一化处理，得到对应的中间的时频特征。短时傅里叶变换层(short-time Fourier transform，STFT)、实例归一化层(InstanceNormalization，IN)、特征平铺层(Flatten)、全连接层(Dense，一些文献也称致密层)、批次归一化层(Batch Normalization，BN)中的每个层的结构原理都为本领域技术人员所知晓的，此处不再赘述。

根据本发明的一个实施例，多模态信息融合器是一个ResNet块。一个示意性的结构参见图5，多模态信息融合器包括两个分支，一个主分支和一个跳转分支，并被配置为：将多模态信息融合器的输入在其主分支依次经过卷积层conv3、卷积层conv4的处理得到主分支提取的特征，将多模态信息融合器的输入在其跳转分支经过卷积层convres2的处理得到跳转分支提取的特征，其主分支提取的特征和跳转分支提取的特征相加后得到样本特征，即：多模态信息融合器的输出。示意性的，其参数为：

conv3:conv1d(1,2,7,2,2)

conv4:conv1d(2,2,5,2,0)

convres2:conv1d(1,2,1,0,2)

其中，一维卷积层以conv1d(输入特征通道数量，输出特征通道数量，卷积核尺寸，填充尺寸，卷积步长)表示。

根据本发明的一个实施例，回归层可以采用现有的回归层，用于根据样本特征进行血压值回归，输出血压预测值。其包括例如一层或者多层的全连接层。当然，可以加入一些致密层、激活层和随机失活层或者其组合。根据本发明的一个本实施例，回归层包括依次连接的：特征平铺层、第一致密层、第一激活函数层、随机失活层、第二致密层、第二激活函数层。输入的样本特征依次经过这些层的处理，输出对应的血压预测值。作为示意，如果血压预测值含有舒张压和收缩压，一个回归层的结构如下：

特征平铺层Flatten

第一致密层Dense(94，94)

第一激活函数层ReLU

随机失活层Dropout(p＝0.25)

第二致密层Dense(94，2)

第二激活函数层ReLU，

其中，致密层表示为Dense(输入特征通道数量，输出特征通道数量)，例如，Dense(94，2)表示输入特征通道数量为94，输出特征通道数量为2，输出特征通道为2，表示最终输出2个值，其中一个对应于舒张压的预测值，另一个对应于收缩压的预测值。应当理解，血压预测值所预测的实际值可以根据实施者的需要设置，比如血压预测值设为舒张压、收缩压、平均动脉压，对应的，需要将第二致密层的参数改为(94，3)；又或者，预测舒张压、收缩压、平均动脉压中的至少一个，比如：可以只预测平均动脉压，对应的，需要将第二致密层的参数改为(94，1)。

应当理解，虽然前面已经给出了示意性的多模态编码器和回归层的网络结构，但本领域技术人员根据实际应用需要，可以自行调整相应的细节以实现本发明的多模态编码器和回归层。例如，特征提取器的时频特征提取块还可采用现有的基于小波变换的时频图提取方案，时域特征提取块可采用基于多个1d卷积层的堆叠结构、或者多个1d卷积层的堆叠与循环神经网络混合的结构等多种实施方案；多模态信息融合器可采用多种网络结构，如线性层、卷积层、循环层等多种神经网络层的叠加的结构，本领域也有相应的多模态编码器结构，此处不作赘述。

根据本发明的一个实施例，非线性回归器是以非梯度下降法进行参数更新的回归器。该实施例的技术方案至少能够实现以下有益技术效果：以梯度下降法进行参数更新的回归层在采用少量样本进行微调时，不易收敛，导致模型的性能不佳，因此，本发明采用非梯度下降法进行参数更新的非线性回归器，在小样本量的情况训练后下有助于得到更优的识别精度。优选的，非线性回归器采用随机森林回归器。优选的，随机森林回归器的决策树的数量的取值范围为5-20，决策树最大深度的取值范围为2-3，每个叶子节点需要的最少样本数设为1，***一个非叶子节点需要的最少样本数的取值范围2-3。以上示出的随机森林回归器的超参数可根据实施者需要或者经验设置。例如，优选的，随机森林回归器的决策树的数量的取值范围为20，决策树最大深度的取值范围为2，每个叶子节点需要的最少样本数设为1，***一个非叶子节点需要的最少样本数的取值范围2。随机森林回归器的***质量评判标准采用均方误差。应当理解，本实施例中所示的特定超参数的随机森林回归器仅为示意，具有其他超参数的随机森林回归器或支持向量机回归器等其它非线性机器学习回归器也可用于作为本发明的非线性回归器。

二、所使用的样本

在进行训练前，还需要先准备好训练所需的样本。由于完全自制数据集的成本太高，所以本发明可采用迁移学习的手段，事先准备源域数据集和目标域数据集，根据本发明的一个实施例，源域数据集和目标域数据集可采用血压监测相关的公共数据集，要求是公共数据集中采集有被测人员(或者称：被试者)多个模态的生理信号作为样本，并且针对每个样本设有指示该样本对应血压真值的标签，源域数据集和目标域数据中样本来源的被测人员不同。例如，本实施例采用UCI机器学习数据集中的无创连续血压估计数据集(Cuff-Less Blood Pressure Estimation Data Set in the UCI Machine LearningRepository，简称UCIBP数据集)，其中每个样本为一个被测人员在一段时间中的光脉搏容积描述信号(PPG信号)和心电信号(ECG信号)，血压真值为对应样本的被测人员在该样本被采集时的舒张压和收缩压。该UCIBP数据集中样本为被测人员在5秒的时长下(实施者采用其他公共数据集或者自制数据集时该时间长度可调整)的PPG信号和ECG信号。UCIBP数据集系著名的MIMIC-III数据集的子集。MIMIC-III数据集收集了2001年至2012年间，贝斯以色列女执事(Beth Israel Deaconess)医疗中心重症监护室中，超过4万余患者的生理数据。经过清理后得到的UCIBP数据集包括了12000个被试的ECG、PPG和血压数据记录，其生理信号采样率为125Hz。进一步的数据清理后，UCIBP数据集根据不同的被试划分为UCIBP-源域数据集、UCIBP-目标域数据集两个数据集。其中UCIBP-源域数据集包括7145个被试者数据，总计401486个有标签的样本；UCIBP-目标域数据集包括752个被试者数据，总计137200个有标签的样本。MIMIC-III数据集的采集使用了重症监护室中使用的医疗设备，其具有较高的数据质量和血压标签(对应于标签)精确度。若为了在UCIBP数据集所对应的采集设备条件下训练一个对应的可实现无创血压监测的模型，实验UCIBP数据集上的效果，可以考虑将UCIBP数据集分为两个子集，一个称UCIBP源域数据集，一个称UCIBP目标域数据集，UCIBP源域数据集中样本来源的被测人员与UCIBP目标域数据集中样本来源的被测人员不同。通常，在训练前，会从数据集至少划分出训练集和测试集，用训练集对模型进行训练，用测试集测试经训练后的模型的性能(精度)。由于以上UCIBP源域数据集不是最终需要测试的域，因此，UCIBP源域数据集可整体作为步骤A1所说的源域训练集。UCIBP目标域数据集被按比例(比如7:3或者8:2等)划分为UCIBP目标域训练集和UCIBP目标域测试集；UCIBP目标域训练集可以作为步骤A1的目标域训练集，UCIBP目标域测试集用于测试本发明方法最终构建的用于无创血压监测的模型的性能。该实施例下，训练出的无创血压监测的模型至少可用于根据医疗机构对应的设备采集对应的人员的PPG信号和ECG信号输出该人员的舒张压和收缩压。比如：在医院基于医疗设备采集的PPG信号和ECG信号用模型无创地监测患者的舒张压和收缩压。

如果想要应用到其他设备上，比如移动设备或者可穿戴设备上，由于采集公共数据集(源域)的样本对应的设备和实际应用场景下对应的采集样本的传感器不同，数据分布存在差异，因此，这种情况下，可考虑用其他设备上所安装的传感器采集的样本作为目标域数据集，下面以可穿戴设备(如智能手表、智能手环、智能眼镜、VR头戴或者智能头盔)为例进行介绍，移动设备(如手机、平板电脑或者笔记本电脑)同理，不作赘述。根据本发明的一个实施例，源域训练集仍可采用血压监测相关的公共数据集。源域训练集仍可采用前一实施例的UCIBP目标域训练集。或者，由于自制目标域数据集的情况下，该目标域数据集不会利用UCIBP数据集的样本，因此，UCIBP数据集整体可作为本实施例的源域训练集。目标域数据集的样本可采用可穿戴设备所安装的传感器采集得到，目标域数据集包括多个样本和指示每个样本对应血压真值的标签，每个样本为一个被测人员在一段时间中多个模态的生理信号，并且目标域训练集的样本是由能安装可穿戴设备上的传感器采集得到。例如，由用户实验采集得到UE目标域数据集。在本发明的用户实验期间，采集了18名受试者的PPG、ECG以及基于袖带电子血压计的离散血压值的数据。在18名受试者中，其中20～30岁年龄段10人，30～40岁年龄段2人，40～50年龄段6人；男性11人，女性7人；包括身高170cm以下8人，170～180cm7人，180cm以上3人；包括体重60kg以下8人，60～80kg5人，80kg以上5人。ECG/PPG信号使用美信(Maxim)公司MAX86150生理信号采集板(相当于传感器，可安装于移动设备或者可穿戴设备上)进行采集。应当理解，此处仅为示意，未来可能出现其他类型的传感器，尺寸也可能越来越小，以更适于可穿戴设备，但仍可采用本发明的原理利用其他类型的传感器进行数据采集以形成对应的UE目标域数据集。血压标签使用鱼跃医疗YE670A电子血压计(应当理解，此处仅为示意，其他品牌和型号的血压计也可采用)采集。18名受试者进行3轮，每轮10次的数据采集实验。每轮10次实验包括7次静息状态下的采集实验，2次冰冻实验状态下的采集实验，以及1次楼梯实验后的采集实验。其中冰冻实验指将冰块放置于受试者小臂1分钟后采集ECG/PPG信号作为样本及血压数据作为标签，楼梯实验指受试者进行1至5层的爬楼并返回后采集ECG/PPG信号作为样本及血压数据作为标签(应当理解，此处仅为示意，被测人员的人数、性别分布、在何种状态采集被测人员的生理信号和血压均可根据实施者的需要设定，本发明对此不作任何限制)。经过上述采集过程，最终得到UE目标域数据集。UE目标域数据集被按比例(比如9:1或者8:2等)划分为UE目标域训练集和UE目标域测试集；UE目标域训练集可以作为步骤A1的目标域训练集，UE目标域测试集用于测试本发明方法最终构建的用于无创血压监测的模型的性能。

应当理解，以上数据集的实施例仅是示意性的，只要不与本发明的原理相冲突，本领域的实施人员实际上可以采用公共的或者自定义的其他源域数据集和/或目标域数据集。另外，多个模态的生理信号也并非必须是ECG信号和PPG信号，也可采用ECG信号、PPG信号和心冲击信号(BCG)或者其组合；样本中采集的生理信号的时间长度也可调整；比如：样本为被测人员在8s内的PPG信号、ECG信号和BCG信号；又或者，实施者可以采用其他非侵入式的生理信号，本发明对此不作任何限制。

三、训练过程

参见图6，本发明提供一种构建用于无创血压监测的模型的方法，根据本发明的一个实施例，该方法包括步骤：A1、获取源域训练集和目标域训练集，其中任意一个训练集均包括多个样本和指示每个样本对应血压真值的标签，每个样本为一个被测人员在一段时间中多个模态的生理信号；

A2、利用源域训练集对基于神经网络的用于从多种模态的生理信号提取样本特征的多模态编码器和用于根据所述样本特征输出血压预测值的回归层进行训练；A3、利用经步骤A2训练的多模态编码器从目标域训练集的样本提取对应的样本特征，并利用所述目标域训练集的样本对应的样本特征以及标签对用于输出血压预测值的非线性回归器进行训练；A4、将经步骤A2训练的多模态编码器和经步骤A3训练的非线性回归器进行组合，构建用于无创血压监测的模型。该实施例的技术方案至少能够实现以下有益技术效果：该方法利用多模态编码器中的神经网络提取到的与血压相关的样本特征的能力以及非线性回归器的更复杂、灵活地耦合数据的能力来提高用于无创血压监测的模型的模型精度；并且，经过实验，相比于现有技术，本发明能够以更少目标域的样本达到优秀的血压测量精度，更有利于实际地推广应用

下面以随机森林回归器作为非线性回归器、最终的模型是要部署在可穿戴设备中的应用场景为例进行说明，其他场景可参考本实施例，此处不作赘述。参见图7，根据本发明的一个实施例，一种构建用于无创血压监测的模型的方法包括步骤：

(1)在公共数据集(对应源域训练集)上完成多模态时空混合神经网络(对应于前面介绍的能提取时域特征以及时频特征的无创血压监测的模型的多模态编码器)预训练。该步骤相当于上述步骤A2，包括将PPG信号和ECG信号输入多模态时空混合神经网络得到样本特征，将样本特征输入回归层得到血压预测值，利用损失函数基于血压预测值和血压真值计算损失值，根据损失值求梯度并反向传播更新参数(包括多模态时空混合神经网络和回归层的参数)。预训练使用了如下的求平滑L1平均绝对误差的子损失函数：

其中，x是收缩压或舒张压量值的真实值，

是收缩压或舒张压量值的预测值，β是超参数。在本实施例中取β＝5。β可以在(0，B](其中B是一个正整数)区间内取值，作用是用来表征误差损失函数对于离群点的“关注程度”。实验中表明该参数较为鲁棒，如一个在[2,8]的正整数。一个样本对应的损失为收缩压和舒张压的子损失函数计算的均值。每次用于更新参数的损失函数计算的损失值为当前训练(如一个批次)所采用的所有样本对应的损失之和除以批大小，即每个样本的平均损失。

(2)将回归层替换为随机森林回归器，在可穿戴个性化数据(对于目标域训练集)上完成对随机森林回归器的个性化适配，得到用于无创血压监测的模型。此步骤相当于上述步骤A3和A4。该步骤只利用随机森林回归器的训练算法训练随机森林回归器，不训练(更新)多模态时空混合神经网络。

为了在前述实施例的模型的基础上，进一步提高模型的性能，可考虑在多模态编码器提供的样本特征之外，再加入一些人工设计的特征作为非线性回归器的输入。根据本发明的一个实施例，在步骤A3中，根据目标域训练集中样本对应的样本特征、人工选择的辅助特征以及标签训练非线性回归器。训练非线性回归器根据样本特征以及人工选择的辅助特征输出血压预测值。其中，人工选择的辅助特征是根据人工指定的时刻从多个模态的生理信号提取得到的。根据本发明的一个实施例，人工选择的辅助特征包括：与脉搏传输时间相关的特征(简称脉搏传输时间特征)、与心率相关的特征(简称心率相关特征)和与生理信号形态相关的特征(简称信号形态学特征)。优选的，脉搏传输时间特征、心率相关特征和信号形态学特征分别包括下表1所示的子特征或者各子特征的组合。由此，可以产生多种实施方式的组合。例如，一种实施方式下，人工选择的辅助特征由表1所示的所有子特征构成。另一种实施方式下，人工选择的辅助特征由脉搏传输时间特征的所有子特征构成。又或者，另一种实施方式下，人工选择的辅助特征包括表1中的PTT_PA、PPG_cycle、ECG_cycle、AI_F。应当理解，本领域技术人员可以根据表1的内容组合出其他的实施方式，本发明对此不作任何限制。

在本实施例中，提取了如下表1所示的辅助特征组成辅助特征向量。其中，为表达简洁起见，记PPG信号PPG(t)为s(t)，PPG/ECG信号中的形态学特征的出现时刻记为t_特征名。

表1

/>

/>

为了便于查看各时刻的含义，给出下表：

表2

/>

为便于理解，给出图8，表2中各时刻t对应信号的形态学特征点参见图8所示，其中,dPPG(t)/dt表示PPG信号的一阶导数，dPPG(t)/dt²表示PPG信号的二阶导数，横坐标表示时间，纵坐标对应幅值。

在添加人工选择的辅助特征后，下面以随机森林回归器作为非线性回归器、最终的模型是要部署在可穿戴设备中的应用场景为例进行说明，其他场景可参考本实施例，此处不作赘述。参见图9，根据本发明的一个实施例，一种构建用于无创血压监测的模型的方法包括步骤：

(1)与图8的步骤(1)相同，不作赘述。

(2)将回归层回归层替换为随机森林回归器，在可穿戴个性化数据(对于目标域训练集)上完成对随机森林回归器的个性化适配，其包括以下两个步骤：

(2a)从样本提取人工选择的辅助特征；

(2b)将可穿戴个性化数据中样本输入经步骤(1)训练的多模态时空混合神经网络得到样本特征，将该样本特征与人工选择的辅助特征共同输入随机森林回归器并基于标签训练随机森林回归器，得到用于无创血压监测的模型。此步骤(2)相当于上述步骤A3和A4。该步骤只利用随机森林回归器的训练算法训练随机森林回归器，不训练(更新)多模态时空混合神经网络。

一个示意的用于无创血压监测的模型的训练方法的流程图(或者称面向无创连续血压监测模型的少样本个性化适配方法)如图10所示，包括步骤：

1、利用源域训练集对多模态神经网络模型进行预训练(对应于步骤A2)；

2、去除多模态神经网络模型的回归层；

3、将目标域训练集的样本输入多模态神经网络模型的多模态编码器，得到目标域的样本特征。

4、获得目标域训练集中样本对应的人工选择的辅助特征。

5、利用目标域的样本特征以及样本对应的人工选择的辅助特征训练随机森林回归器输出血压预测值(个性化适配，相当于步骤A3)。

6、使用经训练的随机森林回归器代替多模态神经网络模型的回归层(相当于步骤A4)。

四、应用场景

根据本发明的一个实施例，本发明提供一种无创血压监测方法，包括：获取由源域训练集以及能安装在可穿戴设备或者移动设备上的传感器采集的样本组成的目标域训练集根据构建用于无创血压监测的模型的方法构建的用于无创血压监测的模型；获取对用户测量的多个模态的生理信号并输入所述用于无创血压监测的模型，以得到用户的血压预测值。应当理解，在采用人工选择的辅助特征训练用于无创血压监测的模型的情况下，可以从用户测量的多个模态的生理信号提取该人工选择的辅助特征并输入用于无创血压监测的模型(比如调用一个预定的辅助特征提取模块实现)，用于无创血压监测的模型根据从用户测量的多个模态的生理信号以及人工选择的辅助特征输出对应的血压预测值；以下应用场景的实施例类似，可参考本实施例，后续不作赘述。优选的，目标域训练集的样本是由可穿戴设备或者移动设备上的传感器采集得到，源域训练集的样本是由专业的医疗设备采集得到。

根据本发明的一个实施例，本发明提供一种可穿戴设备，其为智能手表、智能手环、智能眼镜、VR头戴或者智能头盔，所述可穿戴设备包括：一个或者多个传感器，用于测量佩戴者的多个模态的生理信号；以及无创血压监测模块，其中部署有根据构建用于无创血压监测的模型的方法构建的用于无创血压监测的模型，并且训练采用的目标域训练集是由能安装在可穿戴设备上的传感器采集的样本组成，该模型用于根据测量的所述多个模态的生理信号确定佩戴者的血压预测值。

根据本发明的一个实施例，本发明提供一种移动设备，其为手机、平板电脑或者笔记本电脑，所述移动设备包括：一个或者多个传感器，用于测量用户的多个模态的生理信号；以及无创血压监测模块，其中部署有根据构建用于无创血压监测的模型的方法构建的用于无创血压监测的模型，并且训练采用的目标域训练集是由能安装在移动设备上的传感器采集的样本组成，该模型用于根据测量的所述多个模态的生理信号确定用户的血压预测值。

根据本发明的一个实施例，本发明提供一种无创血压监测设备，包括一个或者多个传感器，用于测量患者的多个模态的生理信号；以及无创血压监测模块，其中部署有根据构建用于无创血压监测的模型的方法构建的用于无创血压监测的模型，并且训练采用的目标域训练集是医疗设备上的传感器采集的样本组成，该模型用于根据测量的所述多个模态的生理信号确定患者的血压预测值。

为了验证本发明的效果，发明人还进行了以下对比实验。

1、实验数据集

实验评估中所采用的数据集分别为UCI机器学习数据集中的无创连续血压估计数据集(Cuff-Less Blood Pressure Estimation Data Set in the UCI Machine LearningRepository，UCIBP数据集)和用户实验中所采集的数据集(即前述UE目标域数据集)。本次实验中多模态的生理信号包括ECG信号和PPG信号，标签中记载的血压真值对应于舒张压和收缩压。

在实验评估中，设置了两个场景，第一个场景是在UCIBP源域训练集(后面简称UCIBP-源域)进行模型预训练(对应于步骤A2)，然后在UCIBP目标域训练集(后面简称UCIBP-目标域)进行模型个性化适配(对应于步骤A3)，最后以适配后模型的血压监测误差来评估本发明所提出方法的有效性。对应的，第一个场景训练出的模型可以用于医疗机构中基于医疗设备采集的患者的多模态的生理信号来监测患者的血压。第二个场景是在UCIBP-源域进行模型预训练(对应于步骤A2)，然后在UE目标域数据集划分出的目标域训练集(后面简称UE-目标域)进行模型个性化适配(对应于步骤A3)，最后以适配后模型的血压监测误差来评估本发明所提出方法的有效性。对应的，第二个场景训练出的模型可以用于基于移动设备或者可穿戴设备中的传感器采集的人员的多模态的生理信号来监测人员的血压。

2、对比方法

本发明选择以下方法进行对比，包括：

MSTNN+PA(即本发明)：该方法包括训练一种多模态时空混合神经网络(Multi-modal Spectro-temporal Neural Network，MSTNN，对应于训练多模态编码器)和一种模型个性化适配器(Personalization Adapter，PA，个性化适配，对应于训练非线性回归器)。按照具体实施例中图3对应的细节结构实现了MSTNN。MSTNN训练的批大小(Batch size)为256，优化器为RMSprop，学习率为1e-3，L2正则化为1e-4。学习率在epoch5、10、15、20、40分别减半。损失函数中的β为5。。

为了让对比实验结果的表格简要，对表格中的以下字母定义如下：

MSTNN：该方法是本发明所提出的方法(即MSTNN+PA)去掉PA的部分。MSTNN+PA与MSTNN的对比可作为验证PA有效性的消融实验。

STNN：该方法是Slapnicar等人于2019年所提出的具有代表性的时空混合神经网络结构[1]。与本发明所提出MSTNN网络结构的主要区别是STNN仅仅使用了PPG信号作为网络输入，没有进行不同生理信号的特征融合。发明人基于原作者公开发表的***码进行了网络实现。

BPCRNN：该方法是Leitner等人于2022年所提出的无创连续血压监测模型[2]。该方法是极少数涉及无创连续血压监测模型迁移学习的方法。该方法没有显式的在网络中提取时频信息，但也使用了基于卷积神经网络和循环神经网络的混合网络结构。该方法是当前的最优方法。

STNN+PA/BPCRNN+PA：由于本发明提出的PA具有模块化结构设计，因此为了验证PA在其它具有不同网络结构的模型个性化适配过程中起到的作用，设计了STNN+PA和BPCRNN+PA所谓对比方法。

上述现有技术对应的文献如下：

[1]G.

N.Mlakar,and M./>

“Blood Pressure Estimation fromPhotoplethysmogram Using a Spectro-Temporal Deep Neural Network,”Sensors,vol.19,no.15,Art.no.15,Jan.2019,doi:10.3390/s19153420.[2]J.Leitner,P.-H.Chiang,and S.Dey,“Personalized Blood Pressure Estimation UsingPhotoplethysmography:A Transfer Learning Approach,”IEEE Journal of Biomedicaland Health Informatics,vol.26,no.1,pp.218–228,2022,doi:10.1109/JBHI.2021.3085526.

3、对比实验结果：

UCIBP-源域至UCIBP-目标域血压模型个性化适配实验：

UCIBP源域-UCIBP目标域血压模型个性化适配实验结果如表所示。其中SBP指收缩压估计结果，DBP指舒张压估计结果。方法对比标准均为绝对误差均值(Mean AbsoluteError，MAE)，单位为mmHg。“Test”指预训练模型不进行个性化适配，直接在以目标域用户数据进行测试时产生的结果，“FN”指进行以N个目标域用户个性化血压数据样本(对应于目标域训练集的样本的总数)作为个性化适配训练数据进行个性化适配后，模型适配结果。以收缩压(SBP)表格中MSTNN一行为例：当使用预训练的MSTNN网络直接在测试集上进行测试时，绝对误差均值为8.201，当使用所有用户的前5个(以时间为顺序)有标签血压样本进行个性化适配后，在剩下的用户数据上进行测试时，模型精度为7.126；使用前10个数据进行个性化适配时，模型精度为7.033。此处所指的个性化适配，对于没有PA的模型和方法而言，指使用传统的模型微调进行迁移学习，对于标记了“+PA”的模型和方法而言，指采用本发明所述的PA方法进行个性化适配。对比而言，如MSTNN+PA行所示，如果加入了个性化适配器(PA)则时使用5个个性化样本进行时，误差由7.126下降到6.502。使用10个时则误差由7.033下降到6.232。

表3

/>

由表3信息可见，本发明所涉及方法(MSTNN+PA)在所有实验条件下均显示了最好的血压估计精度。在不进行个性化适配时，本发明所涉及方法相较于次优方法MAE减小了28.6％(SBP)/23.0％(DBP)。在进行个性化适配时，本发明所涉及方法相较于次优方法(BPCRNN)平均MAE减小了23.2％(SBP)/20.7％(DBP)，且本发明所涉及个性化适配方法在仅仅5个个性化有标签生理信号样本的条件下，即可实现较低的血压监测误差。对应的，将表3的UCIBP源域-UCIBP目标域神经网络结构对比实验结果转换为如图11所示的柱状图，其中，图11a对应收缩压SBP的结果，图11b对应舒张压DBP的结果；从中可直观看出，在不使用PA进行个性化适配的条件下，MSTNN相较于对比方法仍具有优势。尤其是使用较少的样本进行个性化适配的条件下，本发明所涉及的MSTNN的优势进一步扩大。UCIBP源域-UCIBP目标域PA消融实验结果如图12所示，横坐标为目标域训练集的样本的总数，纵坐标为绝对误差均值，其中，图12a、图12b、图12c对应相应模型预测收缩压SBP的结果，图12d、图12e、图12f对应相应模型预测舒张压DBP的结果；可以看到，本发明所涉及的PA方法在无创连续血压模型个性化适配过程中具有显著作用，可以与多种不同结构的深度神经网络结合，减小其在无创连续血压模型的个性化适配误差，大幅度降低对于个性化有标签生理信号样本数量的需求。

UCIBP源域-UE目标域的血压模型个性化适配实验：

如表所示，在应用本发明所提出的PA后，用10个有标签的个性化生理信号数据进行无创连续血压模型个性化适配的条件下，与使用传统Fine-tune方法对比，DBP MAE下降了44.11％，33.48％和44.76％，SBP MAE下降了46.78％，32.42％和45.01％(对MSTNN，BPCRNN和STNN三种不同深度神经网络结构而言)。最为重要的是，MSTNN+PA和BPCRNN+PA在使用10个个性化样本适配后的模型达到了AAMI(Association for the Advancement ofMedical Instrumentation)标准(标准差小于±8mmHg)。

表4UCIBP源域-UE目标域血压模型个性化适配实验结果

在UCIBP源域-UE目标域血压模型个性化适配实验中，对应的柱状图如图13所示，其中，图13a对应收缩压SBP的结果，图13b对应舒张压DBP的结果将本发明所涉及的MSTNN+PA方法与其它应用了PA的网络结构对比，可以发现MSTNN+PA在SBP误差(5/10个性化样本适配)和DBP误差(5个性化样本适配)条件下具有优势。

算法时间复杂度估计：

本发明估计了不同深度神经网络在使用PA(本发明涉及)或Fine-tune方法时，针对单个用户进行模型个性化适配所需要的平均时间。如表5所示，使用PA方法对单个用户进行模型个性化时，相比传统的Fine-tune方法，根据使用的网络不同，平均可节省6倍到13倍的时间消耗。

表5算法时间复杂度估计

总的来说，为了评估本发明方案的有效性，在公共数据集MIMIC-III和真实世界可穿戴数据集上分别进行了实验验证。实验结果表明，本发明提出的方案可以大幅度减少无创连续血压模型个性化适配过程中的数据需求，同时可进一步提高个性化适配后模型的血压预测精度，在仅使用10个个性化样本的条件下达到AAMI血压计标准。本发明方法是一种基于网络结构热插拔的深度迁移学习方法，该方法首先在预训练阶段构建基于神经网络的多模态编码器，丰富了神经网络提取的样本特征，提高多模态编码器提取特征的泛化能力；其次在个性化适配阶段对回归层进行网络结构热插拔，即：使用非线性回归器替换回归层并基于经训练的多模态编码器提取目标域训练集的样本对应的样本特征和/或人工选择的辅助特征训练非线性回归器，有效减少个性化适配需要的样本数量。本发明实现了大幅度减少无创连续血压监测模型个性化适配所需的可穿戴有标签数据数量，降低了迁移学习的计算成本，同时提高了适配后个性化无创连续血压监测模型的监测精度。换言之，相当于本发明提出了一种基于迁移学习的无创连续血压监测模型少样本个性化适配方法，该方法主要包括预训练阶段采用多模态时空混合神经网络结构(MSTNN)进行特征提取和在个性化适配阶段使用个性化适配器(PA)进行少样本模型适配两个部分，该发明可显著减少基于深度学习的无创连续血压监测模型个性化适配过程中所需的有标签用户数据数量。

需要说明的是，虽然上文按照特定顺序描述了各个步骤，但是并不意味着必须按照上述特定顺序来执行各个步骤，实际上，这些步骤中的一些可以并发执行，甚至改变顺序，只要能够实现所需要的功能即可。

本发明可以是***、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本发明的各个方面的计算机可读程序指令。

计算机可读存储介质可以是保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以包括但不限于电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。

以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (19)

1.一种构建用于无创血压监测的模型的方法，其特征在于，包括：

A1、获取源域训练集和目标域训练集，其中任意一个训练集均包括多个样本和指示每个样本对应血压真值的标签，每个样本为一个被测人员在一段时间中多个模态的生理信号；

A2、利用源域训练集对基于神经网络的用于从多种模态的生理信号提取样本特征的多模态编码器和用于根据所述样本特征输出血压预测值的回归层进行训练；

A3、利用经步骤A2训练的多模态编码器从目标域训练集的样本提取对应的样本特征，并利用所述目标域训练集的样本对应的样本特征以及标签对用于输出血压预测值的非线性回归器进行训练；

A4、将经步骤A2训练的多模态编码器和经步骤A3训练的非线性回归器进行组合，构建用于无创血压监测的模型。

2.根据权利要求1所述的方法，其特征在于，在步骤A3中，根据目标域训练集中样本对应的样本特征、人工选择的辅助特征以及标签训练非线性回归器，所述人工选择的辅助特征是根据人工指定的时刻从多个模态的生理信号提取得到的。

3.根据权利要求2所述的方法，其特征在于，人工选择的辅助特征包括：与被测人员的脉搏传输时间相关的特征、与被测人员的心率相关的特征和与被测人员的生理信号形态相关的特征或者其组合。

4.根据权利要求1所述的方法，其特征在于，非线性回归器是以非梯度下降法进行参数更新的回归器。

5.根据权利要求4所述的方法，其特征在于，所述非线性回归器采用随机森林回归器。

6.根据权利要求5所述的方法，其特征在于，所述随机森林回归器的决策树的数量的取值范围为5-20，决策树最大深度的取值范围为2-3，每个叶子节点需要的最少样本数设为1，***一个非叶子节点需要的最少样本数的取值范围2-3。

7.根据权利要求1所述的方法，其特征在于，目标域训练集中样本对应的被测人员不同于源域训练集中样本对应的被测人员。

8.根据权利要求1所述的方法，其特征在于，每个样本为一个被测人员在一段时间中的光脉搏容积描述信号和心电信号，血压真值为对应样本的被测人员在该样本被采集时的舒张压和收缩压。

9.根据权利要求1所述的方法，其特征在于，所述多模态编码器包括每个模态对应的用于提取该模态的生理信号中的时域特征以及时频特征的特征提取器以及用于对各模态的生理信号中的时域特征以及时频特征进行融合以得到样本特征的多模态信息融合器。

10.根据权利要求9所述的方法，其特征在于，每个模态对应的特征提取器被配置为对该模态的生理信号分别求一阶导数和二阶导数并在该模态的生理信号上、该模态的生理信号的一阶导数上和二阶导数上分别提取时域特征以及时频特征。

11.根据权利要求10所述的方法，其特征在于，每个模态对应的特征提取器包括：

多个时域特征提取模块，每个时域特征提取模块用于对该模态的生理信号、该模态的生理信号的一阶导数和二阶导数中的一个信号提取中间的时域特征；

门控循环单元，用于根据该模态的生理信号、该模态的生理信号的一阶导数和二阶导数的中间的时域特征进行建模得到该模态的生理信号的时域特征；

多个时频特征提取模块，每个时频特征提取模块用于对该模态的生理信号、该模态的生理信号的一阶导数和二阶导数中的一个信号提取中间的时频特征；

时频特征连接模块，用于对该模态的生理信号、该模态的生理信号的一阶导数和二阶导数的中间的时频特征进行连接，得到该模态的生理信号的时频特征。

12.根据权利要求11所述的方法，其特征在于，每个时域特征提取模块由多个ResNet块堆叠而成，并且被配置为对其输入信号依次经过多个ResNet块的处理，得到对应的中间的时域特征。

13.根据权利要求11所述的方法，其特征在于，每个时频特征提取模块被配置为：对其输入信号依次经过短时傅里叶变换层、实例归一化层、特征平铺层、全连接层、批次归一化层的处理，得到对应的中间的时频特征；其中：

短时傅里叶变换层，用于对输入当前时频特征提取模块的信号进行短时傅里叶变换，得到变换后的信号；

实例归一化层，用于对变换后的信号中的数值进行实例归一化，得到实例归一化后的信号；

特征平铺层，用于对实例归一化的信号进行一维化，得到平铺向量；

全连接层，用于根据平铺向量进行全连接运算，得到融合特征；以及

批次归一化层，用于对融合特征进行批次归一化处理，得到对应的中间的时频特征。

14.一种无创血压监测方法，其特征在于，包括：

获取由源域训练集以及能安装在可穿戴设备或者移动设备上的传感器采集的样本组成的目标域训练集根据权利要求1-13任一项所述的方法构建的用于无创血压监测的模型；

获取对用户测量的多个模态的生理信号并输入所述用于无创血压监测的模型，以得到用户的血压预测值。

15.一种可穿戴设备，其为智能手表、智能手环、智能眼镜、VR头戴或者智能头盔，其特征在于，所述可穿戴设备包括：

一个或者多个传感器，用于测量佩戴者的多个模态的生理信号；以及

无创血压监测模块，其中部署有根据权利要求1-13任一项所述的方法构建的用于无创血压监测的模型，并且训练采用的目标域训练集是由能安装在可穿戴设备上的传感器采集的样本组成，该模型用于根据测量的所述多个模态的生理信号确定佩戴者的血压预测值。

16.一种移动设备，其为手机、平板电脑或者笔记本电脑，其特征在于，所述移动设备包括：

一个或者多个传感器，用于测量用户的多个模态的生理信号；以及

无创血压监测模块，其中部署有根据权利要求1-13任一项所述的方法构建的用于无创血压监测的模型，并且训练采用的目标域训练集是由能安装在移动设备上的传感器采集的样本组成，该模型用于根据测量的所述多个模态的生理信号确定用户的血压预测值。

17.一种无创血压监测设备，其特征在于，包括

一个或者多个传感器，用于测量患者的多个模态的生理信号；以及

无创血压监测模块，其中部署有根据权利要求1-13任一项所述的方法构建的用于无创血压监测的模型，并且训练采用的目标域训练集是医疗设备上的传感器采集的样本组成，该模型用于根据测量的所述多个模态的生理信号确定患者的血压预测值。

18.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序可被处理器执行以实现权利要求1-13以及14中任一项所述方法的步骤。

19.一种电子设备，其特征在于，包括：

一个或多个处理器；以及

存储器，其中存储器用于存储可执行指令；

所述一个或多个处理器被配置为经由执行所述可执行指令以实现权利要求1-13以及14中任一项所述方法的步骤。

Images