CN117746463A - 体征信息识别方法、***和电子设备 - Google Patents

Abstract

本申请提供一种体征信息识别方法、***和电子设备，该方法的一具体实施方式包括：获取待识别图像；所述待识别图像中包括体征信息；通过信息识别模型的图像特征提取模块提取所述待识别图像中表征生理指标区域的图像特征，得到目标特征图；以及通过所述信息识别模型的信息识别模块在所述目标特征图中识别所述体征信息。该方法可以提高获取体征信息的准确性以及时效性。

Description

体征信息识别方法、***和电子设备

技术领域

本申请涉及信息处理领域，具体而言，涉及一种体征信息识别方法、***和电子设备。

背景技术

监护仪可以监测患者的体征数据，以帮助医护人员全面准确地了解患者的病情、判断病情的发展趋势等，从而能够及时做出相应的诊断和治疗决策。

在分析患者病情的过程中，需要先从监护仪显示的数据中捕捉患者的呼吸频率、血压、心率、体温等多项体征信息，然后对这些体征信息进行分析处理才能获知患者病情。

在相关技术中，需要依赖医护人员根据监护仪的显示数据手动获取患者相关体征信息，这样获取的患者的体征信息的准确性和时效性都较低。

发明内容

本申请实施例的目的在于提供一种体征信息识别方法、***和电子设备，用以提高获取体征信息的准确性以及时效性。

第一方面，本申请实施例提供了一种体征信息识别方法，该方法包括：获取待识别图像；所述待识别图像中包括体征信息；通过信息识别模型的图像特征提取模块提取所述待识别图像中表征生理指标区域的图像特征，得到目标特征图；以及通过所述信息识别模型的信息识别模块在所述目标特征图中识别所述体征信息。这样，可以通过信息识别模型自动识别出待处理图像中的体征信息，从而无需医护人员手动获取相关体征信息，改善了由于手动获取带来的体征信息错误、获取速度慢等情况，提高了获取体征信息的准确性以及时效性。

可选地，所述图像特征提取模块包括卷积神经网络层、池化操作层以及融合层；以及所述通过信息识别模型的图像特征提取模块提取所述待识别图像中表征生理指标区域的图像特征，得到目标特征图，包括：通过所述卷积神经网络层对待识别图像进行卷积计算，得到至少一个卷积特征图；通过所述池化操作层对所述卷积神经网络层输出的最后一个卷积特征图进行池化操作，得到池化特征图；通过所述融合层融合所述卷积特征图以及所述池化特征图，得到所述目标特征图。这样，可以通过卷积神经网络层、池化操作层以及融合层连续对待识别图像进行处理，从而提取出较为准确的图像特征。

可选地，所述卷积神经网络层包括多个初始卷积层以及多个自注意力连接层；其中，至少一个所述初始卷积层和至少一个所述自注意力连接层构成所述卷积神经网络层的堆叠单元；以及所述通过所述卷积神经网络层对待识别图像进行卷积计算，得到至少一个卷积特征图，包括：针对每一个所述堆叠单元，通过所述初始卷积层对所述待识别图像进行卷积计算，得到卷积结果；以及通过所述自注意力连接层对所述卷积结果执行特征提取操作，得到一个卷积特征图；其中，当前堆叠单元的输入为上一堆叠单元的输出。这样，可以通过上述初始卷积层以及自注意力连接层对待处理图像进行特征提取操作，从而提取出较为准确的图像特征。

可选地，所述自注意力连接层包括注意力层以及连接层；以及所述通过所述自注意力连接层对所述卷积结果执行特征提取操作，得到一个卷积特征图，包括：通过所述注意力层提供的CA注意力机制对所述初始卷积层的输出结果进行特征提取操作，得到注意力层特征图；以及通过所述连接层对所述初始卷积层的输出结果进行特征提取操作，得到连接层特征图；融合所述注意力层特征图以及所述连接层特征图，得到所述卷积特征图。这样，可以结合自注意力机制以及残差网络对待识别图像进行处理，利于得到更加准确的图像特征。

可选地，所述通过所述注意力层提供的CA注意力机制对所述初始卷积层的输出结果进行特征提取操作，得到注意力层特征图，包括通过所述注意力层执行以下操作：从通道维度对所述初始卷积层的输出结果进行池化操作，得到通道特征图；从空间维度对所述初始卷积层的输出结果进行池化操作，得到空间特征图；融合所述通道特征图以及所述空间特征图，得到通道-空间融合图像；通过卷积核不同的卷积层对所述通道-空间融合图像进行卷积计算，得到异核卷积结果；融合所述异核卷积结果以及所述初始卷积层的输出结果，得到所述注意力层特征图。这样，可以通过CA注意力机制关注图像特征层的通道信息以及位置信息，从而提取出更加准确的图像特征。

可选地，所述连接层包括多个级联的残差子模块；以及所述通过所述连接层对所述初始卷积层的输出结果进行特征提取操作，得到连接层特征图，包括通过所述连接层执行以下操作：通过多个级联的残差子模块对所述初始卷积层的输出结果逐步进行特征提取操作，得到残差特征图；融合所述残差特征图以及所述初始卷积层的输出结果，得到所述连接层特征图。这样，可以通过多个级联的残差子模块更好地捕捉图像特征的细节以及上下文信息，从而可以提高图像提取模块的表达能力。

可选地，所述池化操作层包括至少两个分支结构，其中，第一分支结构包括至少一个初始卷积层以及并联的多个卷积层；其中，所述并联的多个卷积层的卷积核不同；所述至少一个初始卷积层的输出为所述并联的多个卷积层的输入；第二分支结构包括至少一个初始卷积层；以及所述通过所述池化操作层对所述卷积神经网络层输出的最后一个卷积特征图进行池化操作，得到池化特征图，包括：通过所述第一分支结构对所述卷积特征图进行卷积操作，得到第一池化卷积结果；通过所述第二分支结构对所述卷积特征图执行多次卷积操作，得到第二池化卷积结果；融合所述第一池化卷积结果以及所述第二池化卷积结果，得到所述池化特征图。这样，可以通过第一分支结构以及第二分支结构对输入的卷积特征图进行处理，从而得到较为准确的池化特征图。

可选地，在所述通过信息识别模型的图像特征提取模块提取所述待识别图像中表征生理指标区域的图像特征，得到目标特征图之前，所述方法还包括：训练所述信息识别模型；其中，在训练过程中所使用的损失函数至少包括以下三者：分类损失函数、置信度损失函数以及定位损失函数。这样，可以通过分类损失函数、置信度损失函数以及定位损失函数所组成的损失函数训练信息识别模型，在一定程度上提高了信息识别模型的识别能力。

第二方面，本申请实施例提供了一种体征信息识别***，该***包括：获取模块，用于获取待识别图像；所述待识别图像中包括体征信息；识别模块，用于通过信息识别模型的图像特征提取模块提取所述待识别图像中表征生理指标区域的图像特征，得到目标特征图；以及通过所述信息识别模型的信息识别模块在所述目标特征图中识别所述体征信息。这样，可以通过信息识别模型自动识别出待处理图像中的体征信息，从而无需医护人员手动获取相关体征信息，改善了由于手动获取带来的体征信息错误、获取速度慢等情况，提高了获取体征信息的准确性以及时效性。

第三方面，本申请实施例提供一种电子设备，包括处理器以及存储器，所述存储器存储有计算机可读取指令，当所述计算机可读取指令由所述处理器执行时，运行如上述第一方面提供的所述方法中的步骤。

第四方面，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时运行如上述第一方面提供的所述方法中的步骤。

本申请的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请实施例了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请实施例提供的一种体征信息识别方法的流程图；

图2为本申请实施例提供的一种图像特征提取模块的具体结构图；

图3为本申请实施例提供的一种自注意力连接层的具体结构图；

图4为本申请实施例提供的一种池化操作层的具体结构图；

图5为本申请实施例提供的一种体征信息识别***的结构框图；

图6为本申请实施例提供的一种用于执行体征信息识别方法的电子设备的结构示意图。

具体实施方式

下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

应当说明的是，在不冲突的情况下，本申请中的实施例或者实施例中的技术特征可以进行结合。

相关技术中，存在获取体征信息的准确性和时效性都较低的问题；为了解决该问题，本申请提供一种体征信息识别方法、***和电子设备；进一步地，通过信息识别模型自动从监护仪的显示数据中获取患者的相关体征信息，无需人工获取，从而提高了获取体征信息的准确性以及时效性，达到了辅助医护人员治疗病患的目的。

在一些应用场景中，上述体征信息识别方法可以应用于终端设备，上述终端设备例如可以包括台式电脑、笔记本电脑等。在另一些应用场景中，上述体征信息识别方法也可以应用于服务端设备，上述服务端设备例如可以包括服务器、服务器集群、云平台等。终端设备或者服务端设备可以获取监护仪中的视频数据，然后自动获取患者的体征信息，从而提高了获取体征信息的准确性以及时效性。实例性地，本申请下文以应用于终端设备行文。

以上相关技术中的方案所存在的缺陷，均是发明人在经过实践并仔细研究后得出的结果，因此，上述问题的发现过程以及下文中本发明实施例针对上述问题所提出的解决方案，都应该是发明人在本发明过程中对本发明做出的贡献。

请参考图1，其示出了本申请实施例提供的一种体征信息识别方法的流程图。如图1所示，该体征信息识别方法包括以下步骤101至步骤102。

步骤101，获取待识别图像；所述待识别图像中包括体征信息；

上述体征信息也即生命体征信息。上述生命体征信息例如可以包括患者的呼吸频率、血压、心率、体温等数据信息。

在一些应用场景中，监护仪可以实时采集患者的体征信息，这些体征信息可以视频形态在监护仪中进行展示。终端设备可以从监护仪中获取视频数据，然后可以将视频数据转换为多帧图像，各帧图像中可以包括相应的体征信息。这里的每一帧图像均可以视为上述待识别图像。

应当说明的是，终端设备可以实时从监护仪中获取视频数据，也可以定时从监护仪中获取视频数据，也可以在接收到医护人员的获取指令之后获取视频数据，此处不作限制。

步骤102，通过信息识别模型的图像特征提取模块提取所述待识别图像中表征生理指标区域的图像特征，得到目标特征图；以及通过所述信息识别模型的信息识别模块在所述目标特征图中识别所述体征信息。

终端设备获取到待识别图像之后，可以通过信息识别模型处理待识别图像。具体的，终端设备可以将待识别图像输入信息识别模型中，由信息识别模型识别出体征信息。上述信息识别模型例如可以使用包含YOLO(You Only Look Once，你只看一次，简称YOLO)系列的目标检测算法模型(例如YOLOv5、YOLOv7等)作为图像特征提取模块。图像特征提取模块例如可以应用不同的卷积函数从待识别图像中识别出表征生理指标区域的图像特征，从而得到目标特征图。上述生理指标区域也即包括指标数据的图像区域，其例如可以为记录有呼吸频率数据的图像区域、记录有体温数据的图像区域等。信息识别模块可以从目标特征图中识别出对应的体征信息。在这些应用场景中，信息识别模块例如可以应用OCR(Optical Character Recognition，光学字符识别)算法识别出对应的体征信息。

在本实现方式中，终端设备可以通过信息识别模型自动识别出待处理图像中的体征信息，从而无需医护人员手动获取相关体征信息，改善了由于手动获取带来的体征信息错误、获取速度慢等情况，提高了获取体征信息的准确性以及时效性。

在一些可选的实现方式中，所述图像特征提取模块包括卷积神经网络层、池化操作层以及融合层；

上述卷积神经网络层可以视为包括多个卷积堆叠单元的神经网络层。针对每一个卷积堆叠单元，其可以通过卷积操作得到与之对应的卷积特征图。

应当说明的是，卷积神经网络层所包括的堆叠单元的数量可以预先设置，其例如可以为3个、4个等，此处不作限制。

上述池化操作层可以视为对卷积神经网络层输出的最后一个特征图进行池化操作的神经网络层。在一些应用场景中，上述池化操作例如可以为最大池化操作或者平均池化操作。

上述融合层可以视为将多个卷积特征图与池化特征图进行融合的神经网络层。在一些应用场景中，其例如可以通过像素加权平均法或者基于最大像素值的方法进行融合。上述像素加权平均法例如可以包括为不同特征图中的相同位置处的像素点赋予不同的权重值，则融合图像的对应像素点的像素值可以为各个特征图中像素值的加权和。上述基于最大像素值的方法例如可以为针对不同特征图中的相同位置处的像素点，将最大像素值确定为融合图像的对应像素点的像素值。

这样，上述步骤102中所述的通过信息识别模型的图像特征提取模块提取所述待识别图像中表征生理指标区域的图像特征，得到目标特征图，包括：

子步骤1021，通过所述卷积神经网络层对待识别图像进行卷积计算，得到至少一个卷积特征图；

子步骤1022，通过所述池化操作层对所述卷积神经网络层输出的最后一个卷积特征图进行池化操作，得到池化特征图；

子步骤1023，通过所述融合层融合所述卷积特征图以及所述池化特征图，得到所述目标特征图。

在本实现方式中，可以通过卷积神经网络层、池化操作层以及融合层连续对待识别图像进行处理，从而提取出较为准确的图像特征。

在一些可选的实现方式中，所述卷积神经网络层包括多个初始卷积层以及多个自注意力连接层；其中，至少一个所述初始卷积层和至少一个所述自注意力连接层构成所述卷积神经网络层的堆叠单元；

上述初始卷积层可以视为初步执行卷积操作的网络层，其可以应用卷积函数、归一化函数以及激活函数等处理待识别图像。

上述自注意力连接层可以视为使用自注意力机制的网络层，其例如可以应用多尺度通道注意力机制、空间注意力机制等处理所述初始卷积层的输出结果。

这样，上述子步骤1021中所述的通过所述卷积神经网络层对待识别图像进行卷积计算，得到至少一个卷积特征图，包括：针对每一个所述堆叠单元，通过所述初始卷积层对所述待识别图像进行卷积计算，得到卷积结果；以及通过所述自注意力连接层对所述卷积结果执行特征提取操作，得到一个卷积特征图；其中，当前堆叠单元的输入为上一堆叠单元的输出。

也就是说，终端设备可以将待识别图像输入首个堆叠单元，得到首个堆叠单元的输出结果，然后将该输出结果输入第二个堆叠单元，得到第二个输出结果，以此类推，直到所有堆叠单元均执行完成。而在单个堆叠单元内，初始卷积层针对上一层的输出结果执行卷积操作，得到卷积结果，然后通过自注意力连接层基于该卷积结果中不同部分之间的相关性进行特征提取操作，从而得到一个卷积特征图。

在本实现方式中，可以通过上述初始卷积层以及自注意力连接层对待处理图像进行特征提取操作，从而提取出较为准确的图像特征。

在一些应用场景中，各层之间的具体结构例如可以如图2所示。请参阅图2，该YOLOv5模型所包括的图像特征提取模块可以包括像素组合层focus层，其可以提取待识别图像的特征图上的每一个像素点，然后重新组合，以得到特征图高宽降为输入的二分之一，特征图通道数量变为输入的四倍的特征图。然后，该图像特征提取模块还可以包括由初始卷积层Conv2d_BN_LR和自注意力连接层CA_CSP组成的卷积神经网络层，以及池化操作层SPPCSPC、融合层。

在这些应用场景中，图像特征提取模块例如可以接收一个尺寸为(640，640，3)的待识别图像，其中，该尺寸的参数分别表征图像的高度、宽度以及通道数。图像特征提取模块先通过focus层输出尺寸为(320，320，12)的特征图，再通过两个Conv2d_BN_LR层分别输出尺寸为(320，320，64)的特征图以及尺寸为(160，160，128)的特征图；接着通过一个CA_CSP层输出尺寸为(160，160，128)的特征图；然后，图像特征提取模块通过一个Conv2d_BN_LR层和一个CA_CSP层输出尺寸都为(80，80，256)的特征图，作为特征层1；相类似的，图像特征提取模块通过一个Conv2d_BN_LR层和一个CA_CSP层输出尺寸为(40，40，512)的特征图，作为特征层2；然后，通过一个Conv2d_BN_LR层、一个CA_CSP层和一个SPPCSPC层输出尺寸为(20，20，1024)的特征图3。

针对这三个特征图，图像特征提取模块例如可以先将特征图3进行卷积操作(也即经过Conv2D层)之后再进行上采样处理(也即经过UpSampling2D层)，然后将该上采样处理结果与特征图2进行融合处理，并通过CA_CSP层对融合结果进行自注意力处理(也即经过Concat+CA_CSP层)；然后，将自注意力处理结果进行卷积操作(也即经过Conv2D层)之后再进行上采样处理(也即经过UpSampling2D层)，然后将该上采样处理结果与特征图1进行融合处理，并通过CA_CSP层对融合结果进行自注意力处理(也即经过Concat+CA_CSP层)，从而得到首个输出结果。然后，将该自注意力处理结果进行下采样处理(也即经过DownSample层)，并将其与特征图2与特征图3的卷积结果进行融合处理以及自注意力处理，从而得到第二个输出结果。然后，再将该自注意力处理结果进行下采样处理(也即经过DownSample层)，并将其与特征图3的卷积结果进行融合处理以及自注意力处理，从而得到第三个输出结果。

这样，该图像特征提取模块形成了FPN网络，其能够互相融合上下文多个特征图的信息，提升特征提取能力，在一定程度上提高了信息识别模型的识别能力。

在一些可选的实现方式中，所述自注意力连接层包括注意力层以及连接层；

上述注意力层应用CA注意力(Coordinate attention，协调注意力，简称CA注意力)机制，其能够关注特征层的通道信息以及位置信息，从而提取出更加准确的图像特征。

上述连接层基于残差网络建立，其能够更好地捕捉图像特征的细节以及上下文信息，提高模型的表达能力。

这样，所述通过所述自注意力连接层对所述卷积结果执行特征提取操作，得到一个卷积特征图，包括：

子步骤1，通过所述注意力层提供的CA注意力机制对所述初始卷积层的输出结果进行特征提取操作，得到注意力层特征图；

在一些可选的实现方式中，上述步骤1可以包括通过所述注意力层执行以下操作：

首先，从通道维度对所述初始卷积层的输出结果进行池化操作，得到通道特征图；

然后，从空间维度对所述初始卷积层的输出结果进行池化操作，得到空间特征图；

其次，融合所述通道特征图以及所述空间特征图，得到通道-空间融合图像；

其次，通过卷积核不同的卷积层对所述通道-空间融合图像进行卷积计算，得到异核卷积结果；

最后，融合所述异核卷积结果以及所述初始卷积层的输出结果，得到所述注意力层特征图。

在本实现方式中，可以通过CA注意力机制关注图像特征层的通道信息以及位置信息，从而提取出更加准确的图像特征。

子步骤2，通过所述连接层对所述初始卷积层的输出结果进行特征提取操作，得到连接层特征图；

在一些可选的实现方式中，所述连接层包括多个级联的残差子模块；以及上述子步骤2中所述的通过所述连接层对所述初始卷积层的输出结果进行特征提取操作，得到连接层特征图，包括通过所述连接层执行以下操作：

首先，通过多个级联的残差子模块对所述初始卷积层的输出结果逐步进行特征提取操作，得到残差特征图；

上述残差子模块也即Res_Block模块，多个级联的Res_Block模块是构成ResNet网络结构的基础模块。通过将多个级联的Res_Block模块堆叠起来，可以更好地捕捉到图像特征的细节以及上下文信息，得到更加准确的残差特征图。

然后，融合所述残差特征图以及所述初始卷积层的输出结果，得到所述连接层特征图。

在本实现方式中，可以通过多个级联的残差子模块更好地捕捉图像特征的细节以及上下文信息，从而可以提高图像提取模块的表达能力。

子步骤3，融合所述注意力层特征图以及所述连接层特征图，得到所述卷积特征图。

在本实现方式中，可以结合自注意力机制以及残差网络对待识别图像进行处理，利于得到更加准确的图像特征。

在一些应用场景中，自注意力连接层的具体结构例如可以如图3所示。其中，来自上一层的图像特征在经过Base_Layer层(输入层)之后，分别输入两个Conv2d_BN_LR层中。其中，一个Conv2d_BN_LR层的输出结果被划分为三个分支，其一为不作任何处理，其二为经过X_Avg_Pool层从通道维度对该Conv2d_BN_LR层的输出结果进行池化操作，得到通道特征图；其三为通过Y_Avg_Pool从空间维度对该Conv2d_BN_LR层的输出结果进行池化操作，得到空间特征图，然后经过Concat_Conv2d_BN层融合通道特征图以及空间特征图，得到通道-空间融合图像；然后再经过卷积核不同的2个Conv2d_Sigmoid层分别进行卷积计算，得到异核卷积结果；然后经过Re_Weight层，以利用像素加权平均法融合异核卷积结果以及上述不作任何处理的图像特征图，得到注意力层特征图。

然后，另一个Conv2d_BN_LR层的输出结果被划分为两个分支。其中一个分支不作任何处理，另一个分支经过堆叠的Res_Block模块对该Conv2d_BN_LR层的输出结果进行残差处理，得到残差特征图。然后，经过Concat层对该残差特征图以及不作任何处理的图像特征图进行融合，得到连接层特征图。

最后，再经过一个Concat层将连接层特征图以及注意力层特征图进行融合，得到准确度较高的卷积特征图。

在一些可选的实现方式中，所述池化操作层包括至少两个分支结构，其中，第一分支结构包括至少一个初始卷积层以及并联的多个卷积层；其中，所述并联的多个卷积层的卷积核不同；所述至少一个初始卷积层的输出为所述并联的多个卷积层的输入；第二分支结构包括至少一个初始卷积层；

上述步骤102中所述的通过所述池化操作层对所述卷积神经网络层输出的最后一个卷积特征图进行池化操作，得到池化特征图，包括：

首先，通过所述第一分支结构对所述卷积特征图进行卷积操作，得到第一池化卷积结果；

然后，通过所述第二分支结构对所述卷积特征图执行多次卷积操作，得到第二池化卷积结果；

最后，融合所述第一池化卷积结果以及所述第二池化卷积结果，得到所述池化特征图。

在一些应用场景中，上述池化操作层的具体结构例如可以如图4所示。其中，来自上一层的图像特征图经过输入层(也即Inputs层)输入池化操作层，然后该输入层的输出结果通过两个分支结构进行处理。

其中，第一分支结构经过一个Conv2d_BN_LR层对特征图进行卷积操作，然后该卷积结果被划分为4路进行处理，其中第一路并未执行任何处理，第二路经过卷积核为5*5的网络层进行卷积操作，第三路经过卷积核为9*9的网络层进行卷积操作，第四路经过卷积核为13*13的网络层进行卷积操作，并将4路输出的卷积结果进行步长为1的最大池化操作，从而可以得到第一池化卷积结果。该第一池化卷积结果还可以经过两层Conv2d_BN_LR层进行卷积操作，以提高图像特征图的准确性；

第二分支包括多个Conv2d_BN_LR层，以对特征图进行多次卷积操作，得到第二池化卷积结果。

然后将第一池化卷积结果和第二池化卷积结果经过一个Conv2d_BN_RL层进行融合，得到池化特征图。

在本实现方式中，可以通过第一分支结构以及第二分支结构对输入的卷积特征图进行处理，从而得到较为准确的池化特征图。

在一些可选的实现方式中，在所述通过信息识别模型的图像特征提取模块提取所述待识别图像中表征生理指标区域的图像特征，得到目标特征图之前，所述方法还包括：训练所述信息识别模型；其中，在训练过程中所使用的损失函数至少包括以下三者：分类损失函数、置信度损失函数以及定位损失函数。

信息识别模型在投入使用之前，需要先对其进行训练。

在一些应用场景中，可以将样本数据集划分为训练集、验证集以及测试集。示例性的，训练集、验证集以及测试集的数据量之比可以为8:1:1。训练集用于训练信息识别模型，验证集用于评估信息识别模型，测试集用于测试模型是否合格。

在这些应用场景中，针对于训练集中的样本数据，图像特征提取模块对其的处理过程可以与前文中对待识别图像的处理过程相同或相似，此处不赘述。

在这些应用场景中，当图像特征提取模块输出每一个样本数据对应的目标特征图之后，需要计算该目标特征图与待识别图像的原始特征图之间的损失值。

这样，当信息识别模型基于Yolov5模型建立时，其损失值例如可以通过包括分类损失函数、置信度损失函数以及定位损失函数的损失函数计算。

在计算出损失值之后，则可以通过验证集评价该Yolov5模型。在一些应用场景中，例如可以通过分类性能评价指标mAP(mean Average Precision，平均精度，简称mAP)进行评价，也即，通过mAP表示所有类别的平均精度值，其中“精度”是指模型检测到的结果与真实数据之间的匹配程度。

在一些应用场景中，评价的过程可以包括以下步骤：

步骤a，对于每个类别，将所有预测结果按照其置信度从高到低排序。

步骤b，依次计算每个预测结果的Precision和Recall。其中，Precision表示正确检测的目标数占所有检测出的目标数的比例，Recall表示正确检测的目标数占所有真实目标数的比例。

在一些应用场景中，Precision的计算公式可以为：Recall的计算公式可以为：/>其中，TP表示预测为正类，实际也是正类的样本数量，FP表示预测为正类，实际是负类的样本数量，TN表示预测为负类，实际是正类的样本数量。

步骤c，根据Precision和Recall绘制Precision-Recall曲线。

步骤d，计算PR曲线下的面积(Average Precision，简称AP)作为该类别的精度值。

步骤e，计算所有类别的AP平均值，得到mAP。其中，mAP的计算公式为：mAP＝(AP_1+AP_2+...+AP_n)/n；其中，n表示所有类别的数量，AP_n表示第n类别的平均精度值。

在本实现方式中，可以通过分类损失函数、置信度损失函数以及定位损失函数所组成的损失函数训练信息识别模型，在一定程度上提高了信息识别模型的识别能力。

本领域技术人员可以理解，在具体实施例的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。

请参考图5，其示出了本申请实施例提供的一种体征信息识别***的结构框图，该体征信息识别***可以是电子设备上的模块、程序段或代码。应理解，该***与上述图1方法实施例对应，能够执行图1方法实施例涉及的各个步骤。

可选地，上述体征信息识别***包括获取模块501以及识别模块502。其中，获取模块501，用于获取待识别图像；所述待识别图像中包括体征信息；识别模块502，用于通过信息识别模型的图像特征提取模块提取所述待识别图像中表征生理指标区域的图像特征，得到目标特征图；以及通过所述信息识别模型的信息识别模块在所述目标特征图中识别所述体征信息。

可选地，所述图像特征提取模块包括卷积神经网络层、池化操作层以及融合层；以及识别模块502进一步用于：通过所述卷积神经网络层对待识别图像进行卷积计算，得到至少一个卷积特征图；通过所述池化操作层对所述卷积神经网络层输出的最后一个卷积特征图进行池化操作，得到池化特征图；通过所述融合层融合所述卷积特征图以及所述池化特征图，得到所述目标特征图。

可选地，所述卷积神经网络层包括多个初始卷积层以及多个自注意力连接层；其中，至少一个所述初始卷积层和至少一个所述自注意力连接层构成所述卷积神经网络层的堆叠单元；以及识别模块502进一步用于：针对每一个所述堆叠单元，通过所述初始卷积层对所述待识别图像进行卷积计算，得到卷积结果；以及通过所述自注意力连接层对所述卷积结果执行特征提取操作，得到一个卷积特征图；其中，当前堆叠单元的输入为上一堆叠单元的输出。

可选地，所述自注意力连接层包括注意力层以及连接层；以及识别模块502进一步用于：通过所述注意力层提供的CA注意力机制对所述初始卷积层的输出结果进行特征提取操作，得到注意力层特征图；以及通过所述连接层对所述初始卷积层的输出结果进行特征提取操作，得到连接层特征图；融合所述注意力层特征图以及所述连接层特征图，得到所述卷积特征图。

可选地，所述识别模块502进一步用于通过所述注意力层执行以下操作：从通道维度对所述初始卷积层的输出结果进行池化操作，得到通道特征图；从空间维度对所述初始卷积层的输出结果进行池化操作，得到空间特征图；融合所述通道特征图以及所述空间特征图，得到通道-空间融合图像；通过卷积核不同的卷积层对所述通道-空间融合图像进行卷积计算，得到异核卷积结果；融合所述异核卷积结果以及所述初始卷积层的输出结果，得到所述注意力层特征图。

可选地，所述连接层包括多个级联的残差子模块；以及识别模块502进一步用于通过所述连接层执行以下操作：通过多个级联的残差子模块对所述初始卷积层的输出结果逐步进行特征提取操作，得到残差特征图；融合所述残差特征图以及所述初始卷积层的输出结果，得到所述连接层特征图。

可选地，所述池化操作层包括至少两个分支结构，其中，第一分支结构包括至少一个初始卷积层以及并联的多个卷积层；其中，所述并联的多个卷积层的卷积核不同；所述至少一个初始卷积层的输出为所述并联的多个卷积层的输入；第二分支结构包括至少一个初始卷积层；以及识别模块502进一步用于：通过所述第一分支结构对所述卷积特征图进行卷积操作，得到第一池化卷积结果；通过所述第二分支结构对所述卷积特征图执行多次卷积操作，得到第二池化卷积结果；融合所述第一池化卷积结果以及所述第二池化卷积结果，得到所述池化特征图。

可选地，所述***还包括训练模块，上述训练模块用于：在所述通过信息识别模型的图像特征提取模块提取所述待识别图像中表征生理指标区域的图像特征，得到目标特征图之前，训练所述信息识别模型；其中，在训练过程中所使用的损失函数至少包括以下三者：分类损失函数、置信度损失函数以及定位损失函数。

在一些应用场景中，体征信息识别***还可以包括数据存储模块；该数据存储模块用于存储每一个处理环节所产生的处理结果数据，以便于后续能够基于这些处理结果数据进行数据分析与挖掘操作。其例如可以使用MySQL关系型数据库，并采用批量存储方式存储数据。在这些应用场景中，还可以定期备份数据库中的数据，从而应对数据丢失、数据损坏等突发情况。

在一些应用场景中，体征信息识别***还可以包括数据可视化模块。该数据可视化模块用于将数据用可视化方式进行展示，以使医护人员能够直观监测到患者的生命体征；

在一些应用场景中，体征信息识别***还可以包括数据分析模块，该数据分析模块可以用于对采集到的体征信息进行分析和统计，以便更好了解数据的分布趋势，以及在发现异常数据时可以及时处理。

在一些应用场景中，上述***可以应用于ICU(Intensive Care Unit，重症加强护理病房，简称ICU)中，以自动采集患者的体征信息，帮助医护人员在ICU中快速准确地获取到体征信息。

需要说明的是，本领域技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再重复描述。

请参照图6，图6为本申请实施例提供的一种用于执行体征信息识别方法的电子设备的结构示意图，所述电子设备可以包括：至少一个处理器601，例如CPU，至少一个通信接口602，至少一个存储器603和至少一个通信总线604。其中，通信总线604用于实现这些组件直接的连接通信。其中，本申请实施例中设备的通信接口602用于与其他节点设备进行信令或数据的通信。存储器603可以是高速RAM存储器，也可以是非易失性的存储器(non-volatile memory)，例如至少一个磁盘存储器。存储器603可选的还可以是至少一个位于远离前述处理器的存储装置。存储器603中存储有计算机可读取指令，当所述计算机可读取指令由所述处理器601执行时，电子设备可以执行上述图1所示方法过程。

可以理解，图6所示的结构仅为示意，所述电子设备还可包括比图6中所示更多或者更少的组件，或者具有与图6所示不同的配置。图6中所示的各组件可以采用硬件、软件或其组合实现。

本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，可以执行如图1所示方法实施例中电子设备所执行的方法过程。

本申请实施例提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法，例如，该方法可以包括：获取待识别图像；所述待识别图像中包括体征信息；通过信息识别模型的图像特征提取模块提取所述待识别图像中表征生理指标区域的图像特征，得到目标特征图；以及通过所述信息识别模型的信息识别模块在所述目标特征图中识别所述体征信息。

在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

另外，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

再者，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。

以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (11)

1.一种体征信息识别方法，其特征在于，包括：

获取待识别图像；所述待识别图像中包括体征信息；

通过信息识别模型的图像特征提取模块提取所述待识别图像中表征生理指标区域的图像特征，得到目标特征图；以及通过所述信息识别模型的信息识别模块在所述目标特征图中识别所述体征信息。

2.根据权利要求1所述的方法，其特征在于，所述图像特征提取模块包括卷积神经网络层、池化操作层以及融合层；以及

所述通过信息识别模型的图像特征提取模块提取所述待识别图像中表征生理指标区域的图像特征，得到目标特征图，包括：

通过所述卷积神经网络层对待识别图像进行卷积计算，得到至少一个卷积特征图；

通过所述池化操作层对所述卷积神经网络层输出的最后一个卷积特征图进行池化操作，得到池化特征图；

通过所述融合层融合所述卷积特征图以及所述池化特征图，得到所述目标特征图。

3.根据权利要求2所述的方法，其特征在于，所述卷积神经网络层包括多个初始卷积层以及多个自注意力连接层；其中，至少一个所述初始卷积层和至少一个所述自注意力连接层构成所述卷积神经网络层的堆叠单元；以及所述通过所述卷积神经网络层对待识别图像进行卷积计算，得到至少一个卷积特征图，包括：

针对每一个所述堆叠单元，通过所述初始卷积层对所述待识别图像进行卷积计算，得到卷积结果；以及

通过所述自注意力连接层对所述卷积结果执行特征提取操作，得到一个卷积特征图；

其中，当前堆叠单元的输入为上一堆叠单元的输出。

4.根据权利要求3所述的方法，其特征在于，所述自注意力连接层包括注意力层以及连接层；以及

所述通过所述自注意力连接层对所述卷积结果执行特征提取操作，得到一个卷积特征图，包括：

通过所述注意力层提供的CA注意力机制对所述初始卷积层的输出结果进行特征提取操作，得到注意力层特征图；以及

通过所述连接层对所述初始卷积层的输出结果进行特征提取操作，得到连接层特征图；

融合所述注意力层特征图以及所述连接层特征图，得到所述卷积特征图。

5.根据权利要求4所述的方法，其特征在于，所述通过所述注意力层提供的CA注意力机制对所述初始卷积层的输出结果进行特征提取操作，得到注意力层特征图，包括通过所述注意力层执行以下操作：

从通道维度对所述初始卷积层的输出结果进行池化操作，得到通道特征图；

从空间维度对所述初始卷积层的输出结果进行池化操作，得到空间特征图；

融合所述通道特征图以及所述空间特征图，得到通道-空间融合图像；

通过卷积核不同的卷积层对所述通道-空间融合图像进行卷积计算，得到异核卷积结果；

融合所述异核卷积结果以及所述初始卷积层的输出结果，得到所述注意力层特征图。

6.根据权利要求4所述的方法，其特征在于，所述连接层包括多个级联的残差子模块；以及

所述通过所述连接层对所述初始卷积层的输出结果进行特征提取操作，得到连接层特征图，包括通过所述连接层执行以下操作：

通过多个级联的残差子模块对所述初始卷积层的输出结果逐步进行特征提取操作，得到残差特征图；

融合所述残差特征图以及所述初始卷积层的输出结果，得到所述连接层特征图。

7.根据权利要求2所述的方法，其特征在于，所述池化操作层包括至少两个分支结构，其中，第一分支结构包括至少一个初始卷积层以及并联的多个卷积层；其中，所述并联的多个卷积层的卷积核不同；所述至少一个初始卷积层的输出为所述并联的多个卷积层的输入；第二分支结构包括至少一个初始卷积层；以及

所述通过所述池化操作层对所述卷积神经网络层输出的最后一个卷积特征图进行池化操作，得到池化特征图，包括：

通过所述第一分支结构对所述卷积特征图进行卷积操作，得到第一池化卷积结果；

通过所述第二分支结构对所述卷积特征图执行多次卷积操作，得到第二池化卷积结果；

融合所述第一池化卷积结果以及所述第二池化卷积结果，得到所述池化特征图。

8.根据权利要求2-7任一项所述的方法，其特征在于，在所述通过信息识别模型的图像特征提取模块提取所述待识别图像中表征生理指标区域的图像特征，得到目标特征图之前，所述方法还包括：

训练所述信息识别模型；

其中，在训练过程中所使用的损失函数至少包括以下三者：分类损失函数、置信度损失函数以及定位损失函数。

9.一种体征信息识别***，其特征在于，包括：

获取模块，用于获取待识别图像；所述待识别图像中包括体征信息；

识别模块，用于通过信息识别模型的图像特征提取模块提取所述待识别图像中表征生理指标区域的图像特征，得到目标特征图；以及通过所述信息识别模型的信息识别模块在所述目标特征图中识别所述体征信息。

10.一种电子设备，其特征在于，包括处理器以及存储器，所述存储器存储有计算机可读取指令，当所述计算机可读取指令由所述处理器执行时，运行如权利要求1-8任一所述的方法。

11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时运行如权利要求1-8任一所述的方法。