CN114067442A - 洗手动作检测方法、模型训练方法、装置及电子设备 - Google Patents

Abstract

本申请提供一种洗手动作检测方法、模型训练方法、装置及电子设备。洗手动作检测方法包括：输出第一提示信息，第一提示信息用于提示用户待进行的洗手步骤，并获取用户洗手时的实时动作视频；将实时动作视频输入时空关系检测模型，得到实时动作视频对应的实时动作时空关系图，实时动作时空关系图用于表征用户洗手时用户的手与目标对象的时空关系，目标对象与洗手相关；根据实时动作时空关系图以及洗手步骤对应的标准洗手动作视频的标准动作时空关系图，确定用户的洗手动作的检测结果，检测结果包括正确或错误。从而，实现了对洗手动作的检测。

Description

洗手动作检测方法、模型训练方法、装置及电子设备

技术领域

本申请涉及深度学习技术，尤其涉及一种洗手动作检测方法、模型训练方法、装置及电子设备。

背景技术

在食品加工、药品生产、医护工作的过程中，常常要求工作人员进行严格规范的洗手以保证卫生安全，常用的规范洗手方法为七步洗手法，要求按照七步洗手动作来完成洗手。

但是，在实际场景中，许多人员往往仅随意用水冲洗就完成洗手了，洗手动作是否正确无从得知，卫生安全得不到保证。因此，目前亟需一种洗手动作的检测方法。

发明内容

本申请提供一种洗手动作检测方法、模型训练方法、装置及电子设备，实现了对洗手动作的检测。

第一方面，本申请提供一种洗手动作检测方法，包括：

输出第一提示信息，所述第一提示信息用于提示用户待进行的洗手步骤，并获取用户洗手时的实时动作视频；

将所述实时动作视频输入时空关系检测模型，得到所述实时动作视频对应的实时动作时空关系图，所述实时动作时空关系图用于表征所述用户洗手时所述用户的手与目标对象的时空关系，所述目标对象与洗手相关；

根据所述实时动作时空关系图以及所述洗手步骤对应的标准洗手动作视频的标准动作时空关系图，确定所述用户的洗手动作的检测结果，所述检测结果包括正确或错误。

在一种实施方式中，所述将所述实时动作视频输入时空关系检测模型，得到所述实时动作视频对应的实时动作时空关系图，包括：

将所述实时动作视频输入所述时空关系检测模型，通过所述时空关系检测模型中的时空管道生成网络，生成所述实时动作视频中所有对象的时空管道；

通过所述时空关系检测模型中的残差密度嵌套网络，将每个时空管道作为图节点，生成初始时空关系图；

通过所述时空关系检测模型中的高斯混合层，对所述初始时空关系图进行特征提取，得到所述实时动作时空关系图。

在一种实施方式中，所述通过所述时空关系检测模型中的时空管道生成网络，生成所述实时动作视频中所有对象的时空管道，包括：

将所述实时动作视频分割为多个视频片段，通过所述时空关系检测模型中的时空管道生成网络，生成所述实时动作视频的每个视频片段中的对象的时空管道。

在一种实施方式中，所述通过所述时空关系检测模型中的残差密度嵌套网络，将每个时空管道作为图节点，生成初始时空关系图，包括：

通过所述时空关系检测模型中的残差密度嵌套网络，将每个时空管道作为图节点，根据所述时空管道对应的对象的时空相互作用，确定图节点之间的边，以生成所述初始时空关系图。

在一种实施方式中，所述根据所述实时动作时空关系图以及所述洗手步骤对应的标准洗手动作视频的标准动作时空关系图，确定所述用户的洗手动作的检测结果，包括：

确定所述实时动作时空关系图与所述标准动作时空关系图的相似度；

若所述相似度大于或等于相似度阈值，则确定所述检测结果为正确；

若所述相似度小于所述相似度阈值，则确定所述检测结果为错误。

在一种实施方式中，所述方法还包括：

若所述检测结果为正确，则输出第二提示信息，所述第二提示信息用于提示用户进行下一个步骤的洗手动作；

若所述检测结果为错误，则输出第三提示信息，所述第三提示信息用于提示用户重复本步骤的洗手动作。

第二方面，本申请提供一种时空关系检测模型的训练方法，包括：

获取样本洗手动作视频，所述样本洗手动作视频中的洗手动作为标准动作；

将所述样本洗手动作视频输入初始时空关系检测模型，得到样本动作时空关系图；所述样本动作时空关系图用于表征所述样本洗手动作视频中的手与目标对象的时空关系，所述目标对象与洗手相关；

根据所述样本动作时空关系图，更新所述初始时空关系检测模型的参数，以得到所述时空关系检测模型。

在一种实施方式中，所述根据所述样本动作时空关系图，更新所述初始时空关系检测模型的参数，包括：

根据所述样本动作时空关系图的特征分布与高斯分布的相对熵，更新所述初始时空关系检测模型的参数。

在一种实施方式中，所述将所述样本洗手动作视频输入初始时空关系检测模型，得到样本动作时空关系图，包括：

将所述样本洗手动作视频输入初始时空关系检测模型，通过所述初始时空关系检测模型中的时空管道生成网络，生成所述样本洗手动作视频中所有对象的时空管道；

通过所述初始时空关系检测模型中的残差密度嵌套网络，将每个时空管道作为图节点，生成初始时空关系图；

通过所述初始时空关系检测模型中的高斯混合层，对所述初始时空关系图进行特征提取，得到所述样本动作时空关系图。

在一种实施方式中，还包括：

将标准洗手动作视频输入所述时空关系检测模型，得到所述标准洗手动作视频对应的标准动作时空关系图。

第三方面，本申请提供一种洗手动作检测装置，包括：

输出模块，用于输出第一提示信息，所述第一提示信息用于提示用户待进行的洗手步骤，并获取用户洗手时的实时动作视频；

输入模块，用于将所述实时动作视频输入时空关系检测模型，得到所述实时动作视频对应的实时动作时空关系图，所述实时动作时空关系图用于表征所述用户洗手时所述用户的手与目标对象的时空关系，所述目标对象与洗手相关；

判断模块，用于根据所述实时动作时空关系图以及所述洗手步骤对应的标准洗手动作视频的标准动作时空关系图，确定所述用户的洗手动作的检测结果，所述检测结果包括正确或错误。

在一种实施方式中，所述输入模块用于：

将所述实时动作视频输入所述时空关系检测模型，通过所述时空关系检测模型中的时空管道生成网络，生成所述实时动作视频中所有对象的时空管道；

通过所述时空关系检测模型中的残差密度嵌套网络，将每个时空管道作为图节点，生成初始时空关系图；

通过所述时空关系检测模型中的高斯混合层，对所述初始时空关系图进行特征提取，得到所述实时动作时空关系图。

在一种实施方式中，所述输入模块用于：

将所述实时动作视频分割为多个视频片段，通过所述时空关系检测模型中的时空管道生成网络，生成所述实时动作视频的每个视频片段中的对象的时空管道。

在一种实施方式中，所述输入模块用于：

通过所述时空关系检测模型中的残差密度嵌套网络，将每个时空管道作为图节点，根据所述时空管道对应的对象的时空相互作用，确定图节点之间的边，以生成所述初始时空关系图。

在一种实施方式中，所述判断模块用于：

确定所述实时动作时空关系图与所述标准动作时空关系图的相似度；

若所述相似度大于或等于相似度阈值，则确定所述检测结果为正确；

若所述相似度小于所述相似度阈值，则确定所述检测结果为错误。

在一种实施方式中，所述输出模块还用于：

若所述检测结果为正确，则输出第二提示信息，所述第二提示信息用于提示用户进行下一个步骤的洗手动作；

若所述检测结果为错误，则输出第三提示信息，所述第三提示信息用于提示用户重复本步骤的洗手动作

第四方面，本申请提供一种时空关系检测模型的训练装置，包括：

获取模块，用于获取样本洗手动作视频，所述样本洗手动作视频中的洗手动作为标准动作；

输入模块，用于将所述样本洗手动作视频输入初始时空关系检测模型，得到样本动作时空关系图；所述样本动作时空关系图用于表征所述样本洗手动作视频中的手与目标对象的时空关系，所述目标对象与洗手相关；

更新模块，用于根据所述样本动作时空关系图，更新所述初始时空关系检测模型的参数，以得到所述时空关系检测模型。

在一种实施方式中，所述更新模块用于：

根据所述样本动作时空关系图的特征分布与高斯分布的相对熵，更新所述初始时空关系检测模型的参数。

在一种实施方式中，所述输入模块用于：

将所述样本洗手动作视频输入初始时空关系检测模型，通过所述初始时空关系检测模型中的时空管道生成网络，生成所述样本洗手动作视频中所有对象的时空管道；

通过所述初始时空关系检测模型中的残差密度嵌套网络，将每个时空管道作为图节点，生成初始时空关系图；

通过所述初始时空关系检测模型中的高斯混合层，对所述初始时空关系图进行特征提取，得到所述样本动作时空关系图。

在一种实施方式中，还包括：

标准模块，用于将标准洗手动作视频输入所述时空关系检测模型，得到所述标准洗手动作视频对应的标准动作时空关系图。

第五方面，本申请提供一种电子设备，包括存储器和处理器，所述存储器和处理器连接；

所述存储器用于存储计算机程序；

所述处理器用于在所述计算机程序被执行时，实现如第一方面或第二方面所述的方法。

第四方面，本申请提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现如上述第一方面或第二方面所述的方法。

第五方面，本申请提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现第一方面或第二方面所述的方法。

本申请提供一种洗手动作检测方法、模型训练方法、装置及电子设备，采用时空关系检测模型提取用户洗手时的实时动作视频的实时动作时空关系图，基于实时动作时空关系图与标准动作时空关系图的相似度，判断洗手动作是否正确，实现了准确的洗手动作检测。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种洗手动作检测方法的流程示意图；

图2为本申请实施例提供的一种时空关系检测模型的框架示意图；

图3为本申请实施例提供的一种时空关系检测模型的处理方法示意图；

图4为本申请实施例提供的一种时空关系检测模型的训练方法的流程示意图；

图5为本申请实施例提供的一种洗手动作检测装置的结构示意图；

图6为本申请实施例提供的一种时空关系检测模型的训练装置的结构示意图；

图7为本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请实施例中利用洗手动作的时空关系检测模型来对用户洗手时的实时动作视频进行检测，得到实时动作视频中手与其他目标对象的实时动作时空关系，利用该实时动作时空关系图以及标准洗手动作视频的标准动作时空关系图，确定用户洗手动作是否正确，实现了对洗手动作的检测。

下面通过具体的实施例对本申请提供的洗手动作检测方法进行详细地说明。可以理解的是，下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。

图1为本申请实施例提供的一种洗手动作检测方法的流程示意图。该方法的执行主体为洗手动作检测装置，该装置可以通过软件和/或硬件的方式实现。如图1所示，该方法包括：

S101、输出第一提示信息，第一提示信息用于提示用户待进行的洗手步骤，并获取用户洗手时的实时动作视频。

第一提示信息可以是语音形式或文字形式，示例的，洗手动作检测装置具有语音播报设备，用于播报语音形式的第一提示信息，或者洗手动作检测装置具有用户界面，用于显示文字形式的第一提示信息。由于标准的洗手动作是包括多个步骤的，本申请实施例中需要用户按照标准逐个步骤进行洗手，因此由洗手动作检测装置输出第一提示信息来提示用户待进行的洗手步骤，这样用户可以根据第一提示信息进行相应的洗手动作，洗手动作检测装置则通过摄像状态拍摄获取用户洗手时的实时动作视频。

S102、将实时动作视频输入时空关系检测模型，得到实时动作视频对应的实时动作时空关系图，实时动作时空关系图用于表征用户洗手时用户的手与目标对象的时空关系，目标对象与洗手相关。

时空关系检测模型的输入为实时动作视频，输出为实时动作时空关系图。目标对象是从实时动作视频中检测到的与洗手相关的对象，例如肥皂、洗手液、水龙头、水流等，实时动作时空关系图从时间和空间的维度体现手与目标对象之间的关系，即时空关系。

S103、根据实时动作时空关系图以及洗手步骤对应的标准洗手动作视频的标准动作时空关系图，确定用户的洗手动作的检测结果，检测结果包括正确或错误。

洗手步骤对应的标准洗手动作视频是洗手步骤对应的洗手动作正确的视频，该标准洗手动作视频对应的标准动作时空关系图可以是预先将标准洗手动作视频输入时空关系检测模型得到的。可选的，确定实时动作时空关系图与标准动作时空关系图的相似度；若相似度大于或等于相似度阈值，则确定检测结果为正确；若相似度小于相似度阈值，则确定检测结果为错误。示例的，时动作时空关系图与标准动作时空关系图的相似度可以采用结构相似性（Structural Similarity，SSIM）指标进行衡量。

本申请实施例的方法，采用时空关系检测模型提取用户洗手时的实时动作视频的实时动作时空关系图，基于实时动作时空关系图与标准动作时空关系图的相似度，判断洗手动作是否正确，实现了准确的洗手动作检测。

在上述实施例的基础上，若检测结果为正确，则输出第二提示信息，第二提示信息用于提示用户进行下一个步骤的洗手动作；若检测结果为错误，则输出第三提示信息，第三提示信息用于提示用户重复本步骤的洗手动作；直至完成所有洗手步骤。

以下对本申请实施例中的时空关系检测模型进行介绍。如图2中所示的模型框架，时空关系检测模型中包括时空管道生成网络（Tubelet Proposal Network，TPN）、残差密度嵌套网络（residual-in-residual dense block，RRDB）和高斯混合层。时空管道生成网络可以为一个或多个，每个时空管道生成网络用于处理一个视频片段。时空管道生成网络可以是基于3D卷积神经网络（P3D ResNet）的。

S102中将实时动作视频输入时空关系检测模型，得到实时动作时空关系图的过程如图3所示，以下对图3进行说明。

S301、将实时动作视频输入时空关系检测模型，通过时空关系检测模型中的时空管道生成网络，生成实时动作视频中所有对象的时空管道。

可选的，将实时动作视频分割为多个视频片段，通过时空关系检测模型中的时空管道生成网络，生成实时动作视频的每个视频片段中的对象的时空管道。将各视频片段分别输入各时空管道生成网络，每个时空管道生成网络输出该视频片段中的对象的时空管道，该对象可以包括手、与洗手相关的目标对象，也可以包括视频片段中的其他对象。

其中，时空管道生成网络对每个视频片段的处理过程如下：时空管道生成网络中的三维动作检测器在视频片段的起始帧中确定对象的候选框，例如，手的候选框，水龙头的候选框，水的候选框，洗手液的候选框以及可能存在的其他对象的候选框，之后进一步估计每个候选框在当前帧中的移动，然后在后续帧中生成相应的候选框，确定出所有帧中的对象的候选框后，将同一对象跨连续帧的候选框连接生成该对象的时空管道，得到对象在时间和空间维度的特征。

S302、通过时空关系检测模型中的残差密度嵌套网络，将每个时空管道作为图节点，生成初始时空关系图。

初始时空关系图是通过挖掘所有时空管道之间的时空相互作用得到的，通过时空关系检测模型中的残差密度嵌套网络，将每个时空管道作为图节点，根据时空管道对应的对象的时空相互作用，确定图节点之间的边，以生成初始时空关系图。

可选的，通过残差密度嵌套网络，将每个视频片段中的所有时空管道作为图节点，将图节点之间的密集连接作为图的边，提取图节点和边对应的特征图，生成初始时空关系图。其中，图节点之间的密集连接根据时空管道对应的对象的候选框的时空关系确定，若时空管道对应的对象的候选框有重叠部分，则确定图节点之间有密集连接。初始时空关系图中的图节点和边表征了实时动作视频中的所有对象之间的时空关系。

S303、通过时空关系检测模型中的高斯混合层，对初始时空关系图进行特征提取，得到实时动作时空关系图。

由于时空管道生成网络在生成对象的时空管道时，其中可能包括了检测到的与洗手无关的对象的时空管道，因此初始时空关系图中的图节点和边中也可能包括了与洗手无关的部分，因此，采用高斯混合层，对初始时空关系图进行特征提取，得到实时动作时空关系图，实时动作时空关系图中仅包括了手以及与洗手相关的目标对象所对应的图节点和边。初始时空关系图可以称为完整时空关系图，实时动作时空关系图可以称为初始时空关系图的子图。

通过时空关系检测模型，从时间和空间的维度，准确得到用户洗手时的实时动作视频中手与目标对象之间的时空关系，从而基于该时空关系与标准动作时空关系的相似度，确定洗手动作是否正确，提高了检测准确性。

上述实施例中对时空关系检测模型的框架和其对实时动作视频的处理过程进行了介绍。以下再对时空关系检测模型的训练进行说明。

图4为本申请实施例提供的一种时空关系检测模型的训练方法的流程示意图。如图4所示，该方法包括：

S401、获取样本洗手动作视频，样本洗手动作视频中的洗手动作为标准动作。

样本洗手动作视频为标准洗手动作视频，可以通过预先标准洗手动作视频数据库，将数据库中的标准洗手动作视频作为样本进行模型训练，数据中的视频可以具有不同视觉角度、不同视觉距离。

S402、将样本洗手动作视频输入初始时空关系检测模型，得到样本动作时空关系图；样本动作时空关系图用于表征样本洗手动作视频中的手与目标对象的时空关系，目标对象与洗手相关。

将样本洗手动作视频输入初始时空关系检测模型，通过初始时空关系检测模型中的时空管道生成网络，生成样本洗手动作视频中所有对象的时空管道；通过初始时空关系检测模型中的残差密度嵌套网络，将每个时空管道作为图节点，生成初始时空关系图；通过初始时空关系检测模型中的高斯混合层，对初始时空关系图进行特征提取，得到样本动作时空关系图。

其中，时空管道生成网络、残差密度嵌套网络以及高斯混合层对样本洗手动作视频的处理过程与前述实施例中步骤S302中对实时动作视频的处理过程类似，此处不再赘述。

S403、根据样本动作时空关系图，更新初始时空关系检测模型的参数，以得到时空关系检测模型。

对模型优化的目标是使其输出的样本动作时空关系图的特征分布符合高斯分布，可选的，将样本动作时空关系图的特征分布与高斯分布的KL散度，即相对熵作为损失，根据样本动作时空关系图的特征分布与高斯分布的相对熵，更新初始时空关系检测模型的参数，已得到训练好的时空关系检测模型。

采用上述方法对初始时空关系检测模型进行，得到训练好的时空关系检测模型，从而可以准确检测洗手视频中的动作时空关系。

在完成模型训练之后，将标准洗手动作视频输入时空关系检测模型，得到标准洗手动作视频对应的标准动作时空关系图，该标准动作时空关系图即可在后续应用过程中与实时动作时空关系图进行对比，通过判断相似度来确定实时洗手动作是否正确。

图5为本申请实施例提供的一种洗手动作检测装置的结构示意图。如图5所示，洗手动作检测装置500包括：

输出模块501，用于输出第一提示信息，第一提示信息用于提示用户待进行的洗手步骤，并获取用户洗手时的实时动作视频；

输入模块502，用于将实时动作视频输入时空关系检测模型，得到实时动作视频对应的实时动作时空关系图，实时动作时空关系图用于表征用户洗手时用户的手与目标对象的时空关系，目标对象与洗手相关；

判断模块503，用于根据实时动作时空关系图以及洗手步骤对应的标准洗手动作视频的标准动作时空关系图，确定用户的洗手动作的检测结果，检测结果包括正确或错误。

在一种实施方式中，输入模块502用于：

将实时动作视频输入时空关系检测模型，通过时空关系检测模型中的时空管道生成网络，生成实时动作视频中所有对象的时空管道；

通过时空关系检测模型中的残差密度嵌套网络，将每个时空管道作为图节点，生成初始时空关系图；

通过时空关系检测模型中的高斯混合层，对初始时空关系图进行特征提取，得到实时动作时空关系图。

在一种实施方式中，输入模块502用于：

将实时动作视频分割为多个视频片段，通过时空关系检测模型中的时空管道生成网络，生成实时动作视频的每个视频片段中的对象的时空管道。

在一种实施方式中，输入模块502用于：

通过时空关系检测模型中的残差密度嵌套网络，将每个时空管道作为图节点，根据时空管道对应的对象的时空相互作用，确定图节点之间的边，以生成初始时空关系图。

在一种实施方式中，判断模块503用于：

确定实时动作时空关系图与标准动作时空关系图的相似度；

若相似度大于或等于相似度阈值，则确定检测结果为正确；

若相似度小于相似度阈值，则确定检测结果为错误。

在一种实施方式中，输出模块501还用于：

若检测结果为正确，则输出第二提示信息，第二提示信息用于提示用户进行下一个步骤的洗手动作；

若检测结果为错误，则输出第三提示信息，第三提示信息用于提示用户重复本步骤的洗手动作。

本申请实施例提供的洗手动作检测装置可用于执行前述实施例中的洗手动作检测方法，其实现原理技术效果类似，此处不再赘述。

图6为本申请实施例提供的一种时空关系检测模型的训练装置的结构示意图。如图6所示，时空关系检测模型的训练装置600包括：

获取模块601，用于获取样本洗手动作视频，样本洗手动作视频中的洗手动作为标准动作；

输入模块602，用于将样本洗手动作视频输入初始时空关系检测模型，得到样本动作时空关系图；样本动作时空关系图用于表征样本洗手动作视频中的手与目标对象的时空关系，目标对象与洗手相关；

更新模块603，用于根据样本动作时空关系图，更新初始时空关系检测模型的参数，以得到时空关系检测模型。

在一种实施方式中，更新模块603用于：

根据样本动作时空关系图的特征分布与高斯分布的相对熵，更新初始时空关系检测模型的参数。

在一种实施方式中，输入模块602用于：

将样本洗手动作视频输入初始时空关系检测模型，通过初始时空关系检测模型中的时空管道生成网络，生成样本洗手动作视频中所有对象的时空管道；

通过初始时空关系检测模型中的残差密度嵌套网络，将每个时空管道作为图节点，生成初始时空关系图；

通过初始时空关系检测模型中的高斯混合层，对初始时空关系图进行特征提取，得到样本动作时空关系图。

在一种实施方式中，还包括：

标准模块，用于将标准洗手动作视频输入时空关系检测模型，得到标准洗手动作视频对应的标准动作时空关系图。

本申请实施例提供的时空关系检测模型的训练装置可用于执行前述实施例中的时空关系检测模型的训练方法，其实现原理技术效果类似，此处不再赘述。

图7为本申请实施例提供的一种电子设备的结构示意图。如图7所示，电子设备700包括存储器701和处理器702，存储器701和处理器702通过总线703连接。

存储器701用于存储计算机程序。

处理器702用于在计算机程序被执行时，实现上述任一实施例中的方法。

本申请实施例还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时，实现上述任一实施例中的方法。

本申请实施例还提供一种计算机程序产品，包括计算机程序，计算机程序被处理器执行时实现上述任一实施例中的方法。

可选的，上述处理器可以是中央处理单元（Central Processing Unit，CPU），还可以是其他通用处理器、数字信号处理器（Digital Signal Processor，DSP）、专用集成电路（Application Specific Integrated Circuit，ASIC）等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请所公开的方法实施例中的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (14)

1.一种洗手动作检测方法，其特征在于，包括：

输出第一提示信息，所述第一提示信息用于提示用户待进行的洗手步骤，并获取用户洗手时的实时动作视频；

将所述实时动作视频输入时空关系检测模型，得到所述实时动作视频对应的实时动作时空关系图，所述实时动作时空关系图用于表征所述用户洗手时所述用户的手与目标对象的时空关系，所述目标对象与洗手相关；

根据所述实时动作时空关系图以及所述洗手步骤对应的标准洗手动作视频的标准动作时空关系图，确定所述用户的洗手动作的检测结果，所述检测结果包括正确或错误。

2.根据权利要求1所述的方法，其特征在于，所述将所述实时动作视频输入时空关系检测模型，得到所述实时动作视频对应的实时动作时空关系图，包括：

将所述实时动作视频输入所述时空关系检测模型，通过所述时空关系检测模型中的时空管道生成网络，生成所述实时动作视频中所有对象的时空管道；

通过所述时空关系检测模型中的残差密度嵌套网络，将每个时空管道作为图节点，生成初始时空关系图；

通过所述时空关系检测模型中的高斯混合层，对所述初始时空关系图进行特征提取，得到所述实时动作时空关系图。

3.根据权利要求2所述的方法，其特征在于，所述通过所述时空关系检测模型中的时空管道生成网络，生成所述实时动作视频中所有对象的时空管道，包括：

将所述实时动作视频分割为多个视频片段，通过所述时空关系检测模型中的时空管道生成网络，生成所述实时动作视频的每个视频片段中的对象的时空管道。

4.根据权利要求2所述的方法，其特征在于，所述通过所述时空关系检测模型中的残差密度嵌套网络，将每个时空管道作为图节点，生成初始时空关系图，包括：

通过所述时空关系检测模型中的残差密度嵌套网络，将每个时空管道作为图节点，根据所述时空管道对应的对象的时空相互作用，确定图节点之间的边，以生成所述初始时空关系图。

5.根据权利要求1-4任一项所述的方法，其特征在于，所述根据所述实时动作时空关系图以及所述洗手步骤对应的标准洗手动作视频的标准动作时空关系图，确定所述用户的洗手动作的检测结果，包括：

确定所述实时动作时空关系图与所述标准动作时空关系图的相似度；

若所述相似度大于或等于相似度阈值，则确定所述检测结果为正确；

若所述相似度小于所述相似度阈值，则确定所述检测结果为错误。

6.根据权利要求1-4任一项所述的方法，其特征在于，所述方法还包括：

若所述检测结果为正确，则输出第二提示信息，所述第二提示信息用于提示用户进行下一个步骤的洗手动作；

若所述检测结果为错误，则输出第三提示信息，所述第三提示信息用于提示用户重复本步骤的洗手动作。

7.一种时空关系检测模型的训练方法，其特征在于，包括：

获取样本洗手动作视频，所述样本洗手动作视频中的洗手动作为标准动作；

将所述样本洗手动作视频输入初始时空关系检测模型，得到样本动作时空关系图；所述样本动作时空关系图用于表征所述样本洗手动作视频中的手与目标对象的时空关系，所述目标对象与洗手相关；

根据所述样本动作时空关系图，更新所述初始时空关系检测模型的参数，以得到所述时空关系检测模型。

8.根据权利要求7所述的方法，其特征在于，所述根据所述样本动作时空关系图，更新所述初始时空关系检测模型的参数，包括：

根据所述样本动作时空关系图的特征分布与高斯分布的相对熵，更新所述初始时空关系检测模型的参数。

9.根据权利要求7或8所述的方法，其特征在于，所述将所述样本洗手动作视频输入初始时空关系检测模型，得到样本动作时空关系图，包括：

将所述样本洗手动作视频输入初始时空关系检测模型，通过所述初始时空关系检测模型中的时空管道生成网络，生成所述样本洗手动作视频中所有对象的时空管道；

通过所述初始时空关系检测模型中的残差密度嵌套网络，将每个时空管道作为图节点，生成初始时空关系图；

通过所述初始时空关系检测模型中的高斯混合层，对所述初始时空关系图进行特征提取，得到所述样本动作时空关系图。

10.根据权利要求7或8所述的方法，其特征在于，还包括：

将标准洗手动作视频输入所述时空关系检测模型，得到所述标准洗手动作视频对应的标准动作时空关系图。

11.一种洗手动作检测装置，其特征在于，包括：

输出模块，用于输出第一提示信息，所述第一提示信息用于提示用户待进行的洗手步骤，并获取用户洗手时的实时动作视频；

输入模块，用于将所述实时动作视频输入时空关系检测模型，得到所述实时动作视频对应的实时动作时空关系图，所述实时动作时空关系图用于表征所述用户洗手时所述用户的手与目标对象的时空关系，所述目标对象与洗手相关；

判断模块，用于根据所述实时动作时空关系图以及所述洗手步骤对应的标准洗手动作视频的标准动作时空关系图，确定所述用户的洗手动作的检测结果，所述检测结果包括正确或错误。

12.一种时空关系检测模型的训练装置，其特征在于，包括：

获取模块，用于获取样本洗手动作视频，所述样本洗手动作视频中的洗手动作为标准动作；

输入模块，用于将所述样本洗手动作视频输入初始时空关系检测模型，得到样本动作时空关系图；所述样本动作时空关系图用于表征所述样本洗手动作视频中的手与目标对象的时空关系，所述目标对象与洗手相关；

更新模块，用于根据所述样本动作时空关系图，更新所述初始时空关系检测模型的参数，以得到所述时空关系检测模型。

13.一种电子设备，其特征在于，包括存储器和处理器，所述存储器和所述处理器连接；

所述存储器用于存储计算机程序；

所述处理器用于在所述计算机程序被执行时，实现如权利要求1-10中任一项所述的方法。

14.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现如权利要求1-10中任一项所述的方法。

Images