CN116110122A - 一种隐私场景下的护理行为识别方法 - Google Patents

Abstract

本发明公开了一种隐私场景下的护理行为识别方法，本发明在深度图像基础上，提取护理行为中护理人及被护理人的行动特征，以此构建时序和空间范围内的轨迹特征矩阵，利用机器学习相关算法对其进行分析，以此实现隐私场景下的多人参与的护理行为识别和分类。本发明提出的护理行为识别方法不依赖传统图像的特征，不易受到环境和光线变化影响，且方法仅依赖深度图像序列，区别于传统摄像头的音视频采集，可有效保护被识别者的隐私；本发明综合分析了深度图像中多人的身份、行为和图像特征，给出了在参与者行为联合分析基础上的护理行为识别模式，有效弥补传统模型无法识别特别场景下的联合行为的缺陷。

Description

一种隐私场景下的护理行为识别方法

技术领域

本发明涉及一种隐私场景下的护理行为识别方法，属于深度图像处理技术领域。

背景技术

护理行为广泛存在于养老陪护、病患看护、婴幼儿照护等涉私场景，所述的护理行为是由护理人员、医务人员、管理人员等照护者参与并向老人、病患、婴幼儿等被照护者提供的包括日常生活起居照料、安全保障、康复训练及身心疏导、临床医疗护理等服务性质的陪护、看护、照护行为。在护理实施过程中，照护者与被照护者之间存在着多人参与的复杂互动，伴随着涉私领域对这些复杂的护理行为有效监控监管需求的日益增长，如何在保障隐私的同时，对上述护理行为进行有效识别是亟待解决的问题。

利用传统摄像头进行行为识别，存在严重的隐私泄漏问题，随着深度图像传感器的发展，其利用红外光反射成像的方式，使其可以采集到不包含人体面部、身体细节的图像数据，从源头上杜绝了敏感信息的采集，保护了用户隐私，为隐私场景下的行为监控监管提供了可能。然而常见的行为识别方法是围绕传统摄像头采集图像进行的分析处理，在隐私场景下存在较大局限，除了不能在深度图像上进行有效分析，也无法有效区分照护者与被照护者，难以对复杂的护理行为活动进行精细化的建模。

目前虽已有一些相关技术方法用于解决类似隐私场景下的行为识别问题，但涉及的场景、所使用的方法均有所局限，缺乏对护理行为参与者数据的综合分析，难以满足隐私场景的护理行为识别需求。例如，中国专利CN109086659A，提供了一种在深度图像中结合骨架特征进行行为分类的方法，应证了在深度图像上开展行为识别的可行性，但其仅强调了行为分类，并未给出具体行为的定义，也未针对特定场景进行建模。中国专利CN111860434B，针对智能居家场景提出了一种行为识别方法，并在智能居家场景取得了较好的效果，但该方法使用传统图像建模，并未使用隐私安全的深度图像等数据，没有从源头杜绝隐私数据的采集。

发明内容

本发明要解决的技术问题是：目前对隐私场景下的护理行为识别缺乏有效手段。

为了解决上述技术问题，本发明的技术方案是提供了一种隐私场景下的护理行为识别方法，其特征在于，包括下述步骤：

步骤1：对输入的原始深度图像序列x₁，x₂，...，x_N进行处理，提取所有参与者的人体检测框B₁，B₂，...，B_N以及人体ROI区域M₁，M₂，...，M_N，其中，B_N为第N帧原始深度图像中多个人体的检测框结果，M_N为第N帧原始深度图像中多个人体的ROI区域分割结果

步骤2：分析原始深度图像序列中多人人体检测框B₁，B₂，...，B_N，追踪不同人体的行动轨迹，获取所有参与者的多人人体追踪信息序列BT₁，BT₂，...，BT_N，其中，BT_N为第N帧中多个人体的追踪信息，记做BT_N＝[tn₁，tn₂，...tn_k]，tn_k为当前帧人体检测框中顺序第k个人体的追踪编号，BT_N的定义如下式(1)所示：

BT_N＝f_t(f_bv(B_N，...B_N-i)，f_gv(VG_N，…VG_N-i)，f_mv(VM_N，…VM_N-i))   (1)

式(1)中，i为当前帧与上文关联帧数，f_bv为人体检测交并比计算函数，f_gv为图形学像素特征变化计算函数，f_mv为动量关联方向计算函数，f_t(f_bv，f_gv，f_mv)为人体追踪编号计算函数，VG_N为利用图形学特征分析算法f_g(B_N)计算得到的图形学特征向量，VM_N为利用机器学习算法f_m(B_N，PS_N)计算得到的人体检测框运动特征向量VM_N，PS₁，PS₂，...，PS_N为与人体检测框B₁，B₂，...，B_N对应区域的像素序列；

步骤3：结合追踪结果，分析不同人体的关键点特征，构建所有参与者的人体关键点坐标，具体包括以下步骤：

步骤3-1：结合人体追踪信息序列BT₁，BT₂，...，BT_N，以及图像序列中多人人体ROI区域M₁，M₂，...，M_N，利用深度学习算法f_k(BT_N，M_N)计算每帧二维深度图像上的不同参与者的人体关键点坐标集合KC_N，得到二维人体关键点坐标集合序列KC₁，KC₂，...，KC_N，其中，人体关键点坐标集合KC_N表示为下式(2)：

式(2)中，k代表当前帧多人人体检测框中的人员数量，

代表利用深度学习算法计算所得的当前帧第k个人体的第q个关键点在图像上的x、y坐标集，记做

步骤3-2：结合人体ROI区域M₁，M₂，...，M_N以及二维人体关键点坐标集合序列KC₁，KC₂，...，KC_N，利用空间坐标转换算法f_z(M_N，KC_N)计算人体各关键点在空间中的三维坐标集合KC′_N，得到关键点三维坐标集合序列KC′₁，KC′₂，...KC′_N，其中，三维坐标集合KC′_N表示为下式(3)：

式(3)中，k代表当前帧多人人体检测框中的人员数量，

代表利用空间坐标转换算法计算所得的当前帧第k个人体的第q个关键点在三维空间坐标系中的x、y、z坐标集，其中，x、y代表当前像素在图像上的二维坐标，z代表当前像素灰度值，记做

步骤4：结合关键点坐标，分析图像关联帧之间人***移变化，计算所有参与者的运动活力特征，具体包括以下步骤：

步骤4-1：结合深度图像中单位像素在三维空间对应的体素信息vi_x，y，z以及关键点三维坐标集合序列KC′₁，KC′₂，...KC′_N，计算每帧人体关键点实际坐标集合KCR₁，KCR₂，...，KCR_N；

步骤4-2：计算每帧中各肢体区域的所有关键点平均实际坐标集合KCA₁，KCA₂，…，KCA_N；

步骤4-3：在平均实际坐标集合KCA₁，KCA₂，...，KCA_N基础上，利用人体活力值算法f_hv(KCA_N，...，KCA_N-i)计算多人运动活力特征HV_N，得到运动活力特征序列HV₁，HV₂，...，HV_N，其中，f_hv(KCA_N，...，KCA_N-i)计算公式如下式(4)所示：

式(4)中，p为当前帧与上文关联帧数，i为当前帧与上文关联最大帧数，q为当前肢体区域编号，b为肢体区域最大编号，d为两帧之间肢体平均坐标的实际距离计算函数，w_q为各肢体区域活力值权重算子，

为具体肢体区域的实际坐标；

步骤5：结合多人人体检测框B₁，B₂，...，B_N、多人人体追踪信息序列BT₁，BT₂，...，BT_N以及多人运动活力特征序列HV₁，HV₂，...，HV_N，构建并定义护理场景中各个参与角色的活力特征及相关阈值，随后构建人体身份识别算法f_id(B_N，BT_N，HV_N)，计算每帧中多个人体的身份向量ID_N，得到多人人体身份信息向量序列ID₁，ID₂，...，ID_N；

步骤6：使用深度学***均实际坐标集合KCA₁，KCA₂，...，KCA_N，利用参与者行为识别算法模型f_pb(VG_N，KC′_N，KCA_N)对图像序列进行预测，取最终分类结果之前的算法推导中间过程HAR_N作为参与者行为特征，得到参与者行为特征分析结果序列HAR₁，HAR₂，…，HAR_N；

步骤7：使用深度学习算法构建护理行为识别算法模型f_{nursingbehavior}(BT_N，HV_N，ID_N，HAR_N)，提取需预测图像序列的上下文多人人体追踪信息序列BT₁，BT₂，...，BT_N、多人运动活力特征序列HV₁，HV₂，...，HV_N、多人人体身份信息向量序列ID₁，ID₂，...，ID_N、参与者行为特征分析结果序列HAR₁，HAR₂，...，HAR_N，利用护理行为识别算法模型f_{nursingbehavior}(BT_N，HV_N，ID_N，HAR_N)对图像序列进行预测，计算每帧中护理行为识别结果NBAR_N，得到护理行为识别结果序列NBAR₁，NBAR₂，...，NBAR_N；再使用深度学习算法构建护理行为序列后处理算法f_final(NBAR₁，NBAR₂，...，NBAR_N)，对护理行为识别结果序列NBAR₁，NBAR₂，...，NBAR_N按照时间窗口进行进一步分析，聚合护理行为识别结果，将单窗口内预测概率最高的k个护理行为类型作为该窗口的有效护理行为，得到图像序列中按照概率预测最高的Top_k个护理理行为预测结果。

优选地，所述步骤1具体包括以下步骤：

步骤1-1：获取原始深度图像序列x₁，x₂，...，x_N，其中，N代表第N帧原始深度图像；

步骤1-2：对原始深度图像处理，逐帧计算并得到人体检测框B₁，B₂，...，B_N，其中，B_N为第N帧原始深度图像中多个人体的检测框结果；

步骤1-3：从人体检测框区域，逐帧分割人体ROI区域M₁，M₂，...，M_N，其中，M_N为第N帧原始深度图像中多个人体的ROI区域分割结果。

优选地，所述步骤2具体包括以下步骤：

步骤2-1：针对原始深度图像序列中多人人体检测框B₁，B₂，...，B_N，利用图形学特征分析算法f_g(B_N)计算每帧图形学特征向量VG_N，得到特征向量序列VG₁，VG₂，...，VG_N，其中，图形学特征向量VG_N表示为下式(5)：

式(5)中，k代表当前帧多人人体检测框中的人员数量，

代表通过图形学算法对当前帧第k个人体区域分析所得的第m个特征；

步骤2-2：计算人体检测框B₁，B₂，...，B_N对应区域的像素序列PS₁，PS₂，...，PS_N，利用机器学习算法f_m(B_N，PS_N)计算每帧人体检测框运动特征向量VM_N，构建特征向量序列VM₁，VM₂，...，VM_N，其中，人体检测框运动特征向量VM_N表示为下式(6)：

式(6)中，k代表当前帧多人人体检测框中的人员数量，

代表通过结合上下文分析计算出的对当前帧第k个人体区域分析所得的第p个方向的动量，本实施例中，p个方向的动量可以是二维平面中的两个方向；

步骤2-3：结合人体检测框B₁，B₂，...，B_N、特征向量序列VG₁，VG₂，...，VG_N以及特征向量序列VM₁，VM₂，...，VM_N，构建上下文多人人体追踪信息序列BT₁，BT₂，...，BT_N，其中，BT_N为第N帧中多个人体的追踪信息，记做BT_N＝[tn₁，tn₂，...tn_k]，tn_k为当前帧人体检测框中顺序第k个人体的追踪编号，BT_N的定义如下式(7)所示：

BT_N＝f_t(f_bv(B_N，…B_N-i)，f_gv(VG_N，…VG_N-i)，f_mv(VM_N，...VM_N-i))   (7)

式(7)中，i为当前帧与上文关联帧数，f_bv为人体检测交并比计算函数，f_gv为图形学像素特征变化计算函数，f_mv为动量关联方向计算函数，f_t(f_bv，f_gv，f_mv)为人体追踪编号计算函数。

优选地，步骤6中，采用以下方式构建用于训练所述参与者行为识别算法模型f_pb(VG_N，KC′_N，KCA_N)的模型训练数据集：

标注自有深度图像数据集，以一个时间窗口区间内的参与者行为作为金标准，提取时间窗口内人体区域图形学特征向量序列VG₁，VG₂，...，VG_N、人体各关键点在空间中的关键点三维坐标集合序列KC′₁，KC′₂，...KC′_N、人体各肢体区域的所有关键点根据深度值转换后的平均实际坐标集合KCA₁，KCA₂，...，KCA_N，以此构建模型训练数据集。

优选地，步骤7中，采用以下方式构建用于训练所述护理行为识别算法模型f_{nursingbehavior}(BT_N，HV_N，ID_N，HAR_N)的模型训练数据集：

步骤7-1：定义i种护理行为，区分护理行为中照护与被照护者，定义护理活动持续时间窗口，定义窗口内的参与者活动特征；

步骤7-2：标注自有深度图像数据集，以一个时间窗口区间内的护理行为作为金标准，提取时间窗口内上下文多人人体追踪信息序列BT₁，BT₂，...，BT_N、多人运动活力特征序列HV₁，HV₂，...，HV_N、多人人体身份信息向量序列ID₁，ID₂，...，ID_N、参与者行为特征分析结果序列HAR₁，HAR₂，...，HAR_N，基于上述数据构建模型训练数据集。

本发明在深度图像基础上，提取护理行为中护理人及被护理人的行动特征，以此构建时序和空间范围内的轨迹特征矩阵，利用机器学习相关算法对其进行分析，以此实现隐私场景下的多人参与的护理行为识别和分类。

与现有技术相比，本发明具有以下优点：

1)本发明提出的护理行为识别方法不依赖传统图像的特征，不易受到环境和光线变化影响，且方法仅依赖深度图像序列，区别于传统摄像头的音视频采集，可有效保护被识别者的隐私；

2)本发明综合分析了深度图像中多人的身份、行为和图像特征，给出了在参与者行为联合分析基础上的护理行为识别模式，有效弥补传统模型无法识别特别场景下的联合行为的缺陷；

3)本发提出的多人护理行为识别过程不需要被识别者配合，易实现无感识别和持续识别。

附图说明

图1为本发明一种隐私场景下的护理行为识别方法的总体流程图；

图2为本发明对输入的深度图像序列进行处理，提取所有参与者的人体区域信息方法的流程图；

图3为本发明分析人体区域图像，追踪不同人体的行动轨迹，获取所有参与者的人体追踪结果方法的流程图；

图4为本发明分析不同人体的骨架特征，构建所有参与者的人体关键点坐标方法的流程图；

图5为本发明分析图像关联帧之间人***移变化，计算所有参与者的运动活力特征方法的流程图；

图6为本发明结合人体追踪结果、运动活力特征，确认所有参与者的照护与被照护角色身份方法的流程图；

图7为本发明构建参与者行为特征提取模型，对输入的图像序列中所有参与者进行行为特征分析方法的流程图；

图8为本发明结合参与者行为特征分析结果，构建护理行为识别模型，对输入的图像序列进行护理行为识别分类方法的流程图。

具体实施方式

下面结合具体实施例，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。

本实施例公开的一种隐私场景下的护理行为识别方法，包括下述步骤：

步骤1：对输入的深度图像序列进行处理，提取所有参与者的人体区域图像，具体包括以下步骤：

步骤1-1：获取原始深度图像序列x₁，x₂，...，xN，其中，N代表第N帧原始深度图像；

步骤1-2：对原始深度图像处理，逐帧计算并得到人体检测框B₁，B₂，...，B_N，其中，B_N为第N帧原始深度图像中多个人体的检测框结果；

步骤1-3：从人体检测框区域，逐帧分割人体ROI区域M₁，M₂，...，M_N，其中，M_N为第N帧原始深度图像中多个人体的ROI区域分割结果。

步骤2：分析人体区域图像，追踪不同人体的行动轨迹，获取所有参与者的人体追踪结果，具体包括以下步骤：

步骤2-1：针对原始深度图像序列中多人人体检测框B₁，B₂，...，B_N，利用图形学特征分析算法f_g(B_N)计算每帧图形学特征向量VG_N，得到特征向量序列VG₁，VG₂，...，VG_N，其中，图形学特征向量VG_N表示为下式(1)：

式(1)中，k代表当前帧多人人体检测框中的人员数量，

代表通过图形学算法对当前帧第k个人体区域分析所得的第m个特征；

步骤2-2：计算人体检测框B₁，B₂，...，B_N对应区域的像素序列PS₁，PS₂，...，PS_N，利用机器学习算法f_m(B_N，PS_N)计算每帧人体检测框运动特征向量VM_N，构建特征向量序列VM₁，VM₂，...，VM_N，其中，人体检测框运动特征向量VM_N表示为下式(2)：

式(2)中，k代表当前帧多人人体检测框中的人员数量，

代表通过结合上下文分析计算出的对当前帧第k个人体区域分析所得的第p个方向的动量，本实施例中，p个方向的动量可以是二维平面中的两个方向；

步骤2-3：结合人体检测框B₁，B₂，...，B_N、特征向量序列VG₁，VG₂，...，VG_N以及特征向量序列VM₁，VM₂，...，VM_N，构建上下文多人人体追踪信息序列BT₁，BT₂，...，BT_N，其中，BT_N为第N帧中多个人体的追踪信息，记做BT_N＝[tn₁，tn₂，...tn_k]，tn_k为当前帧人体检测框中顺序第k个人体的追踪编号，BT_N的定义如下式(3)所示：

BT_N＝f_t(f_bv(B_N，...B_N-i)，f_gv(VG_N，...VG_N-i)，f_mv(VM_N，...VM_N-i))   (3)

式(3)中，i为当前帧与上文关联帧数，f_bv为人体检测交并比计算函数，f_gv为图形学像素特征变化计算函数，f_mv为动量关联方向计算函数，f_t(f_bv，f_gv，f_mv)为人体追踪编号计算函数。

步骤3：结合追踪结果，分析不同人体的关键点特征，构建所有参与者的人体关键点坐标，具体包括以下步骤：

步骤3-1：结合人体追踪信息序列BT₁，BT₂，...，BT_N，以及图像序列中多人人体ROI区域M₁，M₂，...，M_N，利用深度学习算法f_k(BT_N，M_N)计算每帧二维深度图像上的不同参与者的人体关键点坐标集合KC_N，得到二维人体关键点坐标集合序列KC₁，KC₂，...，KC_N，其中，人体关键点坐标集合KC_N表示为下式(4)：

式(4)中，k代表当前帧多人人体检测框中的人员数量，

代表利用深度学习算法计算所得的当前帧第k个人体的第q个关键点在图像上的x、y坐标集，记做

步骤3-2：结合人体ROI区域M₁，M₂，...，M_N以及二维人体关键点坐标集合序列KC₁，KC₂，...，KC_N，利用空间坐标转换算法f_z(M_N，KC_N)计算人体各关键点在空间中的三维坐标集合KC′_N，得到关键点三维坐标集合序列KC′₁，KC′₂，...KC′_N，其中，三维坐标集合KC′_N表示为下式(5)：

式(5)中，k代表当前帧多人人体检测框中的人员数量，

代表利用空间坐标转换算法计算所得的当前帧第k个人体的第q个关键点在三维空间坐标系中的x、y、z坐标集，其中，x、y代表当前像素在图像上的二维坐标，z代表当前像素灰度值，记做

步骤4：结合关键点坐标，分析图像关联帧之间人***移变化，计算所有参与者的运动活力特征，具体包括以下步骤：

步骤4-1：结合深度图像中单位像素在三维空间对应的体素信息vi_x，y，z以及关键点三维坐标集合序列KC′₁，KC′₂，...KC′_N，计算每帧人体关键点实际坐标集合KCR₁，KCR₂，...，KCR_N；

步骤4-2：将人体肢体区域分为躯干、四肢、头部共6个部分，计算每帧中各肢体区域的所有关键点平均实际坐标集合KCA₁，KCA₂，...，KCA_N；

步骤4-3：在平均实际坐标集合KCA₁，KCA₂，...，KCA_N基础上，利用人体活力值算法f_hv(KCA_N，...，KCA_N-i)计算多人运动活力特征HV_N，得到运动活力特征序列HV₁，HV₂，...，HV_N，其中，f_hv(KCA_N，...，KCA_N-i)计算公式如下式(6)所示：

式(6)中，p为当前帧与上文关联帧数，i为当前帧与上文关联最大帧数，q为当前肢体区域编号，b为肢体区域最大编号，d为两帧之间肢体平均坐标的实际距离计算函数，w_q为各肢体区域活力值权重算子，

为具体肢体区域的实际坐标，活力值与人***移距离正相关。

步骤5：结合运动活力特征，确认所有参与者的照护与被照护角色身份，具体包括以下步骤：

步骤5-1：结合多人人体检测框B₁，B₂，...，B_N、多人人体追踪信息序列BT₁，BT₂，...，BT_N以及多人运动活力特征序列HV₁，HV₂，...，HV_N，构建并定义护理场景中各个参与角色的活力特征及相关阈值，其中，参与角色在护理场景中可以是照护与被照护者；

步骤5-2：构建人体身份识别算法f_id(B_N，BT_N，HV_N)，计算每帧中多个人体的身份向量ID_N，得到多人人体身份信息向量序列ID₁，ID₂，...，ID_N。

步骤6：构建参与者行为特征提取模型，对输入的图像序列中所有参与者进行行为特征分析，具体包括以下步骤：

步骤6-1：标注自有深度图像数据集，以一个时间窗口区间内的参与者行为作为金标准，提取时间窗口内人体区域图形学特征向量序列VG₁，VG₂，...，VG_N、人体各关键点在空间中的关键点三维坐标集合序列KC′₁，KC′₂，...KC′_N、人体各肢体区域的所有关键点根据深度值转换后的平均实际坐标集合KCA₁，KCA₂，...，KCA_N，以此构建模型训练数据集；

步骤6-2：使用深度学习算法构建参与者行为识别算法模型f_pb(VG_N，KC′_N，KCA_N)，并使用步骤6-1所述训练集对模型进行训练，得到可用的参与者行为识别算法模型权重，其中，使用的深度学习算法可以是基于卷积神经网络CNN的ResNet、DenseNet等模型以及基于循环神经网络RNN及其变种LSTM、GRU的Transformer等深度学习模型；

步骤6-3：提取需预测图像序列的人体区域图形学特征向量序列VG₁，VG₂，...，VG_N、人体各关键点在空间中的关键点三维坐标集合序列KC′₁，KC′₂，...KC′_N、人体各肢体区域的所有关键点根据深度值转换后的平均实际坐标集合KCA₁，KCA₂，...，KCA_N，利用步骤6-2构建的参与者行为识别算法f_pb(VG_N，KC′_N，KCA_N)对图像序列进行预测，取最终分类结果之前的算法推导中间过程HAR_N作为参与者行为特征，得到参与者行为特征分析结果序列HAR₁，HAR₂，...，HAR_N。

步骤7：结合参与者行为特征分析结果，构建护理行为识别模型，对输入的图像序列进行护理行为识别分类，具体包括以下步骤：

步骤7-1：定义i种护理行为，区分护理行为中照护与被照护者，定义护理活动持续时间窗口，定义窗口内的参与者活动特征；

步骤7-2：标注自有深度图像数据集，以一个时间窗口区间内的护理行为作为金标准，提取时间窗口内上下文多人人体追踪信息序列BT₁，BT₂，...，BT_N、多人运动活力特征序列HV₁，HV₂，...，HV_N、多人人体身份信息向量序列ID₁，ID₂，...，ID_N、参与者行为特征分析结果序列HAR₁，HAR₂，...，HAR_N，基于上述数据构建模型训练数据集；

步骤7-3：使用深度学习算法构建护理行为识别算法模型f_{nursingbehavior}(BT_N，HV_N，ID_N，HAR_N)，并使用步骤7-2所述训练集对模型进行训练，得到可用的护理行为识别算法模型权重，其中，使用的深度学习算法可以是卷积神经网络、循环神经网络以及基于其的ResNet、DenseNet、Transformer等深度学习模型；

步骤7-4：提取需预测图像序列的上下文多人人体追踪信息序列BT₁，BT₂，...，BT_N、多人运动活力特征序列HV₁，HV₂，...，HV_N、多人人体身份信息向量序列ID₁，ID₂，...，ID_N、参与者行为特征分析结果序列HAR₁，HAR₂，...，HAR_N，利用步骤7-3构建的护理行为识别算法f_{nursingbehavior}(BT_N，HV_N，ID_N，HAR_N)对图像序列进行预测，计算每帧中护理行为识别结果NBAR_N，得到护理行为识别结果序列NBAR₁，NBAR₂，...，NBAR_N；

步骤7-5：使用深度学习算法构建护理行为序列后处理算法f_final(NBAR₁，NBAR₂，...，NBAR_N)，对护理行为识别结果序列NBAR₁，NBAR₂，...，NBAR_N按照时间窗口进行进一步分析，聚合护理行为识别结果，将单窗口内预测概率最高的k个护理行为类型作为该窗口的有效护理行为，得到图像序列中按照概率预测最高的Top_k个护理理行为预测结果，其中，使用的深度学习算法可以是卷积神经网络、循环神经网络以及基于其的ResNet、DenseNet、Transformer等深度学习模型。

Claims (5)

1.一种隐私场景下的护理行为识别方法，其特征在于，包括下述步骤：

步骤1：对输入的原始深度图像序列x₁，x₂，...，x_N进行处理，提取所有参与者的人体检测框B₁，B₂，...，B_N以及人体ROI区域M₁，M₂，...，M_N，其中，B_N为第N帧原始深度图像中多个人体的检测框结果，M_N为第N帧原始深度图像中多个人体的ROI区域分割结果

步骤2：分析原始深度图像序列中多人人体检测框B₁，B₂，...，B_N，追踪不同人体的行动轨迹，获取所有参与者的多人人体追踪信息序列BT₁，BT₂，...，BT_N，其中，BT_N为第N帧中多个人体的追踪信息，记做BT_N＝[tn₁，tn₂，...tn_k]，tn_k为当前帧人体检测框中顺序第k个人体的追踪编号，BT_N的定义如下式(1)所示：

BT_N＝f_t(f_bv(B_N，…B_N-i)，f_gv(VG_N，...VG_N-i)，f_mv(VM_N，…VM_N-i))    (1)

式(1)中，i为当前帧与上文关联帧数，f_bv为人体检测交并比计算函数，f_gv为图形学像素特征变化计算函数，f_mv为动量关联方向计算函数，f_t(f_bv，f_gv，f_mv)为人体追踪编号计算函数，VG_N为利用图形学特征分析算法f_g(B_N)计算得到的图形学特征向量，VM_N为利用机器学习算法f_m(B_N，PS_N)计算得到的人体检测框运动特征向量VM_N，PS₁，PS₂，...，PS_N为与人体检测框B₁，B₂，...，B_N对应区域的像素序列；

步骤3：结合追踪结果，分析不同人体的关键点特征，构建所有参与者的人体关键点坐标，具体包括以下步骤：

步骤3-1：结合人体追踪信息序列BT₁，BT₂，...，BT_N，以及图像序列中多人人体ROI区域M₁，M₂，...，M_N，利用深度学习算法f_k(BT_N，M_N)计算每帧二维深度图像上的不同参与者的人体关键点坐标集合KC_N，得到二维人体关键点坐标集合序列KC₁，KC₂，...，KC_N，其中，人体关键点坐标集合KC_N表示为下式(2)：

式(2)中，k代表当前帧多人人体检测框中的人员数量，

代表利用深度学习算法计算所得的当前帧第k个人体的第q个关键点在图像上的x、y坐标集，记做

步骤3-2：结合人体ROI区域M₁，M₂，...，M_N以及二维人体关键点坐标集合序列KC₁，KC₂，...，KC_N，利用空间坐标转换算法f_z(M_N，KC_N)计算人体各关键点在空间中的三维坐标集合KC′_N，得到关键点三维坐标集合序列KC′₁，KC′₂，...KC′_N，其中，三维坐标集合KC′_N表示为下式(3)：

式(3)中，k代表当前帧多人人体检测框中的人员数量，

代表利用空间坐标转换算法计算所得的当前帧第k个人体的第g个关键点在三维空间坐标系中的x、y、z坐标集，其中，x、y代表当前像素在图像上的二维坐标，z代表当前像素灰度值，记做

步骤4：结合关键点坐标，分析图像关联帧之间人***移变化，计算所有参与者的运动活力特征，具体包括以下步骤：

步骤4-1：结合深度图像中单位像素在三维空间对应的体素信息vi_x，y，z以及关键点三维坐标集合序列KC′₁，KC′₂，...KC′_N，计算每帧人体关键点实际坐标集合KCR₁，KCR₂，...，KCR_N；

步骤4-2：计算每帧中各肢体区域的所有关键点平均实际坐标集合KCA₁，KCA₂，…，KCA_N；

步骤4-3：在平均实际坐标集合KCA₁，KCA₂，...，KCA_N基础上，利用人体活力值算法f_hv(KCA_N，...，KCA_N-i)计算多人运动活力特征HV_N，得到运动活力特征序列HV₁，HV₂，...，HV_N，其中，f_hv(KCA_N，...，KCA_N-i)计算公式如下式(4)所示：

式(4)中，p为当前帧与上文关联帧数，i为当前帧与上文关联最大帧数，g为当前肢体区域编号，b为肢体区域最大编号，d为两帧之间肢体平均坐标的实际距离计算函数，w_q为各肢体区域活力值权重算子，

为具体肢体区域的实际坐标；

步骤5：结合多人人体检测框B₁，B₂，...，B_N、多人人体追踪信息序列bT₁，BT₂，...，BT_N以及多人运动活力特征序列HV₁，HV₂，...，HV_N，构建并定义护理场景中各个参与角色的活力特征及相关阈值，随后构建人体身份识别算法f_id(B_N，BT_N，HV_N)，计算每帧中多个人体的身份向量ID_N，得到多人人体身份信息向量序列ID₁，ID₂，...，ID_N；

步骤6：使用深度学***均实际坐标集合KCA₁，KCA₂，...，KCA_N，利用参与者行为识别算法模型f_pb(VG_N，KC′_N，KCA_N)对图像序列进行预测，取最终分类结果之前的算法推导中间过程HAR_N作为参与者行为特征，得到参与者行为特征分析结果序列HAR₁，HAR₂，...，HAR_N；

步骤7：使用深度学习算法构建护理行为识别算法模型f_{nursingbehavior}(BT_N，HV_N，ID_N，HAR_N)，提取需预测图像序列的上下文多人人体追踪信息序列BT₁，BT₂，...，BT_N、多人运动活力特征序列HV₁，HV₂，...，HV_N、多人人体身份信息向量序列ID₁，ID₂，...，ID_N、参与者行为特征分析结果序列HAR₁，HAR₂，...，HAR_N，利用护理行为识别算法模型f_{nursingbehavior}(BT_N，HV_N，ID_N，HAR_N)对图像序列进行预测，计算每帧中护理行为识别结果NBAR_N，得到护理行为识别结果序列NBAR₁，NBAR₂，...，NBAR_N；再使用深度学习算法构建护理行为序列后处理算法f_final(NBAR₁，NBAR₂，...，NBAR_N)，对护理行为识别结果序列NBAR₁，NBAR₂，...，NBAR_N按照时间窗口进行进一步分析，聚合护理行为识别结果，将单窗口内预测概率最高的k个护理行为类型作为该窗口的有效护理行为，得到图像序列中按照概率预测最高的Top_k个护理理行为预测结果。

2.如权利要求1所述的一种隐私场景下的护理行为识别方法，其特征在于，所述步骤1具体包括以下步骤：

步骤1-1：获取原始深度图像序列x₁，x₂，...，x_N，其中，N代表第N帧原始深度图像；

步骤1-2：对原始深度图像处理，逐帧计算并得到人体检测框B₁，B₂，...，B_N，其中，B_N为第N帧原始深度图像中多个人体的检测框结果；

步骤1-3：从人体检测框区域，逐帧分割人体ROI区域M₁，M₂，...，M_N，其中，M_N为第N帧原始深度图像中多个人体的ROI区域分割结果。

3.如权利要求1所述的一种隐私场景下的护理行为识别方法，其特征在于，所述步骤2具体包括以下步骤：

步骤2-1：针对原始深度图像序列中多人人体检测框B₁，B₂，...，B_N，利用图形学特征分析算法f_g(B_N)计算每帧图形学特征向量VG_N，得到特征向量序列VG₁，VG₂，...，VG_N，其中，图形学特征向量VG_N表示为下式(5)：

式(5)中，k代表当前帧多人人体检测框中的人员数量，

代表通过图形学算法对当前帧第k个人体区域分析所得的第m个特征；

步骤2-2：计算人体检测框B₁，B₂，...，B_N对应区域的像素序列PS₁，PS₂，...，PS_N，利用机器学习算法f_m(B_N，PS_N)计算每帧人体检测框运动特征向量VM_N，构建特征向量序列VM₁，VM₂，...，VM_N，其中，人体检测框运动特征向量VM_N表示为下式(6)：

式(6)中，k代表当前帧多人人体检测框中的人员数量，

代表通过结合上下文分析计算出的对当前帧第k个人体区域分析所得的第p个方向的动量，本实施例中，p个方向的动量可以是二维平面中的两个方向；

步骤2-3：结合人体检测框B₁，B₂，...，B_N、特征向量序列VG₁，VG₂，...，VG_N以及特征向量序列VM₁，VM₂，...，VM_N，构建上下文多人人体追踪信息序列BT₁，BT₂，...，BT_N，其中，BT_N为第N帧中多个人体的追踪信息，记做BT_N＝[tn₁，tn₂，...tn_k]，tn_k为当前帧人体检测框中顺序第k个人体的追踪编号，BT_N的定义如下式(7)所示：

BT_N＝f_t(f_bv(B_N，…B_N-i)，f_gv(VG_N，…VG_N-i)，f_mv(VM_N，...VM_N-i))    (7)

式(7)中，i为当前帧与上文关联帧数，f_bv为人体检测交并比计算函数，f_gv为图形学像素特征变化计算函数，f_mv为动量关联方向计算函数，f_t(f_bv，f_gv，f_mv)为人体追踪编号计算函数。

4.如权利要求1所述的一种隐私场景下的护理行为识别方法，其特征在于，步骤6中，采用以下方式构建用于训练所述参与者行为识别算法模型f_pb(VG_N，KC′_N，KCA_N)的模型训练数据集：

标注自有深度图像数据集，以一个时间窗口区间内的参与者行为作为金标准，提取时间窗口内人体区域图形学特征向量序列VG₁，VG₂，...，VG_N、人体各关键点在空间中的关键点三维坐标集合序列KC′₁，KC′₂，...KC′_N、人体各肢体区域的所有关键点根据深度值转换后的平均实际坐标集合KCA₁，KCA₂，...，KCA_N，以此构建模型训练数据集。

5.如权利要求1所述的一种隐私场景下的护理行为识别方法，其特征在于，步骤7中，采用以下方式构建用于训练所述护理行为识别算法模型f_{nursingbehavior}(BT_N，HV_N，ID_N，HAR_N)的模型训练数据集：

步骤7-1：定义i种护理行为，区分护理行为中照护与被照护者，定义护理活动持续时间窗口，定义窗口内的参与者活动特征；

步骤7-2：标注自有深度图像数据集，以一个时间窗口区间内的护理行为作为金标准，提取时间窗口内上下文多人人体追踪信息序列BT₁，BT₂，...，BT_N、多人运动活力特征序列HV₁，HV₂，...，HV_N、多人人体身份信息向量序列ID₁，ID₂，...，ID_N、参与者行为特征分析结果序列HAR₁，HAR₂，...，HAR_N，基于上述数据构建模型训练数据集。

Images