CN117315785A - 跌倒行为检测方法、装置、设备及计算机可读存储介质 - Google Patents

Abstract

本申请公开了一种跌倒行为检测方法、装置、设备及计算机可读存储介质，属于机器视觉技术领域。该跌倒行为检测方法包括：获取视频流，对视频流进行采样得到视频帧；通过预设的深度学习算法模型对视频帧进行识别，得到识别对象的特征信息；其中，特征信息包括历史特征信息和当前特征信息；根据历史特征信息确定识别对象的历史行为状态，根据历史行为状态和当前特征信息确定识别对象的当前行为状态；基于历史行为状态和当前行为状态进行分析，得到跌倒行为检测结果。本申请通过预设的深度学习算法模型对跌倒事件中的目标行为状态进行分析识别，实现在模型准确率有限的条件下对跌倒事件中的关键行为状态进行识别，进而识别整个跌倒事件过程。

Description

跌倒行为检测方法、装置、设备及计算机可读存储介质

技术领域

本申请涉及机器视觉技术领域，尤其涉及跌倒行为检测方法、装置、设备及计算机可读存储介质。

背景技术

近年来，随着行为识别技术的不断发展，作为视觉场景中热度较高的跌倒行为识别也受到广泛的关注。

目前，相关技术中大部分的跌倒行为识别算法主要基于一个空间点或一段时间区间进行瞬时的异常行为识别，但是在一些以异常行为事件全过程为目标的场景下，这类算法并不能达到目标需求，这部分场景希望算法能够连续不间断的识别出目标行为，进一步得到事件的关键状态信息，这就要求算法模型能够时刻维持检出能力在基准线上，而目前很少有模型能够保证在任何背景下面对各种形态的跌倒姿态都能够维持高准确率的识别。

发明内容

本申请的主要目的在于提供一种跌倒行为检测方法、装置、设备及计算机可读存储介质，旨在解决如何在模型准确率有限的条件下对跌倒事件中的关键行为状态进行识别，进而识别整个跌倒事件过程的技术问题。

为实现上述目的，本申请提供一种跌倒行为检测方法，所述跌倒行为检测方法包括：

获取视频流，对所述视频流进行采样得到视频帧；

通过预设的深度学习算法模型对所述视频帧进行识别，得到识别对象的特征信息；其中，所述特征信息包括历史特征信息和当前特征信息；

从所述历史特征信息中获取所述识别对象的历史行为状态，根据所述历史行为状态和所述当前特征信息确定所述识别对象的当前行为状态；

将所述历史行为状态和所述当前行为状态组成的连续动作与预设跌倒标准进行对比，得到跌倒行为检测结果。

可选地，所述预设的深度学习算法模型为人体姿势估计模型；所述特征信息包括：坐标框、行为类别和骨架序列；所述通过预设的深度学习算法模型对所述视频帧进行识别，得到识别对象的特征信息的步骤，包括：

通过人体姿势估计模型对所述视频帧进行识别，得到识别对象的坐标框、行为类别和骨架序列。

可选地，所述预设的深度学习算法模型包括：目标检测算法和骨架识别算法；所述特征信息包括：坐标框、行为类别和骨架序列；所述通过预设的深度学习算法模型对所述视频帧进行识别，得到识别对象的特征信息的步骤，包括：

通过目标检测算法对所述视频帧进行识别，得到识别对象的坐标框和行为类别；

基于所述坐标框从所述视频帧中剪裁出包括所述识别对象的坐标区域；

通过骨架识别算法对所述坐标区域进行识别，得到所述识别对象的骨架序列。

可选地，所述坐标框包括：当前坐标框和历史坐标框；所述行为类别包括：当前行为类别和历史行为类别；在所述从所述历史特征信息中获取所述识别对象的历史行为状态的步骤之前，所述跌倒行为检测方法还包括：

将与当前坐标框重叠度最大的历史坐标框映射至同一个所述识别对象；

所述从所述历史特征信息中获取所述识别对象的历史行为状态的步骤，包括：

从所述历史特征信息中获取与所述历史坐标框对应的历史行为类别，将所述历史行为类别作为所述识别对象的历史行为状态。

可选地，所述骨架序列包括：当前骨架序列和历史骨架序列；在所述将与当前坐标框重叠度最大的历史坐标框映射至同一个所述识别对象的步骤之后，所述跌倒行为检测方法还包括：

从所述历史特征信息中获取与所述历史坐标框对应的历史骨架序列作为所述识别对象的历史骨架序列；

根据所述识别对象的当前骨架序列和历史骨架序列确定所述识别对象的时域腿部偏移距离序列。

可选地，所述根据所述当前骨架序列和所述历史骨架序列确定所述识别对象的时域腿部偏移距离序列的步骤，包括：

根据所述当前骨架序列中的头部坐标确定标准点坐标；

将所述标准点坐标与所述当前骨架序列中的腿部坐标序列的矢量差作为当前腿部偏移距离序列；

将所述当前腿部偏移距离序列与所述历史骨架序列中的历史腿部偏移距离序列的差的平方和作为所述识别对象的时域腿部偏移距离序列。

可选地，所述当前行为类别和所述历史行为状态包括：下蹲状态、跌倒状态和站立状态；所述根据所述历史行为状态和所述当前特征信息确定所述识别对象的当前行为状态的步骤，包括：

在所述当前行为类别为下蹲状态的情况下，根据所述历史行为状态将所述当前行为类别转换为跌倒状态或站立状态；

在所述当前行为类别为跌倒状态的情况下，根据所述历史行为状态中站立状态的连续出现频率确定所述识别对象的当前行为状态；

在所述当前行为类别为站立状态的情况下，根据所述历史行为状态中跌倒状态的连续出现频率以及所述时域腿部偏移距离序列确定所述识别对象的当前行为状态。

此外，为实现上述目的，本申请还提供一种跌倒行为检测装置，所述跌倒行为检测装置包括：

获取模块，所述获取模块用于获取视频流，对所述视频流进行采样得到视频帧；

识别模块，所述识别模块用于通过预设的深度学习算法模型对所述视频帧进行识别，得到识别对象的特征信息；其中，所述特征信息包括历史特征信息和当前特征信息；

计算模块，所述计算模块用于从所述历史特征信息中获取所述识别对象的历史行为状态，根据所述历史行为状态和所述当前特征信息确定所述识别对象的当前行为状态；

分析模块，所述分析模块用于将所述历史行为状态和所述当前行为状态组成的连续动作与预设跌倒标准进行对比，得到跌倒行为检测结果。

此外，为实现上述目的，本申请还提供一种跌倒行为检测设备，所述跌倒行为检测设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上所述的跌倒行为检测方法的步骤。

此外，为实现上述目的，本申请还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的跌倒行为检测方法的步骤。

本申请提出一种跌倒行为检测方法、装置、设备及计算机可读存储介质，在所述跌倒行为检测方法中，先获取视频流，对所述视频流进行采样得到视频帧；再通过预设的深度学习算法模型对所述视频帧进行识别，得到识别对象的特征信息；其中，所述特征信息包括历史特征信息和当前特征信息；之后，从所述历史特征信息中获取所述识别对象的历史行为状态，根据所述历史行为状态和所述当前特征信息确定所述识别对象的当前行为状态；最后将所述历史行为状态和所述当前行为状态组成的连续动作与预设跌倒标准进行对比，得到跌倒行为检测结果。本申请通过对目标场景内的各视频帧进行识别，得到连续视频帧中识别对象的特征信息，达到连续不间断地识别出目标行为的目的，通过历史行为状态和当前特征信息联合计算，能够更加准确地获取识别对象的当前行为状态，再结合历史行为状态和当前行为状态组成的连续动作准确获知跌倒事件的关键状态，进而识别出整个跌倒事件过程，实现了在模型准确率有限的条件下对跌倒事件中的关键行为状态进行识别，进而识别整个跌倒事件过程，克服了相关技术中的技术缺陷。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请实施例的一部分，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请一实施例提供的一种跌倒行为检测方法的流程示意图；

图2为图1中步骤S20的一种实现方式的流程示意图；

图3为图1中步骤S20的另一种实现方式的流程示意图；

图4为本申请另一实施例提供的一种跌倒行为检测方法的流程示意图；

图5为图4中步骤S05的细化流程示意图；

图6为图5对应实施例的一种实现方式的流程示意图；

图7为图1中步骤S30中部分步骤的细化流程示意图；

图8为图7对应实施例的一种实现方式的流程示意图；

图9为本申请实施例提供的一种跌倒行为检测装置的结构示意图；

图10为本申请实施例提供的一种跌倒行为检测设备的硬件结构示意图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定***结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请实施例。在其它情况中，省略对众所周知的***、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请实施例的描述。

需要说明的是，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于流程图中的顺序执行所示出或描述的步骤。说明书和权利要求书及上述附图中的术语“第一”“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。

还应当理解，在本申请实施例说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请实施例的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”“在一些实施例中”“在其他一些实施例中”“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”“包含”“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。

近年来，随着行为识别技术的不断发展，作为视觉场景中热度较高的跌倒行为识别也受到广泛的关注。

跌倒行为识别的方法主要有视觉维度、深度信息维度两种，其中深度信息手段主要凭借深度传感器或者深度摄像头作为算法输入，视觉维度主要依靠摄像头、多维度摄像头等摄像机对一定区域进行视频流采集作为算法的输入。目前基于视觉维度的成熟的跌倒行为识别技术主要方式为检测结合姿势识别的方法，其方法首先通过目标检测、实例分割等算法识别出当前视频帧中的人形目标，再通过openpose(一种姿态估计网络)等骨骼算法计算目标人的骨架信息，最后通过骨架信息在时域或者空间域的特征进一步判断是否存在跌倒姿势。

目前，相关技术中大部分的跌倒行为识别算法主要基于一个空间点或一段时间区间进行瞬时的异常行为识别，但是在一些以异常行为事件全过程为目标的场景下，这类算法并不能达到目标需求，这部分场景希望算法能够连续不间断的识别出目标行为，进一步得到事件的关键状态信息(比如有人正在跌倒、跌倒持续t分钟、跌倒后已经站起等事件关键状态)，这就要求算法模型能够时刻维持检出能力在基准线上，而目前很少有模型能够保证在任何背景下面对各种形态的跌倒姿态都能够维持95％以上的高准确率。

基于此，本申请实施例提供了一种跌倒行为检测方法、装置、设备及计算机可读存储介质，通过将目标检测算法以及骨架识别算法相结合，对跌倒事件的关键状态进行分析识别，实现在模型准确率有限的条件下对跌倒事件的关键状态进行连续识别，进而达到识别整个跌倒事件完整过程的目的。

本申请实施例提供的跌倒行为检测方法、装置、设备及计算机可读存储介质，具体通过如下实施例进行说明，首先描述本申请实施例中的跌倒行为检测方法。

本申请实施例提供了一种跌倒行为检测方法，参照图1，图1为本申请一实施例提供的一种跌倒行为检测方法的流程示意图，该跌倒行为检测方法可以应用于跌倒行为检测设备，如图1所示，本实施例提供的跌倒行为检测方法包括步骤S10至S40。

步骤S10，获取视频流，对视频流进行采样得到视频帧；

本实施例中，执行主体为跌倒行为检测设备，视频流可以是预先存储在该跌倒行为检测设备的存储空间中的视频流，也可以是通过与该跌倒行为检测设备连接的用于拍摄某一指定场景的摄像头采集到的视频流，跌倒行为检测设备会通过一定的采样频率对该视频流进行采样，得到多个视频帧作为待处理图像，通过对这些待处理图像进行识别即可获知该视频流中是否发生跌倒行为。

作为一种示例，本实施例提供的跌倒行为检测方法可以应用于电梯场景，通过获取电梯内摄像头拍摄的视频流，之后对该视频流进行采样得到视频帧，再对各视频帧进行识别，进而获知在该视频流对应的时域中，电梯内是否存在出现跌倒行为的人物。

步骤S20，通过预设的深度学习算法模型对视频帧进行识别，得到识别对象的特征信息；其中，特征信息包括当前特征信息和历史特征信息；

本实施例中，会通过具备目标检测和骨架识别功能的深度学习算法模型对前述步骤提供的多个视频帧进行识别得到识别对象(例如目标人物)的特征信息，由于各视频帧均是从同一视频流中采样得到的，因此在时域上会存在先后顺序，本实施例将各视频帧中当前时刻正在识别的视频帧作为当前视频帧，通过算法模型对当前视频帧进行识别之后得到的特征信息就是当前特征信息，在时域上早于该视频帧的则为历史视频帧，通过算法模型对历史视频帧进行识别之后得到的特征信息就是历史特征信息。

在一些可行的实施例中，预设的深度学习算法模型为人体姿势估计模型；特征信息包括：坐标框、行为类别和骨架序列；上述步骤S20包括：通过人体姿势估计模型对视频帧进行识别，得到识别对象的坐标框、行为类别和骨架序列。

本实施例中，坐标框、行为类别和骨架序列是一一对应的，即一个坐标框必然对应一种行为类别和一组骨架序列坐标框，坐标框可以是在视频帧中框选出人物所在位置的矩形框，行为类别可以是标注在坐标框内或坐标框上的代表人物行为状态的文字、字符或代码，骨架序列可以是在坐标框内标注人体骨架点的坐标集合。

本实施例提供了预设的深度学习算法模型的一种实现方式，即人体姿势估计模型，其表示与yolopose类似的同时具备目标检测以及骨架点识别功能的多输出深度学习算法，如图2所示，将视频帧作为该算法模型的输入，会同时输出坐标框、行为类别和骨架序列等多项结果。

在一些可行的实施例中，预设的深度学习算法模型包括：目标检测算法和骨架识别算法；特征信息包括：坐标框、行为类别和骨架序列；上述步骤S20包括：通过目标检测算法对视频帧进行识别，得到识别对象的坐标框和行为类别；基于坐标框从视频帧中剪裁出包括识别对象的坐标区域；通过骨架识别算法对坐标区域进行识别，得到识别对象的骨架序列。

本实施例中，坐标框、行为类别和骨架序列是一一对应的，即一个坐标框必然对应一种行为类别和一组骨架序列坐标框，坐标框可以是在视频帧中框选出人物所在位置的矩形框，行为类别可以是标注在坐标框内或坐标框上的代表人物行为状态的文字、字符或代码，骨架序列可以是在坐标框内标注人体骨架点的坐标集合。

本实施例提供了预设的深度学习算法模型的另一种实现方式，即依次实现的目标检测算法和骨架识别算法，如图3所示，将视频帧作为该算法模型的输入，会先执行目标检测算法输出坐标框和行为类别，再从视频帧中剪裁出各坐标框分别框选的坐标区域，对各坐标区域分别执行骨架识别算法以输出骨架序列。

需要注意的是，上述两种预设的深度学习算法模型的实现方式仅为示例，其他具备目标检测和骨架识别功能的深度学习算法模型同样可以适用于本实施例，只要通过算法模型对视频帧进行处理之后能够输出一一对应的坐标框、行为类别和骨架序列即可。

步骤S30，从历史特征信息中获取识别对象的历史行为状态，根据历史行为状态和当前特征信息确定识别对象的当前行为状态；

需要说明的是，虽然前述步骤给出的当前特征信息中已经包括了行为类别，但是为了提高当前行为状态的识别准确度，避免算法模型偶尔出现的准确率不足的情况，本实施例会将历史特征信息中的历史行为状态、当前特征信息中的行为类别以及骨架序列作为输入，通过预设的状态计算函数计算出识别对象的当前行为状态。

在一些可行的实施例中，坐标框包括：当前坐标框和历史坐标框；行为类别包括：当前行为类别和历史行为类别；在上述步骤S30之前，上述跌倒行为检测方法还包括：

步骤S03，将与当前坐标框重叠度最大的历史坐标框映射至同一个识别对象。

需要说明的是，在视频帧中的识别对象即目标人物只有一人的情况下，显然可以确定历史特征信息和当前特征信息对应的都是同一个识别对象，但是，一般摄像头下拍摄的场景中都会有多人同框的情形，因此，每一视频帧中都会存在多组特征信息，即多个坐标框、多个行为类别和多组骨架序列，这样一来，在从历史特征信息中获取历史行为类别时，就还需要确认获取到的历史行为类别是否与当前识别对象匹配；对此，本实施例会在时域上遍历相邻的两个视频帧中全部的坐标框，将这些坐标框按照时域进行排列会得到一个矩阵，将矩阵中IOU(Intersection over Union，重叠度，又称为交并比，通常被应用在目前目标检测算法的评价中，IOU值越高，说明算法对目标的预测精度越高)值最大的两个坐标框作为同一个识别对象的映射，使短时域区间内前后视频帧间的特征信息连贯，防止多人场景中人与人之间的特征信息互相干扰。

上述步骤S30中从历史特征信息中获取识别对象的历史行为状态的步骤，包括：从历史特征信息中获取与历史坐标框对应的历史行为类别，将历史行为类别作为识别对象的历史行为状态。

可以理解的是，在确定历史坐标框与当前坐标框对应的是同一个识别对象的情况下，在获取识别对象的历史行为状态时，就可以将映射至识别对象的历史坐标框作为依据，获取与该历史坐标框对应的历史行为类别作为识别对象的历史行为状态。

在一些可行的实施例中，骨架序列包括：当前骨架序列和历史骨架序列；参照图4，在上述步骤S03之后，上述跌倒行为检测方法还包括：

步骤S04，从历史特征信息中获取与历史坐标框对应的历史骨架序列作为识别对象的历史骨架序列；

与前述实施例同理，在确定历史坐标框与当前坐标框对应的是同一个识别对象的情况下，在获取识别对象的历史骨架序列时，就可以将映射至识别对象的历史坐标框作为依据，获取与该历史坐标框对应的历史骨架序列作为识别对象的历史骨架序列。

步骤S05，根据识别对象的当前骨架序列和历史骨架序列确定识别对象的时域腿部偏移距离序列。

本实施例中，为了进一步提高当前行为状态的识别准确度，会将识别对象的骨架序列在时域上的变化特征，即时域腿部偏移距离序列作为前述实施例中状态计算函数的一项输入，其代表的是识别对象的腿部从历史视频帧到当前视频帧这一时段内产生的变化。

参照图5，在一些可行的实施例中，上述步骤S05包括：

步骤S051，根据当前骨架序列中的头部坐标确定标准点坐标；

本实施例中，先判断头部坐标是否不全为0且没有越界现象，若是，则说明头部坐标可以作为参考依据，此时将骨架序列中鼻子眼睛耳朵坐标的均值作为标准点坐标；若否，则说明头部坐标不能作为参考依据，此时将骨架序列中左肩和右肩的坐标均值作为标准点坐标。

步骤S052，将标准点坐标与当前骨架序列中的腿部坐标序列的矢量差作为当前腿部偏移距离序列；

本实施例中，计算腿部坐标x序列和标准点x坐标的矢量差，作为当前腿部偏移距离序列中的x序列，计算腿部坐标y序列和标准点y坐标的矢量差，作为当前腿部偏移距离序列中的y序列。

步骤S053，将当前腿部偏移距离序列与历史骨架序列中的历史腿部偏移距离序列的差的平方和作为识别对象的时域腿部偏移距离序列。

本实施例中，选定n次采样前的腿部偏移距离序列作为历史腿部偏移距离序列(n可以是1、2、3等正整数)，将其与当前腿部偏移距离序列相减得到的差值的平方和作为识别对象从n次采样前到当前视频帧的时域腿部偏移距离序列。

作为一种示例，上述步骤S051至步骤S053的一种实现方式如图6所示。

参照图7，在一些可行的实施例中，当前行为类别和历史行为状态包括：下蹲状态、跌倒状态和站立状态；上述步骤S30中根据历史行为状态和当前特征信息确定识别对象的当前行为状态的步骤，包括：

步骤S31，在当前行为类别为下蹲状态的情况下，根据历史行为状态将当前行为类别转换为跌倒状态或站立状态；

本实施例中，在当前行为类别为下蹲状态的情况下，需要先以与当前视频帧相邻的历史视频帧(即当前视频帧的前一帧)中识别对象的历史行为状态作为参考依据，将下蹲状态进行类别转换，具体地，在前一帧中识别对象的历史行为状态为跌倒状态的情况下，将当前行为类别从下蹲状态转换为跌倒状态；在前一帧中识别对象的历史行为状态不为跌倒状态的情况下，将当前行为类别从下蹲状态转换为站立状态。

步骤S32，在当前行为类别为跌倒状态的情况下，根据历史行为状态中站立状态的连续出现频率确定识别对象的当前行为状态；

本实施例中，在当前行为类别为跌倒状态的情况下，若以当前视频帧为起点在时域上向前推移存在连续的m个历史视频帧中的历史行为状态均为站立状态，则修正当前行为类别，将当前行为状态最终确定为站立状态；反之，若以当前视频帧为起点在时域上向前推移并不存在连续的m个历史视频帧中的历史行为状态均为站立状态，则不修正当前行为类别，将当前行为状态最终确定为跌倒状态。

步骤S33，在当前行为类别为站立状态的情况下，根据历史行为状态中跌倒状态的连续出现频率以及时域腿部偏移距离序列确定识别对象的当前行为状态。

本实施例中，在当前行为类别为站立状态的情况下，若以当前视频帧为起点在时域上向前推移存在连续的n个历史视频帧中的历史行为状态均为跌倒状态，则修正当前行为类别，将当前行为状态最终确定为跌倒状态；反之，若以当前视频帧为起点在时域上向前推移并不存在连续的n个历史视频帧中的历史行为状态均为跌倒状态，则还需要结合时域腿部偏移距离序列进行判断，在时域腿部偏移距离序列满足跌倒变化条件的情况下，修正当前行为类别，将当前行为状态最终确定为跌倒状态；在以当前视频帧为起点在时域上向前推移并不存在连续的n个历史视频帧中的历史行为状态均为跌倒状态，且时域腿部偏移距离序列不满足跌倒变化条件的情况下，不修正当前行为类别，将当前行为状态最终确定为站立状态。

作为一种示例，上述步骤S31至步骤S33中的m，n以及跌倒变化条件可根据实际检测需求进行调整，上述步骤S31至步骤S33的一种实现方式如图8所示。

此外，需要说明的是，在当前视频帧是视频流中的初始视频帧的情况下，直接将算法模型识别出的行为类别作为该视频帧中识别对象的行为状态。在当前视频帧并非视频流中的初始视频帧的情况下，都需要以历史视频帧中的历史行为状态作为参考依据，结合当前特征信息对当前行为类别进行修正，才能得出最为准确的当前行为状态。

步骤S40，将历史行为状态和当前行为状态组成的连续动作与预设跌倒标准进行对比，得到跌倒行为检测结果。

本实施例中，预设跌倒标准可以包括前一帧为站立且后一帧为跌倒(跌倒事件起点)，前一帧为跌倒且后一帧为跌倒(跌倒事件的中间过程)，前一帧为跌倒且后一帧为站立(跌倒事件终点)等情况，因此，在历史行为状态与当前行为状态组成的连续动作符合预设跌倒标准的情况下，可以确定视频流中存在跌倒事件，同时可以得到对应的跌倒行为检测结果为：有人正在跌倒、跌倒持续几分钟、跌倒后已经站起等跌倒事件关键状态；在历史行为状态与当前行为状态组成的连续动作不符合预设跌倒标准的情况下，可以确定视频流中不存在跌倒事件。

本实施例提供了一种跌倒行为检测方法，通过使用整合了目标检测算法和骨架识别算法功能的深度学习算法模型，对指定场景内人物的异常行为进行目标检测维度和骨架维度的识别，通过综合两类算法的结果计算跌倒事件发生时人物会出现的关键行为状态，再结合时域坐标匹配算法保证多人场景下相邻视频帧之间属于不同人物的特征信息不会混淆，进而获知跌倒行为事件发生的关键状态节点，最终达到连续不间断地识别跌倒行为事件的目的。

此外，本申请实施例还提出一种跌倒行为检测装置，参照图9，图9为本申请一实施例提供的一种跌倒行为检测装置的结构示意图，如图9所示，本实施例中，该跌倒行为检测装置包括：获取模块10、识别模块20、计算模块30和分析模块40。

获取模块10用于获取视频流，对视频流进行采样得到视频帧；

识别模块20用于通过预设的深度学习算法模型对视频帧进行识别，得到识别对象的特征信息；其中，特征信息包括历史特征信息和当前特征信息；

计算模块30用于从历史特征信息中获取识别对象的历史行为状态，根据历史行为状态和当前特征信息确定识别对象的当前行为状态；

分析模块40用于将历史行为状态和当前行为状态组成的连续动作与预设跌倒标准进行对比，得到跌倒行为检测结果。

在一些可行的实施例中，预设的深度学习算法模型为人体姿势估计模型；特征信息包括：坐标框、行为类别和骨架序列；识别模块20还用于通过人体姿势估计模型对视频帧进行识别，得到识别对象的坐标框、行为类别和骨架序列。

在一些可行的实施例中，预设的深度学习算法模型包括：目标检测算法和骨架识别算法；特征信息包括：坐标框、行为类别和骨架序列；识别模块20还用于通过目标检测算法对视频帧进行识别，得到识别对象的坐标框和行为类别；基于坐标框从视频帧中剪裁出识别对象的坐标区域；通过骨架识别算法对坐标区域进行识别，得到识别对象的骨架序列。

在一些可行的实施例中，坐标框包括：当前坐标框和历史坐标框；行为类别包括：当前行为类别和历史行为类别；该跌倒行为检测装置还包括：映射模块，映射模块用于将与当前坐标框重叠度最大的历史坐标框映射至同一个识别对象；计算模块30还用于从历史特征信息中获取与历史坐标框对应的历史行为类别，将历史行为类别作为识别对象的历史行为状态。

在一些可行的实施例中，骨架序列包括：当前骨架序列和历史骨架序列；计算模块30还用于从历史特征信息中获取与历史坐标框对应的历史骨架序列作为识别对象的历史骨架序列；根据识别对象的当前骨架序列和历史骨架序列确定识别对象的时域腿部偏移距离序列。

在一些可行的实施例中，计算模块30还用于根据当前骨架序列中的头部坐标确定标准点坐标；将标准点坐标与当前骨架序列中的腿部坐标序列的矢量差作为当前腿部偏移距离序列；将当前腿部偏移距离序列与历史骨架序列中的历史腿部偏移距离序列的差的平方和作为识别对象的时域腿部偏移距离序列。

在一些可行的实施例中，当前行为类别和历史行为状态包括：下蹲状态、跌倒状态和站立状态；计算模块30还用于在当前行为类别为下蹲状态的情况下，根据历史行为状态将当前行为类别转换为跌倒状态或站立状态；在当前行为类别为跌倒状态的情况下，根据历史行为状态中站立状态的连续出现频率确定识别对象的当前行为状态；在当前行为类别为站立状态的情况下，根据历史行为状态中跌倒状态的连续出现频率以及时域腿部偏移距离序列确定识别对象的当前行为状态。

本实施例提供的跌倒行为检测装置与上述实施例提供的跌倒行为检测方法属于同一发明构思，未在本实施例中详尽描述的技术细节可参见上述任意实施例，并且本实施例具备与执行跌倒行为检测方法相同的有益效果。

此外，本申请实施例还提供一种跌倒行为检测设备，上述应用于跌倒行为检测设备的跌倒行为检测方法可以由跌倒行为检测装置执行，该跌倒行为检测装置可以通过软件和/或硬件的方式实现，并集成在跌倒行为检测设备中。该跌倒行为检测设备可以为PC(Personal Computer，个人计算机，包括台式机、笔记本电脑、小型笔记本电脑、平板电脑以及超级本等)、手机、智能穿戴设备等可与网络侧通信的移动设备。

参照图10，图10为本申请实施例提供的一种跌倒行为检测设备的硬件结构示意图。如图10所示，该跌倒行为检测设备可以包括：处理器1001，例如中央处理器(CentralProcessing Unit，CPU)，通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真(WIreless-FIdelity，WI-FI)接口)。存储器1005可以是高速的随机存取存储器(RandomAccess Memory，RAM)，也可以是稳定的非易失性存储器(Non-Volatile Memory，NVM)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储设备。

本领域技术人员可以理解，图10中示出的结构并不构成对跌倒行为检测设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图10所示，作为一种存储介质的存储器1005中可以包括操作***、数据存储模块、网络通信模块、用户接口模块以及计算机程序。

在图10所示的跌倒行为检测设备中，网络接口1004主要用于与其他设备进行数据通信；用户接口1003主要用于与用户进行数据交互；本实施例中的处理器1001、存储器1005可以设置在跌倒行为检测设备中，跌倒行为检测设备通过处理器1001调用存储器1005中存储的计算机程序，并执行以下操作：

获取视频流，对视频流进行采样得到视频帧；

通过预设的深度学习算法模型对视频帧进行识别，得到识别对象的特征信息；其中，特征信息包括历史特征信息和当前特征信息；

从历史特征信息中获取识别对象的历史行为状态，根据历史行为状态和当前特征信息确定识别对象的当前行为状态；

将历史行为状态和当前行为状态组成的连续动作与预设跌倒标准进行对比，得到跌倒行为检测结果。

进一步地，预设的深度学习算法模型为人体姿势估计模型；特征信息包括：坐标框、行为类别和骨架序列；处理器1001可以调用存储器1005中存储的计算机程序，还执行以下操作：

通过人体姿势估计模型对视频帧进行识别，得到识别对象的坐标框、行为类别和骨架序列。

进一步地，预设的深度学习算法模型包括：目标检测算法和骨架识别算法；特征信息包括：坐标框、行为类别和骨架序列；处理器1001可以调用存储器1005中存储的计算机程序，还执行以下操作：

通过目标检测算法对视频帧进行识别，得到识别对象的坐标框和行为类别；

基于坐标框从视频帧中剪裁出识别对象的坐标区域；

通过骨架识别算法对坐标区域进行识别，得到识别对象的骨架序列。

进一步地，坐标框包括：当前坐标框和历史坐标框；行为类别包括：当前行为类别和历史行为类别；处理器1001可以调用存储器1005中存储的计算机程序，还执行以下操作：

将与当前坐标框重叠度最大的历史坐标框映射至同一个识别对象；

从历史特征信息中获取与历史坐标框对应的历史行为类别，将历史行为类别作为识别对象的历史行为状态。

进一步地，骨架序列包括：当前骨架序列和历史骨架序列；处理器1001可以调用存储器1005中存储的计算机程序，还执行以下操作：

从历史特征信息中获取与历史坐标框对应的历史骨架序列作为识别对象的历史骨架序列；

根据识别对象的当前骨架序列和历史骨架序列确定识别对象的时域腿部偏移距离序列。

进一步地，处理器1001可以调用存储器1005中存储的计算机程序，还执行以下操作：

根据当前骨架序列中的头部坐标确定标准点坐标；

将标准点坐标与当前骨架序列中的腿部坐标序列的矢量差作为当前腿部偏移距离序列；

将当前腿部偏移距离序列与历史骨架序列中的历史腿部偏移距离序列的差的平方和作为识别对象的时域腿部偏移距离序列。

进一步地，当前行为类别和历史行为状态包括：下蹲状态、跌倒状态和站立状态；处理器1001可以调用存储器1005中存储的计算机程序，还执行以下操作：

在当前行为类别为下蹲状态的情况下，根据历史行为状态将当前行为类别转换为跌倒状态或站立状态；

在当前行为类别为跌倒状态的情况下，根据历史行为状态中站立状态的连续出现频率确定识别对象的当前行为状态；

在当前行为类别为站立状态的情况下，根据历史行为状态中跌倒状态的连续出现频率以及时域腿部偏移距离序列确定识别对象的当前行为状态。

本实施例提出的跌倒行为检测设备与上述实施例提出的应用于跌倒行为检测设备的跌倒行为检测方法属于同一发明构思，未在本实施例中详尽描述的技术细节可参见上述任意实施例，并且本实施例具备与执行跌倒行为检测方法相同的有益效果。

此外，本申请实施例还提出一种计算机可读存储介质，应用于计算机，该计算机可读存储介质可以为非易失性计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现如上所述的任一实施例的跌倒行为检测方法。

本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、***可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。

以上是对本申请实施例的较佳实施进行了具体说明，但本申请实施例并不局限于上述实施方式，熟悉本领域的技术人员在不违背本申请实施例精神的前提下还可作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请实施例权利要求所限定的范围内。

Claims (10)

1.一种跌倒行为检测方法，其特征在于，所述跌倒行为检测方法包括：

获取视频流，对所述视频流进行采样得到视频帧；

通过预设的深度学习算法模型对所述视频帧进行识别，得到识别对象的特征信息；其中，所述特征信息包括历史特征信息和当前特征信息；

从所述历史特征信息中获取所述识别对象的历史行为状态，根据所述历史行为状态和所述当前特征信息确定所述识别对象的当前行为状态；

将所述历史行为状态和所述当前行为状态组成的连续动作与预设跌倒标准进行对比，得到跌倒行为检测结果。

2.如权利要求1所述的跌倒行为检测方法，其特征在于，所述预设的深度学习算法模型为人体姿势估计模型；所述特征信息包括：坐标框、行为类别和骨架序列；所述通过预设的深度学习算法模型对所述视频帧进行识别，得到识别对象的特征信息的步骤，包括：

通过人体姿势估计模型对所述视频帧进行识别，得到识别对象的坐标框、行为类别和骨架序列。

3.如权利要求1所述的跌倒行为检测方法，其特征在于，所述预设的深度学习算法模型包括：目标检测算法和骨架识别算法；所述特征信息包括：坐标框、行为类别和骨架序列；所述通过预设的深度学习算法模型对所述视频帧进行识别，得到识别对象的特征信息的步骤，包括：

通过目标检测算法对所述视频帧进行识别，得到识别对象的坐标框和行为类别；

基于所述坐标框从所述视频帧中剪裁出包括所述识别对象的坐标区域；

通过骨架识别算法对所述坐标区域进行识别，得到所述识别对象的骨架序列。

4.如权利要求2或3所述的跌倒行为检测方法，其特征在于，所述坐标框包括：当前坐标框和历史坐标框；所述行为类别包括：当前行为类别和历史行为类别；在所述从所述历史特征信息中获取所述识别对象的历史行为状态的步骤之前，所述跌倒行为检测方法还包括：

将与当前坐标框重叠度最大的历史坐标框映射至同一个所述识别对象；

所述从所述历史特征信息中获取所述识别对象的历史行为状态的步骤，包括：

从所述历史特征信息中获取与所述历史坐标框对应的历史行为类别，将所述历史行为类别作为所述识别对象的历史行为状态。

5.如权利要求4所述的跌倒行为检测方法，其特征在于，所述骨架序列包括：当前骨架序列和历史骨架序列；在所述将与当前坐标框重叠度最大的历史坐标框映射至同一个所述识别对象的步骤之后，所述跌倒行为检测方法还包括：

从所述历史特征信息中获取与所述历史坐标框对应的历史骨架序列作为所述识别对象的历史骨架序列；

根据所述识别对象的当前骨架序列和历史骨架序列确定所述识别对象的时域腿部偏移距离序列。

6.如权利要求5所述的跌倒行为检测方法，其特征在于，所述根据所述当前骨架序列和所述历史骨架序列确定所述识别对象的时域腿部偏移距离序列的步骤，包括：

根据所述当前骨架序列中的头部坐标确定标准点坐标；

将所述标准点坐标与所述当前骨架序列中的腿部坐标序列的矢量差作为当前腿部偏移距离序列；

将所述当前腿部偏移距离序列与所述历史骨架序列中的历史腿部偏移距离序列的差的平方和作为所述识别对象的时域腿部偏移距离序列。

7.如权利要求6所述的跌倒行为检测方法，其特征在于，所述当前行为类别和所述历史行为状态包括：下蹲状态、跌倒状态和站立状态；所述根据所述历史行为状态和所述当前特征信息确定所述识别对象的当前行为状态的步骤，包括：

在所述当前行为类别为下蹲状态的情况下，根据所述历史行为状态将所述当前行为类别转换为跌倒状态或站立状态；

在所述当前行为类别为跌倒状态的情况下，根据所述历史行为状态中站立状态的连续出现频率确定所述识别对象的当前行为状态；

在所述当前行为类别为站立状态的情况下，根据所述历史行为状态中跌倒状态的连续出现频率以及所述时域腿部偏移距离序列确定所述识别对象的当前行为状态。

8.一种跌倒行为检测装置，其特征在于，所述跌倒行为检测装置包括：

获取模块，所述获取模块用于获取视频流，对所述视频流进行采样得到视频帧；

识别模块，所述识别模块用于通过预设的深度学习算法模型对所述视频帧进行识别，得到识别对象的特征信息；其中，所述特征信息包括历史特征信息和当前特征信息；

计算模块，所述计算模块用于从所述历史特征信息中获取所述识别对象的历史行为状态，根据所述历史行为状态和所述当前特征信息确定所述识别对象的当前行为状态；

分析模块，所述分析模块用于将所述历史行为状态和所述当前行为状态组成的连续动作与预设跌倒标准进行对比，得到跌倒行为检测结果。

9.一种跌倒行为检测设备，其特征在于，所述跌倒行为检测设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至7中任一项所述的跌倒行为检测方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的跌倒行为检测方法的步骤。