CN112686114A - 一种行为检测方法、装置及设备 - Google Patents

Abstract

本申请提供一种行为检测方法、装置及设备，该方法包括：将待检测视频输入给已训练的目标行为检测模型，由目标行为检测模型输出候选待检测图像中稳态对象的对象位置，及稳态对象的初始行为的行为位置；从所有候选待检测图像中选取同一目标稳态对象的目标待检测图像，基于目标待检测图像确定是否触发针对初始行为的行为检测；若是，基于目标待检测图像中初始行为的行为位置确定目标框位置，并基于目标框位置从待检测视频中获取待检测行为序列；将待检测行为序列输入给已训练的目标序列分类模型，由目标序列分类模型输出与待检测行为序列对应的目标行为类别。通过本申请的技术方案，视频行为检测的准确性高，检测方式简单，保持低误报率。

Description

一种行为检测方法、装置及设备

技术领域

本申请涉及人工智能技术领域，尤其涉及一种行为检测方法、装置及设备。

背景技术

视频是连续的图像序列，由连续的视频图像构成。由于人眼的视觉暂留效应，当视频以一定的速率播放时，人眼看到的就是动作连续的图像序列。

视频行为检测是从视频中定位出行为发生的时间区间(如何时开始，何时结束等)和空间位置(如行为发生的位置)，并进行行为类别分类的技术。视频行为检测可以广泛应用于安防监控领域、人机交互领域、智能园区、智慧课堂、智慧农场、智慧产线、智慧养老、智慧教育、智慧医疗等应用场景，例如，可以检测视频(如电视机产线的视频)中向电视机外包装盒中放置使用说明书的行为，可以检测视频(如洗衣机产线的视频)中洗衣机的操作动作，该操作动作可以包括操作抽屉、操作机门、从机筒内取出说明书、贴封条等行为。

目前，视频行为检测技术存在检测准确性不高，检测方式复杂等问题。

发明内容

第一方面，本申请提供一种行为检测方法，所述方法包括：

将待检测视频输入给已训练的目标行为检测模型，由所述目标行为检测模型输出候选待检测图像中稳态对象的对象位置，及所述稳态对象的初始行为的行为位置；其中，所述候选待检测图像是待检测视频中存在稳态对象的图像；

从所有候选待检测图像中选取同一目标稳态对象的目标待检测图像，并基于所述目标待检测图像确定是否触发针对所述初始行为的行为检测；

若是，基于所述目标待检测图像中所述初始行为的行为位置确定目标框位置，并基于所述目标框位置从所述待检测视频中获取待检测行为序列；

将所述待检测行为序列输入给已训练的目标序列分类模型，由所述目标序列分类模型输出与所述待检测行为序列对应的目标行为类别。

示例性的，所述从所有候选待检测图像中选取同一目标稳态对象的目标待检测图像，包括：基于所有候选待检测图像中稳态对象的对象位置，对同一目标稳态对象进行跟踪，得到所述目标稳态对象的目标待检测图像；其中，所述目标待检测图像是所有候选待检测图像中存在所述目标稳态对象的图像。

示例性的，所述目标行为检测模型还输出所述初始行为的行为类别，及所述行为类别的置信度；所述基于所述目标待检测图像确定是否触发针对所述初始行为的行为检测，包括：统计所有目标待检测图像中与所述行为类别对应的目标待检测图像的图像数量，并基于所述图像数量确定所述行为类别的时间密集度；若所述行为类别的时间密集度大于密集度阈值，且所述行为类别的置信度大于置信度阈值，则确定触发针对所述初始行为的行为检测。

示例性的，所述目标框位置包括所有目标待检测图像中所述初始行为的行为位置的最大外接矩形，所述基于所述目标待检测图像中所述初始行为的行为位置确定目标框位置，包括：以左上角位置为坐标原点，以水平向右为横轴，以水平向下为纵轴时，所述行为位置包括左上角横坐标，左上角纵坐标，右下角横坐标和右下角纵坐标，基于所有行为位置的左上角横坐标选取左上角横坐标最小值；基于所有行为位置的左上角纵坐标选取左上角纵坐标最小值；基于所有行为位置的右下角横坐标选取右下角横坐标最大值；基于所有行为位置的右下角纵坐标选取右下角纵坐标最大值；根据所述左上角横坐标最小值，左上角纵坐标最小值，右下角横坐标最大值和右下角纵坐标最大值确定所述目标框位置；或者，以左下角位置为坐标原点，以水平向右为横轴，以水平向上为纵轴时，所述行为位置包括左下角横坐标，左下角纵坐标，右上角横坐标和右上角纵坐标，基于所有行为位置的左下角横坐标选取左下角横坐标最小值；基于所有行为位置的左下角纵坐标选取左下角纵坐标最小值；基于所有行为位置的右上角横坐标选取右上角横坐标最大值；基于所有行为位置的右上角纵坐标选取右上角纵坐标最大值；根据所述左下角横坐标最小值，左下角纵坐标最小值，右上角横坐标最大值和右上角纵坐标最大值确定所述目标框位置。

在一种可能的实施方式中，所述基于所述目标框位置从所述待检测视频中获取待检测行为序列，包括：从具有所述初始行为的目标待检测图像中选取一帧图像作为遍历起始帧；从所述待检测视频的所述遍历起始帧开始，向前遍历M帧图像；从遍历出的M帧图像中截取与所述目标框位置对应的子图像；将截取的子图像确定为所述初始行为的待检测行为序列。

示例性的，所述目标行为检测模型的训练过程，包括：

获取样本视频，所述样本视频包括发生指定行为的标定样本图像和所述标定样本图像的标定信息，所述标定信息包括发生所述指定行为的稳态对象的对象位置，所述指定行为的行为位置，所述指定行为的行为类别；

将所述样本视频输入给第一初始行为检测模型，以通过所述样本视频中的标定样本图像和所述标定样本图像的标定信息对所述第一初始行为检测模型进行训练，得到已训练的目标行为检测模型。

示例性的，所述目标序列分类模型的训练过程，包括：

将所述样本视频输入给第二初始行为检测模型，由第二初始行为检测模型输出候选样本图像中样本对象的对象位置，及所述样本对象的指定行为的行为位置；所述候选样本图像是所述样本视频中存在样本对象的图像；所述第二初始行为检测模型的阈值条件比所述第一初始行为检测模型的阈值条件宽松；

从所有候选样本图像中选取同一目标样本对象的目标样本图像，基于所述目标样本图像中所述指定行为的行为位置确定样本框位置；

基于所述样本框位置从所述样本视频中获取样本行为序列；

将所述样本行为序列和所述样本行为序列的标定信息输入给初始序列分类模型，以通过所述样本行为序列和所述样本行为序列的标定信息对所述初始序列分类模型进行训练，得到已训练的目标序列分类模型。

在一种可能的实施方式中，所述基于所述样本框位置从所述样本视频中获取样本行为序列，包括：从具有所述指定行为的目标样本图像中选取一帧图像作为遍历起始帧；从所述样本视频的所述遍历起始帧开始，向前遍历M帧图像；从遍历出的M帧图像中截取与所述样本框位置对应的子图像；将截取的子图像确定为所述指定行为的样本行为序列。

第二方面，本申请提出一种行为检测装置，所述装置包括：

选取模块，用于将待检测视频输入给已训练的目标行为检测模型，由所述目标行为检测模型输出候选待检测图像中稳态对象的对象位置，及所述稳态对象的初始行为的行为位置，所述候选待检测图像是待检测视频中存在稳态对象的图像；从所有候选待检测图像中选取同一目标稳态对象的目标待检测图像；

确定模块，用于基于目标待检测图像确定是否触发针对初始行为的行为检测；若是，基于目标待检测图像中所述初始行为的行为位置确定目标框位置；

获取模块，用于基于所述目标框位置从待检测视频中获取待检测行为序列；

检测模块，用于将所述待检测行为序列输入给已训练的目标序列分类模型，由所述目标序列分类模型输出与所述待检测行为序列对应的目标行为类别。

第三方面，本申请提出一种行为检测设备，包括：处理器和机器可读存储介质，所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令；

所述处理器用于执行机器可执行指令，以实现如下步骤：

将待检测视频输入给已训练的目标行为检测模型，由所述目标行为检测模型输出候选待检测图像中稳态对象的对象位置，及所述稳态对象的初始行为的行为位置；其中，所述候选待检测图像是待检测视频中存在稳态对象的图像；

从所有候选待检测图像中选取同一目标稳态对象的目标待检测图像，并基于所述目标待检测图像确定是否触发针对所述初始行为的行为检测；

若是，基于所述目标待检测图像中所述初始行为的行为位置确定目标框位置，并基于所述目标框位置从所述待检测视频中获取待检测行为序列；

将所述待检测行为序列输入给已训练的目标序列分类模型，由所述目标序列分类模型输出与所述待检测行为序列对应的目标行为类别。

由以上技术方案可见，本申请实施例中，可以使用目标行为检测模型获取待检测视频中稳态对象的对象位置，及稳态对象的初始行为的行为位置，并基于稳态对象的对象位置对同一目标稳态对象进行跟踪，得到多个目标待检测图像，基于多个目标待检测图像中初始行为的行为位置确定目标框位置，基于目标框位置获取待检测行为序列，再使用目标序列分类模型输出与待检测行为序列对应的目标行为类别，完成行为分类功能，视频行为检测的准确性高，检测方式简单，是一种自动化的通用视频行为检测方法，能够提升行为检测技术应用的通用性，降低使用门槛，便于在各个领域的快速推广。通过对待检测视频进行人工智能分析，识别待检测视频内所关注行为发生的时间和地点，可***性的识别所关注行为，保持低误报率。通过稳态对象的跟踪让目标不再轻易丢失，能保障目标的稳定跟踪，使得围绕一个主体发生的多类行为有效关联，对于一些常见的遮挡、局部动作移动过快都能较好的适应，更符合应用的需求。

附图说明

为了更加清楚地说明本申请实施例或者现有技术中的技术方案，下面将对本申请实施例或者现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据本申请实施例的这些附图获得其他的附图。

图1是本申请一种实施方式中的行为检测方法的流程示意图；

图2是本申请一种实施方式中的行为检测的***结构图；

图3是本申请一种实施方式中的行为检测方法的流程示意图；

图4A和图4B是本申请一种实施方式中的目标框位置的示意图；

图5是本申请一种实施方式中的行为检测装置的结构示意图；

图6是本申请一种实施方式中的行为检测设备的硬件结构图。

具体实施方式

在本申请实施例使用的术语仅仅是出于描述特定实施例的目的，而非限制本申请。本申请和权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其它含义。还应当理解，本文中使用的术语“和/或”是指包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本申请实施例可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，此外，所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

在介绍本申请的技术方案之前，先介绍与本申请实施例有关的概念。

机器学习：机器学习是实现人工智能的一种途径，用于研究计算机如何模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身性能。深度学习属于机器学习的子类，是一种使用数学模型对真实世界中的特定问题进行建模，以解决该领域内相似问题的过程。神经网络是深度学习的实现方式，为了方便描述，本文以神经网络为例，介绍神经网络的结构和功能，对于机器学习的其它子类，与神经网络的结构和功能类似。

神经网络：神经网络包括但不限于卷积神经网络(简称CNN)、循环神经网络(简称RNN)、全连接网络等，神经网络的结构单元包括但不限于卷积层(Conv)、池化层(Pool)、激励层、全连接层(FC)等，对此不做限制。

在实际应用中，可以根据不同需求，将一个或多个卷积层，一个或多个池化层，一个或多个激励层，以及一个或多个全连接层进行组合构建神经网络。

在卷积层中，通过使用卷积核对输入数据特征进行卷积运算，使输入数据特征增强，该卷积核可以是m*n大小的矩阵，卷积层的输入数据特征与卷积核进行卷积，可以得到卷积层的输出数据特征，卷积运算实际是一个滤波过程。

在池化层中，通过对输入数据特征(如卷积层的输出)进行取最大值、取最小值、取平均值等操作，从而利用局部相关性的原理，对输入数据特征进行子抽样，减少处理量，并保持特征不变性，池化层运算实际是一个降采样过程。

在激励层中，可以使用激活函数(如非线性函数)对输入数据特征进行映射，从而引入非线性因素，使得神经网络通过非线性的组合增强表达能力。

该激活函数可以包括但不限于ReLU(Rectified Linear Units，整流线性单元)函数，该ReLU函数用于将小于0的特征置0，而大于0的特征保持不变。

在全连接层中，用于将输入给本全连接层的所有数据特征进行全连接处理，从而得到一个特征向量，且该特征向量中可以包括多个数据特征。

神经网络(如卷积神经网络)的训练过程和检测过程：可以利用样本数据训练神经网络内的各神经网络参数，如卷积层参数(如卷积核参数)、池化层参数、激励层参数、全连接层参数等，对此不做限制。通过训练神经网络内的各神经网络参数，可以使神经网络拟合出输入和输出的映射关系。

在神经网络训练完成后，可以基于已训练的神经网络进行检测，即基于已训练的神经网络实现人工智能处理，对此人工智能处理过程不做限制。

行为检测模型：行为检测模型是基于机器学习算法实现的网络模型，如基于深度学习算法实现的网络模型，以基于深度学习算法中的神经网络实现行为检测模型为例。为了方便描述，将未完成训练的行为检测模型称为初始行为检测模型，将已完成训练的行为检测模型称为目标行为检测模型。

序列分类模型：序列分类模型是基于机器学习算法实现的网络模型，如基于深度学习算法实现的网络模型，以基于深度学习算法中的神经网络实现序列分类模型为例。为了方便描述，将未完成训练的序列分类模型称为初始序列分类模型，将已完成训练的序列分类模型称为目标序列分类模型。

样本视频：样本视频是训练过程中使用的视频，即，在初始行为检测模型和初始序列分类模型的训练过程中，基于样本视频进行训练，对此训练过程参见后续实施例。样本视频可以包括多个样本图像，这些样本图像可以是连续图像，如样本视频包括连续的样本图像1、样本图像2、…、样本图像m。

待检测视频：待检测视频是检测过程中使用的视频，即，基于已训练的目标行为检测模型和目标序列分类模型，对待检测视频进行检测，对此检测过程参见后续实施例。待检测视频包括多个待检测图像，这些待检测图像是连续图像，如待检测视频包括连续的待检测图像1、待检测图像2、…、待检测图像n。

以下结合具体实施例，对本申请实施例的技术方案进行说明。

本申请实施例中提出一种行为检测方法，参见图1所示，为行为检测方法的流程示意图，该方法可以应用于任意设备(如模拟摄像机、IPC(IP Camera，网络摄像机)，后台服务器，应用服务器等)，该方法可以包括：

步骤101，将待检测视频输入给已训练的目标行为检测模型，由目标行为检测模型输出候选待检测图像中稳态对象的对象位置，及稳态对象的初始行为的行为位置。示例性的，候选待检测图像是待检测视频中存在稳态对象的图像。

在一种可能的实施方式中，初始行为用于描述行为发生时的动作，而稳态对象可以是该初始行为的行为执行对象，也可以是该初始行为本身。

比如说，某电视机产线需要识别向电视机外包装盒中放置使用说明书的行为，则初始行为是“手拿说明书”，而稳态对象是该初始行为的行为执行对象，即“人体”。又例如，某制药厂需要识别拖箱子行为，则初始行为是“人接触箱子”，而稳态对象是该初始行为本身，即稳态对象是“人接触箱子”。

步骤102，从所有候选待检测图像中选取同一目标稳态对象的目标待检测图像。示例性的，基于所有候选待检测图像中稳态对象的对象位置，对同一目标稳态对象进行跟踪，得到该目标稳态对象的目标待检测图像。其中，目标待检测图像可以是所有候选待检测图像中存在该目标稳态对象的图像。

步骤103，基于目标待检测图像确定是否触发针对初始行为(即目标行为检测模型输出的目标稳态对象的初始行为)的行为检测。若是，则可以执行步骤104，若否，则不再执行后续步骤，等待下个待检测视频的处理流程。

在一种可能的实施方式中，目标行为检测模型还可以输出该初始行为的行为类别，及该行为类别的置信度，在此基础上，基于目标待检测图像确定是否触发针对初始行为的行为检测，可以包括但不限于：统计所有目标待检测图像中与该行为类别对应的目标待检测图像的图像数量，并基于该图像数量确定该行为类别的时间密集度。若该行为类别的时间密集度大于密集度阈值，且该行为类别的置信度大于置信度阈值，则可以确定触发针对该初始行为的行为检测。若该行为类别的时间密集度不大于密集度阈值，和/或，该行为类别的置信度不大于置信度阈值，则可以确定不触发针对该初始行为的行为检测。

步骤104，基于目标待检测图像中该初始行为的行为位置确定目标框位置，该目标框位置可以包括所有目标待检测图像中该初始行为的行为位置的最大外接矩形。当然，最大外接矩形只是目标框位置的示例，对此不做限制。

以目标框位置是最大外接矩形为例，基于目标待检测图像中该初始行为的行为位置确定目标框位置，可以包括但不限于：以左上角位置为坐标原点，以水平向右为横轴，以水平向下为纵轴时，该行为位置可以包括左上角横坐标，左上角纵坐标，右下角横坐标和右下角纵坐标，基于所有行为位置的左上角横坐标选取左上角横坐标最小值；基于所有行为位置的左上角纵坐标选取左上角纵坐标最小值；基于所有行为位置的右下角横坐标选取右下角横坐标最大值；基于所有行为位置的右下角纵坐标选取右下角纵坐标最大值。根据左上角横坐标最小值，左上角纵坐标最小值，右下角横坐标最大值和右下角纵坐标最大值确定该目标框位置。或者，以左下角位置为坐标原点，以水平向右为横轴，以水平向上为纵轴时，该行为位置可以包括左下角横坐标，左下角纵坐标，右上角横坐标和右上角纵坐标，基于所有行为位置的左下角横坐标选取左下角横坐标最小值；基于所有行为位置的左下角纵坐标选取左下角纵坐标最小值；基于所有行为位置的右上角横坐标选取右上角横坐标最大值；基于所有行为位置的右上角纵坐标选取右上角纵坐标最大值。根据左下角横坐标最小值，左下角纵坐标最小值，右上角横坐标最大值和右上角纵坐标最大值确定该目标框位置。

当然，上述只是确定目标框位置的两个示例，对此确定方式不做限制。

步骤105，基于该目标框位置从待检测视频中获取待检测行为序列。

示例性的，可以从具有该初始行为的目标待检测图像中选取一帧图像作为遍历起始帧，并从待检测视频的遍历起始帧开始，向前遍历M帧图像。从遍历出的M帧图像中截取与目标框位置对应的子图像，将截取的子图像确定为初始行为的待检测行为序列，即待检测行为序列包括从M帧图像中截取的子图像。

步骤106，将该待检测行为序列输入给已训练的目标序列分类模型，由目标序列分类模型输出与该待检测行为序列对应的目标行为类别。

在一种可能的实施方式中，目标行为检测模型的训练过程，可以包括：获取样本视频，该样本视频包括发生指定行为的标定样本图像和该标定样本图像的标定信息，该标定信息可以包括发生该指定行为的稳态对象的对象位置，该指定行为的行为位置，该指定行为的行为类别。将样本视频输入给第一初始行为检测模型，以通过该样本视频中的标定样本图像和该标定样本图像的标定信息对第一初始行为检测模型进行训练，得到已训练的目标行为检测模型。

在一种可能的实施方式中，目标序列分类模型的训练过程，可以包括但不限于如下方式：获取样本视频，该样本视频可以包括发生指定行为的标定样本图像和该标定样本图像的标定信息，该标定信息可以包括发生该指定行为的稳态对象的对象位置，该指定行为的行为位置，该指定行为的行为类别。

将该样本视频输入给第二初始行为检测模型，由第二初始行为检测模型输出候选样本图像中样本对象的对象位置，及该样本对象的指定行为的行为位置。候选样本图像是该样本视频中存在样本对象的图像，该第二初始行为检测模型的阈值条件可以比上述第一初始行为检测模型的阈值条件宽松。然后，可以从所有候选样本图像中选取同一目标样本对象的目标样本图像，并基于该目标样本图像中该指定行为的行为位置确定样本框位置。然后，基于该样本框位置从样本视频中获取样本行为序列，并将该样本行为序列和该样本行为序列的标定信息输入给初始序列分类模型，以通过该样本行为序列和该样本行为序列的标定信息对初始序列分类模型进行训练，得到已训练的目标序列分类模型。

示例性的，基于该样本框位置从样本视频中获取样本行为序列，可以包括：从具有指定行为的目标样本图像中选取一帧图像作为遍历起始帧；从样本视频的遍历起始帧开始，向前遍历M帧图像；从遍历出的M帧图像中截取与该样本框位置对应的子图像；将截取的子图像确定为该指定行为的样本行为序列。

示例性的，上述执行顺序只是为了方便描述给出的一个示例，在实际应用中，还可以改变步骤之间的执行顺序，对此执行顺序不做限制。而且，在其它实施例中，并不一定按照本说明书示出和描述的顺序来执行相应方法的步骤，其方法所包括的步骤可以比本说明书所描述的更多或更少。此外，本说明书中所描述的单个步骤，在其它实施例中可能被分解为多个步骤进行描述；本说明书中所描述的多个步骤，在其它实施例也可能被合并为单个步骤进行描述。

由以上技术方案可见，本申请实施例中，视频行为检测的准确性高，检测方式简单，是一种自动化的通用视频行为检测方法，能够提升行为检测技术应用的通用性，降低使用门槛，便于在各个领域的快速推广。通过对待检测视频进行人工智能分析，识别待检测视频内所关注行为发生的时间和地点，可***性的识别所关注行为，保持低误报率。通过稳态对象的跟踪让目标不再轻易丢失，能保障目标的稳定跟踪，使得围绕一个主体发生的多类行为有效关联，对于一些常见的遮挡、局部动作移动过快都能较好的适应，更符合应用的需求。

以下结合具体应用场景，对本申请实施例的上述技术方案进行说明。

本申请实施例中提出一种自动化通用的行为检测方法，通过对视频进行人工智能分析，识别视频内所关注行为发生的时间、地点。能够基于视频行为的标注，自动化的完成模型训练，并自动完成行为检测和行为识别，从视频中定位出行为发生的时间区间(如何时开始、何时结束等)和空间位置(如行为发生的位置)，并进行行为类别的分类。该视频行为检测方法可以广泛应用于安防监控领域、人机交互领域、智慧城市、智能园区、智慧课堂、智慧农场、智慧产线、智慧养老、智慧教育、智慧医疗、智慧社区等应用场景。

本实施例中，参见图2所示，可以通过视频采集模块、行为初检模块、行为动作预触发模块、行为动作序列分类模块、行为动作确认模块实现行为检测方法，当然，本实施例只是以这些功能模块为例，在实际应用中，还可以采用更多的功能模块或者更少的功能模块实现行为检测方法。比如说，将行为初检模块的功能拆分成多个功能模块实现，又例如，将行为初检模块和行为动作预触发模块的功能合并为一个功能模块实现，对此功能模块的划分方式不做限制。以下结合具体流程对图2所示的各功能模块的功能进行说明。

参见图3所示，为行为检测方法的流程示意图，该方法可以包括：

步骤301，视频采集模块获取待检测视频，待检测视频包括多个待检测图像。

示例性的，视频采集模块包括安装在各场景的摄像机和存储单元，摄像机能够获取场景内的视频流，存储单元能够存储摄像机获取的该视频流。视频采集模块可以从所有视频流中选取待检测视频，比如说，将部分或者全部视频流作为待检测视频，待检测视频是需要进行行为检测的视频流。综上所述，视频采集模块可以获取到待检测视频，并将该待检测视频发送给行为初检模块。

步骤302，行为初检模块将待检测视频输入给已训练的目标行为检测模型，由目标行为检测模型输出候选待检测图像中稳态对象的对象位置，该稳态对象的初始行为的行为位置，及该初始行为的行为类别，该行为类别的置信度。示例性的，候选待检测图像可以是该待检测视频中存在稳态对象的待检测图像。

示例性的，关于目标行为检测模型的训练过程，在后续实施例中介绍，本步骤302中，基于已训练的目标行为检测模型实现待检测视频的初步检测。

示例性的，目标行为检测模型用于拟合特征向量与稳态对象、稳态对象的初始行为、初始行为的行为类别的映射关系。在此基础上，在将待检测视频输入给目标行为检测模型后，针对待检测视频中的每个待检测图像，目标行为检测模型可以对该待检测图像进行处理，得到该待检测图像的特征向量。

若该待检测图像的特征向量对应有稳态对象(即该待检测图像中存在稳态对象)，则将该待检测图像作为候选待检测图像，且目标行为检测模型可以从候选待检测图像中识别出稳态对象的对象位置，并输出该稳态对象的对象位置。

在此基础上，若该待检测图像的特征向量对应有该稳态对象的初始行为(表示稳态对象正在执行该初始行为)，则目标行为检测模型还可以识别出该初始行为的行为位置，该初始行为的行为类别及该行为类别的置信度，并输出该初始行为的行为位置，该初始行为的行为类别及该行为类别的置信度。

若该待检测图像的特征向量未对应稳态对象(即该待检测图像不存在稳态对象)，则不将该待检测图像作为候选待检测图像，即，无论该待检测图像的特征向量是否对应初始行为，均不将该待检测图像作为候选待检测图像，不需要输出稳态对象的对象位置、初始行为的行为位置，初始行为的行为类别等。

综上所述，目标行为检测模型可以输出候选待检测图像中稳态对象的对象位置，该稳态对象的初始行为的行为位置，该初始行为的行为类别，该行为类别的置信度。示例性的，该对象位置可以表示该稳态对象在候选待检测图像中的坐标，该行为位置可以表示该初始行为在候选待检测图像中的坐标。

在一种可能的实施方式中，行为初检模块用于提取稳态对象的对象位置及稳态对象的初始行为的行为位置，即从候选待检测图像中识别出稳态对象和稳态对象的初始行为(即行为关键动作)。初始行为用于描述行为发生时的动作，该动作可能是一类或多类，识别该类动作是为了进行完整行为序列识别的初步检测定位。行为发生时的稳态对象一般为一类，作用是锁定稳定的行为执行对象。当行为关键动作本身足够稳定时，行为关键动作本身也可作为稳态对象。

比如说，某电视机产线需要识别向电视机外包装盒中放置使用说明书的行为，该行为的关键动作只有一类，即手拿说明书，稳态对象是人体。

在此情况下，从候选待检测图像中识别出的稳态对象是人体，稳态对象的对象位置是人体的坐标信息。从候选待检测图像中识别出的稳态对象的初始行为是“手拿说明书”的行为，初始行为的行为位置是“手拿说明书的行为”对应的坐标信息，初始行为的行为类别是“手拿说明书的行为”的类别。

又例如，某洗衣机产线需要识别操作洗衣机的流程动作，该行为的关键动作可以有四类，如可以包括操作抽屉、操作机门、从机筒内取出说明书、贴封条，稳态对象是洗衣机，四类关键动作都是围绕洗衣机进行的。

在此情况下，从候选待检测图像中识别出的稳态对象是洗衣机，稳态对象的对象位置是洗衣机的坐标信息。从候选待检测图像中识别出的稳态对象的初始行为可能是“操作抽屉”的行为，初始行为的行为位置是“操作抽屉”对应的坐标信息，初始行为的行为类别是“操作抽屉”的类别；或者，从候选待检测图像中识别出的稳态对象的初始行为也可能是“操作机门”的行为，初始行为的行为位置是“操作机门”对应的坐标信息，初始行为的行为类别是“操作机门”的类别，以此类推，初始行为可能是上述四类关键动作的任意一种。

又例如，某制药厂需要识别拖箱子行为，该行为的关键动作是人接触箱子，这类行为可以作为稳态对象，即稳态对象是人接触箱子。在此情况下，从候选待检测图像中识别出的稳态对象是人接触箱子，从候选待检测图像中识别出的稳态对象的初始行为是人接触箱子，即稳态对象与稳态对象的初始行为相同。

当然，上述只是稳态对象和稳态对象的初始行为的示例，对此不做限制。

步骤303，基于候选待检测图像中稳态对象的对象位置，行为动作预触发模块从所有候选待检测图像中选取同一目标稳态对象的目标待检测图像，该目标待检测图像可以是所有候选待检测图像中存在该目标稳态对象的待检测图像。

示例性的，由于目标行为检测模型可能输出多个稳态对象的候选待检测图像，因此，可以采用跟踪算法得到每个稳态对象的候选待检测图像，为了方便描述，后续以一个稳态对象的跟踪过程为例进行说明，将该稳态对象称为目标稳态对象，将该目标稳态对象的候选待检测图像称为目标待检测图像。

综上所述，基于所有候选待检测图像中稳态对象的对象位置，可以对同一目标稳态对象进行跟踪，得到该目标稳态对象的目标待检测图像。例如，基于所有候选待检测图像中稳态对象的对象位置，采用跟踪算法确定出一个稳态对象作为目标稳态对象，采用跟踪算法确定出属于该目标稳态对象的多个对象位置，将这些对象位置所在的候选待检测图像作为该目标稳态对象的目标待检测图像，至此，完成跟踪过程，得到目标稳态对象的目标待检测图像。本实施例对此跟踪过程不做限制，只要能够得到目标稳态对象的目标待检测图像即可。

参见上述实施例，目标行为检测模型可以输出候选待检测图像中稳态对象的对象位置，该稳态对象的初始行为的行为位置，该初始行为的行为类别，该行为类别的置信度，且目标稳态对象属于稳态对象，目标稳态对象的目标待检测图像属于候选待检测图像，因此，在得到目标稳态对象的目标待检测图像后，也可以得到目标待检测图像中该目标稳态对象的对象位置，该目标稳态对象的初始行为的行为位置，该初始行为的行为类别，该行为类别的置信度。

在上述实施例中，基于候选待检测图像中稳态对象的对象位置，对目标稳态对象进行跟踪，而不是基于候选待检测图像中稳态对象的初始行为的行为位置，对初始行为进行跟踪，其原因在于：由于稳态对象具有目标大、稳定出现等特点，因此，跟踪检测的性能好，跟踪不易丢失，能够提升目标跟踪的稳定性。若仅用关键动作(即初始行为)来跟踪，对于关键动作较小且运动幅度较大的情况，容易跟踪丢失目标。另外，对于围绕着一个主体发生的多类行为动作来说，目标稳态对象还有串联多类行为到同一个主体的作用。

步骤304，行为动作预触发模块基于目标待检测图像确定是否触发针对初始行为(即目标行为检测模型输出的目标稳态对象的初始行为)的行为检测。若是，则执行步骤305，若否，则不再执行后续步骤，等待下个待检测视频的处理。

示例性的，目标稳态对象的初始行为可能是一个行为，如“手拿说明书的行为”，也可能是多个行为，如“操作抽屉”的行为、“操作机门”的行为、“从机筒内取出说明书”的行为、“贴封条”的行为，因此，针对每个初始行为，需要确定是否触发针对该初始行为的行为检测。比如说，行为动作预触发模块采用如下步骤确定是否触发针对该初始行为的行为检测：

步骤3041、统计目标稳态对象的所有目标待检测图像中，与该目标稳态对象的初始行为的行为类别对应的目标待检测图像的图像数量。

参见上述实施例，针对目标稳态对象的每个目标待检测图像，目标行为检测模型已输出该目标稳态对象的初始行为的行为类别，假设行为类别为行为类别A和行为类别B，则可以统计与行为类别A对应的目标待检测图像的图像数量，并统计与行为类别B对应的目标待检测图像的图像数量。假设目标稳态对象对应100个目标待检测图像，与行为类别A对应的目标待检测图像的图像数量为80，与行为类别B对应的目标待检测图像的图像数量为20。

步骤3042、基于图像数量确定行为类别的时间密集度。例如，基于行为类别A对应的目标待检测图像的图像数量确定行为类别A的时间密集度，基于行为类别B对应的目标待检测图像的图像数量确定行为类别B的时间密集度。

在一种可能的实施方式中，可以只基于图像数量确定行为类别的时间密集度，且该时间密集度与该图像数量成正比，即，该图像数量越大时则该时间密集度越大，该图像数量越小时则该时间密集度越小。比如说，对该图像数量进行归一化处理，以将图像数量映射到[a，b]之间的取值，如a为0，b为1。然后，将映射后的取值作为时间密集度。当然，上述只是示例，对此不做限制，只要能够基于图像数量确定时间密集度，且时间密集度与图像数量成正比即可。

例如，可以将图像数量80归一化处理到[a，b]之间的取值p1，并将p1作为行为类别A的时间密集度，可以将图像数量20归一化处理到[a，b]之间的取值p2，并将p2作为行为类别B的时间密集度。显然，p1可以大于p2。

在另一种可能的实施方式中，可以基于行为类别对应的图像数量和图像总数量(即目标稳态对象的所有目标待检测图像的图像总数量)确定该行为类别的时间密集度，例如，基于行为类别对应的图像数量和图像总数量的比例，确定该行为类别的时间密集度，且该时间密集度与该比例成正比，即，该比例越大时，则该时间密集度越大，该比例越小时，则该时间密集度越小。比如说，将该比例作为该时间密集度。当然，上述只是示例，对此不做限制，只要能够基于该比例确定该时间密集度，且该时间密集度与该比例成正比即可。

例如，可以基于行为类别A对应的图像数量80和图像总数量100的比例，确定行为类别A的时间密集度，如80％。可以基于行为类别B对应的图像数量20和图像总数量100的比例，确定行为类别B的时间密集度，如20％。

步骤3043、确定目标稳态对象的初始行为的行为类别的置信度。

参见上述实施例，针对目标稳态对象的每个目标待检测图像，目标行为检测模型已输出该目标稳态对象的初始行为的行为类别的置信度，假设行为类别A对应80个目标待检测图像，则目标行为检测模型会输出这80个目标待检测图像中行为类别A的置信度，可以将这些置信度中的最大值作为行为类别A的置信度，也可以将这些置信度的平均值作为行为类别A的置信度，对此不做限制。

同理，可以得到行为类别B的置信度，在此不再重复赘述。

步骤3044，基于行为类别的时间密集度和行为类别的置信度，确定是否触发针对该行为类别对应的初始行为的行为检测。比如说，若行为类别的时间密集度大于密集度阈值(可根据经验配置)，且行为类别的置信度大于置信度阈值(可根据经验配置)，则确定触发针对该行为类别对应的初始行为的行为检测。若行为类别的时间密集度不大于密集度阈值，和/或，行为类别的置信度不大于置信度阈值，则确定不触发针对该行为类别对应的初始行为的行为检测。

综上所述，针对目标稳态对象的每个初始行为，可以确定是否触发针对该初始行为的行为检测(即二次确认过程，也即确定该初始行为的行为类别是否准确)，比如说，目标稳态对象对应两个初始行为，一个初始行为满足触发条件，确定触发针对该初始行为的行为检测，即针对该初始行为执行步骤305，另一个初始行为不满足触发条件，确定不触发针对该初始行为的行为检测。

步骤305，在触发针对初始行为的行为检测时，行为动作预触发模块基于该初始行为对应的目标待检测图像中该初始行为的行为位置确定目标框位置。

比如说，若触发针对行为类别A的初始行为的行为检测，则从目标稳态对象的所有目标待检测图像中选取与行为类别A的初始行为对应的目标待检测图像，即这些目标待检测图像中的初始行为的行为类别为行为类别A，可以基于这些目标待检测图像中该初始行为的行为位置确定目标框位置。例如，在目标稳态对象的100个目标待检测图像中，存在行为类别A的80个目标待检测图像，则基于80个目标待检测图像中初始行为的行为位置确定目标框位置。

示例性的，该目标框位置表示所有目标待检测图像中该初始行为的行为位置的空间范围，该空间范围可以包括但不限于外接矩形框、外接圆形框、外接多边形框等，为了方便描述，后续以外接矩形框为例进行说明，该目标框位置可以为所有目标待检测图像中该初始行为的行为位置的最大外接矩形。

在一种可能的实施方式中，在以左上角位置为坐标原点建立坐标系，以水平向右为横轴，以水平向下为纵轴时，该行为位置可以包括左上角横坐标，左上角纵坐标，右下角横坐标和右下角纵坐标。在此基础上，基于所有行为位置的左上角横坐标(即行为位置的外接矩形框的左上角横坐标)选取左上角横坐标最小值；基于所有行为位置的左上角纵坐标选取左上角纵坐标最小值；基于所有行为位置的右下角横坐标选取右下角横坐标最大值；基于所有行为位置的右下角纵坐标选取右下角纵坐标最大值。根据左上角横坐标最小值，左上角纵坐标最小值，右下角横坐标最大值和右下角纵坐标最大值确定该目标框位置。

比如说，参见图4A所示，在得到存在行为类别A的所有目标待检测图像后，基于行为类别A的所有目标待检测图像中初始行为的行为位置，每个行为位置包括左上角坐标(左上角横坐标left_top_x，左上角纵坐标left_top_y)和右下角坐标(右下角横坐标right_bottom_x，右下角纵坐标right_bottom_y)。基于所有的左上角横坐标选取出左上角横坐标最小值，记为min({left_top_x})，基于所有的左上角纵坐标选取出左上角纵坐标最小值，记为min({left_top_y})。基于所有的右下角横坐标选取出右下角横坐标最大值，记为max({right_bottom_x}，基于所有的右下角纵坐标选取出右下角纵坐标最大值，记为max({right_bottom_y})。然后，将min({left_top_x})和min({left_top_y}))组成一个坐标点A1，将max({right_bottom_x}和max({right_bottom_y})组成一个坐标点A2，而基于坐标点A1和坐标点A2组成的矩形框，就是目标框位置。

在另一可能的实施方式中，以左下角位置为坐标原点建立坐标系，以水平向右为横轴，以水平向上为纵轴，行为位置包括左下角横坐标，左下角纵坐标，右上角横坐标和右上角纵坐标。基于所有行为位置的左下角横坐标选取左下角横坐标最小值；基于所有行为位置的左下角纵坐标选取左下角纵坐标最小值；基于所有行为位置的右上角横坐标选取右上角横坐标最大值；基于所有行为位置的右上角纵坐标选取右上角纵坐标最大值。根据左下角横坐标最小值，左下角纵坐标最小值，右上角横坐标最大值和右上角纵坐标最大值确定目标框位置。

比如说，参见图4B所示，在得到存在行为类别A的所有目标待检测图像后，基于行为类别A的所有目标待检测图像中初始行为的行为位置，每个行为位置包括左下角坐标(左下角横坐标left_bottom_x，左下角纵坐标left_bottom_y)和右上角坐标(右上角横坐标right_top_x，右上角纵坐标right_top_y)。基于所有的左下角横坐标选取出左下角横坐标最小值，记为min({left_bottom_x})，基于所有的左下角纵坐标选取出左下角纵坐标最小值，记为min({left_bottom_y})。基于所有的右上角横坐标选取出右上角横坐标最大值，记为max({right_top_x}，基于所有的右上角纵坐标选取出右上角纵坐标最大值，记为max({right_top_y})。

然后，将min({left_bottom_x})和min({left_bottom_y})组成一个坐标点B1，将max({right_top_x}和max({right_top_y})组成一个坐标点B2，而基于坐标点B1和坐标点B2组成的矩形框，就是该初始行为的目标框位置。

当然，上述只是确定目标框位置的两个示例，在实际应用中，还可以以右下角位置为坐标原点建立坐标系，或者，还可以以右上角位置为坐标原点建立坐标系，或者，还可以以图像中心点位置为坐标原点建立坐标系，这些情况下，也可以得到最大外接矩形，实现方式类似，对此确定方式不做限制。

步骤306，行为动作序列分类模块基于该目标框位置从待检测视频中获取待检测行为序列。示例性的，行为动作预触发模块在得到目标框位置后，还可以将该目标框位置发送给行为动作序列分类模块，以使该行为动作序列分类模块基于该目标框位置从上述待检测视频中获取待检测行为序列。

示例性的，可以采用如下步骤从待检测视频中获取待检测行为序列：

步骤3061，从具有该初始行为的目标待检测图像中选取一帧图像作为遍历起始帧。比如说，从存在行为类别A的80个目标待检测图像中选取一帧图像作为遍历起始帧，如存在行为类别A的80个目标待检测图像中的最后一帧图像作为遍历起始帧，或者，存在行为类别A的80个目标待检测图像中的任意一帧图像作为遍历起始帧，当然，上述方式只是示例，对此遍历起始帧不做限制。

步骤3062，从待检测视频的遍历起始帧开始，向前遍历M帧图像。比如说，从待检测视频的遍历起始帧开始，从待检测视频中遍历出连续的M帧图像。

示例性的，M的取值可以根据经验进行配置，如4、8、16、32、64、128等，在一种可能的实施方式中，还可以采用如下方式确定M的取值：可以根据行为发生的时长，和/或，承载算法的硬件平台支持的最大值来确定M的取值。

比如说，假设存在行为类别A的目标待检测图像的数量为80(即时长为80)，则M可以大于或者等于80。假设硬件平台支持的最大值为N，则M不大于N。

步骤3063，从遍历出的M帧图像中截取与目标框位置对应的子图像。

比如说，针对遍历出的M帧图像中的每帧图像，从该图像中截取与该目标框位置匹配的子图像，即，基于目标框位置的左上角横坐标、左上角纵坐标、右下角横坐标和右下角纵坐标，从该图像中截取与该目标框位置匹配的子图像。

步骤3064，将截取的子图像确定为初始行为的待检测行为序列。比如说，将截取的所有子图像组合起来，得到该初始行为的待检测行为序列。

步骤307，行为动作序列分类模块将待检测行为序列输入给已训练的目标序列分类模型，由目标序列分类模型输出与待检测行为序列对应的目标行为类别。

示例性的，关于目标序列分类模型的训练过程，在后续实施例中介绍，本步骤307中，基于已训练的目标序列分类模型实现待检测行为序列的二次检测。

示例性的，目标序列分类模型可以用于拟合特征向量与行为类别的映射关系，在此基础上，在将待检测行为序列输入给目标序列分类模型后，目标序列分类模型可以对该待检测行为序列进行处理，得到该待检测行为序列的特征向量，并确定与该特征向量对应的行为类别，该行为类别是与该待检测行为序列对应的目标行为类别。至此，目标序列分类模型可以输出该目标行为类别。当然，目标序列分类模型还可以输出与该目标行为类别对应的置信度。

综上所述，针对目标稳态对象的初始行为的行为类别，行为动作序列分类模块可以对初始行为的行为类别(即初步判断的疑似行为)进行二次确认，识别该行为是否为关注的行为，即，行为动作序列分类模块可以得到目标行为类别，该目标行为类别作为最终的行为类别，替代初始行为的行为类别。

在一种可能的实施方式中，行为动作确认模块可以根据目标行为类别进行报警处理，比如说，假设目标行为类别为类别A，则产生针对类别A的报警消息，该报警消息可以携带类别A的信息，表示待检测视频中存在类别A的行为。该报警消息还可以携带目标稳态对象的多个目标待检测图像的时间信息(如起始时刻和终止时刻)，表示处于该时间信息的待检测图像发生类别A的行为。该报警消息还可以携带目标框位置，表示该目标框位置发生类别A的行为。

行为动作确认模块还可以控制行为识别报警输出的节奏和范围，满足不同应用的需要。比如说，行为动作序列分类模块每次只对一个待检测视频进行行为分类，而真实行为可能在更长时间上持续发生，目标稳态对象也会持续出现，那么，该目标稳态对象可能会有多次分类结果，行为动作确认模块可综合多次分类结果进行权衡判断，输出更可信的行为识别报警。例如，可通过有效规则区域、行为持续发生时间、报警频次、位置变化信息等因素来共同约束最后的报警，让最终发出的报警是经过初始判断、层层确认后的报警，保障行为识别的高精度。示例性的，针对上述有效规则区域、行为持续发生时间、报警频次、位置变化等参数，每个行为都有适应的最佳参数，通过提取行为真值标定信息来分析出最适合的约束参数，从而达到整个***自适应运行的目的。

在一种可能的实施方式中，目标行为检测模型用于检测多类行为关键动作和稳态对象，对此目标行为检测模型的网络结构不做限制，比如YoloV3、HRNet等。目标序列分类模型用于检测待检测行为序列的目标行为类别，对此目标序列分类模型的网络结构不做限制，比如P3D、TIN等。在行为检测模型和序列分类模型的训练过程中，可以采用数据增强手段(如旋转、拉伸等)对视频引入噪声，从而提升模型的分类能力。示例性的，为达到最佳检测性能、最佳分类性能，可以采用如下方式实现行为检测模型和序列分类模型的训练：

步骤S11：初始行为检测模型设置宽松条件，得到次优检测模型，获得包括绝大部分真实行为和非真实行为的数据，为序列分类提供充足的数据源。

步骤S12：初始行为检测模型设置严格条件，充分训练得到最优检测模型，该最优检测模型作为实际应用检测模型，即上述实施例的目标行为检测模型。

步骤S13：基于步骤S11的次优检测模型获取数据训练初始序列分类模型，并辅以数据增强，得到充分训练得到最优检测模型，该最优检测模型作为上述实施例的目标序列分类模型。由于步骤S11提供数据具有充分的负样本，因此，训练得到的目标序列分类模型是最优检测模型，具有很好的分类效果。

以下结合具体应用场景，对行为检测模型的训练过程进行说明。

步骤S21：获取样本视频，该样本视频包括发生指定行为(如上述“手拿说明书的行为”的行为，“操作抽屉”的行为，“操作机门”的行为等)的标定样本图像和该标定样本图像的标定信息，该标定信息可以包括发生该指定行为的稳态对象的对象位置，该指定行为的行为位置，该指定行为的行为类别。

步骤S22：将该样本视频输入给第一初始行为检测模型，以通过该样本视频中的标定样本图像和该标定样本图像的标定信息对第一初始行为检测模型进行训练，得到已训练的目标行为检测模型，对此训练过程不做限制。

比如说，可以基于训练参数(如训练迭代次数、训练优化策略、训练停止条件策略等)对第一初始行为检测模型进行自动训练，在训练过程结束后，可以将已经完成训练的第一初始行为检测模型作为目标行为检测模型。

目标行为检测模型用于拟合特征向量与稳态对象、稳态对象的初始行为(即指定行为)、初始行为的行为类别(即指定行为的行为类别)的映射关系。

以下结合具体应用场景，对序列分类模型的训练过程进行说明。

步骤S31：获取样本视频，该样本视频包括发生指定行为的标定样本图像和该标定样本图像的标定信息，该标定信息可以包括发生该指定行为的稳态对象的对象位置，该指定行为的行为位置，该指定行为的行为类别。

步骤S32：将该样本视频输入给第二初始行为检测模型，由第二初始行为检测模型输出候选样本图像中样本对象的对象位置，该样本对象的指定行为的行为位置，及该指定行为的行为类别。示例性的，样本视频可以包括多个样本图像(可以包括发生指定行为的标定样本图像，也可以包括未发生指定行为的非标定样本图像)，候选样本图像可以是该样本视频中存在样本对象的图像。

示例性的，在将样本视频输入给第二初始行为检测模型后，可以基于第二初始行为检测模型实现样本视频的检测，具体检测过程与步骤302类似，只是将待检测视频替换为样本视频，将目标行为检测模型替换为第二初始行为检测模型，将稳态对象替换为样本对象，对此检测过程不再重复赘述。

步骤S33：基于所有候选样本图像中样本对象的对象位置，可以采用跟踪算法，从所有候选样本图像中选取同一目标样本对象的目标样本图像，该目标样本图像可以是所有候选样本图像中存在该目标样本对象的样本图像。

示例性的，步骤S33与步骤303类似，在此不再重复赘述。

步骤S34：基于目标样本图像中该指定行为的行为位置确定样本框位置。

示例性的，步骤S34与步骤305类似，在此不再重复赘述。

步骤S35：基于该样本框位置从该样本视频中获取样本行为序列。例如，从具有该指定行为的目标样本图像中选取一帧图像作为遍历起始帧，从样本视频的该遍历起始帧开始，向前遍历M帧图像；从遍历出的M帧图像中截取与该样本框位置对应的子图像；将截取的子图像确定为该指定行为的样本行为序列。

示例性的，步骤S35与步骤306类似，在此不再重复赘述。

步骤S36：将该样本行为序列和该样本行为序列的标定信息输入给初始序列分类模型，以通过该样本行为序列和该样本行为序列的标定信息对初始序列分类模型进行训练，得到已训练的目标序列分类模型，对此训练过程不做限制。

比如说，可以基于训练参数(如训练迭代次数、训练优化策略、训练停止条件策略等)对初始序列分类模型进行自动训练，在训练过程结束后，可以将已经完成训练的初始序列分类模型作为目标序列分类模型。示例性的，目标序列分类模型可以用于拟合特征向量与行为类别的映射关系。

在一种可能的实施方式中，上述第二初始行为检测模型的阈值条件可以比上述第一初始行为检测模型的阈值条件宽松，即，为第一初始行为检测模型设置严格的阈值条件，为第二初始行为检测模型设置宽松的阈值条件。

通过为第一初始行为检测模型设置严格的阈值条件，即针对第一初始行为检测模型中与阈值有关的条件，均比较严格，使得通过样本视频中的标定样本图像和该标定样本图像的标定信息对第一初始行为检测模型进行训练后，目标行为检测模型是基于严格的阈值条件进行训练得到的，即目标行为检测模型是最优检测模型，可以使用目标行为检测模型实现待检测视频的初步检测。

通过为第二初始行为检测模型设置宽松的阈值条件，即针对第二初始行为检测模型中与阈值有关的条件，均比较宽松，使得第二初始行为检测模型输出的数据存在正样本数据(即第二初始行为检测模型的检测结果为正确)和负样本数据(即第二初始行为检测模型的检测结果为错误)，也就是说，通过宽松的阈值条件，使得错误的数据也能够满足阈值条件，即第二初始行为检测模型可以输出负样本数据，但是，若设置严格的阈值条件，则错误的数据无法满足阈值条件，即第二初始行为检测模型不会输出负样本数据。

针对第二初始行为检测模型输出的正样本数据，在得到与正样本数据对应的样本行为序列后，由于样本行为序列与样本视频中的标定样本图像匹配，因此，确定该样本行为序列的标定信息为正值，以表示该样本行为序列为正样本。针对第二初始行为检测模型输出的负样本数据，在得到与负样本数据对应的样本行为序列后，由于样本行为序列未与样本视频中的标定样本图像匹配，因此，确定该样本行为序列的标定信息为负值，以表示该样本行为序列为负样本。

综上所述，可以将正样本的样本行为序列(及其标定信息)和负样本的样本行为序列(及其标定信息)输入给初始序列分类模型，以通过正样本的样本行为序列和负样本的样本行为序列对初始序列分类模型进行训练，得到目标序列分类模型，从而能够提高目标序列分类模型的准确性。

通过为初始序列分类模型设置严格的阈值条件，即针对初始序列分类模型中与阈值有关的条件，均比较严格，使得通过正样本的样本行为序列和负样本的样本行为序列对初始序列分类模型进行训练后，目标序列分类模型是基于严格的阈值条件进行训练得到的，即目标序列分类模型是最优分类模型。

由以上技术方案可见，本申请实施例中，视频行为检测的准确性高，检测方式简单，是一种自动化的通用视频行为检测方法，能够提升行为检测技术应用的通用性，降低使用门槛，便于在各个领域的快速推广。通过对待检测视频进行人工智能分析，识别待检测视频内所关注行为发生的时间和地点，可***性的识别所关注行为，保持低误报率。通过稳态对象的跟踪让目标不再轻易丢失，能保障目标的稳定跟踪，使得围绕一个主体发生的多类行为有效关联，对于一些常见的遮挡、局部动作移动过快都能较好的适应，更符合应用的需求。综合运用人工智能多种技术，保障数据充分挖掘利用，有利于在行为初次确认和二次确认环节均能训练出效果最好的模型。利用人工智能技术，通过初步定位、二次确认、时间空间多重约束下，可精确识别视频中所有行为发生的时间、地点等信息。通过对行为的一级定位、二级定位，以及时间时长频次约束、空间有效区域目标位移约束，可***性识别所关注的行为，保持低误报率。

基于与上述方法同样的申请构思，本申请实施例中提出一种行为检测装置，参见图5所示，为所述行为检测装置的结构示意图，所述装置可以包括：

选取模块51，用于将待检测视频输入给已训练的目标行为检测模型，由所述目标行为检测模型输出候选待检测图像中稳态对象的对象位置，及所述稳态对象的初始行为的行为位置，所述候选待检测图像是待检测视频中存在稳态对象的图像；从所有候选待检测图像中选取同一目标稳态对象的目标待检测图像；确定模块52，用于基于目标待检测图像确定是否触发针对初始行为的行为检测；若是，基于目标待检测图像中所述初始行为的行为位置确定目标框位置；获取模块53，用于基于所述目标框位置从待检测视频中获取待检测行为序列；检测模块54，用于将所述待检测行为序列输入给已训练的目标序列分类模型，由所述目标序列分类模型输出与所述待检测行为序列对应的目标行为类别。

所述选取模块51从所有候选待检测图像中选取同一目标稳态对象的目标待检测图像时具体用于：基于所有候选待检测图像中稳态对象的对象位置，对同一目标稳态对象进行跟踪，得到所述目标稳态对象的目标待检测图像；其中，所述目标待检测图像是所有候选待检测图像中存在所述目标稳态对象的图像。

所述目标行为检测模型还输出所述初始行为的行为类别，及所述行为类别的置信度；所述确定模块52基于所述目标待检测图像确定是否触发针对所述初始行为的行为检测时具体用于：统计所有目标待检测图像中与所述行为类别对应的目标待检测图像的图像数量，并基于所述图像数量确定所述行为类别的时间密集度；若所述行为类别的时间密集度大于密集度阈值，且所述行为类别的置信度大于置信度阈值，则确定触发针对所述初始行为的行为检测。

在一种可能的实施方式中，所述获取模块53基于所述目标框位置从所述待检测视频中获取待检测行为序列时具体用于：从具有所述初始行为的目标待检测图像中选取一帧图像作为遍历起始帧；从所述待检测视频的所述遍历起始帧开始，向前遍历M帧图像；从遍历出的M帧图像中截取与所述目标框位置对应的子图像；将截取的子图像确定为所述初始行为的待检测行为序列。

基于与上述方法同样的申请构思，本申请实施例中提出一种行为检测设备，参见图6所示，所述行为检测设备包括：处理器61和机器可读存储介质62，所述机器可读存储介质62存储有能够被所述处理器61执行的机器可执行指令；所述处理器61用于执行机器可执行指令，以实现如下步骤：

将待检测视频输入给已训练的目标行为检测模型，由所述目标行为检测模型输出候选待检测图像中稳态对象的对象位置，及所述稳态对象的初始行为的行为位置；其中，所述候选待检测图像是待检测视频中存在稳态对象的图像；

从所有候选待检测图像中选取同一目标稳态对象的目标待检测图像，并基于所述目标待检测图像确定是否触发针对所述初始行为的行为检测；

若是，基于所述目标待检测图像中所述初始行为的行为位置确定目标框位置，并基于所述目标框位置从所述待检测视频中获取待检测行为序列；

将所述待检测行为序列输入给已训练的目标序列分类模型，由所述目标序列分类模型输出与所述待检测行为序列对应的目标行为类别。

基于与上述方法同样的申请构思，本申请实施例还提供一种机器可读存储介质，所述机器可读存储介质上存储有若干计算机指令，所述计算机指令被处理器执行时，能够实现本申请上述示例公开的行为检测方法。

其中，上述机器可读存储介质可以是任何电子、磁性、光学或其它物理存储装置，可以包含或存储信息，如可执行指令、数据，等等。例如，机器可读存储介质可以是：RAM(Radom Access Memory，随机存取存储器)、易失存储器、非易失性存储器、闪存、存储驱动器(如硬盘驱动器)、固态硬盘、任何类型的存储盘(如光盘、dvd等)，或者类似的存储介质，或者它们的组合。

上述实施例阐明的***、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机，计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任意几种设备的组合。

为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。

本领域内的技术人员应明白，本申请的实施例可提供为方法、***、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可以由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其它可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其它可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

而且，这些计算机程序指令也可以存储在能引导计算机或其它可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或者多个流程和/或方框图一个方框或者多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其它可编程数据处理设备上，使得在计算机或者其它可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其它可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种行为检测方法，其特征在于，所述方法包括：

将待检测视频输入给已训练的目标行为检测模型，由所述目标行为检测模型输出候选待检测图像中稳态对象的对象位置，及所述稳态对象的初始行为的行为位置；其中，所述候选待检测图像是待检测视频中存在稳态对象的图像；

从所有候选待检测图像中选取同一目标稳态对象的目标待检测图像，并基于所述目标待检测图像确定是否触发针对所述初始行为的行为检测；

若是，基于所述目标待检测图像中所述初始行为的行为位置确定目标框位置，并基于所述目标框位置从所述待检测视频中获取待检测行为序列；

将所述待检测行为序列输入给已训练的目标序列分类模型，由所述目标序列分类模型输出与所述待检测行为序列对应的目标行为类别。

2.根据权利要求1所述的方法，其特征在于，所述从所有候选待检测图像中选取同一目标稳态对象的目标待检测图像，包括：

基于所有候选待检测图像中稳态对象的对象位置，对同一目标稳态对象进行跟踪，得到所述目标稳态对象的目标待检测图像；其中，所述目标待检测图像是所有候选待检测图像中存在所述目标稳态对象的图像。

3.根据权利要求1所述的方法，其特征在于，所述目标行为检测模型还输出所述初始行为的行为类别，及所述行为类别的置信度；所述基于所述目标待检测图像确定是否触发针对所述初始行为的行为检测，包括：

统计所有目标待检测图像中与所述行为类别对应的目标待检测图像的图像数量，并基于所述图像数量确定所述行为类别的时间密集度；

若所述行为类别的时间密集度大于密集度阈值，且所述行为类别的置信度大于置信度阈值，则确定触发针对所述初始行为的行为检测。

4.根据权利要求1所述的方法，其特征在于，所述目标框位置包括所有目标待检测图像中所述初始行为的行为位置的最大外接矩形，所述基于所述目标待检测图像中所述初始行为的行为位置确定目标框位置，包括：

以左上角位置为坐标原点，以水平向右为横轴，以水平向下为纵轴时，所述行为位置包括左上角横坐标，左上角纵坐标，右下角横坐标和右下角纵坐标，基于所有行为位置的左上角横坐标选取左上角横坐标最小值；基于所有行为位置的左上角纵坐标选取左上角纵坐标最小值；基于所有行为位置的右下角横坐标选取右下角横坐标最大值；基于所有行为位置的右下角纵坐标选取右下角纵坐标最大值；根据所述左上角横坐标最小值，左上角纵坐标最小值，右下角横坐标最大值和右下角纵坐标最大值确定所述目标框位置；或者，

以左下角位置为坐标原点，以水平向右为横轴，以水平向上为纵轴时，所述行为位置包括左下角横坐标，左下角纵坐标，右上角横坐标和右上角纵坐标，基于所有行为位置的左下角横坐标选取左下角横坐标最小值；基于所有行为位置的左下角纵坐标选取左下角纵坐标最小值；基于所有行为位置的右上角横坐标选取右上角横坐标最大值；基于所有行为位置的右上角纵坐标选取右上角纵坐标最大值；根据所述左下角横坐标最小值，左下角纵坐标最小值，右上角横坐标最大值和右上角纵坐标最大值确定所述目标框位置。

5.根据权利要求1所述的方法，其特征在于，所述基于所述目标框位置从所述待检测视频中获取待检测行为序列，包括：

从具有所述初始行为的目标待检测图像中选取一帧图像作为遍历起始帧；

从所述待检测视频的所述遍历起始帧开始，向前遍历M帧图像；

从遍历出的M帧图像中截取与所述目标框位置对应的子图像；

将截取的子图像确定为所述初始行为的待检测行为序列。

6.根据权利要求1-5任一项所述的方法，其特征在于，

所述目标行为检测模型的训练过程，包括：

获取样本视频，所述样本视频包括发生指定行为的标定样本图像和所述标定样本图像的标定信息，所述标定信息包括发生所述指定行为的稳态对象的对象位置，所述指定行为的行为位置，所述指定行为的行为类别；

将所述样本视频输入给第一初始行为检测模型，以通过所述样本视频中的标定样本图像和所述标定样本图像的标定信息对所述第一初始行为检测模型进行训练，得到已训练的目标行为检测模型。

7.根据权利要求6所述的方法，其特征在于，

所述目标序列分类模型的训练过程，包括：

将所述样本视频输入给第二初始行为检测模型，由第二初始行为检测模型输出候选样本图像中样本对象的对象位置，及所述样本对象的指定行为的行为位置；所述候选样本图像是所述样本视频中存在样本对象的图像；所述第二初始行为检测模型的阈值条件比所述第一初始行为检测模型的阈值条件宽松；

从所有候选样本图像中选取同一目标样本对象的目标样本图像，基于所述目标样本图像中所述指定行为的行为位置确定样本框位置；

基于所述样本框位置从所述样本视频中获取样本行为序列；

将所述样本行为序列和所述样本行为序列的标定信息输入给初始序列分类模型，以通过所述样本行为序列和所述样本行为序列的标定信息对所述初始序列分类模型进行训练，得到已训练的目标序列分类模型。

8.根据权利要求7所述的方法，其特征在于，

所述基于所述样本框位置从所述样本视频中获取样本行为序列，包括：

从具有所述指定行为的目标样本图像中选取一帧图像作为遍历起始帧；

从所述样本视频的所述遍历起始帧开始，向前遍历M帧图像；

从遍历出的M帧图像中截取与所述样本框位置对应的子图像；

将截取的子图像确定为所述指定行为的样本行为序列。

9.一种行为检测装置，其特征在于，所述装置包括：

选取模块，用于将待检测视频输入给已训练的目标行为检测模型，由所述目标行为检测模型输出候选待检测图像中稳态对象的对象位置，及所述稳态对象的初始行为的行为位置，所述候选待检测图像是待检测视频中存在稳态对象的图像；从所有候选待检测图像中选取同一目标稳态对象的目标待检测图像；

确定模块，用于基于目标待检测图像确定是否触发针对初始行为的行为检测；若是，基于目标待检测图像中所述初始行为的行为位置确定目标框位置；

获取模块，用于基于所述目标框位置从待检测视频中获取待检测行为序列；

检测模块，用于将所述待检测行为序列输入给已训练的目标序列分类模型，由所述目标序列分类模型输出与所述待检测行为序列对应的目标行为类别。

10.一种行为检测设备，其特征在于，包括：处理器和机器可读存储介质，所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令；

所述处理器用于执行机器可执行指令，以实现如下步骤：

将待检测视频输入给已训练的目标行为检测模型，由所述目标行为检测模型输出候选待检测图像中稳态对象的对象位置，及所述稳态对象的初始行为的行为位置；其中，所述候选待检测图像是待检测视频中存在稳态对象的图像；

从所有候选待检测图像中选取同一目标稳态对象的目标待检测图像，并基于所述目标待检测图像确定是否触发针对所述初始行为的行为检测；

若是，基于所述目标待检测图像中所述初始行为的行为位置确定目标框位置，并基于所述目标框位置从所述待检测视频中获取待检测行为序列；

将所述待检测行为序列输入给已训练的目标序列分类模型，由所述目标序列分类模型输出与所述待检测行为序列对应的目标行为类别。

Images