CN112200044B - 异常行为检测方法、装置及电子设备 - Google Patents

Abstract

本申请提供一种异常行为检测方法、装置及电子设备，该方法包括：获取待识别数据，所述待识别数据中的目标包括车辆；通过关键点检测网络模型的识别框检测模块，确定所述车辆的识别框，利用所述关键点检测网络模型的关键点检测模块，检测所述车辆的识别框中所述车辆的关键点；对所述车辆的关键点进行关键点跟踪，确定所述车辆的运动轨迹；根据所述车辆的运动轨迹和所述车辆所在的区域确定所述车辆是否存在异常行为。不仅可以适用于多种行为场景，对多种异常行为进行检测，而且可以适应不同的周围环境，异常行为检测的鲁棒性较好。

Description

异常行为检测方法、装置及电子设备

技术领域

本申请涉及异常行为检测技术领域，尤其涉及一种异常行为检测方法、装置及电子设备。

背景技术

目前，智能视频监控已经成为人工智能领域非常活跃的热点技术之一，是计算机视觉技术在安防领域的重要应用。在交通路口、火车站、地铁站、广场等公共区域中常常存在着车流高峰或人流高峰，对于车辆以及行人的异常行为检测，对于避免交通事故的发生以及对交通事故的及时发现尤为重要。

现有技术中，对于交通异常行为的检测，通常采用传统算法进行异常行为检测，其主要包括交通数据采集，然后通过背景差分法对交通数据进行检测确定运动车辆，然后与预先定义的行为进行比较，确定运动车辆的行为是否为预先定义的行为，实现了对车辆异常行为的检测。

然而，现有技术中采用传统算法进行异常行为检测受限于各种行为场景，异常行为检测的鲁棒性较差。

发明内容

本申请提供一种异常行为检测方法、装置及电子设备，以实现异常行为的检测，并且适用于各种行为场景，异常行为检测的鲁棒性较好。

第一方面，本申请实施例提供一种异常行为检测方法，包括：

获取待识别数据，待识别数据中的目标包括车辆；通过关键点检测网络模型的识别框检测模块，确定车辆的识别框，利用关键点检测网络模型的关键点检测模块，检测车辆的识别框中车辆的关键点；对车辆的关键点进行关键点跟踪，确定车辆的运动轨迹；根据车辆的运动轨迹和车辆所在的区域确定车辆是否存在异常行为。

本申请实施例中，通过关键点检测网络模型对待识别数据中的车辆进行关键点检测，并根据车辆的关键点确定车辆的运动轨迹，进而利用车辆的运动轨迹以及车辆所在的区域，确定车辆是否存在异常行为，不仅可以适用于多种行为场景，对多种异常行为进行检测，而且可以适应不同的周围环境，异常行为检测的鲁棒性较好。并且，相比于现有技术中采用背景差分法对交通数据进行检测确定运动车辆，然后与预先定义的行为进行比较检测异常行为的方式，可以提高异常行为检测的准确性和灵活性。

在一种可能的实施方式中，根据车辆的运动轨迹和车辆所在的区域确定车辆是否存在异常行为，包括：

若车辆所在的区域为车道区域，且车辆的运动轨迹与车道区域的规定行使方向不同，则确定车辆存在逆行行为；和/或，若车辆所在的区域为非道路区域，且车辆的运动轨迹在第一预设时间内未发生变化，则确定车辆存在驶出路面的行为；和/或，若车辆所在的区域为中心路口区域，且车辆的运动轨迹在第二预设时间内未发生变化，则确定车辆存在路口停留的行为；和/或，若在当前可通行车道区域以外的区域存在运动轨迹发生变化的第一车辆，且第一车辆的车辆轨迹经过中心路口区域，则确定第一车辆存在闯红灯的行为。

本申请实施例中，实现了对车辆异常行为的判断。

在一种可能的实施方式中，目标包括行人，本申请实施例提供的异常行为检测方法，还可以包括：

通过关键点检测网络模型，确定行人的识别框和行人的关键点；将行人的识别框以及行人的关键点输入至行为判别网络模型，以确定行人的人体姿态；根据人体姿态、行人所在的区域和车辆的识别框，确定车辆是否存在异常行为。

本申请实施例中，通过利用行人的人体姿态、行人所在的区域以及车辆的识别框，对车辆的行为进行判断，可以提高对车辆异常行为检测的适用性。

在一种可能的实施方式中，根据人体姿态、行人所在的区域和车辆的识别框，确定车辆是否存在异常行为，包括：

若检测到至少两个第二车辆的识别框重叠时间超过第三预设时间，且在第二车辆的识别框之外的预设范围内检测到第二预设姿态的行人，则确定第二车辆存在碰撞行为，第二预设姿态包括直立姿态、躺卧姿态或蹲坐姿态中的任意一种或多种组合。

本申请实施例中，结合车辆的识别框与行人的人体姿态，实现了对车辆是否存在碰撞行为的判断，提高了异常行为检测的可靠性。

在一种可能的实施方式中，在获取待识别数据之前，还包括：

获取待标定数据；对待标定数据中的画面区域进行标定，以将画面区域划分为不同区域。

本申请实施例通过在获取待识别数据之前，对待标定数据中的画面区域的准确标定，可以进一步提高异常行为检测的可靠性。

在一种可能的实施方式中，对待标定数据中的画面区域进行标定，包括：

检测待标定数据中的车道线、人行横道线和交通信号灯；根据车道线和人行横道线，将画面区域划分为车道区域、中心路口区域、人行横道区域以及非道路区域；确定待标定数据中的车辆行驶方向和行人轨迹；将车道区域中超过预设比例的车辆行驶方向确定为车道区域的规定行使方向；在人行横道区域内存在行人轨迹变化时，将绿色信号灯亮的交通信号灯，确定为人行横道区域的交通信号灯。

在一种可能的实施方式中，在获取待识别数据之前，还包括：

获取训练数据样本；构建关键点检测网络模型的网络结构；利用关键点检测网络模型的网络结构对训练数据样本进行训练，生成训练后的关键点检测网络模型。

在一种可能的实施方式中，关键点检测网络模型的网络结构包括两阶段检测网络模块、识别框检测模块和关键点检测模块；两阶段检测网络模块的输出分别与识别框检测模块的输入和关键点检测模块的输入连接，识别框检测模块的输出与关键点检测模块的输入连接，识别框检测模块依次包括box-pooler模块、box-head模块、box-classes模块和box-boxes模块；关键点检测模块依次包括keypoint-pooler模块、keypoint-head模块和keypoint-location模块；识别框检测模块用于识别目标的识别框，关键点检测模块用于检测目标的关键点。

在一种可能的实施方式中，本申请实施例提供的异常行为检测方法，还包括：

若目标存在异常行为，则向用户终端推送报警信息，报警信息中包括车辆的异常行为以及车辆的位置。

本申请实施例中，通过向用户终端推送车辆的异常行为和车辆的位置，有利于用户对异常车辆进行及时、准确的处理。

下面介绍本申请实施例提供的装置、电子设备、计算机可读存储介质以及计算机程序产品，其内容和效果可参考本申请实施例提供的异常行为检测方法，不再赘述。

第二方面，本申请实施例提供一种异常行为检测装置，包括：

获取模块，用于获取待识别数据，待识别数据中的目标包括车辆。

检测模块，用于通过关键点检测网络模型的识别框检测模块，确定车辆的识别框，利用关键点检测网络模型的关键点检测模块，检测车辆的识别框中车辆的关键点。

确定模块，用于对车辆的关键点进行关键点跟踪，确定车辆的运动轨迹；根据车辆的运动轨迹和车辆所在的区域确定车辆是否存在异常行为。

在一种可能的实施方式中，确定模块，具体用于：

若车辆所在的区域为车道区域，且车辆的运动轨迹与车道区域的规定行使方向不同，则确定车辆存在逆行行为；和/或，若车辆所在的区域为非道路区域，且车辆的运动轨迹在第一预设时间内未发生变化，则确定车辆存在驶出路面的行为；和/或，若车辆所在的区域为中心路口区域，且车辆的运动轨迹在第二预设时间内未发生变化，则确定车辆存在路口停留的行为；和/或，若在当前可通行车道区域以外的区域存在运动轨迹发生变化的第一车辆，且第一车辆的车辆轨迹经过中心路口区域，则确定第一车辆存在闯红灯的行为。

在一种可能的实施方式中，目标包括行人，确定模块，还用于：

若行人所在的人行横道区域的交通信号灯为红灯，且行人的运动轨迹穿过人行横道区域，则确定行人存在闯红灯的行为。

在一种可能的实施方式中，目标包括行人，确定模块还包括：将行人的关键点以及行人的识别框输入至行为判别网络模型，以确定行人的人体姿态；根据人体姿态和行人所在的区域确定行人是否存在异常行为。

在一种可能的实施方式中，确定模块，具体用于：

若行人所在的区域为车道区域、中心路口区域或人行横道区域中的任意一种，且行人的姿态为第一预设姿态，则确定行人存在异常行为，第一预设姿态包括躺卧姿态或蹲坐姿态。

在一种可能的实施方式中，目标包括行人，确定模块，还用于：

通过关键点检测网络模型，确定行人的识别框和行人的关键点；将行人的识别框以及行人的关键点输入至行为判别网络模型，以确定行人的人体姿态；根据人体姿态、行人所在的区域和车辆的识别框，确定车辆是否存在异常行为。

在一种可能的实施方式中，确定模块，具体用于：

若检测到至少两个第二车辆的识别框重叠时间超过第三预设时间，且在第二车辆的识别框之外的预设范围内检测到第二预设姿态的行人，则确定第二车辆存在碰撞行为，第二预设姿态包括直立姿态、躺卧姿态或蹲坐姿态中的任意一种或多种组合。

在一种可能的实施方式中，本申请实施例提供的异常行为检测装置，还包括标定模块。

标定模块，用于获取待标定数据，以及对待标定数据中的画面区域进行标定，以将画面区域划分为不同区域。

在一种可能的实施方式中，标定模块，具体用于：

检测待标定数据中的车道线、人行横道线和交通信号灯；根据车道线和人行横道线，将画面区域划分为车道区域、中心路口区域、人行横道区域以及非道路区域；确定待标定数据中的车辆行驶方向和行人轨迹；将车道区域中超过预设比例的车辆行驶方向确定为车道区域的规定行使方向；在人行横道区域内存在行人轨迹变化时，将绿色信号灯亮的交通信号灯，确定为人行横道区域的交通信号灯。

在一种可能的实施方式中，本申请实施例提供的异常行为检测装置，还包括训练模块。

训练模块，具体用于获取训练数据样本；构建关键点检测网络模型的网络结构；利用关键点检测网络模型的网络结构对训练数据样本进行训练，生成训练后的关键点检测网络模型。

在一种可能的实施方式中，关键点检测网络模型的网络结构包括两阶段检测网络模块、识别框检测模块和关键点检测模块；两阶段检测网络模块的输出分别与识别框检测模块的输入和关键点检测模块的输入连接，识别框检测模块的输出与关键点检测模块的输入连接，识别框检测模块依次包括box-pooler模块、box-head模块、box-classes模块和box-boxes模块；关键点检测模块依次包括keypoint-pooler模块、keypoint-head模块和keypoint-location模块；识别框检测模块用于识别目标的识别框，关键点检测模块用于检测目标的关键点。

在一种可能的实施方式中，本申请实施例提供的异常行为检测装置，还包括：

推送模块，用于若车辆存在异常行为，则向用户终端推送报警信息，报警信息中包括车辆的异常行为以及车辆的位置。

第三方面，本申请实施例提供一种电子设备，包括：

至少一个处理器；以及

与至少一个处理器通信连接的存储器；其中

存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如第一方面或第一方面可实现方式提供的方法。

第四方面，本申请实施例提供一种存储有计算机指令的非瞬时计算机可读存储介质，计算机指令用于使计算机执行如第一方面或第一方面可实现方式提供的方法。

第五方面，本申请实施例提供一种计算机程序产品，包括：可执行指令，可执行指令用于实现如第一方面或第一方面可选方式提供的方法。

本申请提供的异常行为检测方法、装置及电子设备，通过获取待识别数据，待识别数据中的目标包括车辆，然后通过关键点检测网络模型的识别框检测模块，确定车辆的识别框，利用关键点检测网络模型的关键点检测模块，检测车辆的识别框中车辆的关键点，最后对车辆的关键点进行关键点跟踪，确定车辆的运动轨迹；根据车辆的运动轨迹和车辆所在的区域确定车辆是否存在异常行为。本申请实施例中，由于通过关键点检测网络模型对待识别数据中的车辆进行关键点检测，并根据车辆的关键点确定车辆的运动轨迹，进而利用车辆的运动轨迹以及车辆所在的区域，确定车辆是否存在异常行为，不仅可以适用于多种行为场景，对多种异常行为进行检测，而且可以适应不同的周围环境，异常行为检测的鲁棒性较好。并且，相比于现有技术中采用背景差分法对交通数据进行检测确定运动车辆，然后与预先定义的行为进行比较检测异常行为的方式，可以提高异常行为检测的准确性和灵活性。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的一示例性应用场景架构图；

图2是本申请一实施例提供的异常行为检测方法的流程示意图；

图3是本申请一实施例提供的车辆的关键点的示意图；

图4是本申请一实施例提供的行人的关键点的示意图；

图5是本申请一实施例提供的交通路口的示意图；

图6是本申请再一实施例提供的异常行为检测方法的流程示意图；

图7是本申请一实施例提供的关键点检测网络模型的网络结构的示意图；

图8是本申请一实施例提供的异常行为检测装置的结构示意图；

图9是本申请实施例提供的电子设备的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

目前，智能视频监控已经成为人工智能领域非常活跃的热点技术之一，是计算机视觉技术在安防领域的重要应用。在交通路口、火车站、地铁站、广场等公共区域中常常存在着车流高峰或人流高峰，对车辆以及行人的异常行为检测，对于避免事故的发生以及对事故的及时发现尤为重要。现有技术中，对于交通异常行为的检测，通常采用传统算法进行异常行为检测，其主要包括交通数据采集，然后通过背景差分法对交通数据进行检测确定运动车辆，然后与预先定义的行为进行比较，确定运动车辆的行为是否为预先定义的行为，实现了对车辆异常行为的检测。然而，现有技术中采用传统算法进行异常行为检测受限于各种行为场景，异常行为检测的鲁棒性较差。

本申请实施例提供的异常行为检测方法、装置及电子设备的发明构思在于，通过关键点检测网络模型对待识别数据中的目标进行关键点检测，并根据目标的关键点以及目标所在的区域，确定目标是否存在异常行为，不仅可以适用于多种行为场景，对多种异常行为进行检测，而且可以适应不同的周围环境，异常行为检测的鲁棒性较好。另外，通过使用目标的关键点跟踪和轨迹计算，可以获取更细致、更准确的目标的位置、行为等信息，对目标的行为的检测更加方便和准确，且不局限于待识别数据的采集天气为雨天、晴天、阴天、白天或夜晚等。

以下，对本申请实施例的示例性应用场景进行介绍。

本申请实施例提供的异常行为检测方法可以通过本申请实施例提供的异常行为检测装置执行，本申请实施例提供的异常行为检测装置可以集成在终端设备上，或者该异常行为检测装置可以为终端设备本身。本申请实施例对终端设备的具体类型不做限制，例如，终端设备可以是摄像机、个人电脑、平板电脑、可穿戴设备、车载终端、监控设备等。图1是本申请实施例提供的一示例性应用场景架构图，如图1所示，该架构主要包括：终端设备01(个人电脑)和监控设备02。在一种可能的实施方式中，本申请实施例提供的异常行为检测方法可以应用于监控设备02中，通过监控设备02的摄像头获取待识别数据，并通过监控设备中的图形处理器对待识别数据进行处理，然后可以将处理结果发送至终端设备01中。在另一种可能的实施方式中，本申请实施例可以应用于终端设备01中，通过接收监控设备02拍摄的待识别数据，然后对待识别数据进行处理。在又一种可能的实施方式中，本申请实施例提供的应用场景架构图还可以包括服务器03，终端设备01通过监控设备02获取待识别数据，然后通过服务器03对待识别数据进行处理，并将处理结果发送至终端设备01中，终端设备01接收服务器03发送的处理结果。本申请实施例仅以此为例，并不限于此。

需要说明的是，本申请实施例仅以应用在交通路口中为例进行说明，本申请实施例还可以应用于火车站、商场、医院、学校、地铁口等场景中，以实现对行人或车辆的异常行为检测，在其他场景中的异常行为检测方法与本申请实施例在交通路口场景中的异常行为检测方法类似，不再赘述。

图2是本申请一实施例提供的异常行为检测方法的流程示意图，该方法可以由异常行为检测装置执行，该装置可以通过软件和/或硬件的方式实现，下面以终端设备为执行主体对异常行为检测方法进行说明，如图2所示，本申请实施例提供的异常行为检测方法可以包括：

步骤S101：获取待识别数据。

待识别数据可以包括待识别图像或待识别视频，待识别图像或待识别视频可以通过监控设备的摄像头获取，本申请实施例对摄像头的型号、类型等不做限制。待识别数据中包括监控区域，本申请实施例可以用于对监控区域内的异常行为进行检测，其中，待识别数据中的目标可以包括车辆，异常行为可以包括车辆的异常行为，待识别数据中的目标还可以包括行人，异常行为可以包括行人的异常行为或车辆的异常行为，本申请实施例对此不做限制。

步骤S102：通过关键点检测网络模型的识别框检测模块，确定车辆的识别框，利用关键点检测网络模型的关键点检测模块，检测车辆的识别框中车辆的关键点。

在获取待识别数据之后，通过关键点检测网络模型对待识别数据中的车辆进行关键点检测。本申请实施例对关键点检测网络模型的网络结构不做限制，只要能够实现对待识别数据中的目标进行关键点检测即可。在一种可能的实施方式中，关键点检测网络模型可以包括识别框检测模块和关键点检测模块，则通过关键点检测网络模型对待识别数据中的目标进行关键点检测，得到目标的关键点，可以包括：通过关键点检测网络模型的识别框检测模块，确定车辆的识别框，利用关键点检测网络模型的关键点检测模块，检测车辆的识别框中车辆的关键点。

本申请实施例通过关键点检测网络模块不仅可以得到目标的关键点，而且还可以得到目标的识别框，有利于后续结合关键点和目标框对目标的行为进行检测，可以进一步提高异常行为检测的可靠性。

关键点检测网络模型可以直接采用其他终端设备或服务器已经训练好的关键点检测网络模型，也可以通过该终端设备进行训练。在一种可能的实施方式中，在获取待识别数据之前，本申请实施例提供的异常行为检测方法还可以包括：

获取训练数据样本；构建关键点检测网络模型的网络结构；利用关键点检测网络模型的网络结构对训练数据样本进行训练，生成训练后的关键点检测网络模型。

训练数据样本的获取，可以通过摄像头或监控设备获取交通数据，交通数据可以包括训练图像或训练视频，然后对交通数据进行关键点标注，生成训练数据样本。将训练数据样本输入至构建的关键点检测网络模型的网络结构中，最后利用关键点检测网络模型的网络结构对训练数据样本进行训练，以生成训练后的关键点检测网络模型。本申请实施例仅以此为例，并不限于此。

对于目标的关键点，针对不同的目标其所需要的关键点的数量、位置等都可能不相同，在一种可能的实施方式中，图3是本申请一实施例提供的车辆的关键点的示意图，图4是本申请一实施例提供的行人的关键点的示意图。如图3所示，车辆的关键点可以包括车顶前面左侧关键点1、车顶前面右侧关键点2、前方车灯左侧关键点3、前方车灯右侧关键点4、车身前方左侧关键点5、车身前方右侧关键点6、左侧后视镜关键点7、右侧后视镜关键点8(未示出)、车顶后面左侧关键点9、车顶后面右侧关键点10、后方车灯左侧关键点11(未示出)、后方车灯右侧关键点12(未示出)、车身后方左侧关键点13和车身右方右侧关键点14(未示出)。本申请实施例仅以此为例，对车辆的关键点的数量以及位置并不限于此，例如，还可以在车辆的四个车轮处设置关键点等。如图4所示，行人的关键点可以包括左眼1、右眼2、左耳3、右耳4、左肩5、右肩6、左肘7、右肘8、左手9、右手10、左臀11、右臀12、左膝13、右膝14、左脚15、右脚16、鼻子17。本申请实施例仅以此为例，对行人的关键点的数量以及位置并不限于此。

步骤S103：对车辆的关键点进行关键点跟踪，确定车辆的运动轨迹。

步骤S104：根据车辆的运动轨迹和车辆所在的区域确定车辆是否存在异常行为。

在确定车辆的关键点之后，在一种可能的实施方式中，可以根据车辆的关键点和车辆所在的区域确定车辆是否存在异常行为。通过车辆的关键点可以确定车辆的行为、动作等。本申请实施例对根据车辆的关键点和车辆所在的区域确定车辆是否存在异常行为的具体实现方式不做限制。在不同的区域，行人或车辆的正常行为可能不一致，通过车辆的关键点和车辆所在的区域可以判断车辆的当前行为在车辆所在的区域是否正常，若不正常，则确定车辆存在异常行为，若正常，则确定车辆不存在异常行为。例如，通过获取待识别数据的摄像头位置以及检测到的车辆的关键点，确定车辆的行驶方向和车辆所在的区域，若车辆的行驶方向与所在区域的当前车辆行驶方向不一致，则车辆可能存在逆行行为。

在另一种可能的实施方式中，根据车辆的关键点和车辆所在的区域确定车辆是否存在异常行为，可以通过步骤S103和步骤S104实现。

在确定车辆的关键点之后，可以对车辆的关键点进行跟踪，本申请实施例对车辆的关键点进行关键点跟踪的具体实现方式不做限制，只要可以确定车辆的运动轨迹即可。例如，可以通过递归神经网络实现关键点跟踪，本申请实施例仅以此为例。

在确定车辆的运动轨迹之后，可以根据车辆的运动轨迹和车辆所在的区域确定车辆是否存在异常行为。针对不同的车辆以及不同的应用场景，车辆所在的区域内的异常行为可能不同，具体可以根据不同的应用场景进行设置，以实现根据车辆的运动轨迹和车辆所在的区域确定车辆对异常行为的判断。

下面对车辆可能存在的异常行为的判断进行介绍，本申请实施例仅以此为例，并不限于此。

在一种可能的实施方式中，根据车辆的运动轨迹和车辆所在的区域确定车辆是否存在异常行为，包括：

若车辆所在的区域为车道区域，且车辆的运动轨迹与车道区域的规定行使方向不同，则确定车辆存在逆行行为；和/或，若车辆所在的区域为非道路区域，且车辆的运动轨迹在第一预设时间内未发生变化，则确定车辆存在驶出路面的行为；和/或，若车辆所在的区域为中心路口区域，且车辆的运动轨迹在第二预设时间内未发生变化，则确定车辆存在路口停留的行为；和/或，若在当前可通行车道区域以外的区域存在运动轨迹发生变化的第一车辆，且第一车辆的车辆轨迹经过中心路口区域，则确定第一车辆存在闯红灯的行为。

为便于介绍，图5是本申请一实施例提供的交通路口的示意图，如图5所示，其中，图5所示的交通路口包括四条道路，本申请实施例仅以道路1和道路2为例，其中，道路1和道路2分别包括两个车道区域，道路1包括车道区域1和车道区域4，道路2包括车道区域2和车道区域3，其中，车道区域内的箭头表示该车道区域的规定行使方向。若车辆处于车道区域1且车辆的运动轨迹与车道区域1的规定行使方向不同，例如行使方向相反或者车辆出现掉头等行为，则确定车辆存在逆行行为。

在交通路口还包括至少一个交通信号灯，本申请以一个交通信号灯为例进行说明，交通信号灯用于指示当前可通行车道，例如，当前交通信号灯指示道路1和道路2可通行时，当前可通行车道区域为车道区域1、车道区域2、车道区域3和车道区域4，若此时，在其他车道存在车辆的运动轨迹发生变化且经过中心路口区域时，则确定该车辆存在闯红灯的行为，本申请实施例仅以此为例，其中，中心路口区域为图5中四个人行横道区域围起来的道路区域。

中心路口区域为道路的重要区域，无特殊情况车辆不能进行长时间停留，否则可能会引起交通堵塞，因此，若检测到车辆在中心路口区域且运动轨迹在第二预设时间内未发生变化，则确定车辆存在路口停留的行为。

在车道区域、中心路口区域、人行横道区域之外，还包括非道路区域，若车辆长时间停留在非道路区域，则可能是因为车辆发生故障，导致驶出路面的行为，因此，可以通过车辆在非道路区域，且车辆的运动轨迹在第一预设时间内未发生变化时，确定车辆存在驶出路面的行为。本申请实施例仅以此为例，并不限于此。

若检测到目标存在异常行为，则需要对目标进行提醒或及时处理，例如，行人或车辆违反交通规则，可以提醒行人，若发生了交通事故或者行人突发意外情况，可以通知交通部门、医疗部门等及时处理。为了解决上述技术问题，在一种可能的实施方式中，本申请实施例提供的异常行为检测方法，还可以包括：

若车辆存在异常行为，则向用户终端推送报警信息，报警信息中包括车辆的异常行为以及车辆的位置。

本申请实施例对向用户终端推送报警信息的具体实现方式不做限制，例如，可以通过在交通路口设置音频播放器或视频播放器，通过音频播放器播放违反交通规则的行为或通过视频播放器播放违反交通规则的行为。再例如，还可以将报警信息推送至交通部门的终端设备中，以对交通路口进行监视。本申请实施例对报警信息中包括的具体信息不做限制，例如，报警信息中可以包括车辆的异常行为以及车辆的位置。例如，道路A与道路B的交叉路口处，存在车辆A和车辆B相撞，本申请实施例仅以此为例，并不限于此。本申请实施例中，通过向用户终端推送车辆的异常行为和车辆的位置，有利于用户对车辆进行及时、准确的处理。

本申请实施例中，由于通过关键点检测网络模型对待识别数据中的车辆进行关键点检测，并根据车辆的关键点确定车辆的运动轨迹，进而利用车辆的运动轨迹以及车辆所在的区域，确定车辆是否存在异常行为，不仅可以适用于多种行为场景，对多种异常行为进行检测，而且可以适应不同的周围环境，异常行为检测的鲁棒性较好。并且，通过使用目标的关键点跟踪和轨迹计算，与传统检测目标框的方法比较，基于关键点检测可以获取更细致、更准确的目标的位置、行为等信息，对目标的行为的检测更加方便和准确，不仅提高了精度而且还简化了流程。

在一种可能的实施方式中，目标还可以是行人，下面以目标包括行人为例，对行人可能存在的异常行为的判断进行介绍，本申请实施例仅以此为例，并不限于此。

以交通路口为例，例如，行人在人行道区域对应的交通信号灯的红色信号灯亮时，应该站在非车道区域处等待，直到交通信号灯的绿色信号灯亮时，可以通过人行道区域。若在人行道区域对应的交通信号灯的红色信号灯亮时，检测到行人穿过人行道区域或者在人行道区域停留，则可以确定该行人存在异常行为，该异常行为是闯红灯。再例如，行人在交通路口的行为通常为站立、行走，若在人行道区域检测到行人躺卧、蹲坐等行为，可以确定行人存在异常行为，该异常行为可能是行人相撞、行人突发疾病等情况，需要及时处理。本申请实施例仅以此为例，并不限于此。

在又一种可能的实施方式中，可以根据行人的运动轨迹和行人所在的区域确定行人是否存在异常行为，包括：

若行人所在的人行横道区域的交通信号灯为红灯，且行人的运动轨迹穿过人行横道区域，则确定行人存在闯红灯的行为。

如图5所示，交通路口包括四个人行道，本申请实施例仅以人行道1和人行道2为例，人行道1和人行道2所在区域为人行横道区域，人行横道区域存在各自的交通信号灯，行人通过观察该人行横道对应的交通信号灯进行通行或者等待，若行人所在的人行横道区域的交通信号灯为红灯，且行人的运动轨迹穿过人行横道区域，则确定行人存在闯红灯的行为。

在上述实施例的基础上，以目标包括行人和车辆为例，在一种可能的实施方式中，图6是本申请再一实施例提供的异常行为检测方法的流程示意图，如图6所示，本申请实施例提供的异常行为检测方法，还可以包括：

步骤S201：通过关键点检测网络模型，确定行人的识别框和行人的关键点。

步骤S202：将行人的识别框以及行人的关键点输入至行为判别网络模型，以确定行人的人体姿态。

步骤S203：根据人体姿态、行人所在的区域和车辆的识别框，确定车辆是否存在异常行为。

通过关键点检测网络模型，还可以用于确定行人的识别框和行人的关键点，行为判别网络模型用于识别行人的人体姿态，其中人体姿态包括并不限于直立姿态、弯腰姿态、躺卧姿态、蹲坐姿态、打架姿态等等。在将行人的关键点以及行人的识别框输入至行为判别网络模型之前，本申请实施例还可以包括：对行为判别网络模型的网络结构的构建、训练的过程，本申请实施例对此不做限制，也不再赘述。通过行为判别网络模型可以直接获取人体姿态，不需要通过预先设立数据库和后续逻辑判断，更加准确快捷。

通过行为判别网络模型确定行人的人体姿态之后，在一种可能的实施方式中，可以根据人体姿态和行人所在的区域确定行人是否存在异常行为，在另一种可能的实施方式中，也可以根据人体姿态、行人所在的区域和车辆的识别框，确定车辆是否存在异常行为。

本申请实施例对根据人体姿态和行人所在的区域确定行人是否存在异常行为的具体实现方式不做限制。例如，可以通过建立区域与行为之间的对应关系，然后若在该区域检测到行人存在该区域对应行为之外的行为，则可以确定该行人存在异常行为，本申请实施例仅以此为例，并不限于此。

在一种可能的实施方式中，根据人体姿态和行人所在的区域确定行人是否存在异常行为，包括：若行人所在的区域为车道区域、中心路口区域或人行横道区域中的任意一种，且行人的姿态为第一预设姿态，则确定行人存在异常行为，第一预设姿态包括躺卧姿态或蹲坐姿态。

结合图5，若行人所在区域为车道区域、中心路口区域或人行横道区域中，则行人的正常行为可能是直立行走、静止、低头等行为，若行人的姿态存在躺卧姿态或蹲坐姿态的异常行为，则可能表示行人发生事故或者发生意外等情况，需要及时处理。第一预设姿态除了可以包括躺卧姿态或蹲坐姿态之外，还可以是其他姿态，本申请实施例对第一预设姿态不做限制。

本申请实施例中，通过行人的人体姿态和行人所在的区域对行人是否存在异常行为进行判断，不仅实现了对行人异常行为的检测，而且提高了检测的准确性。

在另一种可能的实施方式中，根据人体姿态、行人所在的区域和车辆的识别框，确定车辆是否存在异常行为，可以包括：

若检测到至少两个第二车辆的识别框重叠时间超过第三预设时间，且在第二车辆的识别框之外的预设范围内检测到第二预设姿态的行人，则确定第二车辆存在碰撞行为，第二预设姿态包括直立姿态、躺卧姿态或蹲坐姿态中的任意一种或多种组合。

若检测到多个第二车辆的识别框重叠时间较长，则可能多个第二车辆发生了摩擦、碰撞等交通事故，也可能是由于交通比较拥堵，前方车辆停滞不前。通过结合第二车辆的识别框之外的预设范围，例如，识别框外扩1.2倍的识别框，本申请实施例对预设范围的大小不做限制。若第二车辆的识别框之外的预设范围内检测到第二预设姿态的行人，则可以确定多个第二车辆存在碰撞行为。其中，本申请实施例对第二预设姿态的具体姿态也不做限制，例如，第二预设姿态包括直立姿态、躺卧姿态或蹲坐姿态中的任意一种或多种组合，本申请实施例仅以此为例，并不限于此。

本申请实施例中，结合车辆的识别框与行人的人体姿态，实现了对车辆是否存在碰撞行为的判断，提高了异常行为检测的可靠性。

在上述实施例的基础上，在一种可能的实施方式中，在获取待识别数据之前，还包括：

获取待标定数据；对待标定数据中的画面区域进行标定，以将画面区域划分为不同区域。

待标定数据可以是待标定视频或待标定图像，在安装和固定摄像头之后，通过摄像头获取待标定数据。针对不同的应用场景，对待标定数据的要求可能不同，例如，针对交通路口场景，待标定数据可能需要包括交通信号灯变化多次时的交通数据。针对不同的应用场景，对待标定数据中的画面区域划分的区域数量以及区域类型也可能不同，本申请实施例对此不做限制。

本申请实施例通过在获取待识别数据之前，对待标定数据中的画面区域的准确标定，可以进一步提高异常行为检测的可靠性。

以待标定数据为交通数据为例，在一种可能的实施方式中，对待标定数据中的画面区域进行标定，包括：

检测待标定数据中的车道线、人行横道线和交通信号灯；根据车道线和人行横道线，将画面区域划分为车道区域、中心路口区域、人行横道区域以及非道路区域；确定待标定数据中的车辆行驶方向和行人轨迹；将车道区域中超过预设比例的车辆行驶方向确定为车道区域的规定行使方向；在人行横道区域内存在行人轨迹变化时，将绿色信号灯亮的交通信号灯，确定为人行横道区域的交通信号灯。

如图5所示，检测待标定数据中的车道线、人行横道线和交通信号灯，然后可以通过车道线的角点和人行横道线的识别框，将画面区域内的每个车道划分为车道区域、将每个人行横道划分为人行横道区域以及确定中心路口区域和非道路区域。在确定车道区域和人行横道区域之后，还可以根据待标定数据中的车辆行驶方向和行人轨迹，确定车道区域的规定行使方向以及人行横道区域的交通信号灯。

本申请实施例中，通过对目标的关键点进行关键点跟踪，确定目标的运动轨迹，并根据目标的运动轨迹和目标所在的区域确定目标是否存在异常行为，相比于现有技术中采用背景差分法对交通数据进行检测确定运动车辆，然后与预先定义的行为进行比较检测异常行为的方式，可以提高异常行为检测的准确性和灵活性。

为了实现对目标的识别框、类别、关键点的识别，在一种可能的实施方式中，图7是本申请一实施例提供的关键点检测网络模型的网络结构的示意图，如图7所示，关键点检测网络模型的网络结构包括两阶段检测网络模块、识别框检测模块和关键点检测模块；两阶段检测网络模块的输出分别与识别框检测模块的输入和关键点检测模块的输入连接，识别框检测模块的输出与关键点检测模块的输入连接，识别框检测模块依次包括box-pooler模块、box-head模块、box-classes模块和box-boxes模块；关键点检测模块依次包括keypoint-pooler模块、keypoint-head模块和keypoint-location模块；识别框检测模块用于识别目标的识别框和类别，关键点检测模块用于检测目标的关键点。

训练数据样本输入至两阶段检测网络进行特征识别和特征提取，然后输入至识别框检测模块，通过识别框检测模块中的box-pooler模块、box-head模块、box-classes模块实现对目标的分类，以得到目标的类别；通过识别框检测模块中的box-pooler模块、box-head模块、box-boxes模块实现对目标的识别框的检测，以得到目标的识别框。通过将目标的识别框、目标的类别以及两阶段检测网络的输出结果输入至关键点检测模块，通过关键点检测模块中的keypoint-pooler模块、keypoint-head模块和keypoint-location模块的处理，得到了目标的关键点。

下述为本申请装置实施例，可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节，请参照本申请方法实施例。

图8是本申请一实施例提供的异常行为检测装置的结构示意图，该装置可以通过软件和/或硬件的方式实现，例如可以通过终端设备实现，如图8所示，本申请实施例提供的异常行为检测装置可以包括：获取模块41、检测模块42和确定模块43。

获取模块41，用于获取待识别数据，待识别数据中的目标包括车辆。

检测模块42，用于通过关键点检测网络模型的识别框检测模块，确定车辆的识别框，利用关键点检测网络模型的关键点检测模块，检测车辆的识别框中车辆的关键点。

确定模块43，用于对车辆的关键点进行关键点跟踪，确定车辆的运动轨迹；根据车辆的运动轨迹和车辆所在的区域确定车辆是否存在异常行为。

在一种可能的实施方式中，确定模块43，具体用于：

若车辆所在的区域为车道区域，且车辆的运动轨迹与车道区域的规定行使方向不同，则确定车辆存在逆行行为；和/或，若车辆所在的区域为非道路区域，且车辆的运动轨迹在第一预设时间内未发生变化，则确定车辆存在驶出路面的行为；和/或，若车辆所在的区域为中心路口区域，且车辆的运动轨迹在第二预设时间内未发生变化，则确定车辆存在路口停留的行为；和/或，若在当前可通行车道区域以外的区域存在运动轨迹发生变化的第一车辆，且第一车辆的车辆轨迹经过中心路口区域，则确定第一车辆存在闯红灯的行为。

在一种可能的实施方式中，目标包括行人，确定模块43，还用于：

若行人所在的人行横道区域的交通信号灯为红灯，且行人的运动轨迹穿过人行横道区域，则确定行人存在闯红灯的行为。

在一种可能的实施方式中，目标包括行人，确定模块43还包括：将行人的关键点以及行人的识别框输入至行为判别网络模型，以确定行人的人体姿态；根据人体姿态和行人所在的区域确定行人是否存在异常行为。

在一种可能的实施方式中，确定模块43，具体用于：

若行人所在的区域为车道区域、中心路口区域或人行横道区域中的任意一种，且行人的姿态为第一预设姿态，则确定行人存在异常行为，第一预设姿态包括躺卧姿态或蹲坐姿态。

在一种可能的实施方式中，目标包括行人，确定模块43，还用于：

通过关键点检测网络模型，确定行人的识别框和行人的关键点；将行人的识别框以及行人的关键点输入至行为判别网络模型，以确定行人的人体姿态；根据人体姿态、行人所在的区域和车辆的识别框，确定车辆是否存在异常行为。

在一种可能的实施方式中，确定模块43，具体用于：

若检测到至少两个第二车辆的识别框重叠时间超过第三预设时间，且在第二车辆的识别框之外的预设范围内检测到第二预设姿态的行人，则确定第二车辆存在碰撞行为，第二预设姿态包括直立姿态、躺卧姿态或蹲坐姿态中的任意一种或多种组合。

在一种可能的实施方式中，如图8所示，本申请实施例提供的异常行为检测装置，还包括标定模块44。

标定模块44，用于获取待标定数据，以及对待标定数据中的画面区域进行标定，以将画面区域划分为不同区域。

在一种可能的实施方式中，标定模块44，具体用于：

检测待标定数据中的车道线、人行横道线和交通信号灯；根据车道线和人行横道线，将画面区域划分为车道区域、中心路口区域、人行横道区域以及非道路区域；确定待标定数据中的车辆行驶方向和行人轨迹；将车道区域中超过预设比例的车辆行驶方向确定为车道区域的规定行使方向；在人行横道区域内存在行人轨迹变化时，将绿色信号灯亮的交通信号灯，确定为人行横道区域的交通信号灯。

在一种可能的实施方式中，如图8所示，本申请实施例提供的异常行为检测装置，还包括训练模块45。

训练模块45，具体用于获取训练数据样本；构建关键点检测网络模型的网络结构；利用关键点检测网络模型的网络结构对训练数据样本进行训练，生成训练后的关键点检测网络模型。

在一种可能的实施方式中，关键点检测网络模型的网络结构包括两阶段检测网络模块、识别框检测模块和关键点检测模块；两阶段检测网络模块的输出分别与识别框检测模块的输入和关键点检测模块的输入连接，识别框检测模块的输出与关键点检测模块的输入连接，识别框检测模块依次包括box-pooler模块、box-head模块、box-classes模块和box-boxes模块；关键点检测模块依次包括keypoint-pooler模块、keypoint-head模块和keypoint-location模块；识别框检测模块用于识别目标的识别框，关键点检测模块用于检测目标的关键点。

在一种可能的实施方式中，本申请实施例提供的异常行为检测装置，还包括：

推送模块46，用于若车辆存在异常行为，则向用户终端推送报警信息，报警信息中包括车辆的异常行为以及车辆的位置。

本申请所提供的装置实施例仅仅是示意性的，图8中的模块划分仅仅是一种逻辑功能划分，实际实现时可以有另外的划分方式。例如多个模块可以结合或者可以集成到另一个***。各个模块相互之间的耦合可以是通过一些接口实现，这些接口通常是电性通信接口，但是也不排除可能是机械接口或其它的形式接口。因此，作为分离部件说明的模块可以是或者也可以不是物理上分开的，既可以位于一个地方，也可以分布到同一个或不同设备的不同位置上。

图9是本申请实施例提供的电子设备的结构示意图，其中，电子设备可以是上述实施例中的终端设备，如图9所示，该电子设备包括：

处理器61、存储器62、收发器63以及计算机程序；其中，收发器63实现与其他设备之间的数据传输，计算机程序被存储在存储器62中，并且被配置为由处理器61执行，计算机程序包括用于执行上述异常行为检测方法的指令，其内容及效果请参考方法实施例。

此外，本申请实施例还提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机执行指令，当用户设备的至少一个处理器执行该计算机执行指令时，用户设备执行上述各种可能的方法。

其中，计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。另外，该ASIC可以位于用户设备中。当然，处理器和存储介质也可以作为分立组件存在于通信设备中。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (9)

1.一种异常行为检测方法，其特征在于，包括：

获取待识别数据，所述待识别数据中的目标包括车辆；

通过关键点检测网络模型的识别框检测模块，确定所述车辆的识别框，利用所述关键点检测网络模型的关键点检测模块，检测所述车辆的识别框中所述车辆的关键点；

对所述车辆的关键点进行关键点跟踪，确定所述车辆的运动轨迹；

根据所述车辆的运动轨迹和所述车辆所在的区域确定所述车辆是否存在异常行为；

所述目标包括行人，所述方法，还包括：

根据人体姿态、所述行人所在的区域和所述车辆的识别框，确定所述车辆是否存在异常行为；

所述根据所述人体姿态、所述行人所在的区域和所述车辆的识别框，确定所述车辆是否存在异常行为，包括：

若检测到至少两个第二车辆的识别框重叠时间超过第三预设时间，且在所述第二车辆的识别框之外的预设范围内检测到第二预设姿态的行人，则确定所述第二车辆存在碰撞行为，所述第二预设姿态包括直立姿态、躺卧姿态或蹲坐姿态中的任意一种或多种组合。

2.根据权利要求1所述的方法，其特征在于，在所述根据人体姿态、所述行人所在的区域和所述车辆的识别框，确定所述车辆是否存在异常行为之前，所述方法还包括：

通过所述关键点检测网络模型，确定所述行人的识别框和所述行人的关键点；

将所述行人的识别框以及所述行人的关键点输入至行为判别网络模型，以确定所述行人的人体姿态。

3.根据权利要求1-2任一项所述的方法，其特征在于，在获取待识别数据之前，还包括：

获取待标定数据；

对所述待标定数据中的画面区域进行标定，以将所述画面区域划分为不同区域。

4.根据权利要求3所述的方法，其特征在于，所述对所述待标定数据中的画面区域进行标定，包括：

检测所述待标定数据中的车道线、人行横道线和交通信号灯；

根据所述车道线和所述人行横道线，将所述画面区域划分为车道区域、中心路口区域、人行横道区域以及非道路区域；

确定所述待标定数据中的车辆行驶方向和行人轨迹；

将所述车道区域中超过预设比例的车辆行驶方向确定为所述车道区域的规定行使方向；

在所述人行横道区域内存在行人轨迹变化时，将绿色信号灯亮的交通信号灯，确定为所述人行横道区域的交通信号灯。

5.根据权利要求1-2任一项所述的方法，其特征在于，在所述获取待识别数据之前，还包括：

获取训练数据样本；

构建所述关键点检测网络模型的网络结构；

利用所述关键点检测网络模型的网络结构对所述训练数据样本进行训练，生成训练后的关键点检测网络模型。

6.根据权利要求5所述的方法，其特征在于，所述关键点检测网络模型的网络结构包括两阶段检测网络模块、识别框检测模块和关键点检测模块；

所述两阶段检测网络模块的输出分别与所述识别框检测模块的输入和所述关键点检测模块的输入连接，所述识别框检测模块的输出与所述关键点检测模块的输入连接，所述识别框检测模块依次包括box-pooler模块、box-head模块、box-classes模块和box-boxes模块；所述关键点检测模块依次包括keypoint-pooler模块、keypoint-head模块和keypoint-location模块；

所述识别框检测模块用于识别目标的识别框，所述关键点检测模块用于检测目标的关键点。

7.根据权利要求1-2任一项所述的方法，其特征在于，还包括：

若所述车辆存在异常行为，则向用户终端推送报警信息，所述报警信息中包括所述车辆的异常行为以及所述车辆的位置。

8.一种异常行为检测装置，其特征在于，包括：

获取模块，用于获取待识别数据，所述待识别数据中的目标包括车辆；

检测模块，通过关键点检测网络模型的识别框检测模块，确定所述车辆的识别框，利用所述关键点检测网络模型的关键点检测模块检测所述车辆的识别框中所述车辆的关键点；

确定模块，用于对车辆的关键点进行关键点跟踪，确定车辆的运动轨迹；根据车辆的运动轨迹和车辆所在的区域确定车辆是否存在异常行为；

所述目标包括行人，所述确定模块，还用于根据人体姿态、所述行人所在的区域和所述车辆的识别框，确定所述车辆是否存在异常行为；

所述确定模块，具体用于若检测到至少两个第二车辆的识别框重叠时间超过第三预设时间，且在所述第二车辆的识别框之外的预设范围内检测到第二预设姿态的行人，则确定所述第二车辆存在碰撞行为，所述第二预设姿态包括直立姿态、躺卧姿态或蹲坐姿态中的任意一种或多种组合。

9.一种电子设备，其特征在于，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的方法。