CN110895861B - 异常行为预警方法、装置、监控设备和存储介质 - Google Patents

Abstract

本申请公开了一种异常行为预警方法、装置、监控设备和存储介质，属于智能分析领域。本申请实施例提供的一种异常行为预警方法，监控设备对监控区域进行监控，得到第一监控视频。从第一监控视频中识别出包括人体目标的第二监控视频，以及，从第一监控视频中识别出包括前景信息的第三监控视频。将第二监控视频和第三监控视频进行融合，得到第四监控视频。基于第四监控视频，确定监控区域中是否存在异常事件。当监控区域中存在异常事件时，输出第一异常预警信号。该方法避免了前景信息中剧烈的光照变化及高复杂度场景对触发异常行为预警信号的影响，提高了异常行为预警的准确率。

Description

异常行为预警方法、装置、监控设备和存储介质

技术领域

本申请涉及智能分析领域。特别涉及一种异常行为预警方法、装置、监控设备和存储介质。

背景技术

目前，异常行为预警可以应用到很多场景中，例如可以应用到金融自助行中。当异常行为预警应用到金融自助行时，通过对金融自助行内的场景进行实时监控，当监控到金融自助行中存在异常行为时，发出异常行为预警信号，由金融自助行内的安保人员对该异常行为进行处理。

目前的异常行为预警方法是基于监控视频中监控用户的运动方向判断是否存在异常行为。该方法是先通过背景建模获取监控场景的背景帧，根据监控视频帧和背景帧，获取监控用户。然后筛选监控用户的每个像素点的运动速度，并通过光流法计算每个像素点的运动速度获取监控用户的运动方向。通过监控用户的运动方向计算监控用户的运动熵，根据监控用户的运动熵与边界阈值的相对大小，确定是否存在异常行为。

但当上述监控场景中存在剧烈的光照变化及高复杂度场景时，剧烈的光照变化及高复杂度场景会影响获取监控用户的准确性，导致获取虚假的监控用户，从而触发异常行为预警，降低了异常行为预警的准确率。

发明内容

本申请实施例提供了一种异常行为预警方法、装置、监控设备和存储介质,能够解决异常行为预警的准确率低的问题。所述技术方案如下：

一方面，提供了一种异常行为预警方法，所述方法包括：

对监控区域进行监控，得到第一监控视频；

从所述第一监控视频中识别出包括人体目标的第二监控视频，以及，从所述第一监控视频中识别出包括前景信息的第三监控视频；

将所述第二监控视频和所述第三监控视频进行融合，得到第四监控视频；

基于所述第四监控视频，确定所述监控区域中是否存在异常事件；

当所述监控区域中存在异常事件时，输出第一异常预警信号。

在一种可能的实现方式中，所述将所述第二监控视频和所述第三监控视频进行融合，得到第四监控视频之前，所述方法还包括：

将所述第二监控视频和所述第三监控视频进行匹配；

当所述第三监控视频中包括与所述第二监控视频中的人体目标匹配的第一目标框时，执行所述将所述第二监控视频和所述第三监控视频进行融合，得到第四监控视频的步骤。

在另一种可能的实现方式中，所述方法还包括：

当所述第三监控视频中还包括除所述人体目标以外的第二目标框时，对所述第二目标框中的视频画面进行分析；

当所述第二目标框中的视频画面为物品的视频画面时，确定所述物品为所述监控区域中的遗留物品；

输出第二异常预警信号。

在另一种可能的实现方式中，所述从所述第一监控视频中识别出包括人体目标的第二监控视频，包括：

通过目标检测模型，从所述第一监控视频中识别出包括所述人体目标的至少一帧视频画面；

将所述至少一帧视频画面组成所述第二监控视频。

在另一种可能的实现方式中，所述方法还包括：

获取人体目标在多个监控角度的多个第一样本图像和多个第二样本图像，所述多个第二样本图像为所述多个第一样本图像中的非人体目标的背景图像；

根据多个第一指定缩放比例，对所述多个第一样本图像和所述多个第二样本图像进行缩放处理；

根据所述多个第一样本图像、缩放处理后的多个第一样本图像、所述多个第二样本图像和缩放处理后的多个第二样本图像，对初始检测模型进行训练，得到所述目标检测模型。

在另一种可能的实现方式中，所述基于所述第四监控视频，确定所述监控区域中是否存在异常事件，包括：

基于所述第四监控视频，从所述第四监控视频中选出包括所述人体目标的视频序列；

根据所述视频序列，对所述人体目标进行跟踪，得到所述人体目标的行为；

当所述行为是异常行为时，确定所述监控区域中存在异常事件。

在另一种可能的实现方式中，所述根据所述视频序列，对所述人体目标进行跟踪，得到所述人体目标的行为之前，所述方法还包括：

根据所述视频序列，确定所述视频序列中的多帧视频画面中的人体目标是否为同一个人体目标；

当所述多帧视频画面中的人体目标为同一个人体目标时，执行所述根据所述视频序列，对所述人体目标进行跟踪，得到所述人体目标的行为的步骤。

在另一种可能的实现方式中，所述根据所述视频序列，确定所述视频序列中的多帧视频画面中的人体目标是否为同一个人体目标，包括：

从所述多帧视频画面中提取其包括的人体目标的特征信息，得到多个特征信息；

确定所述多个特征信息之间的匹配度；

当所述多个特征信息之间的匹配度大于预设匹配阈值时，确定所述多帧视频画面中的人体目标为同一个人体目标。

在另一种可能的实现方式中，所述基于所述第四监控视频，确定所述监控区域中是否存在异常事件，包括：

提取所述第四监控视频中的音频信号以及所述音频信号的声纹特征；

当所述音频信号中包含指定敏感词汇、与异常事件的声纹特征匹配的所述声纹特征和/或所述音频信号的语法规则与异常事件的语法规则匹配时，确定所述监控区域中存在异常事件。

在另一种可能的实现方式中，所述当所述监控区域中存在异常事件时，输出第一异常预警信号，包括：

当所述监控区域中存在异常事件时，确定所述异常事件的异常等级；

基于所述异常等级，输出与所述异常等级匹配的第一异常预警信号。

在另一种可能的实现方式中，所述方法还包括：

向所述监控区域对应的指定终端发送所述第四监控视频和用于指示存在异常事件的预警图片。

另一方面，提供了一种异常行为预警装置，所述装置包括：

监控模块，用于对监控区域进行监控，得到第一监控视频；

识别模块，用于从所述第一监控视频中识别出包括人体目标的第二监控视频，以及，从所述第一监控视频中识别出包括前景信息的第三监控视频；

融合模块，将所述第二监控视频和所述第三监控视频进行融合，得到第四监控视频；

第一确定模块，基于所述第四监控视频，确定所述监控区域中是否存在异常事件；

第一输出模块，用于当所述监控区域中存在异常事件时，输出第一异常预警信号。

在一种可能的实现方式中，所述融合模块，还用于将所述第二监控视频和所述第三监控视频进行匹配，当所述第三监控视频中包括与所述第二监控视频中的人体目标匹配的第一目标框时，将所述第二监控视频和所述第三监控视频进行融合，得到第四监控视频。

在另一种可能的实现方式中，所述装置还包括：

分析模块，用于当所述第三监控视频中还包括除所述人体目标以外的第二目标框时，对所述第二目标框中的视频画面进行分析；

第二确定模块，用于当所述第二目标框中的视频画面为物品的视频画面时，确定所述物品为所述监控区域中的遗留物品；

第二输出模块，用于输出第二异常预警信号。

在另一种可能的实现方式中，所述识别模块，还用于通过目标检测模型，从所述第一监控视频中识别出包括所述人体目标的至少一帧视频画面；将所述至少一帧视频画面组成所述第二监控视频。

在另一种可能的实现方式中，所述装置还包括：

获取模块，用于获取人体目标在多个监控角度的多个第一样本图像和多个第二样本图像，所述多个第二样本图像为所述多个第一样本图像中的非人体目标的背景图像；

处理模块，用于根据多个第一指定缩放比例，对所述多个第一样本图像和所述多个第二样本图像进行缩放处理；

训练模块，用于根据所述多个第一样本图像、缩放处理后的多个第一样本图像、所述多个第二样本图像和缩放处理后的多个第二样本图像，对初始检测模型进行训练，得到所述目标检测模型。

在另一种可能的实现方式中，所述第一确定模块，还用于基于所述第四监控视频，从所述第四监控视频中选出包括所述人体目标的视频序列；根据所述视频序列，对所述人体目标进行跟踪，得到所述人体目标的行为；当所述行为是异常行为时，确定所述监控区域中存在异常事件。

在另一种可能的实现方式中，所述第一确定模块，，还用于根据所述视频序列，确定所述视频序列中的多帧视频画面中的人体目标是否为同一个人体目标；当所述多帧视频画面中的人体目标为同一个人体目标时，根据所述视频序列，对所述人体目标进行跟踪，得到所述人体目标的行为。

在另一种可能的实现方式中，所述第一确定模块，，还用于从所述多帧视频画面中提取其包括的人体目标的特征信息，得到多个特征信息；确定所述多个特征信息之间的匹配度；当所述多个特征信息之间的匹配度大于预设匹配阈值时，确定所述多帧视频画面中的人体目标为同一个人体目标。

在另一种可能的实现方式中，所述第一确定模块，还用于提取所述第四监控视频中的音频信号以及所述音频信号的声纹特征；当所述音频信号中包含指定敏感词汇、与异常事件的声纹特征匹配的所述声纹特征和/或所述音频信号的语法规则与异常事件的语法规则匹配时，确定所述监控区域中存在异常事件。

在另一种可能的实现方式中，所述第一输出模块，还用于当所述监控区域中存在异常事件时，确定所述异常事件的异常等级；基于所述异常等级，输出与所述异常等级匹配的第一异常预警信号。

在另一种可能的实现方式中，所述装置还包括：

发送模块，用于向所述监控区域对应的后续处理设备发送所述第四监控视频和用于指示存在异常事件的预警图片。

另一方面，本发明提供了一种监控设备，所述监控设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述指令、所述程序、所述代码集或所述指令集由所述处理器加载并执行以实现上述异常行为预警方法中所执行的操作。

另一方面，本发明提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述指令、所述程序、所述代码集或所述指令集由处理器加载并执行以实现上述异常行为预警方法中所执行的操作。

本申请实施例提供的技术方案带来的有益效果是：

本申请实施例提供的异常行为预警方法，监控设备对监控区域进行监控，得到第一监控视频。从第一监控视频中识别出包括人体目标的第二监控视频，以及，从第一监控视频中识别出包括前景信息的第三监控视频。将第二监控视频和第三监控视频进行融合，得到第四监控视频。基于第四监控视频，确定监控区域中是否存在第一异常事件。当监控区域中存在第一异常事件时，输出第一异常预警信号。该方法避免了前景信息中剧烈的光照变化及高复杂度场景对触发异常行为预警信号的影响，提高了异常行为预警的准确率。

附图说明

图1是本申请实施例提供的一种异常行为预警的应用场景的示意图；

图2是本申请实施例提供的一种异常行为预警方法的流程图；

图3是本申请实施例提供的一种异常行为预警方法的流程图；

图4是本申请实施例提供的一种异常行为预警方法的流程图；

图5是本申请实施例提供的一种异常行为预警装置的结构示意图；

图6是本申请实施例提供的一种监控设备的结构框图。

具体实施方式

为使本申请的技术方案和优点更加清楚，下面对本申请实施方式作进一步地详细描述。

本申请实施例提供了一种异常行为预警的应用场景，参见图1，该应用场景包括监控设备101，该监控设备101用于对指定场所的监控区域进行监控。该指定场所可以为金融自助行、商店、银行、医院、公园、火车站或者汽车站等。监控区域可以为指定场所中的全部或者部分区域。例如，当该指定场所为金融自助行时，该监控区域可以为柜台、ATM(Automatic Teller Machine，自动取款机)和大厅等。

该监控区域在检测到监控区域中存在异常事件时，监控设备101可以输出第一异常预警信号。该异常事件可以为有人进入禁止进入区域、有人一直在某一位置徘徊、有物品遗留、有人打架斗殴、有人倒地、有人被尾随、有人声强突变、人数异常和有人离岗时间过长等异常事件。

当监控设备101输出第一异常预警信号时，监控区域中的其他人员根据该第一异常预警信号，可以及时对该异常事件进行处理。例如，当该异常事件为有人倒地时，监控区域中的其他人员查看该人是否因身体原因导致昏厥倒地，当确定该人因身体原因，突发疾病导致昏厥时，及时拨打120急救电话，对该人进行救治。其中，其他人员可以为监控区域的工作人员或者非工作人员。

在一种可能的实现方式中，当监控设备101检测到监控区域中存在异常事件时，监控设备101还可以向指定终端102发送第一异常预警信号。相应的，该应用场景还包括：指定终端102。监控设备101与指定终端102之间可以通过无线网络连接，也可以通过有线方式连接。当监控设备101向指定终端102发送第一异常预警信号时，指定终端102接收该第一异常预警信号后，监控区域中的指定工作人员在指定终端102接收到该通话请求后，及时对异常事件进行处理。

在另一个可能的实现方式中，监控设备101检测到监控区域中存在异常事件时，监控设备101还可以向指定终端102发送存在异常事件的第四监控视频和用于指示存在异常事件的预警图片，以便能够及时通知指定工作人员，由指定工作人员及时进行处理。

其中，监控设备101向指定终端102发送存在异常事件的第四监控视频和用于指示存在异常事件的预警图片的步骤可以在监控设备101输出第一异常预警信号之前或者之后，也可以在监控设备101向指定终端102发送第一异常预警信号之前或者之后，也可以在监控设备101向指定终端102发送第一异常预警信号的同时。在本申请实施例中，对监控设备101输出第一异常预警信号，以及监控设备101向指定终端102发送第一异常预警信号，以及监控设备101向指定终端102发送第四监控视频和预警图片的时间先后顺序不作具体限定。

需要说明的一点是，当指定场所较大时，该指定场所中可以安装多个监控设备101。相应的，该应用场景中包括多个监控设备101，每个监控设备101监控该指定场所中的一个或者多个监控区域。

需要说明的另一点是，监控设备101可以为相机或者摄像头；指定终端102可以为手机、电脑、平板电脑、穿戴设备、对讲机等。在本申请实施例中对监控设备101和指定终端102不作具体限定。其中，该指定终端102可以为指定工作人员的终端，也可以为医院对应的急救终端，也可以公安局对应的报警终端。

本申请实施例提供了一种异常行为预警方法，参见图2，该方法包括：

步骤201：监控设备对监控区域进行监控，得到第一监控视频。

步骤202：监控设备从第一监控视频中识别出包括人体目标的第二监控视频，以及，从第一监控视频中识别出包括前景信息的第三监控视频。

步骤203：监控设备将第二监控视频和第三监控视频进行融合，得到第四监控视频。

步骤204：监控设备基于第四监控视频，确定监控区域中是否存在异常事件。

步骤205：当监控区域中存在异常事件时，监控设备输出第一异常预警信号。

在一种可能的实现方式中，监控设备将第二监控视频和第三监控视频进行融合，得到第四监控视频之前，方法还包括：

监控设备将第二监控视频和第三监控视频进行匹配。

当第三监控视频中包括与第二监控视频中的人体目标匹配的第一目标框时，监控设备执行将第二监控视频和第三监控视频进行融合，得到第四监控视频的步骤。

在另一种可能的实现方式中，该方法还包括：

当第三监控视频中还包括除人体目标以外的第二目标框时，监控设备对第二目标框中的视频画面进行分析。

当第二目标框中的视频画面为物品的视频画面时，监控设备确定物品为监控区域中的遗留物品。

监控设备输出第二异常预警信号。

在另一种可能的实现方式中，监控设备从第一监控视频中识别出包括人体目标的第二监控视频，包括：

监控设备通过目标检测模型，从第一监控视频中识别出包括人体目标的至少一帧视频画面。

监控设备将至少一帧视频画面组成第二监控视频。

在另一种可能的实现方式中，该方法还包括：

监控设备获取人体目标在多个监控角度的多个第一样本图像和多个第二样本图像，多个第二样本图像为多个第一样本图像中的非人体目标的背景图像；

监控设备根据多个第一指定缩放比例，对多个第一样本图像和多个第二样本图像进行缩放处理；

监控设备根据多个第一样本图像、缩放处理后的多个第一样本图像、多个第二样本图像和缩放处理后的多个第二样本图像，对初始检测模型进行训练，得到目标检测模型。

在另一种可能的实现方式中，基于第四监控视频，监控设备确定监控区域中是否存在异常事件，包括：

基于第四监控视频，监控设备从第四监控视频中选出包括人体目标的视频序列；

监控设备根据视频序列，对人体目标进行跟踪，得到人体目标的行为；

当该行为是异常行为时，监控设备确定监控区域中存在异常事件。

在另一种可能的实现方式中，监控设备根据视频序列，对人体目标进行跟踪，得到人体目标的行为之前，该方法还包括：

监控设备根据视频序列，确定视频序列中的多帧视频画面中的人体目标是否为同一个人体目标；

当多帧视频画面中的人体目标为同一个人体目标时，监控设备执行根据视频序列，对人体目标进行跟踪，得到人体目标的行为的步骤。

在另一种可能的实现方式中，监控设备根据视频序列，确定视频序列中的多帧视频画面中的人体目标是否为同一个人体目标，包括：

监控设备从多帧视频画面中提取其包括的人体目标的特征信息，得到多个特征信息；

监控设备确定多个特征信息之间的匹配度；

监控设备当多个特征信息之间的匹配度大于预设匹配阈值时，确定多帧视频画面中的人体目标为同一个人体目标。

在另一种可能的实现方式中，监控设备基于第四监控视频，确定监控区域中是否存在异常事件，包括：

监控设备提取第四监控视频中的音频信号以及音频信号的声纹特征；

当音频信号中包含指定敏感词汇、与异常事件的声纹特征匹配的声纹特征和/或音频信号的语法规则与异常事件的语法规则匹配时，监控设备确定监控区域中存在异常事件。

在另一种可能的实现方式中，当监控区域中存在异常事件时，监控设备输出第一异常预警信号，包括：

当监控区域中存在异常事件时，监控设备确定异常事件的异常等级；

监控设备基于异常等级，输出与异常等级匹配的第一异常预警信号。

在另一种可能的实现方式中，方法还包括：

监控设备向监控区域对应的指定终端发送第四监控视频和用于指示存在异常事件的预警图片。

本申请实施例提供的一种异常行为预警方法，监控设备对监控区域进行监控，得到第一监控视频。从第一监控视频中识别出包括人体目标的第二监控视频，以及，从第一监控视频中识别出包括前景信息的第三监控视频。将第二监控视频和第三监控视频进行融合，得到第四监控视频。基于第四监控视频，确定监控区域中是否存在异常事件。当监控区域中存在异常事件时，输出第一异常预警信号。该方法避免了剧烈的光照变化及高复杂度场景对触发异常行为预警信号的影响，提高了异常行为预警的准确率。

本申请实施例提供了一种异常行为预警方法，参见图3，该方法包括：

步骤301：监控设备对监控区域进行监控，得到第一监控视频。

监控设备可以实时对监控区域进行监控，也可以在指定时间段对监控区域进行监控，也可以在监控到指定事件时，对监控区域进行监控。其中，指定时间段可以为一天中的任意时间段。例如，指定时间段可以为早上9:00-18:00；或者，该指定时间段可以为9:00-12:00和13:00-18:00。该指定事件可以为监控到有人体目标进入该监控区域。

在本申请实施例中，通过第一监控视频对监控区域中的人体目标进行监控，因此，监控设备监控得到第一监控视频后，执行步骤302。

步骤302：监控设备从第一监控视频中识别出包括人体目标的第二监控视频，以及，从第一监控视频中识别出包括前景信息的第三监控视频。

本步骤可以通过以下步骤(1)至(2)实现，包括：

(1)：监控设备通过目标检测模型，从第一监控视频中识别出包括人体目标的第二监控视频。

监控设备通过目标检测模型，从第一监控视频中识别出包括人体目标的至少一帧视频画面，监控设备将该至少一帧视频画面组成第二监控视频，目标检测模型为识别人体目标的检测模型。该目标检测模型可以为YOLO V3(You Only Look Once，第三代深度学习目标检测)模型，该目标检测模型也可以为将YOLO V3和DarkNet(黑暗网络)网络模型相结合得到的检测模型。

在本申请实施例中，监控设备需要获取目标检测模型；其中，监控设备可以自己训练目标检测模型，还可以在监控时，训练一次得到目标检测模型，后续不再重复训练目标检测模型，而直接使用已训练得到的该目标检测模型，还可以直接获取其他设备训练得到的目标检测模型。

其中，监控设备训练目标检测模型的步骤可以通过以下步骤(A)至(C)实现，包括：

(A)：监控设备获取人体目标在多个监控角度的多个第一样本图像和多个第二样本图像，多个第二样本图像为多个第一样本图像中的非人体目标的背景图像。

监控设备获取样本图像，该样本图像包括多个第一样本图像和多个第二样本图像。多个第一样本图像为人体目标在多个监控角度下的样本图像，多个第二样本图像为为多个第一样本图像中的非人体目标的背景图像。

(B)：监控设备根据多个第一指定缩放比例，对多个第一样本图像和多个第二样本图像进行缩放处理。

多个第一指定缩放比例包括第一数量个图像分辨率缩放比例和第二数量个尺寸缩放比例。相应的，本步骤可以为：对于每个第一样本图像，监控设备根据第一数量个图像分辨率缩放比例对该第一样本图像进行分辨率缩放处理，得到第一数量个第三样本图像；对于每个第三样本图像，监控设备根据该第二数量个尺寸缩放比例，对该第三样本图像进行缩放处理，得到第二数量个第五样本图像。

对于每个第二样本图像，监控设备根据第一数量个图像分辨率缩放比例对该第二样本图像进行分辨率缩放处理，得到第一数量个第四样本图像；对于每个第四样本图像，监控设备根据该第二数量个尺寸缩放比例，对该第四样本图像进行缩放处理，得到第二数量个第六样本图像。

第一数量和第二数量都可以根据需要进行设置并更改，在本申请实施例中对第一数量和第二数量不作具体限定。并且，第一数量个图像分辨率缩放比例中的每个图像分辨率缩放比例不同，第二数量个尺寸缩放比例中的每个尺寸缩放比例不同，且都可以根据需要进行设置并更改，在本申请实施例中不作具体限定。

例如，第一数量可以为3，第二数量可以为9，图像分辨率缩放比例可以为0.5，1和2；尺寸缩放比例可以为1:1，2:1和3:2等。

监控设备采用多个尺度的图像分辨率和多个不同的尺寸缩放比例进行人体目标检测，可以检测到更多不同大小、不同远近的人体目标，环境适应性强。

(C)：监控设备根据多个第一样本图像、缩放处理后的多个第一样本图像、多个第二样本图像和缩放处理后的多个第二样本图像，对初始检测模型进行训练，得到目标检测模型。

监控设备将多个第一样本图像、缩放处理后的多个第一样本图像、多个第二样本图像和缩放处理后的多个第二样本图像输入至初始检测模型中，对该初始检测模型进行迭代训练，直到满足停止条件，将满足停止条件的监测模型确定为目标检测模型。停止条件可以为该检测模型的准确率大于预设准确率阈值。

需要说明的一点是，该初始检测模型可以为YOLO V3模型，该初始检测模型也可以为将YOLO V3和DarkNet结合得到的检测模型。其中，YOLO V3模型将样本图像(第一样本图像或者第二样本图像)划分为S*S个格子，每个格子的中心负责该格子的检测。每个格子可以预测多个边框与置信度，以及多个类别概率。由于该YOLO V3模型可以一次性预测所有格子中所含人体目标的边框区域、置信度及所有类别概率，因此该YOLO V3模型可以将检测问题一次性解决。其中，S为大于1的整数。

(3)：监控设备从第一监控视频中识别出包括前景信息的第三监控视频。

第一监控视频中包括多帧第一视频画面，第一视频画面中包括背景信息和前景信息，该前景信息是指第一监控视频中除去背景信息之外的所有信息，该前景信息包括监控区域中的人体目标信息、监控区域中的物品信息及监控区域中的其他信息。该其他信息包括监控区域中的环境信息(例如光照信息)。在本步骤中，监控设备从第一监控视频中识别包括前景信息的至少一帧视频画面，将该至少一帧视频画面组成的视频作为第三监控视频。

需要说明的一点是，监控设备在执行完步骤302后，可以直接执行步骤304中的监控设备将第二监控视频和第三监控视频进行融合，得到第四监控视频的步骤。也可以通过步骤303对第二监控视频和第三监控视频进行匹配判断，在第二监控视频和第三监控视频匹配时，才执行步骤304。

步骤303：监控设备确定第二监控视频与第三监控视频是否匹配。

本步骤可以通过以下步骤(1)至(2)实现，包括：

(1)：监控设备将第二监控视频和第三监控视频进行匹配。

本步骤可以通过以下步骤(1-1)至(1-4)实现，包括：

(1-1)：对于第二监控视频中的每帧第二视频画面，监控设备从该第二视频画面中识别人体目标。

第二监控视频包括多帧第二视频画面，监控设备通过目标检测模型，从多帧第二视频画面中识别出包括人体目标的第一指定数目帧个第二视频画面。

(1-2)：监控设备根据该第二视频画面的监控时间，从第三监控视频中获取该监控时间对应的第三视频画面，从该第三视频画面中确定第一目标框。

监控设备确定识别出包括人体目标的第一指定数目帧个第二视频画面的监控时间，对于第三监控视频中的多帧第三视频画面，监控设备从多帧第三视频画面中识别出该监控时间对应的第二指定数目帧个第三视频画面，从该第二指定数目帧个第三视频画面中确定第一目标框。

(1-3)：监控设备确定每帧第二视频画面中的人体目标和每帧第三视频画面中的第一目标框之间的第一匹配度。

为了便于与后续多个特征信息之间的匹配度进行区分，将每帧第二视频画面中的人体目标和每帧第三视频画面中的第一目标框之间的匹配度称为第一匹配度。

监控设备将每帧第二视频画面中的人体目标和每帧第三视频画面中的第一目标框进行匹配，确定第一匹配度。

该第二视频画面中的人体目标可以为一个或多个，该第三视频画面中的第一目标框也可以为一个或多个。当该第二视频画面中的人体目标为一个时，第三视频画面中的第一目标框为一个时，监控设备将该一个人体目标与该一个第一目标框进行匹配得到的一个匹配度，确定为第一匹配度。当该第二视频画面中的人体目标为一个时，第三视频画面中的第一目标框为多个时，监控设备将该一个人体目标与多个第一目标框分别进行匹配得到的一个匹配度，确定为第一匹配度。当该第二视频画面中的人体目标为多个时，第三视频画面中的第一目标框为多个时，监控设备将该多个人体目标与多个第一目标框分别进行匹配得到多个匹配度，监控设备可以将该多个匹配度的和值或该多个匹配度的平均值确定为第一匹配度。本申请实施例中，对监控设备确定第一匹配度的方式不作具体限定。优选地，监控设备将该多个匹配度的平均值确定为第一匹配度。

(1-4)：监控设备根据每帧第二视频画面中的人体目标和每帧第三视频画面中的第一目标框之间的第一匹配度，确定第二监控视频中的人体目标与第三监控视频中的第一目标框之间的第二匹配度。

当第一指定数目帧个第二视频画面中只有一帧第二视频画面和第二指定数目帧个第三视频画面中的一帧第三视频画面匹配时，监控设备得到一个第一匹配度，监控设备将该一个第一匹配度，确定为第二监控视频中的人体目标与第三监控视频中的第一目标框的第二匹配度。

当第一指定数目帧个第二视频画面中多帧第二视频画面和第二指定数目帧个第三视频画面中的多帧第三视频画面匹配时，监控设备得到多个第一匹配度。监控设备可以将该多个第一匹配度的和值或者该多个第一匹配度的平均值作为第二匹配度。本申请实施例中，对监控设备确定第二匹配度的方式不作具体限定。优选地，监控设备将该多个第一匹配度的平均值确定为第二匹配度。

(2)：监控设备基于第二监控视频中的人体目标与第三监控视频中的第一目标框之间的第二匹配度，确定第二监控视频与第三监控视频是否匹配。

监控设备确定该第二匹配度是否小于第一预设匹配阈值。当该第二匹配度不小于第一预设匹配阈值时，监控设备确定第二监控视频与第三监控视频匹配。当该第二匹配度小于第一预设匹配阈值时，监控设备确定第二监控视频与第三监控视频不匹配。

当监控设备确定第二监控视频与第三监控视频匹配时，执行步骤304；当监控设备确定第二监控视频与第三监控视频不匹配时，继续进行监控，直到第二监控视频与第三监控视频匹配时，执行步骤304。

步骤304：当第二监控视频与第三监控视频匹配时，监控设备将第二监控视频和第三监控视频进行融合，得到第四监控视频。

当第二监控视频与第三监控视频匹配时，监控设备将第二监控视频中包括人体目标的至少一帧第二视频画面与第三监控视频中包括第一目标框的至少一帧第三视频画面进行融合，监控设备将融合后的至少一帧视频画面组成的视频作为第四监控视频。

步骤305：监控设备基于第四监控视频，确定监控区域中是否存在第一异常事件。

第一种实现方式，监控设备可以对第四监控视频的视频画面进行分析，从而确定监控区域中是否存在第一异常事件。其中，监控设备可以基于第四监控视频，对人体目标进行跟踪，确定第四监控视频中的人体目标是否为同一个人体目标；当第四监控视频中的人体目标为同一个人体目标时，才进行异常事件的判断，从而避免同一个人体目标因检测结果不连续导致频繁输出第一异常预警信号。相应的，本步骤可以通过以下步骤(1)至(4)实现，包括：

(1)：监控设备基于第四监控视频，从第四监控视频中选出包括人体目标的视频序列。

第四监控视频中包含多帧第四视频画面，该多帧第四视频画面可以组成多个视频序列，该多个视频序列中包括有人体目标的视频序列，也包括有物品的视频序列。监控视频从多个视频序列中选出包括人体目标的视频序列。

(2)：监控设备根据该视频序列，确定该视频序列中的多帧第四视频画面中的人体目标是否为同一个人体目标。

本步骤可以通过以下步骤(2-1)至(2-3)实现，包括：

(2-1)：监控设备从多帧第四视频画面中提取其包括的人体目标的特征信息，得到多个特征信息；其中，一帧第四视频画面对应一个特征信息。

监控设备根据特征提取算法，提取该第四视频画面中包括人体目标的特征信息，得到多个特征信息。其中，一个人体目标可以对应一个指定特征，也可以对应多个指定特征。当该人体目标对应多个指定特征时，该特征提取算法包括该多个指定特征对应的多个特征提取子算法，且特征信息包括该多个指定特征对应的多个特征子信息。并且，监控设备中可以存储指定特征和特征提取子算法的对应关系。一个指定特征对应一个特征提取子算法，且一个指定特征对应一个特征子信息。相应的，监控设备根据特征提取算法，提取该第四视频画面中包括人体目标的特征信息，得到多个特征信息的步骤可以为：

对于每帧第四视频画面，监控设备根据多个指定特征，从指定特征和特征提取子算法的对应关系中获取该多个指定特征对应的特征提取子算法；根据该多个指定特征对应的特征提取子算法，提取该第四视频画面中包括人体目标的该多个指定特征对应的特征子信息，将该多个指定特征对应的特征子信息组成该第四视频画面中的人体目标的特征信息。其中，该多个特征信息可以包括人体目标的外观信息、形状信息和位置信息等。

(2-2)：监控设备确定多个特征信息之间的第三匹配度。

从多帧第四视频画面中提取的包括人体目标的特征信息为多个，监控设备将每帧第四视频画面中提取的特征信息之间进行匹配，确定多帧第四视频画面中从每帧第四视频画面中提取的特征信息之间的第四匹配度。

监控设备确定每个指定特征与该指定特征对应的特征子信息之间的第四匹配度。当一个人体目标对应一个指定特征时，该一个指定特征对应一个特征子信息，监控设备将该一个特征子信息对应的特征信息确定为该一帧第四视频画面的特征信息。当一个人体目标对应多个指定特征时，该多个指定特征对应多个特征子信息该多个特征子信息对应一个特征信息，监控设备将该多个特征子信息对应的一个特征信息确定为该一帧第四视频画面的特征信息。

监控设备将每帧第四视频画面中提取的特征信息之间进行匹配得到的至少一个匹配度，确定为第四匹配度。当该第四匹配度的数量为一个时，监控设备将该第四匹配度确定为多个特征信息之间的第三匹配度。当该第四匹配度的数量为多个时，监控设备可以将该多个第四匹配度的和值或者多个第四匹配度的平均值确定为多个特征信息之间的第三匹配度。本申请实施例中，对监控设备确定第三匹配度的方式不作具体限定。优选地，监控设备将该多个第四匹配度的平均值确定为第三匹配度。

(2-3)：当多个特征信息之间的第三匹配度大于第二预设匹配阈值时，监控设备确定多帧视频画面中的人体目标为同一个人体目标。

当第三匹配度不大于第二预设匹配阈值时，监控设备确定多帧视频画面中的人体目标不是同一个人体目标。当第三匹配度大于第二预设匹配阈值时，监控设备确定多帧视频画面中的人体目标为同一个人体目标。

(3)：当多帧视频画面中的人体目标为同一个人体目标时，监控设备根据该视频序列，对人体目标进行跟踪，得到人体目标的行为。

当多帧视频画面中的人体目标为同一个人体目标时，监控设备确定包括该人体目标的视频序列，根据该视频序列，对视频序列中的人体目标进行跟踪，从而得到人体目标的行为。

需要说明的一点是，监控设备对人体目标进行跟踪，增加了对人体目标检测的连续性，排除了同一人体目标因检测不连续导致频繁输出异常预警信号的可能。

(4)：当该行为是异常行为时，监控设备确定监控区域中存在异常事件。

监控设备中存储了多个异常行为模型，监控设备将该人体目标的行为与每个异常行为模型进行匹配，得到多个第五匹配度。当该多个第五匹配度中存在一个第五匹配度大于第三预设匹配阈值时，监控设备确定监控区域中存在异常事件。当该多个第五匹配度中每个第五匹配度均不大于第三预设匹配阈值时，监控设备确定监控区域中不存在异常事件。

在另一种可能的实现方式中，监控设备还可以直接对第四监控视频中的人体目标进行异常事件的判断。相应的，步骤305可以为：监控设备直接通过多个异常行为模型识别第四监控视频中人体目标的行为，当该行为是异常行为时，监控设备确定监控区域中存在异常事件。

第二种实现方式，监控设备可以对第四监控视频的音频信号进行分析，从而确定监控区域中是否有第一异常事件。其中，监控设备提取第四监控视频中的音频信号以及该音频信号的声纹特征。

在一种可能的实现方式中，监控设备提取第四监控视频中的音频信号以及该音频信号的声纹特征，该音频信号中可以包括多个语法规则和多个指定敏感词汇。

多个指定敏感词汇可以为与抢劫、盗窃、诈骗等相关的多个指定敏感词汇，在本申请实施例中，对多个指定敏感词汇不作具体限定。

监控设备采集每个指定敏感词汇的语音数据，将每个指定敏感词汇的语音数据确定为一个识别基本元。监控设备为每个识别基本元建立一个HMM(Hidden Markov Model，隐马尔可夫模型)模型。监控设备通过MFCC(Mel-scale Frequency Cepstral Coefficients，梅尔倒谱系数)声纹特征对每一个HMM模型进行训练，同时，监控设备还可以通过定义多个语音数据中每个语音数据的语法规则对每一个HMM模型进行训练，利用训练好的HMM模型识别第四监控视频中的音频信号。

当该音频信号中包含指定敏感词汇、与第一异常事件的声纹特征匹配的声纹特征和/或音频信号的语法规则与第一异常事件的语法规则匹配时，监控设备确定监控区域中存在第一异常事件。例如，某一个语音数据中重复出现“别动”、“不许动”、“抢劫”、“不许报警”等指定敏感词汇时，或者该语音数据的语法规则中包括“把钱包里的钱都给我”、“把银行卡中的钱转到我的银行卡中”等类似抢劫、诈骗的语法规则，且该语法规则与第一异常事件的语法规则匹配时，监控设备确定监控区域中存在第一异常事件。

需要说明的一点是，监控设备可以采用第一种实现方式对第四监控视频进行分析，也可以采用第二实现方式对第四监控视频进行分析，也可以将第一种实现方式和第二种实现方式结合，对第四监控视频进行分析。在本申请实施例中，对监控设备采用的实现方式不作具体限定。

步骤306：当监控区域中存在异常事件时，监控设备输出第一异常预警信号。

当监控区域中存在人体目标的异常行为时，该异常行为对应的异常事件为第一异常事件。在一种可能的实现方式中，监控设备监控到第一异常事件时，输出默认的第一异常预警信号。在另一种可能的实现方式中，监控设备根据不同的异常行为的行为类型，输出不同的第一异常预警信号。相应的，本步骤可以通过以下步骤(1)至(3)实现，包括：

(1)：监控设备确定人体目标的异常行为的行为类型。

监控设备将人体目标的异常行为划分为不同的行为类型。例如有人倒地、有人离岗、有人被尾随等。监控设备通过目标分类模型，确定异常行为的行为类型。在本申请实施例中，监控设备需要获取目标分类模型；其中，监控设备可以自己训练目标分类模型，还可以在监控时，训练一次得到目标分类模型，后续不再重复训练目标分类模型，而直接使用已训练得到的该目标分类模型，还可以直接获取其他设备训练得到的目标分类模型。

其中，监控设备训练目标分类模型的步骤可以通过以下步骤(A)至(B)实现，包括：

(A)：监控设备训练初始分类模型，得到目标分类模型。

监控设备根据多个异常行为训练样本，通过视频分类技术对初始分类模型进行训练，得到目标分类模型。该视频分类技术可以为基于单帧的识别方法、基于CNN(Convolutional Neural Network，卷积神经网络)的识别方法、基于双路CNN的识别方法、基于LSTM(Long Short-Term Memory，长短期记忆网络)的识别方法和三维卷积核法中的一种或几种。

(B)：监控设备通过目标分类模型，确定异常行为的行为类型。

监控设备将第一目标框进行指定比例的缩放，得到缩放后的第一目标框，监控设备将缩放后的第一目标框作为感兴趣区域。例如监控设备将第一目标框进行放大，放大比例为1.3，监控设备将放大后的第一目标框作为感兴趣区域。监控设备从包括第一目标框的视频序列中截取指定时间段的视频序列，通过目标分类模型，识别该视频序列中感兴趣区域中人体目标的异常行为的行为类型。

本申请实施例中监控设备采用基于CNN的识别方法和基于LSTM的识别方法两种识别方法，对异常行为的行为类型进行识别。由于基于CNN的识别方法只能识别单帧的视频画面，从单帧的视频画面中无法识别该视频画面中隐含的人体目标的异常行为，因此，监控设备还采用光流法对异常行为的行为类型进行识别。例如，监控设备通过光流法计算多帧视频画面中每帧视频画面中人体目标的每个像素点的运动速度和运动方向，根据每个像素点的运动速度和运动方向，确定多帧视频画面中人体目标的异常行为的行为类型。

另外，CNN包括不同的特征层，例如特征提取层、特征映射层等。监控设备通过LSTM对CNN的最后一层特征层的特征信息进行整合，确定整合后的特征信息是否与人体目标的特征信息匹配。若整合后的特征信息与人体目标的特征信息匹配，则通过该整合后的特征信息判断人体目标的行为，当该行为是异常行为时，监控设备通过目标分类模型，识别该异常行为的行为类型。

监控设备通过基于CNN的识别方法识别异常行为的行为类型时，对CNN识别的帧数不做具体要求，从而监控设备能够对更长时间段内的视频序列进行识别。监控设备还通过采用3个颜色通道和1个时间维增强了CNN对每帧视频画面的识别能力，从而提高了对异常行为的行为类型的识别性能。

并且，LSTM中包含记忆单元，该记忆单元能够有效表达每帧视频画面的先后顺序。监控设备采用上述识别方法对于有人倒地、有人打架斗殴等行为类型具有较高的识别准确率。

监控设备还通过光流法、角点检测和运动熵分析计算人体目标的运动轨迹信息，监控设备根据该运动轨迹信息确定该人体目标的异常行为的行为类型。例如，该异常行为的行为类型为有人进入禁止进入区域或有人一直在某一位置徘徊等。

(2)：监控设备基于该行为类型，确定与该行为类型匹配的第一异常等级。

监控设备将每种行为类型根据其严重程度划分为不同的第一异常等级，例如当监控区域中发生人员抢劫事件时，可以将该行为类型的第一异常等级确定为10级；当监控区域中有人进入禁止区域时，可以将该行为类型的第一异常等级确定为2级。第一异常等级的级数越高，说明与该行为类型相对应的第一异常事件越严重。在本申请实施例中，对该第一异常等级的确定方式不作具体限定。

(3)：监控设备基于该第一异常等级，输出与该第一异常等级匹配的第一异常预警信号。

不同的第一异常等级匹配有不同输出方式的第一异常预警信号。监控设备中可以设置有第一扬声器和第一信号灯。该第一扬声器可以根据第一异常等级发出不同音量的异常预警声音，随着第一异常等级级数的升高，异常预警声音的音量不断增加。该第一信号灯可以根据第一异常等级显示不同颜色的第一信号灯，第一异常等级的级数不同，第一信号灯的颜色不同。第一异常等级的技术越高，第一信号灯的颜色越深。例如，当第一异常事件的第一异常等级为10级时，第一异常预警信号可以为第一扬声器发出最大的异常预警声音，同时第一信号灯的颜色显示为深红色。

需要说明的一点是，在本申请实施例中，监控设备也可以不根据行为类型的第一异常等级，确定第一异常预警信号，而是根据异常行为的行为类型，确定第一异常预警信号。并且，监控设备中存储行为类型和第一异常预警信号的对应关系。相应的，步骤(2)和(3)可以替换为：监控设备基于该行为类型，从行为类型和异常预警信号的对应关系中确定该行为类型对应的第一异常预警信号，输出第一异常预警信号。

当监控设备输出第一异常预警信号后，监控区域中的其他人员根据该第一异常预警信号后，对第一异常事件进行分析处理。该其他人员可以为监控区域的工作人员或者非工作人员。例如，工作人员根据该第一异常预警信号的第一异常等级，对第一异常事件及时进行分析处理。例如，该第一异常事件为有人进入禁止进入区域时，工作人员确认该人为非工作人员还是监控区域中的其他工作人员。当该人为非工作人员时，该工作人员及时制止该人进入禁止进入区域。

在一种可能的实现方式中，监控设备输出完第一异常预警信号后，结束。在另一种可能的实现方式中，监控设备还可以执行步骤307输出第四监控视频和用于指示存在第一异常事件的预警图片。

步骤307：监控设备输出第四监控视频和用于指示存在第一异常事件的预警图片。

监控设备发送存在异常事件的第四监控视频和用于指示存在异常事件的预警图片的步骤可以在监控设备输出第一异常预警信号之前或者之后，也可以在监控设备发送第一异常预警信号之前或者之后，也可以在监控设备发送第一异常预警信号的同时。因此，步骤306和307的顺序不作具体限定；可以先执行步骤306再执行步骤307，也可以先执行步骤307再执行步骤306，或者同时执行步骤306和307。在本申请实施例中，对执行步骤306和307的顺序不作具体限定。

本申请实施例提供了一种异常行为预警方法，参见图4，该方法包括：

步骤401：监控设备对监控区域进行监控，得到第一监控视频。

步骤401与上述实施例中的步骤301一致，此处不再赘述。

步骤402：监控设备从第一监控视频中识别出包括前景信息的第三监控视频。

步骤402与上述实施例中步骤302中的步骤(3)一致，此处不再赘述。

步骤403：当第三监控视频中还包括除人体目标以外的第二目标框时，监控设备对第二目标框中的视频画面进行分析。

当第二目标框中的视频画面为物品的视频画面时，监控设备确定物品为监控区域中的遗留物品；当第二目标框中的视频画面不是物品的视频画面时，监控设备确定该视频画面为前景信息中的其他信息对应的视频画面。

当该视频画面为前景信息中的其他信息对应的视频画面时，例如，该其他信息为由于光线变化导致地面上出现区域性的亮光，此时监控设备对该视频画面不做任何检测和识别，避免了其他信息对人体目标识别和物品识别的影响，提高了检出率。

步骤404：当监控设备确定物品为监控区域中的遗留物品时，输出第二预警信号。

当监控设备确定监控区域中存在遗留物品时，确定监控区域中存在异常事件。且监控设备将该异常事件确定为第二异常事件。当监控区域中存在第二异常事件时，监控设备输出第二异常预警信号。在一种可能的实现方式中，监控设备监控到第二异常事件时，输出默认的第二异常预警信号。在另一种可能的实现方式中，监控设备根据遗留物品的物品类型，输出不同的第二异常预警信号。相应的，本步骤可以通过以下步骤(1)至(3)实现，包括：

(1)：监控设备确定遗留物品的物品类型。

监控设备将遗留物品划分为不同的物品类型。监控设备需要获取物品分类模型，确定遗留物品的物品类型。在本申请实施例中，监控设备需要获取物品分类模型；其中，监控设备可以自己训练物品分类模型，还可以在监控时，训练一次得到物品分类模型，后续不再重复训练物品分类模型，而直接使用已训练得到的该物品分类模型，还可以直接获取其他设备训练得到的物品分类模型。

其中，监控设备训练物品分类模型的步骤可以通过以下步骤(A)至(B)实现，包括：

(A)：监控设备训练初始物品分类模型，得到物品分类模型。

监控设备获取物品在多个监控角度的多个物品样本图像，根据多个第二指定缩放比例，对多个物品样本图像进行缩放处理。监控设备根据多个物品样本图像和多个缩放处理后的多个物品样本图像，对初始物品分类模型进行训练，得到物品分类模型。

需要说明的一点是，该多个第二指定缩放比例可以和多个第一指定缩放比例相同，也可以不同。在本申请实施例中，对多个第二指定缩放比例不作具体限定。

需要说明的另一点是，物品分类模型可以为深度学习GoogleNet(GoogleInception Net，谷歌网络)模型。

(B)：监控设备通过物品分类模型，确定遗留物品的物品类型。

监控设备通过训练好的物品分类模型，确定监控区域中遗留物品的物品类型。例如该遗留物品为箱子、背包或危险品等。

(2)：监控设备基于该物品类型，确定与该物品类型匹配的第二异常等级。

监控设备将不同的遗留物品划分为不同的第二异常等级。例如，当该遗留物品为钱包时，可以将第二异常等级确定为10级；当该遗留物品为水杯时，可以将第二异常等级确定为8级。在本申请实施例中，对该第二异常等级的确定方式不作具体限定。

(3)：监控设备基于该第二异常等级，输出与该第二异常等级匹配的第二异常预警信号。

不同的第二异常等级匹配有不同输出方式的第二异常预警信号。监控设备中可以设置有第二扬声器和第二信号灯。该第二扬声器可以根据第二异常等级发出不同音量的异常预警声音，随着第二异常等级级数的升高，异常预警声音的音量不断增加。该第二信号灯可以根据第二异常等级显示不同颜色的第二信号灯，第二异常等级的级数不同，第二信号灯的颜色不同。第二异常等级的技术越高，第二信号灯的颜色越深。例如，当第一异常事件的第二异常等级为10级时，第二异常预警信号可以为第二扬声器发出最大的异常预警声音，同时第二信号灯的颜色显示为深红色。

需要说明的一点是，在本申请实施例中，监控设备也可以不根据物品类型的第二异常等级，确定第二异常预警信号，而是根据遗留物品的物品类型，确定第二异常预警信号。并且，监控设备中存储物品类型和第二异常预警信号的对应关系。相应的，步骤(2)和(3)可以替换为：监控设备基于该物品类型，从物品类型和第二异常预警信号的对应关系中确定该物品类型对应的第二异常预警信号，输出第二异常预警信号。

本申请实施例提供的一种异常行为预警方法，监控设备对监控区域进行监控，得到第一监控视频。从第一监控视频中识别出包括前景信息的第三监控视频。当第三监控视频中还包括除人体目标以外的第二目标框时，监控设备对第二目标框中的视频画面进行分析。当监控设备确定物品为监控区域中的遗留物品时，输出第二预警信号。该方法可以识别出监控区域中遗留物品的物品类型，提高了异常行为预警的准确率。

本申请实施例所提供的异常行为预警方法，在应用时监控设备可能存在误检的情况。在本申请实施例中，可以通过目标检测模型的置信度和第一目标框的位置信息对人体目标识别的准确率进行评分，根据评分的高低通过调整目标检测模型，减少误检的情况出现。

目标检测模型的置信度是指监控设备通过目标检测模型对人体目标的识别率。识别率越高，置信度越高，则通过置信度对人体目标识别的准确率越高，评分越高。

第一目标框的位置信息是指监控设备从第二监控视频中识别出的人体目标的位置信息。第一目标框的位置信息与第二监控视频中人体目标的实际位置信息越接近，则评分越高。例如，当从第二监控视频中识别出人体目标的位置在金融自助行的天花板上时，说明识别出的人体目标很可能为虚假的人体目标，此时评分就低。

监控设备对人体目标识别的准确率越高，评分越高；监控设备对人体目标识别的准确率越低，评分越低。监控设备基于评分的高低，确定是否调整目标检测模型。

在一种可能的实现方式中，监控设备基于评分与预设评分阈值的大小，确定是否调整目标检测模型。

当该评分不小于预设评分阈值时，监控设备确定不需要调整目标检测模型。

当该评分小于预设评分阈值时，监控设备确定需要调整目标检测模型。

在一种可能的实现方式中，当监控设备调整目标检测模型时，可以通过增加第一样本图像的数量和/或第二样本图像的数量，扩大存储样本图像(第一样本图像和/或第二样本图像)的图像库，同时，对图像库中的样本图像进行反复训练，以提高目标检测模型对人体目标识别的准确率。

本申请实施例提供的异常行为预警方法，监控设备对监控区域进行监控，得到第一监控视频。从第一监控视频中识别出包括人体目标的第二监控视频，以及，从第一监控视频中识别出包括前景信息的第三监控视频。将第二监控视频和第三监控视频进行融合，得到第四监控视频。基于第四监控视频，确定监控区域中是否存在第一异常事件。当监控区域中存在第一异常事件时，输出第一异常预警信号。该方法避免了剧烈的光照变化及高复杂度场景对触发异常行为预警信号的影响，提高了异常行为预警的准确率。

本申请实施例提供了一种异常行为预警装置，该装置应用在监控设备中，用于执行上述异常行为预警方法中监控设备执行的步骤。参见图5，该装置包括：

监控模块501，用于对监控区域进行监控，得到第一监控视频。

识别模块502，用于从第一监控视频中识别出包括人体目标的第二监控视频，以及，从第一监控视频中识别出包括前景信息的第三监控视频。

融合模块503，用于将第二监控视频和第三监控视频进行融合，得到第四监控视频。

第一确定模块504，基于第四监控视频，确定监控区域中是否存在第一异常事件；

第一输出模块505，用于当监控区域中存在第一异常事件时，输出第一异常预警信号。

在一种可能的实现方式中，融合模块503，还用于将第二监控视频和第三监控视频进行匹配，当第三监控视频中包括与第二监控视频中的人体目标匹配的第一目标框时，将第二监控视频和第三监控视频进行融合，得到第四监控视频。

在另一种可能的实现方式中，该装置还包括：

分析模块，用于当第三监控视频中还包括除人体目标以外的第二目标框时，对第二目标框中的视频画面进行分析。

第二确定模块，用于当第二目标框中的视频画面为物品的视频画面时，确定物品为监控区域中的遗留物品。

第二输出模块，用于输出第二异常预警信号。

在另一种可能的实现方式中，识别模块502，还用于通过目标检测模型，从第一监控视频中识别出包括人体目标的至少一帧视频画面；将至少一帧视频画面组成第二监控视频。

在另一种可能的实现方式中，该装置还包括：

获取模块，用于获取人体目标在多个监控角度的多个第一样本图像和多个第二样本图像，多个第二样本图像为多个第一样本图像中的非人体目标的背景图像；

处理模块，用于根据多个第一指定缩放比例，对多个第一样本图像和多个第二样本图像进行缩放处理；

训练模块，用于根据多个第一样本图像、缩放处理后的多个第一样本图像、多个第二样本图像和缩放处理后的多个第二样本图像，对初始检测模型进行训练，得到目标检测模型。

在另一种可能的实现方式中，第一确定模块504，还用于基于第四监控视频，从第四监控视频中选出包括人体目标的视频序列；根据视频序列，对人体目标进行跟踪，得到人体目标的行为；当行为是异常行为时，确定监控区域中存在第一异常事件。

在另一种可能的实现方式中，第一确定模块504，还用于根据视频序列，确定视频序列中的多帧视频画面中的人体目标是否为同一个人体目标；当多帧视频画面中的人体目标为同一个人体目标时，根据视频序列，对人体目标进行跟踪，得到人体目标的行为。

在另一种可能的实现方式中，第一确定模块504，还用于从多帧视频画面中提取其包括的人体目标的特征信息，得到多个特征信息；确定多个特征信息之间的匹配度；当多个特征信息之间的匹配度大于预设匹配阈值时，确定多帧视频画面中的人体目标为同一个人体目标。

在另一种可能的实现方式中，第一确定模块504，还用于提取第四监控视频中的音频信号以及音频信号的声纹特征；当音频信号中包含指定敏感词汇、与第一异常事件的声纹特征匹配的声纹特征和/或音频信号的语法规则与第一异常事件的语法规则匹配时，确定监控区域中存在第一异常事件。

在另一种可能的实现方式中，第一输出模块505，还用于当监控区域中存在第一异常事件时，确定第一异常事件的异常等级；基于异常等级，输出与异常等级匹配的第一异常预警信号。

在另一种可能的实现方式中，该装置还包括：

发送模块，用于向监控区域对应的后续处理设备发送第四监控视频和用于指示存在第一异常事件的预警图片。

本申请实施例提供的一种异常行为预警装置，监控设备对监控区域进行监控，得到第一监控视频。从第一监控视频中识别出包括人体目标的第二监控视频，以及，从第一监控视频中识别出包括前景信息的第三监控视频。将第二监控视频和第三监控视频进行融合，得到第四监控视频。基于第四监控视频，确定监控区域中是否存在第一异常事件。当监控区域中存在第一异常事件时，输出第一异常预警信号。该方法避免了剧烈的光照变化及高复杂度场景对触发异常行为预警信号的影响，提高了异常行为预警的准确率。

需要说明的是：上述实施例提供的异常行为预警的装置在异常行为预警时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的异常行为预警装置与异常行为预警方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

图6是本发明实施例提供的一种监控设备600的结构框图。例如，该监控设备600可以用于执行上述各个实施例中提供的异常行为预警方法。参见图6，该监控设备600包括：处理器601和存储器602。

处理器601可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器601可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器601也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器601可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器601还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。

存储器602可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器602还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器602中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器601所执行以实现本申请中方法实施例提供的异常行为预警方法。

在一些实施例中，监控设备600还可选包括有：***设备接口603和至少一个***设备。处理器601、存储器602和***设备接口603之间可以通过总线或信号线相连。各个***设备可以通过总线、信号线或电路板与***设备接口603相连。具体地，***设备包括：射频电路604、触摸显示屏605、摄像头606、音频电路607、定位组件608和电源609中的至少一种。

***设备接口603可被用于将I/O(Input/Output，输入/输出)相关的至少一个***设备连接到处理器601和存储器602。在一些实施例中，处理器601、存储器602和***设备接口603被集成在同一芯片或电路板上；在一些其他实施例中，处理器601、存储器602和***设备接口603中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。

射频电路604用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路604通过电磁信号与通信网络以及其他通信设备进行通信。射频电路604将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路604包括：天线***、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路604可以通过至少一种无线通信协议来与其它监控设备进行通信。该无线通信协议包括但不限于：万维网、城域网、内联网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路604还可以包括NFC(Near Field Communication，近距离无线通信)有关的电路，本申请对此不加以限定。

显示屏605用于显示UI(User Interface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏605是触摸显示屏时，显示屏605还具有采集在显示屏605的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器601进行处理。此时，显示屏605还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏605可以为一个，设置监控设备600的前面板；在另一些实施例中，显示屏605可以为至少两个，分别设置在监控设备600的不同表面或呈折叠设计；在再一些实施例中，显示屏605可以是柔性显示屏，设置在监控设备600的弯曲表面上或折叠面上。甚至，显示屏605还可以设置成非矩形的不规则图形，也即异形屏。显示屏605可以采用LCD(Liquid Crystal Display，液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。

摄像头组件606用于采集图像或视频。可选地，摄像头组件606包括前置摄像头和后置摄像头。通常，前置摄像头设置在监控设备的前面板，后置摄像头设置在监控设备的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件606还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。

音频电路607可以包括麦克风和第三扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器601进行处理，或者输入至射频电路604以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在监控设备600的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。第三扬声器则用于将来自处理器601或射频电路604的电信号转换为声波。第三扬声器可以是传统的薄膜第三扬声器，也可以是压电陶瓷第三扬声器。当第三扬声器是压电陶瓷第三扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路607还可以包括耳机插孔。

定位组件608用于定位监控设备600的当前地理位置，以实现导航或LBS(LocationBased Service，基于位置的服务)。定位组件608可以是基于美国的GPS(GlobalPositioning System，全球定位***)、中国的北斗***或俄罗斯的伽利略***的定位组件。

电源609用于为监控设备600中的各个组件进行供电。电源609可以是交流电、直流电、一次性电池或可充电电池。当电源609包括可充电电池时，该可充电电池可以是有线充电电池或无线充电电池。有线充电电池是通过有线线路充电的电池，无线充电电池是通过无线线圈充电的电池。该可充电电池还可以用于支持快充技术。

在一些实施例中，监控设备600还包括有一个或多个传感器610。该一个或多个传感器610包括但不限于：加速度传感器611、陀螺仪传感器612、压力传感器613、指纹传感器614、光学传感器615以及接近传感器616。

加速度传感器611可以检测以监控设备600建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器611可以用于检测重力加速度在三个坐标轴上的分量。处理器601可以根据加速度传感器611采集的重力加速度信号，控制触摸显示屏605以横向视图或纵向视图进行用户界面的显示。加速度传感器611还可以用于游戏或者用户的运动数据的采集。

陀螺仪传感器612可以检测监控设备600的机体方向及转动角度，陀螺仪传感器612可以与加速度传感器611协同采集用户对监控设备600的3D动作。处理器601根据陀螺仪传感器612采集的数据，可以实现如下功能：动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。

压力传感器613可以设置在监控设备600的侧边框和/或触摸显示屏605的下层。当压力传感器613设置在监控设备600的侧边框时，可以检测用户对监控设备600的握持信号，由处理器601根据压力传感器613采集的握持信号进行左右手识别或快捷操作。当压力传感器613设置在触摸显示屏605的下层时，由处理器601根据用户对触摸显示屏605的压力操作，实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。

指纹传感器614用于采集用户的指纹，由处理器601根据指纹传感器614采集到的指纹识别用户的身份，或者，由指纹传感器614根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时，由处理器601授权该用户执行相关的敏感操作，该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器614可以被设置监控设备600的正面、背面或侧面。当监控设备600上设置有物理按键或厂商Logo时，指纹传感器614可以与物理按键或厂商Logo集成在一起。

光学传感器615用于采集环境光强度。在一个实施例中，处理器601可以根据光学传感器615采集的环境光强度，控制触摸显示屏605的显示亮度。具体地，当环境光强度较高时，调高触摸显示屏605的显示亮度；当环境光强度较低时，调低触摸显示屏605的显示亮度。在另一个实施例中，处理器601还可以根据光学传感器615采集的环境光强度，动态调整摄像头组件606的拍摄参数。

接近传感器616，也称距离传感器，通常设置在监控设备600的前面板。接近传感器616用于采集用户与监控设备600的正面之间的距离。在一个实施例中，当接近传感器616检测到用户与监控设备600的正面之间的距离逐渐变小时，由处理器601控制触摸显示屏605从亮屏状态切换为息屏状态；当接近传感器616检测到用户与监控设备600的正面之间的距离逐渐变大时，由处理器601控制触摸显示屏605从息屏状态切换为亮屏状态。

本领域技术人员可以理解，图6中示出的结构并不构成对监控设备600的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。

本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质应用于终端，该计算机可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，该指令、该程序、该代码集或该指令集由处理器加载并执行以实现上述实施例的异常行为预警方法中监控设备所执行的操作。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅是为了便于本领域的技术人员理解本申请的技术方案，并不用以限制本申请。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (22)

1.一种异常行为预警方法，其特征在于，所述方法包括：

对指定场所的监控区域进行监控，得到第一监控视频，所述指定场所为金融自助行；

从所述第一监控视频中识别出包括人体目标的第二监控视频，以及，从所述第一监控视频中识别出包括前景信息的第三监控视频，所述前景信息包括人体目标信息、物品信息和环境信息；

将所述第二监控视频和所述第三监控视频进行融合，得到第四监控视频；基于所述第四监控视频，确定所述监控区域中是否存在异常事件；当所述监控区域中存在异常事件时，输出第一异常预警信号；

当所述第三监控视频中还包括除所述人体目标以外的第二目标框时，对所述第二目标框中的视频画面进行分析；当所述第二目标框中的视频画面为物品的视频画面时，确定所述物品为所述监控区域中的遗留物品；输出第二异常预警信号。

2.根据权利要求1所述的方法，其特征在于，所述将所述第二监控视频和所述第三监控视频进行融合，得到第四监控视频之前，所述方法还包括：

将所述第二监控视频和所述第三监控视频进行匹配；

当所述第三监控视频中包括与所述第二监控视频中的人体目标匹配的第一目标框时，执行所述将所述第二监控视频和所述第三监控视频进行融合，得到第四监控视频的步骤。

3.根据权利要求1所述的方法，其特征在于，所述从所述第一监控视频中识别出包括人体目标的第二监控视频，包括：

通过目标检测模型，从所述第一监控视频中识别出包括所述人体目标的至少一帧视频画面；

将所述至少一帧视频画面组成所述第二监控视频。

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

获取人体目标在多个监控角度的多个第一样本图像和多个第二样本图像，所述多个第二样本图像为所述多个第一样本图像中的非人体目标的背景图像；

根据多个第一指定缩放比例，对所述多个第一样本图像和所述多个第二样本图像进行缩放处理；

根据所述多个第一样本图像、缩放处理后的多个第一样本图像、所述多个第二样本图像和缩放处理后的多个第二样本图像，对初始检测模型进行训练，得到所述目标检测模型。

5.根据权利要求1所述的方法，其特征在于，所述基于所述第四监控视频，确定所述监控区域中是否存在异常事件，包括：

基于所述第四监控视频，从所述第四监控视频中选出包括所述人体目标的视频序列；

根据所述视频序列，对所述人体目标进行跟踪，得到所述人体目标的行为；

当所述行为是异常行为时，确定所述监控区域中存在异常事件。

6.根据权利要求5所述的方法，其特征在于，所述根据所述视频序列，对所述人体目标进行跟踪，得到所述人体目标的行为之前，所述方法还包括：

根据所述视频序列，确定所述视频序列中的多帧视频画面中的人体目标是否为同一个人体目标；

当所述多帧视频画面中的人体目标为同一个人体目标时，执行所述根据所述视频序列，对所述人体目标进行跟踪，得到所述人体目标的行为的步骤。

7.根据权利要求6所述的方法，其特征在于，所述根据所述视频序列，确定所述视频序列中的多帧视频画面中的人体目标是否为同一个人体目标，包括：

从所述多帧视频画面中提取其包括的人体目标的特征信息，得到多个特征信息；

确定所述多个特征信息之间的匹配度；

当所述多个特征信息之间的匹配度大于预设匹配阈值时，确定所述多帧视频画面中的人体目标为同一个人体目标。

8.根据权利要求1所述的方法，其特征在于，所述基于所述第四监控视频，确定所述监控区域中是否存在异常事件，包括：

提取所述第四监控视频中的音频信号以及所述音频信号的声纹特征；

当所述音频信号中包含指定敏感词汇、与异常事件的声纹特征匹配的所述声纹特征和/或所述音频信号的语法规则与异常事件的语法规则匹配时，确定所述监控区域中存在异常事件。

9.根据权利要求1所述的方法，其特征在于，所述当所述监控区域中存在异常事件时，输出第一异常预警信号，包括：

当所述监控区域中存在异常事件时，确定所述异常事件的异常等级；

基于所述异常等级，输出与所述异常等级匹配的第一异常预警信号。

10.根据权利要求1或9所述的方法，其特征在于，所述方法还包括：

向所述监控区域对应的指定终端发送所述第四监控视频和用于指示存在异常事件的预警图片。

11.一种异常行为预警装置，其特征在于，所述装置包括：

监控模块，用于对指定场所的监控区域进行监控，得到第一监控视频，所述指定场所为金融自助行；

识别模块，用于从所述第一监控视频中识别出包括人体目标的第二监控视频，以及，从所述第一监控视频中识别出包括前景信息的第三监控视频，所述前景信息包括人体目标信息、物品信息和环境信息；

融合模块，用于将所述第二监控视频和所述第三监控视频进行融合，得到第四监控视频；第一确定模块，基于所述第四监控视频，确定所述监控区域中是否存在异常事件；第一输出模块，用于当所述监控区域中存在异常事件时，输出第一异常预警信号；

分析模块，用于当所述第三监控视频中还包括除所述人体目标以外的第二目标框时，对所述第二目标框中的视频画面进行分析；第二确定模块，用于当所述第二目标框中的视频画面为物品的视频画面时，确定所述物品为所述监控区域中的遗留物品；第二输出模块，用于输出第二异常预警信号。

12.根据权利要求11所述的装置，其特征在于，所述融合模块，还用于将所述第二监控视频和所述第三监控视频进行匹配，当所述第三监控视频中包括与所述第二监控视频中的人体目标匹配的第一目标框时，将所述第二监控视频和所述第三监控视频进行融合，得到第四监控视频。

13.根据权利要求11所述的装置，其特征在于，所述识别模块，还用于通过目标检测模型，从所述第一监控视频中识别出包括所述人体目标的至少一帧视频画面；将所述至少一帧视频画面组成所述第二监控视频。

14.根据权利要求13所述的装置，其特征在于，所述装置还包括：

获取模块，用于获取人体目标在多个监控角度的多个第一样本图像和多个第二样本图像，所述多个第二样本图像为所述多个第一样本图像中的非人体目标的背景图像；

处理模块，用于根据多个第一指定缩放比例，对所述多个第一样本图像和所述多个第二样本图像进行缩放处理；

训练模块，用于根据所述多个第一样本图像、缩放处理后的多个第一样本图像、所述多个第二样本图像和缩放处理后的多个第二样本图像，对初始检测模型进行训练，得到所述目标检测模型。

15.根据权利要求11所述的装置，其特征在于，所述第一确定模块，还用于基于所述第四监控视频，从所述第四监控视频中选出包括所述人体目标的视频序列；根据所述视频序列，对所述人体目标进行跟踪，得到所述人体目标的行为；当所述行为是异常行为时，确定所述监控区域中存在异常事件。

16.根据权利要求15所述的装置，其特征在于，所述第一确定模块，还用于根据所述视频序列，确定所述视频序列中的多帧视频画面中的人体目标是否为同一个人体目标；当所述多帧视频画面中的人体目标为同一个人体目标时，根据所述视频序列，对所述人体目标进行跟踪，得到所述人体目标的行为。

17.根据权利要求16所述的装置，其特征在于，所述第一确定模块，还用于从所述多帧视频画面中提取其包括的人体目标的特征信息，得到多个特征信息；确定所述多个特征信息之间的匹配度；当所述多个特征信息之间的匹配度大于预设匹配阈值时，确定所述多帧视频画面中的人体目标为同一个人体目标。

18.根据权利要求11所述的装置，其特征在于，所述第一确定模块，还用于提取所述第四监控视频中的音频信号以及所述音频信号的声纹特征；当所述音频信号中包含指定敏感词汇、与异常事件的声纹特征匹配的所述声纹特征和/或所述音频信号的语法规则与异常事件的语法规则匹配时，确定所述监控区域中存在异常事件。

19.根据权利要求11所述的装置，其特征在于，所述第一输出模块，还用于当所述监控区域中存在异常事件时，确定所述异常事件的异常等级；基于所述异常等级，输出与所述异常等级匹配的第一异常预警信号。

20.根据权利要求11或19所述的装置，其特征在于，所述装置还包括：

发送模块，用于向所述监控区域对应的后续处理设备发送所述第四监控视频和用于指示存在异常事件的预警图片。

21.一种监控设备，其特征在于，所述监控设备包括：

处理器和存储器，所述存储器中存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现权利要求1-10任一项所述的异常行为预警方法中所执行的操作。

22.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现权利要求1-10任一项所述的异常行为预警方法中所执行的操作。

Images