CN113673351A - 一种行为检测方法、设备以及存储介质 - Google Patents
一种行为检测方法、设备以及存储介质 Download PDFInfo
- Publication number
- CN113673351A CN113673351A CN202110827393.3A CN202110827393A CN113673351A CN 113673351 A CN113673351 A CN 113673351A CN 202110827393 A CN202110827393 A CN 202110827393A CN 113673351 A CN113673351 A CN 113673351A
- Authority
- CN
- China
- Prior art keywords
- target
- behavior
- preset
- video frame
- detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 137
- 238000012545 processing Methods 0.000 claims abstract description 55
- 238000000034 method Methods 0.000 claims abstract description 37
- 230000008569 process Effects 0.000 claims abstract description 11
- 230000006399 behavior Effects 0.000 claims description 211
- 230000003287 optical effect Effects 0.000 claims description 13
- 239000003550 marker Substances 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 2
- 230000004044 response Effects 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 8
- 210000003128 head Anatomy 0.000 description 8
- 230000008676 import Effects 0.000 description 5
- 210000001508 eye Anatomy 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 3
- 230000035945 sensitivity Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000000391 smoking effect Effects 0.000 description 2
- 206010001488 Aggression Diseases 0.000 description 1
- 241001166076 Diapheromera femorata Species 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 108010001267 Protein Subunits Proteins 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 210000000544 articulatio talocruralis Anatomy 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 210000001217 buttock Anatomy 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 210000002310 elbow joint Anatomy 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 230000037308 hair color Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 210000000629 knee joint Anatomy 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 210000001331 nose Anatomy 0.000 description 1
- 239000000779 smoke Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 210000003857 wrist joint Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种行为检测方法、设备以及存储介质，该行为检测方法包括：检测第一视频帧中具有预设属性特征的目标；利用第二视频帧对目标进行行为检测，得到目标的行为对应的预测行为类别；基于预测行为类别，执行预设处理。上述方法，通过对具有预设属性特征的目标进行行为检测，无需对视频帧中所有的目标进行行为检测，能够提供行为检测效率，节省行为检测所需的处理资源。
Description
技术领域
本申请涉及图像处理技术领域，特别是涉及一种行为检测方法、设备以及存储介质。
背景技术
随着技术的不断发展和完善，近年来，网络视频监控***已经成熟的应用在各行各业，成为各机构安全防范体系中的重要组成部分。最近，有人提出了基于视频的目标检测方法，通过对视频中所有的目标进行行为检测，得到各目标对应的检测结果。然而，这种方式存在的问题是，若对监控画面中所有的目标都进行行为检测，可能会导致行为检测效率低下。
发明内容
本申请提供一种行为检测方法、设备以及存储介质。
为解决上述技术问题，本申请采用的技术方案包括：提供一种行为检测方法，行为检测方法包括：检测第一视频帧中具有预设属性特征的目标；利用第二视频帧对目标进行行为检测，得到目标的行为对应的预测行为类别；基于预测行为类别，执行预设处理。
为解决上述技术问题，本申请采用的技术方案包括：提供一种行为检测装置，行为检测装置包括：目标检测模块，用于检测第一视频帧中具有预设属性特征的目标；行为检测模块，用于利用第二视频帧对目标进行行为检测，得到目标的行为对应的预测行为类别；处理模块，用于基于预测行为类别，执行预设处理。
为解决上述技术问题，本申请采用的技术方案包括：提供一种电子设备，电子设备包括处理器和存储器；处理器用于执行存储器中存储的程序指令以实现上述行为检测方法。
为解决上述技术问题，本申请采用的技术方案包括：提供一种计算机可读存储介质，其中，计算机存储介质存储有程序指令，程序指令被处理器执行时实现上述行为检测方法。
区别于现有技术，本申请的有益效果在于：通过在检测到视频帧中具有预设属性特征的目标之后，才对目标进行行为检测，并执行对应的预设处理，无需对视频帧中所有的目标进行行为检测，从而提高行为检测效率，且节省了行为检测所需的处理资源。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请提供的行为检测方法一实施例的流程示意图；
图2是本申请提供的行为检测方法一实施例提供的web界面的示意图；
图3是本申请提供的行为检测方法一实施例的另一流程示意图；
图4是本申请提供的行为检测装置一实施例的结构示意图；
图5是本申请提供的电子设备一实施例的结构示意图；
图6是本申请提供的计算机可读存储介质一实施例的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请提出一种行为检测方法。具体请参阅图1，图1是本申请提供的行为检测方法一实施例的流程示意图。
本申请的行为检测方法应用于一种行为检测装置，其中，本申请的行为检测装置可以为服务器，也可以为电子设备，还可以为由服务器和电子设备相互配合的***。相应地，行为检测装置包括的各个部分，例如各个单元、子单元、模块、子模块可以全部设置于服务器中，也可以全部设置于电子设备中，还可以分别设置于服务器和电子设备中。
进一步地，上述服务器可以是硬件，也可以是软件。当服务器为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当服务器为软件时，可以实现成多个软件或软件模块，例如用来提供分布式服务器的软件或软件模块，也可以实现成单个软件或软件模块，在此不做具体限定。其中，行为检测装置也可以为出入口的监控装置，例如监控摄像头等。
如图1所示，本实施例的行为检测方法具体包括以下步骤：
步骤S11：检测第一视频帧中具有预设属性特征的目标。
其中，第一视频帧可以是一段视频中的任意视频帧。第一视频帧的数量可以是一帧、也可以是多帧。预设属性特征可以是执行行为检测方法的执行设备在出厂时已经设置好的，也可以是用户自行设置的。目标可以是人、动物等。本公开实施例以目标是人为例。
步骤S12：利用第二视频帧对目标进行行为检测，得到目标的行为对应的预测行为类别。
第二视频帧的数量可以是若干帧，其中，若干指的是一帧及以上。第二视频帧可以是第一视频帧，也可以是不是第一视频帧。即，若干第二视频帧中，可以是包括第一视频帧，也可以不包括第一视频帧。本公开实施例中，第一视频帧可以是一段视频中的任意一帧或多帧，第二视频可以是同一段视频中的所有帧。进行行为检测的方式可以是根据具备行为检测能力的网络模型进行行为检测。
其中，进行行为检测的目标是具有预设属性特征的目标，不具备预设属性特征的目标可以不进行行为检测。本公开实施例中，不会对不具有预设属性特征的目标进行行为检测。
步骤S13：基于预测行为类别，执行预设处理。
本公开实施例中，预先设置多个行为类别与预设处理之间的关联关系。将目标的行为对应的预测行为类别与预先设置的行为类别进行匹配，在确定目标的行为对应的预测行为类别属于预先设置的类别时，执行与该预先设置的类型对应的预设处理。其中，预测处理可以是任意的处理方式，例如，获取目标的身份信息、对目标进行跟踪确定目标的行动路径、进行报警等等。
上述方案，通过在检测到视频帧中具有预设属性特征的目标之后，才对目标进行行为检测，并执行对应的预设处理，无需对视频帧中所有的目标进行行为检测，从而提高行为检测效率，且节省了行为检测所需的处理资源。
一些公开实施例中，预设属性特征包括佩戴预设穿戴物、存在预设生理特征、预设部位具有预设标记物中的至少一种。预设穿戴物可以是衣物、帽子、鞋子、手套、轮椅、手杖等等。预设生理特征可以是头发长短、发色、肤色等任意人体姿态特征。预设标记物也可以是具有一定辨识度的标记，例如纹身等。
其中，检测第一视频帧中具有预设属性特征的目标的方式可以是：对第一视频帧进行目标检测，得到目标对应的至少一个第一部位区域。目标检测的结果包括目标的位置信息。第一部位区域可以是目标的任意身体部位。例如，预设属性特征为帽子时，第一部位区域则可以是头部。当然，若预设属性特征为多个时，第一部位区域也可以是多个。
对与预设属性特征关联的第一部位区域进行特征提取，得到区域图像特征。例如，区域图像特征可以是目标当前的服饰特征。
其中，若区域图像特征与预设属性特征对应的参考图像特征匹配，则确定第一视频帧中存在具有预设属性特征的目标。其中，区域图像特征与参考图像特征匹配，可以是特征的种类匹配，也可以是两种特征的所有构成要素均匹配。例如，区域图像特征可以是目标当前穿戴红色安全帽，预设属性特征可以是黄色安全帽。区域图像特征和预设属性特征相匹配可以是二者的种类匹配，即安全帽与安全帽匹配成功，当然，还可以将二者的所有要素进行匹配，例如安全帽与安全帽进行匹配，以及将二者的颜色也进行匹配，显然，二者颜色不同，即区域图像特征与参考图像特征并不匹配。图像区域特征和预设属性特征之间的匹配关系可以是预先设置的。
一些公开实施例中，利用第二视频帧对目标进行行为检测，得到目标的行为对应的预测行为类别的方式可以是：利用第二视频帧对目标进行预设行为检测包括关键点检测和/或目标的预设部位区域进行行为分类。具体地，第二视频帧中包括第一视频帧。一些实施例中，利用第二视频帧对目标进行预设行为检测包括关键点检测，另一些公开实施例包括目标的预设部位进行行为分类，还有一些公开实施例中，同时包括关键点检测和目标的预设部位进行行为分类。其中，关键点可以是鼻子、眼睛、耳朵、肘关节、腕关节、臀部、膝关节、踝关节等。关键点还可以是头部和颈部的其他点，例如头部背面、侧面、头顶等。关于关键点此处不再赘述。
一些应用场景中，确定与预设属性特征关联的预设关键点，并利用第二视频帧对目标进行关键点检测，得到每张第二视频帧对应的预设关键点的位置信息。其中，利用第二视频帧对目标进行关键点检测的方式可以是使用训练之后的关键点检测模型对各第二视频帧进行关键点检测。以及，分析第二视频帧对应的预设关键点的位置信息，得到目标的行为对应的第一预测行为类别。具体地，根据各第二视频帧的时序关系，得到各关键点在时序上的关键点序列。通过对各关键点序列进行分析，得到目标的行为对应的第一预测行为类别。其中，不同预设属性特征关联的预设关键点可以相同也可以不同。
一些应用场景中，确定与预设属性特征关联的预设部位区域。利用第二视频帧对目标的预设部位区域进行行为分类，得到目标的行为对应的第一预测行为类别。例如，预设部位区域为手部区域。对各第二视频帧中的手部区域进行行为分类，得到目标的行为对应的第一预测行为类别。其中，这里的第一预测行为类别包括是否玩手机、是否抽烟等。又或者，预设部位区域为眼部区域，对各第二视频帧中的眼部区域进行分类，得到目标是否正在睡觉等。当然，为避免将眨眼等情况误认为是在睡觉，所以，在连续预设数量帧的第二视频帧均认为目标处于闭眼状态时，才认定目标的行为对应的第一预测行为类别包括睡觉。其中，可以是由训练完成的行为分类网络模型对目标的预设部位区域进行行为分类。
另一些公开实施例中，还包括利用第二视频帧对目标进行光流检测，得到目标的光流信息。基于目标的光流信息确定目标的行为对应的第二预测行为类别。例如，通过光流检测得到目标的运动场，以此判断是否出现了第二预测行为类别，这里的第二预测行为类别可以是打砸、打架等往复规律性动作。其中，光流检测的方式可参见一般的做法，此处不做过多叙述。
其中，在利用第二视频帧对目标进行预设行为检测之前，包括以下步骤：在第二视频帧中确定目标的第二部位区域。扩大第二部位区域，并判断扩大后的第二部位区域内是否存在与预设属性特征关联的预设部位区域。若存在则执行利用第二视频帧对目标进行预设行为检测，得到目标的行为对应的第一预测行为类别。具体地，第二部位区域可以是头肩部区域。例如，预设属性特征为警服，第二部位区域为头肩区域，预设部位区域为手部区域。扩大头肩区域，判断扩大后的头肩区域中是否存在手部区域。若有，则执行利用第二视频针对目标进行预设行为检测，得到目标的行为对应的第一预测行为类别的步骤。
一些公开实施例中，基于预测行为类别，执行预设处理的方式可以是：获取与预设属性特征对应的场景处理策略。其中，场景处理策略包括至少一种参考行为类别。场景可以是银行场景、工地场景、医院场景、机场场景、港口场景等。参考行为类别可以是打电话、抽烟等。其中，不同的场景对应的参考行为类别可以相同也可以不同。例如，在某场景中，预设属性特征可以是服饰特征(a以及b)。与a对应的参考行为类别包括打架、玩手机、抽烟，打电话等，与b对应的参考行为类别包括滞留、打架、打砸、翻越围栏、起床等等。在银行的场景中，预设属性特征可以是银行工作人员的服饰，与银行工作人员的服饰对应的参考行为类别包括单手接递客户资料、现金、双手叉腰、双手抱胸、双手抱头等。其中，不同预设属性特征可以对应所有的参考行为类别，通过设置不同的灵敏度区分不同的场景处理策略。例如，在某场景下，设置翻越围栏的参考行为类别的灵敏度为1，其余的参考行为类别为0。也就是在该场景下，只需要判断预测行为类别是否与灵敏度为1的参考行为类别匹配即可。
响应于预测行为类别与参考行为类别匹配，执行预设处理。当然，若预测行为类别与参考行为类别不匹配，则不执行预设处理。其中，执行预设处理的方式可以是：生成并提示报警信息。其中，报警信息包括目标的身份信息、目标的脸部图像、预设属性特征的信息以及目标的行为对应的预测行为类别中的至少一种。其中，目标的身份信息是基于第一视频帧或第二视频帧对目标进行识别得到。例如，在银行场景中，目标的身份信息为该工作人员的姓名、职位等信息、脸部图像可以是从第一视频帧或第二视频帧中提取得到，预设属性特征的信息可以是服饰。其中，目标的脸部图像可以是从第一视频帧或第二视频帧中裁剪出来的局部图像，当然，还可以是在第一视频帧或第二视频帧中通过人脸框的形式对目标的人脸进行标记。通过在报警信息中包括目标的身份信息和 /或目标的脸部图像，可以确定引发报警的目标的身份。
其中，生成并提示报警信息的方式可以是：利用预设图像选择策略，从第二视频帧中选择目标视频帧。其中，预设图像选择策略可以是对各第二视频帧中包含人脸的区域进行质量检测，选择质量满足预先设置的要求的第二视频帧。其中，质量检测的方式可以包括亮度检测、清晰度检测、人脸与摄像头的角度。其中，人脸正对摄像头时，认定人脸与摄像头的角度为0。一些公开实施例中，为亮度检测、清晰度检测以及人脸与摄像头之间的角度的检测结果确定权重。可选地，人脸与摄像头之间的夹角对应的权重最大。
然后，从目标视频帧中提取出目标的脸部图像，并对目标视频帧进行目标识别，得到目标的身份信息。当然，还可以是对目标的脸部图像进行目标识别，当目标为人体时，则对目标的脸部图像进行人脸识别，得到目标的身份信息。
接着，提示目标的身份信息、目标的脸部图像、预设属性特征的信息以及目标的行为对应的预测行为类别。
为更好地理解本公开实施例提供的技术方案，可以结合以下具体应用场景：
在C场景中，服装和服饰作为区分人员A和人员B的主要特征，本公开实施例选择将这两种服饰作为预设属性特征。设备根据多张视频帧获取场景中人体的服饰特征，并将服饰特征送入资源策略池。在资源策略池中将服饰特征与预设属性特征进行匹配确定当前场景为C场景。确定C场景下场景处理策略。其中，场景处理策略具体包括算法流程和算法参数。例如，视频帧中有10人，包括8个人员B以及2个人员A。若C场景对应的参考行为类别包括翻越围栏、起床、离岗，也就是需要对这三种行为进行报警。若不根据服饰进行报警，则需要对视频帧中的每一个人都做三种逻辑判断，即，一共需要做30个逻辑判断。而如果根据服饰进行区分，即，人员B对应的参考行为类别包括翻越围栏、起床，而人员A对应的参考行为类别包括离岗。通过此种方式，只需要做 18个逻辑判断。其中，这里的逻辑判断的过程主要是将预测行为类别与参考行为类别进行匹配，判断是否需要进行报警。相比不根据服饰进行逻辑判断，本公开实施例提供的技术方案很大程度上节约了设备资源。
在银行场景中，本公开实施例需要对银行的工作人员做合规检测，因银行大厅人员一般数量较多，且大多数都不是银行工作人员，无需对非银行工作人员进行合规检测，因此相比对对每一个人都进行合规检测，本公开实施例提供的技术方案节省了较大的处理资源。
一些公开实施例中，接收用户选择的属性特征。将用户选择的属性特征确定为预设属性特征。用户可根据真实的需要配置对应的属性特征。当然，用户还可对预设属性特征进行更改，例如，将某些属性特征从预设属性特征中移除。
其中，还可接收用户选择属性特征识别模型。其中，属性特征识别模型用于识别用户选择的属性特征。将属性特征识别模型与用户选择的属性特征进行关联。
一些公开实施例中，可接收用户选择场景处理策略。场景处理策略为预设处理的执行策略。例如，场景处理策略包括参考行为类别等。当然，场景处理策略还可包括报警类型，具体地，不同的参考行为类别可以对应不同的报警类型。例如，因为礼仪问题引发的报警、还是危险暴力行为引发的报警等等。将场景处理模型与用户选择的属性特征进行关联。也就是用户可以自定义预设属性特征、属性特征识别模型以及场景处理策略。
一些公开实施例中，可接收用户选择属性特征识别模型和场景处理策略。将属性特征识别模型和场景处理策略与用户选择的属性特征进行关联。
另一些公开实施例中，还可接收用于选择关键点检测模型的指令。用户可以导入与自定义的预设属性特征对应的关键点检测模型，或对已有的关键检测模型进行训练，以便根据检测到的不同的预设属性特征都能够有对应的关键点检测模型。
其中，还可接收用于选择分类网络模型的指令。用户可以导入与自定义的预设属性特征对应的分类网络模型，或对已有的分类网络模型进行训练，以便根据检测到的不同的预设属性特征都能够有对应的分类网络模型。
当然，可以接收用于选择关键点检测模型的指令以及接收用于选择分类网络模型的指令。用于可以用户可以导入与自定义的预设属性特征对应的关键检测模型和分类网络模型，或对已有的关键检测模型和分类网络模型进行训练，以便根据检测到的不同的预设属性特征都能够有对应的关键检测模型和分类网络模型。
具体地，在用户自定义的场景中，相对于执行设备的默认程序而言，执行设备中可能并未收集自定义的预设属性特征、属性特征识别模型。例如，若用户需要检测工地场景中工人的行为，但执行设备中并没有安全帽类别。此时，用户可以根据收集的工地工人的样本，并在样本中标注安全帽，以此训练对应的模型。然后，用户将训练好的模型通过web 界面的用户自定义性特征模型导入框导入执行设备。同时，新增安全帽至特征配置，其中，特征配置用于存储预设属性特征。并且，用户可以设置对应的场景处理策略，即参考行为类别以及报警类型等。其中，请参见图2，图2是本申请提供的行为检测方法一实施例提供的web界面的示意图。如图2所示，web界面上包括特征配置栏、用户自定义导入新特征模型的导入框、报警规则配置、报警目标抓图。其中，报警只是本公开实施例提供预设处理的一种可行方案，在其他实施例中，预设处理还可以是对预测行为类别进行评分。
如图2所示，特征配置下可供选择的预设属性特征包括服饰、帽子、手套以及安全帽。当然，这些预设属性特征仅为举例，不用于限制本方案。报警规则配置也就是场景处理策略，包括打架、离岗、打电话、玩手机等。报警目标抓图是确定预测行为类别与参考行为类别匹配时，向 web端发送报警目标属性以及报警目标人脸比对抓图。报警目标指的是引发此次报警的目标。其中，报警目标属性可以是目标的身份信息、预设属性特征的信息以及目标的行为对应的预测行为类别。报警目标人脸比对抓图指的是目标的脸部图像。
一些公开实施例中，接收用户设置的服务时间段。执行设备只有在服务时间段内才执行行为检测方法，在非服务时间段内，不执行行为检测方法，从而能够进一步节省资源开销。具体地，用户可以是在web服务器上设置服务时间段，然后web服务器向执行设备下发服务时间段。
请同时参见图3，图3是本申请行为检测方法一实施例的另一流程示意图。为更好地理解本公开实施例提供的技术方案，请参考下例。
如图3所示，本公开实施例提供的行为检测方法包括以下步骤：
步骤S21：获取第一视频帧和第二视频帧。
其中，获取第一视频帧和第二视频帧的方式可以是通过执行设备的摄像头组件或与执行设备构建连接的摄像头采集得到。
步骤S22：进行目标检测。
本公开实施例中，第一视频帧和第二视频帧相同，并将其统称为第一视频帧，下同。
可以是利用训练完成的目标检测模型对第一视频帧进行目标检测。其中，本公开实施例中的目标为人体。目标检测可以得到头肩框和人体框。
步骤S23：进行预设属性特征检测。
对第一视频帧进行预设属性特征检测。可以使用属性特征识别模型对第一视频帧进行预设属性特征检测。在检测到目标具有预设属性特征时，执行步骤S24。
步骤S24：进行目标跟踪。
其中，对具有预设属性特征的目标进行跟踪。进一步地，可以根据预设属性特征选择跟踪人体框还是只跟踪头肩框。例如，与预设属性特征对应的参考行为特征只与目标的头部相关，则只需跟踪头肩框即可。
步骤S25：进行预报警。
其中，预报警指的是扩大第二视频帧中目标的第二部位区域，并判断扩大后的第二部位区域内存在与预设属性特征关联的预设部位区域的情况下，执行步骤S26或S27。
步骤S26：对目标的预设部位区域进行行为分类。
其中，在对目标的预设部位区域进行行为分类之前，先获取预设部位区域在目标所在区域中的位置。其中，对目标的预设部位区域进行行为分类的方式如上述，此处不再赘述。
步骤S27：进行关键点检测。
其中，对第一视频图像帧进行关键点检测的方式如上述，此处不再赘述。
步骤S28：得到目标的行为对应的第一预测行为类别。
其中，基于关键点检测结果或基于目标的预设目标区域进行行为分类，得到目标的行为对应的第一预测行为类别的方式如上述，此处不再赘述。
步骤S29：进行光流检测。
其中，对第一视频图像帧进行光流检测的方式如上述，此处不再赘述。
步骤S30：确定目标的行为对应的第二类预测行为类别。
其中，确定目标的第二类预测行为类别的方式可以是将预测到的光流信息与各行为类别对应的光流信息进行比对，得到目标的行为对应的第二类预测行为类别。
步骤S31：进行逻辑报警。
其中，逻辑报警包括将预测行为类别与参考行为类别进行匹配。在二者匹配上时，执行预设处理。其中，预设处理包括生成并提示报警信息。
上述方案，通过在检测到视频帧中具有预设属性特征的目标之后，才对目标进行行为检测，并执行对应的预设处理，无需对视频帧中所有的目标进行行为检测，从而提高行为检测效率，且节省了行为检测所需的处理资源。
请参阅图4，图4是本申请行为检测装置一实施例的结构示意图。行为检测装置40包括目标检测模块41、行为检测模块42、处理模块43。目标检测模块41，用于检测第一视频帧中具有预设属性特征的目标；行为检测模块42，用于利用第二视频帧对目标进行行为检测，得到目标的行为对应的预测行为类别；处理模块43，用于基于预测行为类别，执行预设处理。
其中，各模块的作用具体如上一实施例所述，此处不再赘述。
上述方案，通过在检测到视频帧中具有预设属性特征的目标之后，才对目标进行行为检测，并执行对应的预设处理，无需对视频帧中所有的目标进行行为检测，从而提高行为检测效率，且节省了行为检测所需的处理资源。
本申请还提供了一种电子设备，具体请参阅图5，图5是本申请提供的电子设备一实施例的结构示意图。如图5所示，电子设备50包括存储器51和处理器52。存储器51与处理器52耦接。其中，处理器52 用于执行存储器51中存储的程序指令以实现上述任一行为检测方法实施例中的步骤。在一个具体的实施场景中，电子设备50可以包括但不限于：微型计算机、服务器，此外，电子设备50还可以包括笔记本电脑、平板电脑等移动设备，在此不做限定。
在本实施例中，处理器52还可以称为CPU(Central Processing Unit，中央处理单元)。处理器52可能是一种集成电路芯片，具有信号的处理能力。处理器52还可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。处理器52还可以是GPU(Graphics Processing Unit，图形处理器)，又称显示核心、视觉处理器、显示芯片，是一种专门在个人电脑、工作站、游戏机和一些移动设备(如平板电脑、智能手机等)上图像运算工作的微处理器。 GPU的用途是将计算机***所需要的显示信息进行转换驱动，并向显示器提供行扫描信号，控制显示器的正确显示，是连接显示器和个人电脑主板的重要元件，也是“人机对话”的重要设备之一。显卡作为电脑主机里的一个重要组成部分，承担输出显示图形的任务，对于从事专业图形设计的人来说显卡非常重要。通用处理器可以是微处理器或者该处理器52也可以是任何常规的处理器等。
上述方案，通过在检测到视频帧中具有预设属性特征的目标之后，才对目标进行行为检测，并执行对应的预设处理，无需对视频帧中所有的目标进行行为检测，从而提高行为检测效率，且节省了行为检测所需的处理资源。
本申请还提供一种计算机可读存储介质，如图6所示，计算机可读存储介质60存储有程序指令61，程序指令61被处理器执行时实现如本申请行为检测方法实施例中所述的方法。
上述方案，通过在检测到视频帧中具有预设属性特征的目标之后，才对目标进行行为检测，并执行对应的预设处理，无需对视频帧中所有的目标进行行为检测，从而节省了行为检测过程中的处理资源。
本申请行为检测方法实施例中所涉及到的方法，在实现时以软件功能单元的形式存在并作为独立的产品销售或使用时，可以存储在设备中，例如一个计算机可读取存储介质。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM， Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。
Claims (13)
1.一种行为检测方法，其特征在于，包括：
检测第一视频帧中具有预设属性特征的目标；
利用第二视频帧对所述目标进行行为检测，得到所述目标的行为对应的预测行为类别；
基于所述预测行为类别，执行预设处理。
2.根据权利要求1所述的方法，其特征在于，所述基于所述预测行为类别，执行预设处理，包括：
获取与所述预设属性特征对应的场景处理策略，其中，所述场景处理策略包括至少一种参考行为类别；
响应于所述预测行为类别与所述参考行为类别匹配，执行预设处理。
3.根据权利要求1所述的方法，其特征在于，所述执行预设处理，包括：
生成并提示报警信息，其中，所述报警信息包括所述目标的身份信息、所述目标的脸部图像、所述预设属性特征的信息以及所述目标的行为对应的预测行为类别中的至少一种，所述目标的身份信息是基于所述第一视频帧或第二视频帧对所述目标进行识别得到。
4.根据权利要求3所述的方法，其特征在于，所述生成并提示报警信息，包括：
利用预设图像选择策略，从所述第二视频帧中选择目标视频帧；
从所述目标视频帧中提取所述目标的脸部图像，并对所述目标视频帧进行目标识别，得到所述目标的身份信息；
提示所述目标的身份信息、所述目标的脸部图像、所述预设属性特征的信息以及所述目标的行为对应的预测行为类别。
5.根据权利要求1所述的方法，其特征在于，所述检测第一视频帧中具有预设属性特征的目标，包括：
对所述第一视频帧进行目标检测，得到所述目标对应的至少一个第一部位区域；
对与所述预设属性特征关联的所述第一部位区域进行特征提取，得到区域图像特征；
若所述区域图像特征与所述预设属性特征对应的参考图像特征匹配，则确定第一视频帧中存在具有预设属性特征的目标。
6.根据权利要求1所述的方法，其特征在于，所述利用第二视频帧对所述目标进行行为检测，得到所述目标的行为对应的预测行为类别，包括：
利用第二视频帧对所述目标进行预设行为检测，得到所述目标的行为对应的第一预测行为类别，其中，所述预设行为检测包括关键点检测和/或对所述目标的预设部位区域进行行为分类；和/或，
利用第二视频帧对所述目标进行光流检测，得到所述目标的光流信息，基于所述目标的光流信息确定所述目标的行为对应的第二预测行为类别。
7.根据权利要求6所述的方法，其特征在于，在所述利用第二视频帧对所述目标进行预设行为检测，得到所述目标的行为对应的第一预测行为类别之前，所述方法还包括：
在所述第二视频帧中确定所述目标的第二部位区域；
扩大所述第二部位区域，并判断扩大后的所述第二部位区域内是否存在与所述预设属性特征关联的预设部位区域；
若存在，则执行所述利用第二视频帧对所述目标进行预设行为检测，得到所述目标的行为对应的第一预测行为类别的步骤。
8.根据权利要求6所述的方法，其特征在于，所述利用第二视频帧对所述目标进行预设行为检测，得到所述目标的行为对应的第一预测行为类别，包括：
确定与所述预设属性特征关联的预设关键点，并利用所述第二视频帧对所述目标进行关键点检测，得到每张所述第二视频帧对应的预设关键点的位置信息，以及分析所述第二视频帧对应的预设关键点的位置信息，得到所述目标的行为对应的第一预测行为类别；和/或，
确定与所述预设属性特征关联的预设部位区域，利用第二视频帧对所述目标的所述第二部位区域进行行为分类，得到所述目标的行为对应的第一预测行为类别。
9.根据权利要求1所述的方法，其特征在于，所述预设属性特征包括佩戴预设穿戴物、存在预设生理特征、预设部位具有预设标记物中的至少一种；
和/或，所述第二视频帧包含所述第一视频帧。
10.根据权利要求1所述的方法，其特征在于，所述方法还包括：
接收用户选择的属性特征；
将所述用户选择的属性特征确定为预设属性特征。
11.根据权利要求10所述的方法，其特征在于，所述方法还包括：
接收用户选择属性特征识别模型；
将所述属性特征识别模型与用户选择的属性特征进行关联，其中，所述属性特征识别模型用于识别用户选择的所述属性特征；
和/或，接收用户选择场景处理策略；
将所述场景处理策略与用户选择的属性特征进行关联，其中，所述场景处理策略为所述预设处理的执行策略。
12.一种电子设备，其特征在于，包括存储器和处理器，所述处理器用于执行所述存储器中存储的程序指令，以实现权利要求1至11任一项所述的方法。
13.一种计算机可读存储介质，其上存储有程序指令，其特征在于，所述程序指令被处理器执行时实现权利要求1至11任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110827393.3A CN113673351A (zh) | 2021-07-21 | 2021-07-21 | 一种行为检测方法、设备以及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110827393.3A CN113673351A (zh) | 2021-07-21 | 2021-07-21 | 一种行为检测方法、设备以及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113673351A true CN113673351A (zh) | 2021-11-19 |
Family
ID=78539995
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110827393.3A Pending CN113673351A (zh) | 2021-07-21 | 2021-07-21 | 一种行为检测方法、设备以及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113673351A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115063740A (zh) * | 2022-06-10 | 2022-09-16 | 嘉洋智慧安全生产科技发展（北京）有限公司 | 安全监测方法、装置、设备及计算机可读存储介质 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108710897A (zh) * | 2018-04-24 | 2018-10-26 | 江苏科海智能***有限公司 | 一种基于ssd-t的远端在线通用目标检测*** |
| CN110956061A (zh) * | 2018-09-27 | 2020-04-03 | 北京市商汤科技开发有限公司 | 动作识别方法及装置、驾驶员状态分析方法及装置 |
| CN111144398A (zh) * | 2018-11-02 | 2020-05-12 | 银河水滴科技（北京）有限公司 | 目标检测方法、装置、计算机设备和存储介质 |
| CN111191523A (zh) * | 2019-12-11 | 2020-05-22 | 秒针信息技术有限公司 | 信息的显示方法和装置、存储介质及电子装置 |
| CN111291596A (zh) * | 2018-12-07 | 2020-06-16 | 杭州海康威视数字技术股份有限公司 | 一种基于人脸识别的预警方法及装置 |
| CN111354024A (zh) * | 2020-04-10 | 2020-06-30 | 深圳市五元科技有限公司 | 关键目标的行为预测方法、ai服务器及存储介质 |
| WO2020248386A1 (zh) * | 2019-06-14 | 2020-12-17 | 平安科技（深圳）有限公司 | 视频分析方法、装置、计算机设备及存储介质 |
| CN113139403A (zh) * | 2020-01-17 | 2021-07-20 | 顺丰科技有限公司 | 违规行为识别方法、装置、计算机设备和存储介质 |
-
2021
- 2021-07-21 CN CN202110827393.3A patent/CN113673351A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108710897A (zh) * | 2018-04-24 | 2018-10-26 | 江苏科海智能***有限公司 | 一种基于ssd-t的远端在线通用目标检测*** |
| CN110956061A (zh) * | 2018-09-27 | 2020-04-03 | 北京市商汤科技开发有限公司 | 动作识别方法及装置、驾驶员状态分析方法及装置 |
| CN111144398A (zh) * | 2018-11-02 | 2020-05-12 | 银河水滴科技（北京）有限公司 | 目标检测方法、装置、计算机设备和存储介质 |
| CN111291596A (zh) * | 2018-12-07 | 2020-06-16 | 杭州海康威视数字技术股份有限公司 | 一种基于人脸识别的预警方法及装置 |
| WO2020248386A1 (zh) * | 2019-06-14 | 2020-12-17 | 平安科技（深圳）有限公司 | 视频分析方法、装置、计算机设备及存储介质 |
| CN111191523A (zh) * | 2019-12-11 | 2020-05-22 | 秒针信息技术有限公司 | 信息的显示方法和装置、存储介质及电子装置 |
| CN113139403A (zh) * | 2020-01-17 | 2021-07-20 | 顺丰科技有限公司 | 违规行为识别方法、装置、计算机设备和存储介质 |
| CN111354024A (zh) * | 2020-04-10 | 2020-06-30 | 深圳市五元科技有限公司 | 关键目标的行为预测方法、ai服务器及存储介质 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115063740A (zh) * | 2022-06-10 | 2022-09-16 | 嘉洋智慧安全生产科技发展（北京）有限公司 | 安全监测方法、装置、设备及计算机可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109309808A (zh) | 一种基于人脸识别的监控***及方法 | |
| CN106897659B (zh) | 眨眼运动的识别方法和装置 | |
| JP3337988B2 (ja) | 個体識別装置 | |
| US10956753B2 (en) | Image processing system and image processing method | |
| CN106446831A (zh) | 一种人脸识别方法及装置 | |
| CN107844742B (zh) | 人脸图像眼镜去除方法、装置及存储介质 | |
| CN109299658B (zh) | 脸部检测方法、脸部图像渲染方法、装置及存储介质 | |
| CN111240482B (zh) | 一种特效展示方法及装置 | |
| CN103942539B (zh) | 一种人头部椭圆精确高效提取及遮蔽人脸检测方法 | |
| JP2013003964A (ja) | 顔画像検索システム、及び顔画像検索方法 | |
| CN107766785A (zh) | 一种面部识别方法 | |
| CN110532866A (zh) | 视频数据检测方法、装置、计算机设备及存储介质 | |
| RU2724785C1 (ru) | Система и способ идентификации средств индивидуальной защиты на человеке | |
| KR20220042301A (ko) | 이미지 검출 방법 및 관련 장치, 기기, 저장 매체, 컴퓨터 프로그램 | |
| JP2010262425A (ja) | 衣服を認識および分類するためのコンピュータ実行方法 | |
| CN110096983A (zh) | 一种基于神经网络的图像中施工工人安全服饰检测方法 | |
| CN108171138A (zh) | 一种生物特征信息获取方法和装置 | |
| CN111325133A (zh) | 一种基于人工智能识别的影像处理*** | |
| CN107992845A (zh) | 一种面部识别辨伪方法及装置、计算机设备 | |
| CN115917589A (zh) | 攀爬行为预警方法和装置、电子设备、存储介质 | |
| JP2012133666A (ja) | 部位認識装置、部位認識方法、及び部位認識プログラム | |
| CN113673351A (zh) | 一种行为检测方法、设备以及存储介质 | |
| US20220130148A1 (en) | System and Method for Identifying Outfit on a Person | |
| CN112419637B (zh) | 安防图像数据的处理方法及装置 | |
| CN108694808A (zh) | 一种多渠道出租车司机人身安全智能分析报警方法及*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |