CN113569770B - 视频检测方法及装置、电子设备和存储介质 - Google Patents

视频检测方法及装置、电子设备和存储介质 Download PDF

Info

Publication number
CN113569770B
CN113569770B CN202110877986.0A CN202110877986A CN113569770B CN 113569770 B CN113569770 B CN 113569770B CN 202110877986 A CN202110877986 A CN 202110877986A CN 113569770 B CN113569770 B CN 113569770B
Authority
CN
China
Prior art keywords
differential
target
adjacent frames
graph
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110877986.0A
Other languages
English (en)
Other versions
CN113569770A (zh
Inventor
蔡晓聪
侯军
伊帅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sensetime Technology Development Co Ltd
Original Assignee
Beijing Sensetime Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sensetime Technology Development Co Ltd filed Critical Beijing Sensetime Technology Development Co Ltd
Priority to CN202110877986.0A priority Critical patent/CN113569770B/zh
Publication of CN113569770A publication Critical patent/CN113569770A/zh
Application granted granted Critical
Publication of CN113569770B publication Critical patent/CN113569770B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供了一种视频检测方法及装置、电子设备和存储介质,其中,视频检测方法包括:对视频的相邻帧进行目标检测和目标追踪,得到相邻帧中目标对象的检测追踪结果;根据相邻帧得到目标差分图;根据检测追踪结果和目标差分图,得到目标对象的差分统计量;根据差分统计量确定目标对象的行为状态。本申请实施例有利于降低对场景数据的依赖,提升方案的可用性,从而有利于提升视频检测方法对场景的鲁棒性。

Description

视频检测方法及装置、电子设备和存储介质
技术领域
本申请涉及计算机视觉技术领域,尤其涉及一种视频检测方法及装置、电子设备和存储介质。
背景技术
随着计算机视觉技术研究的深入,社会各领域中已经有很多相关产品落地,这极大地促进了社会经济的发展,比如物业管理中,通常会采用视频分析技术对涉及到的人或物进行一系列检测分析,基于分析结果协助物业管理,以提高管理效率。工作人员工作状态的考评是物业管理中的重要环节,其关注的是工作人员是否有离岗或懒岗的行为,所谓懒岗是指工作人员长时间处于同一种动作状态,比如长时间趴睡、长时间发呆等。目前针对懒岗这一行为的解决方案是通过在连续时间段上对人体属性作出识别,以判断其是否一直处于某种状态类型,但是由于依赖于深度学习模型,属性识别需要众多场景上的数据作为训练数据,在场景数据较少的情况下,会导致检测方案对场景的鲁棒性较低。
发明内容
针对上述问题,本申请提供了一种视频检测方法及装置、电子设备和存储介质,有利于提升视频检测方法对场景的鲁棒性。
为实现上述目的,本申请实施例提供了一种视频检测方法,该方法包括:
对视频的相邻帧进行目标检测和目标追踪,得到所述相邻帧中目标对象的检测追踪结果;
根据所述相邻帧得到目标差分图;
根据所述检测追踪结果和所述目标差分图,得到所述目标对象的差分统计量;
根据所述差分统计量确定所述目标对象的行为状态。
在一种可能的实施方式中,所述根据所述相邻帧得到目标差分图,包括:
根据所述相邻帧得到初始差分图;
对所述初始差分图进行噪声过滤,得到所述目标差分图。
在一种可能的实施方式中,所述相邻帧中包括第一视频帧和第二视频帧,所述第二视频帧为所述第一视频帧的下一帧,所述根据所述相邻帧得到初始差分图,包括:
将所述第一视频帧转换为第一灰度图,以及将所述第二视频帧转换为第二灰度图;
对所述第一灰度图和所述第二灰度图进行差分计算,得到所述初始差分图。
在一种可能的实施方式中,所述检测追踪结果包括所述目标对象在所述第二视频帧中的检测框的位置信息,所述根据所述检测追踪结果和所述目标差分图,得到所述目标对象的差分统计量,包括:
根据所述位置信息从所述目标差分图中确定出待检测区域;
获取所述待检测区域中像素值的平均值,得到所述差分统计量。
在一种可能的实施方式中,所述行为状态包括懒岗行为,所述根据所述差分统计量确定所述目标对象的行为状态,包括:
若根据连续的至少一组相邻帧得到的所述目标对象的至少一个差分统计量均小于预设差分统计量阈值,则确定所述目标对象存在懒岗行为;
其中,所述至少一组相邻帧与所述至少一个差分统计量一一对应,所述至少一组相邻帧包括所述相邻帧,所述至少一个差分统计量包括所述差分统计量。
在一种可能的实施方式中,所述对所述初始差分图进行噪声过滤,得到所述目标差分图,包括:
获取预设噪声过滤阈值;
根据所述噪声过滤阈值将所述初始差分图二值化,得到所述目标差分图。
本申请另一些实施例提供了一种视频检测装置,该装置包括获取单元和处理单元;
获取单元,用于对视频的相邻帧进行目标检测和目标追踪,得到所述相邻帧中目标对象的检测追踪结果;
处理单元,用于根据所述相邻帧得到目标差分图;
处理单元,还用于根据所述检测追踪结果和所述目标差分图,得到所述目标对象的差分统计量;
处理单元,还用于根据所述差分统计量确定所述目标对象的行为状态。
本申请另一些实施例提供了一种电子设备,该电子设备包括输入设备和输出设备,还包括处理器,适于实现一条或多条指令;以及,计算机存储介质,所述计算机存储介质存储有一条或多条指令,所述一条或多条指令适于由所述处理器加载并执行以下步骤:
对视频的相邻帧进行目标检测和目标追踪,得到所述相邻帧中目标对象的检测追踪结果;
根据所述相邻帧得到目标差分图;
根据所述检测追踪结果和所述目标差分图,得到所述目标对象的差分统计量;
根据所述差分统计量确定所述目标对象的行为状态。
本申请另一些实施例提供了一种计算机存储介质,所述计算机存储介质存储有一条或多条指令,所述一条或多条指令适于由处理器加载并执行以下步骤:
对视频的相邻帧进行目标检测和目标追踪,得到所述相邻帧中目标对象的检测追踪结果;
根据所述相邻帧得到目标差分图;
根据所述检测追踪结果和所述目标差分图,得到所述目标对象的差分统计量;
根据所述差分统计量确定所述目标对象的行为状态。
可以看出,本申请实施例通过对视频的相邻帧进行目标检测和目标追踪,得到相邻帧中目标对象的检测追踪结果;根据相邻帧得到目标差分图;根据检测追踪结果和目标差分图,得到目标对象的差分统计量;根据差分统计量确定目标对象的行为状态。这样在视频检测方案中,只需采集目标检测模型和目标追踪模型的训练数据即可,而目标对象的行为状态(比如是否存在懒岗)的判断采用帧间差分算法实现,无需采集大量场景数据训练属性识别模型,从而降低了对场景数据的依赖,提升了方案的可用性,进而有利于提升视频检测方法对场景的鲁棒性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种应用环境的示意图;
图2为本申请实施例提供的一种视频检测方法的流程示意图;
图3为本申请实施例提供的一种目标差分图的示意图;
图4为本申请实施例提供的一种待检测区域的示意图;
图5为本申请实施例提供的另一种视频检测方法的流程示意图;
图6为本申请实施例提供的一种视频检测装置的结构示意图;
图7为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分的实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
本申请说明书、权利要求书和附图中出现的术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、***、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。此外,术语“第一”、“第二”和“第三”等是用于区别不同的对象,而并非用于描述特定的顺序。
在本申请中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本申请所描述的实施例可以与其它实施例相结合。
本申请实施例提出一种视频检测方法,可基于图1所示的应用环境实施,如图1所示,该应用环境包括电子设备101、图像采集设备102和终端设备103,其中,电子设备101、图像采集设备102和终端设备103通信连接。
具体的,图像采集设备102用于对视频采集区域进行视频采集,并将采集的实时视频发送到电子设备101,电子设备101可调用预先存储的算法或模型对视频中的相邻帧进行目标检测、目标追踪等操作,并基于帧间差分算法获取视频中目标对象的差分统计量,然后根据连续多次得到的差分统计量确定目标对象的行为状态,比如目标对象是工作状态,还是懒岗状态,等等,并可通过终端设备103对确定出的行为状态进行展示。在一些场景中,比如算法开发、人工智能编程教学,终端设备103,用于将存储的本地视频发送到电子设备101,由电子设备101对本地视频进行目标检测、目标追踪、差分图获取、差分统计量获取等操作,最终确定出本地视频中目标对象的行为状态。应理解,本申请对***不作限定,比如电子设备101处理的视频还可以是终端设备103拍摄的视频。由于本申请提供的视频检测方法无需采集大量场景数据训练属性识别模型,从而降低了对场景数据的依赖,提升了方案的可用性,进而有利于提升视频检测方法或***对场景的鲁棒性。
其中,电子设备101可以是独立的物理服务器、视频结构化服务器,也可以是服务器集群或者分布式***,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、以及大数据和人工智能平台等基础云计算服务的云服务器,进一步还可以是端侧设备,比如具有视频处理能力的嵌入式设备。图像采集设备102可以是安防***中的摄像头、摄像机等,终端设备103可以是安防中心的终端,比如电脑、平板、智能手机等,终端上运行有安防***。即本申请实施例可以应用于智慧社区等实际安防场景中。
以下结合相关附图对本申请实施例提供的视频检测方法进行详细阐述。
请参见图2,图2为本申请实施例提供的一种视频检测方法的流程示意图,应用于电子设备,如图2所示,包括步骤201-204:
步骤201:对视频的相邻帧进行目标检测和目标追踪,得到相邻帧中目标对象的检测追踪结果。
本申请实施例中,视频可以是图像采集设备采集的实时视频,也可以是终端设备发送的本地视频,该视频通常为实时视频。其中,目标检测可采用预先训练的人体检测模型实现,比如该人体检测模型可以是常见的两阶段检测网络结构Faster RCNN,也可以是单阶段检测网络结构RetinaNet。其中,目标追踪可以采用常见的单目标追踪算法,比如卡尔曼滤波。需要说明的是,相邻帧通常是指两帧连续的视频帧,比如视频的第1帧和第2帧。
步骤202:根据该相邻帧得到目标差分图。
本申请实施例中,根据该相邻帧得到目标差分图,包括:根据该相邻帧得到初始差分图,对该初始差分图进行噪声过滤,得到目标差分图。
示例性的,相邻帧中包括第一视频帧和第二视频帧,第二视频为第一视频帧的下一帧,应理解,第一视频帧和第二视频帧通常为RGB(Red(红色),Green(绿色),Blue(蓝色))模式,为便于计算,需要将3通道转换为1通道,即将第一视频帧转换为第一灰度图,将第二视频帧转换为第二灰度图,然后对第一灰度图和第二灰度图进行差分计算,得到初始差分图。具体的,初始差分图的计算公式为sub=abs(第二灰度图-第一灰度图),其中,sub表示初始差分图,第二灰度图-第一灰度图表示将第二灰度图的每个像素位置与第一灰度图的对应像素位置相减,得到第二灰度图和第一灰度图的像素差值,abs表示对该像素差值取绝对值。其中,该初始差分图是与第一视频帧和第二视频帧大小一致的矩阵。
示例性的,对该初始差分图进行噪声过滤,得到目标差分图,包括:获取预设噪声过滤阈值,根据该噪声过滤阈值将所述初始差分图二值化,得到目标差分图。由于视频的相邻帧(即第一视频帧和第二视频帧)之间可能存在细微的像素抖动(非画面中的人或物体带来的像素变化),因此需要对像素抖动带来的噪声进行过滤,具体的,通过获取预先设定的噪声过滤阈值t1,将初始差分图中每个像素位置的值与该噪声过滤阈值t1进行比较,将初始差分图中值大于或等于噪声过滤阈值t1的值置为1,将初始差分图中值小于噪声过滤阈值t1的值置为0,完成初始差分图的二值化,即得到完成噪声过滤的目标差分图,其中,该目标差分图是由0或1构成的与第一视频帧和第二视频帧大小一致的矩阵。如图3中左侧所示的第一视频帧和第二视频帧,经过差分图计算和噪声过滤后得到的目标差分图,其可视化结果如图3中右侧所示,其中,目标差分图中目标对象的白色轮廓线区域表示第一视频帧和第二视频帧存在差异的区域。
步骤203:根据检测追踪结果和目标差分图,得到目标对象的差分统计量。
本申请实施例中,检测追踪结果包括目标对象在第二视频帧中的检测框的位置信息,该位置信息可以包括检测框的坐标、宽度和高度等。示例性的,根据检测追踪结果和目标差分图,得到目标对象的差分统计量,包括:
根据该位置信息从目标差分图中确定出待检测区域;
获取待检测区域中像素值的平均值,得到差分统计量。
应理解,对第一视频帧和第二视频帧进行目标检测通常会得到目标对象的检测框,由于目标差分图与第二视频帧的大小一致,则根据目标对象在第二视频帧中的检测框的位置信息,可以在目标差分图中确定出与该检测框大小一致的待检测区域,如图4中左侧所示的第一视频帧和第二视频帧,从对应目标差分图中确定出的待检测区域可如图4中右侧矩形区域所示。针对确定出的待检测区域,计算该区域内像素值的平均值,将该平均值作为目标对象的差分统计量,其中,该差分统计量大于或等于某个值时,表明目标对象在连续两帧之间的身体运动较大,该差分统计量小于某个值时,表明目标对象在连续两帧之间的身体运动较小。
步骤204:根据差分统计量确定所述目标对象的行为状态。
本申请实施例中,目标对象的行为状态包括懒岗行为,对于连续的至少一组相邻帧,重复执行步骤201-203,得到至少一个差分统计量,该至少一组相邻帧与至少一个差分统计量一一对应,即根据每组相邻帧均得到唯一的差分统计量,若该至少一个差分统计量均小于预设差分统计量阈值,则可以确定目标对象存在懒岗行为。比如,根据连续的n组相邻帧得到的n个差分统计量均小于差分统计量阈值t2,则可确定目标对象存在懒岗行为,其中,n为大于或等于1的整数,n和t2可根据经验值设定。其中,至少一组相邻帧包括步骤201中的相邻帧,至少一个差分统计量包括步骤203中的差分统计量。
示例性的,由于目标追踪通常会产生追踪标识,根据检测追踪结果中的追踪标识还可进一步确认出存在懒岗行为的目标对象是谁,比如,在物业管理中,可根据追踪标识确定是哪一位工作人员存在懒岗行为。
示例性的,假设视频包括50帧,则第1帧与第2帧为一组相邻帧,第2帧与第3帧为一组相邻帧,第3帧与第4帧为一组相邻帧……,由此,所谓连续的至少一组相邻帧是指(第1帧,第2帧)、(第2帧,第3帧)、(第3帧,第4帧)这样的形式,当然,该连续的至少一组相邻帧可以不是从第1帧开始,以上仅为一种示例。
可以看出,本申请实施例通过对视频的相邻帧进行目标检测和目标追踪,得到相邻帧中目标对象的检测追踪结果;根据相邻帧得到目标差分图;根据检测追踪结果和目标差分图,得到目标对象的差分统计量;根据差分统计量确定目标对象的行为状态。这样在视频检测方案中,只需采集目标检测模型和目标追踪模型的训练数据即可,而目标对象的行为状态(比如是否存在懒岗)的判断采用帧间差分算法实现,无需采集大量场景数据训练属性识别模型,从而降低了对场景数据的依赖,提升了方案的可用性,进而有利于提升视频检测方法对场景的鲁棒性,能够适应各种视频场景。
请参见图5,图5为本申请实施例提供的另一种视频检测方法的流程示意图,如图5所示,包括步骤501-505:
步骤501:对视频的相邻帧进行目标检测和目标追踪,得到相邻帧中目标对象的检测追踪结果;
步骤502:根据该相邻帧得到初始差分图;
其中,相邻帧中包括第一视频帧和第二视频帧,第二视频帧为第一视频帧的下一帧,根据相邻帧得到初始差分图,包括:
A1:将第一视频帧转换为第一灰度图,以及将第二视频帧转换为第二灰度图;
A2:对第一灰度图和第二灰度图进行差分计算,得到初始差分图。
步骤503:对该初始差分图进行噪声过滤,得到目标差分图;
其中,对初始差分图进行噪声过滤,得到目标差分图,包括:
B1:获取预设噪声过滤阈值;
B2:根据噪声过滤阈值将初始差分图二值化,得到目标差分图。
步骤504:根据检测追踪结果和目标差分图,得到目标对象的差分统计量;
其中,检测追踪结果包括目标对象在第二视频帧中的检测框的位置信息,根据检测追踪结果和目标差分图,得到目标对象的差分统计量,包括:
C1:根据位置信息从目标差分图中确定出待检测区域;
C2:获取待检测区域中像素值的平均值,得到差分统计量。
步骤505:根据差分统计量确定所述目标对象存在懒岗行为。
其中,根据差分统计量确定所述目标对象存在懒岗行为,包括:
若根据连续的至少一组相邻帧得到的目标对象的至少一个差分统计量均小于预设差分统计量阈值,则确定目标对象存在懒岗行为;
其中,至少一组相邻帧与至少一个差分统计量一一对应,至少一组相邻帧包括所述相邻帧,至少一个差分统计量包括所述差分统计量。
其中,上述步骤501-505的具体实施方式,在图2所示的实施例中已有相关描述,且能达到相同或相似的有益效果,此处不再赘述。
基于图2或图5所示方法实施例的描述,本申请实施例还提供一种视频检测装置,请参见图6,图6为本申请实施例提供的一种视频检测装置的结构示意图,如图6所示,该装置包括获取单元601和处理单元602;
获取单元601,用于对视频的相邻帧进行目标检测和目标追踪,得到所述相邻帧中目标对象的检测追踪结果;
处理单元602,用于根据所述相邻帧得到目标差分图;
处理单元602,还用于根据所述检测追踪结果和所述目标差分图,得到所述目标对象的差分统计量;
处理单元602,还用于根据所述差分统计量确定所述目标对象的行为状态。
可以看出,在本申请实施例提供的视频检测装置中,通过对视频的相邻帧进行目标检测和目标追踪,得到相邻帧中目标对象的检测追踪结果;根据相邻帧得到目标差分图;根据检测追踪结果和目标差分图,得到目标对象的差分统计量;根据差分统计量确定目标对象的行为状态。这样在视频检测方案中,只需采集目标检测模型和目标追踪模型的训练数据即可,而目标对象的行为状态(比如是否存在懒岗)的判断采用帧间差分算法实现,无需采集大量场景数据训练属性识别模型,从而降低了对场景数据的依赖,提升了方案的可用性,进而有利于提升视频检测方法对场景的鲁棒性。
在一种可能的实施方式中,在根据相邻帧得到目标差分图方面,处理单元602具体用于:
根据所述相邻帧得到初始差分图;
对所述初始差分图进行噪声过滤,得到所述目标差分图。
在一种可能的实施方式中,相邻帧中包括第一视频帧和第二视频帧,第二视频帧为第一视频帧的下一帧,在根据相邻帧得到初始差分图方面,处理单元602具体用于:
将第一视频帧转换为第一灰度图,以及将第二视频帧转换为第二灰度图;
对第一灰度图和第二灰度图进行差分计算,得到初始差分图。
在一种可能的实施方式中,检测追踪结果包括目标对象在第二视频帧中的检测框的位置信息,在根据所述检测追踪结果和所述目标差分图,得到所述目标对象的差分统计量方面,处理单元602具体用于:
根据该位置信息从目标差分图中确定出待检测区域;
获取待检测区域中像素值的平均值,得到差分统计量。
在一种可能的实施方式中,行为状态包括懒岗行为,在根据差分统计量确定目标对象的行为状态方面,处理单元602具体用于:
若根据连续的至少一组相邻帧得到的目标对象的至少一个差分统计量均小于预设差分统计量阈值,则确定目标对象存在懒岗行为;
其中,至少一组相邻帧与至少一个差分统计量一一对应,至少一组相邻帧包括所述相邻帧,至少一个差分统计量包括所述差分统计量。
在一种可能的实施方式中,在对所述初始差分图进行噪声过滤,得到所述目标差分图方面,处理单元602具体用于:
获取预设噪声过滤阈值;
根据噪声过滤阈值将初始差分图二值化,得到目标差分图。
根据本申请的一个实施例,图6所示的视频检测装置中的各个单元可以分别或全部合并为一个或若干个另外的单元来构成,或者其中的某个(些)单元还可以再拆分为功能上更小的多个单元来构成,这可以实现同样的操作,而不影响本申请的实施例的技术效果的实现。上述单元是基于逻辑功能划分的,在实际应用中,一个单元的功能也可以由多个单元来实现,或者多个单元的功能由一个单元实现。在本申请的其它实施例中,视频检测装置也可以包括其它单元,在实际应用中,这些功能也可以由其它单元协助实现,并且可以由多个单元协作实现。
根据本申请的另一个实施例,可以通过在包括中央处理单元(CPU)、随机存取存储介质(RAM)、只读存储介质(ROM)等处理元件和存储元件的例如计算机的通用计算设备上运行能够执行如图2或图5中所示的相应方法所涉及的各步骤的计算机程序(包括程序代码),来构造如图6中所示的视频检测装置设备,以及来实现本申请实施例的视频检测方法。所述计算机程序可以记载于例如计算机可读记录介质上,并通过计算机可读记录介质装载于上述计算设备中,并在其中运行。
基于上述方法实施例和装置实施例的描述,本申请实施例还提供一种电子设备。请参见图7,该电子设备至少包括处理器701、输入设备702、输出设备703以及计算机存储介质704。其中,电子设备内的处理器701、输入设备702、输出设备703以及计算机存储介质704可通过总线或其他方式连接。
计算机存储介质704可以存储在电子设备的存储器中,所述计算机存储介质704用于存储计算机程序,所述计算机程序包括程序指令,所述处理器701用于执行所述计算机存储介质704存储的程序指令。处理器701(或称CPU(Central Processing Unit,中央处理器))是电子设备的计算核心以及控制核心,其适于实现一条或多条指令,具体适于加载并执行一条或多条指令从而实现相应方法流程或相应功能。
在一个实施例中,本申请实施例提供的电子设备的处理器701可以用于进行一系列视频检测处理:
对视频的相邻帧进行目标检测和目标追踪,得到相邻帧中目标对象的检测追踪结果;
根据相邻帧得到目标差分图;
根据检测追踪结果和所述目标差分图,得到目标对象的差分统计量;
根据差分统计量确定所述目标对象的行为状态。
可以看出,在本申请实施例提供的电子设备中,通过对视频的相邻帧进行目标检测和目标追踪,得到相邻帧中目标对象的检测追踪结果;根据相邻帧得到目标差分图;根据检测追踪结果和目标差分图,得到目标对象的差分统计量;根据差分统计量确定目标对象的行为状态。这样在视频检测方案中,只需采集目标检测模型和目标追踪模型的训练数据即可,而目标对象的行为状态(比如是否存在懒岗)的判断采用帧间差分算法实现,无需采集大量场景数据训练属性识别模型,从而降低了对场景数据的依赖,提升了方案的可用性,进而有利于提升视频检测方法对场景的鲁棒性。
再一个实施例中,处理器701执行根据所述相邻帧得到目标差分图,包括:
根据所述相邻帧得到初始差分图;
对所述初始差分图进行噪声过滤,得到所述目标差分图。
再一个实施例中,相邻帧中包括第一视频帧和第二视频帧,第二视频帧为所述第一视频帧的下一帧,处理器701执行根据相邻帧得到初始差分图,包括:
将第一视频帧转换为第一灰度图,以及将第二视频帧转换为第二灰度图;
对第一灰度图和第二灰度图进行差分计算,得到初始差分图。
再一个实施例中,检测追踪结果包括所述目标对象在所述第二视频帧中的检测框的位置信息,处理器701执行根据检测追踪结果和目标差分图,得到目标对象的差分统计量,包括:
根据该位置信息从目标差分图中确定出待检测区域;
获取待检测区域中像素值的平均值,得到差分统计量。
再一个实施例中,行为状态包括懒岗行为,处理器701执行根据差分统计量确定目标对象的行为状态,包括:
若根据连续的至少一组相邻帧得到的目标对象的至少一个差分统计量均小于预设差分统计量阈值,则确定目标对象存在懒岗行为;
其中,至少一组相邻帧与至少一个差分统计量一一对应,至少一组相邻帧包括所述相邻帧,至少一个差分统计量包括所述差分统计量。
再一个实施例中,处理器701执行对初始差分图进行噪声过滤,得到目标差分图,包括:
获取预设噪声过滤阈值;
根据噪声过滤阈值将初始差分图二值化,得到目标差分图。
示例性的,电子设备可包括但不仅限于处理器701、输入设备702、输出设备703以及计算机存储介质704,输入设备702可以是键盘、触摸屏等,输出设备703可以是扬声器、显示器、射频发送器等。本领域技术人员可以理解,所述示意图仅仅是电子设备的示例,并不构成对电子设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件。
需要说明的是,由于电子设备的处理器701执行计算机程序时实现上述的视频检测方法中的步骤,因此上述视频检测方法的实施例均适用于该电子设备,且均能达到相同或相似的有益效果。
本申请实施例还提供了一种计算机存储介质(Memory),所述计算机存储介质是电子设备中的记忆设备,用于存放程序和数据。可以理解的是,此处的计算机存储介质既可以包括终端中的内置存储介质,当然也可以包括终端所支持的扩展存储介质。计算机存储介质提供存储空间,该存储空间存储了终端的操作***。并且,在该存储空间中还存放了适于被处理器701加载并执行的一条或多条的指令,这些指令可以是一个或一个以上的计算机程序(包括程序代码)。需要说明的是,此处的计算机存储介质可以是高速RAM存储器,也可以是非不稳定的存储器(non-volatile memory),例如至少一个磁盘存储器;可选的,还可以是至少一个位于远离前述处理器701的计算机存储介质。在一个实施例中,可由处理器701加载并执行计算机存储介质中存放的一条或多条指令,以实现上述有关视频检测方法的相应步骤。
示例性的,计算机存储介质的计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质等。
需要说明的是,由于计算机存储介质的计算机程序被处理器执行时实现上述的视频检测方法中的步骤,因此上述视频检测方法的所有实施例均适用于该计算机存储介质,且均能达到相同或相似的有益效果。
以上对本申请实施例进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。

Claims (7)

1.一种视频检测方法,其特征在于,所述方法包括:
对视频的相邻帧进行目标检测和目标追踪,得到所述相邻帧中目标对象的检测追踪结果;
根据所述相邻帧得到目标差分图;
根据所述检测追踪结果和所述目标差分图,得到所述目标对象的差分统计量;所述差分统计量为所述目标差分图的待检测区域中像素值的平均值;所述目标差分图是与所述相邻帧中的视频帧大小一致的矩阵;
根据所述差分统计量确定所述目标对象的行为状态;
所述根据所述相邻帧得到目标差分图,包括:
根据所述相邻帧得到初始差分图;
对所述初始差分图进行噪声过滤,得到所述目标差分图;
所述对所述初始差分图进行噪声过滤,得到所述目标差分图,包括:
获取预设灰度阈值;
根据所述灰度阈值将所述初始差分图二值化,得到所述目标差分图;具体包括:将所述初始差分图中值大于或等于所述灰度阈值的值置为1,将所述初始差分图中值小于所述灰度阈值的值置为0;
所述行为状态包括懒岗行为,所述根据所述差分统计量确定所述目标对象的行为状态,包括:
若根据连续的至少一组相邻帧得到的所述目标对象的至少一个差分统计量均小于预设差分统计量阈值,则确定所述目标对象存在懒岗行为。
2.根据权利要求1所述的方法,其特征在于,所述相邻帧中包括第一视频帧和第二视频帧,所述第二视频帧为所述第一视频帧的下一帧,所述根据所述相邻帧得到初始差分图,包括:
将所述第一视频帧转换为第一灰度图,以及将所述第二视频帧转换为第二灰度图;
对所述第一灰度图和所述第二灰度图进行差分计算,得到所述初始差分图。
3.根据权利要求2所述的方法,其特征在于,所述检测追踪结果包括所述目标对象在所述第二视频帧中的检测框的位置信息,所述根据所述检测追踪结果和所述目标差分图,得到所述目标对象的差分统计量,包括:
根据所述位置信息从所述目标差分图中确定出待检测区域;
获取所述待检测区域中像素值的平均值,得到所述差分统计量。
4.根据权利要求1-3任一项所述的方法,其特征在于,
所述至少一组相邻帧与所述至少一个差分统计量一一对应,所述至少一组相邻帧包括所述相邻帧,所述至少一个差分统计量包括所述差分统计量。
5.一种视频检测装置,其特征在于,所述装置包括获取单元和处理单元;
所述获取单元,用于对视频的相邻帧进行目标检测和目标追踪,得到所述相邻帧中目标对象的检测追踪结果;
所述处理单元,用于根据所述相邻帧得到目标差分图;
所述处理单元,还用于根据所述检测追踪结果和所述目标差分图,得到所述目标对象的差分统计量;
所述处理单元,还用于根据所述差分统计量确定所述目标对象的行为状态;
在根据所述相邻帧得到目标差分图方面,所述处理单元具体用于:
根据所述相邻帧得到初始差分图;
对所述初始差分图进行噪声过滤,得到所述目标差分图;所述差分统计量为所述目标差分图的待检测区域中像素值的平均值;所述目标差分图是与所述相邻帧中的视频帧大小一致的矩阵;
在对所述初始差分图进行噪声过滤,得到所述目标差分图方面,所述处理单元具体用于:
获取预设灰度阈值;
根据所述灰度阈值将所述初始差分图二值化,得到所述目标差分图;具体包括:将所述初始差分图中值大于或等于所述灰度阈值的值置为1,将所述初始差分图中值小于所述灰度阈值的值置为0;
所述行为状态包括懒岗行为,在根据所述差分统计量确定所述目标对象的行为状态方面,所述处理单元具体用于:
若根据连续的至少一组相邻帧得到的所述目标对象的至少一个差分统计量均小于预设差分统计量阈值,则确定所述目标对象存在懒岗行为。
6.一种电子设备,包括输入设备和输出设备,其特征在于,还包括:
处理器,适于实现一条或多条指令;以及,
计算机存储介质,所述计算机存储介质存储有一条或多条指令,所述一条或多条指令适于由所述处理器加载并执行如权利要求1-4任一项所述的方法。
7.一种计算机存储介质,其特征在于,所述计算机存储介质存储有一条或多条指令,所述一条或多条指令适于由处理器加载并执行如权利要求1-4任一项所述的方法。
CN202110877986.0A 2021-07-30 2021-07-30 视频检测方法及装置、电子设备和存储介质 Active CN113569770B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110877986.0A CN113569770B (zh) 2021-07-30 2021-07-30 视频检测方法及装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110877986.0A CN113569770B (zh) 2021-07-30 2021-07-30 视频检测方法及装置、电子设备和存储介质

Publications (2)

Publication Number Publication Date
CN113569770A CN113569770A (zh) 2021-10-29
CN113569770B true CN113569770B (zh) 2024-06-11

Family

ID=78169807

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110877986.0A Active CN113569770B (zh) 2021-07-30 2021-07-30 视频检测方法及装置、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN113569770B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105913032A (zh) * 2016-04-15 2016-08-31 天地(常州)自动化股份有限公司 一种矿用皮带工作状态检测方法及***
CN106683121A (zh) * 2016-11-29 2017-05-17 广东工业大学 一种融合检测过程的鲁棒目标追踪方法
WO2018095082A1 (zh) * 2016-11-28 2018-05-31 江苏东大金智信息***有限公司 一种视频监测中运动目标的快速检测方法
CN110309720A (zh) * 2019-05-27 2019-10-08 北京奇艺世纪科技有限公司 视频检测方法、装置、电子设备和计算机可读介质
CN110728700A (zh) * 2019-09-25 2020-01-24 北京佳讯飞鸿电气股份有限公司 一种运动目标追踪方法、装置、计算机设备及存储介质
CN111191576A (zh) * 2019-12-27 2020-05-22 长安大学 人员行为目标检测模型构建方法、智能分析方法及***
CN111275743A (zh) * 2020-01-20 2020-06-12 深圳奇迹智慧网络有限公司 目标追踪方法、装置、计算机可读存储介质和计算机设备
WO2021098657A1 (zh) * 2019-11-18 2021-05-27 中国科学院深圳先进技术研究院 视频检测方法、装置、终端设备及可读存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6421422B2 (ja) * 2014-03-05 2018-11-14 日本電気株式会社 映像解析装置、監視装置、監視システムおよび映像解析方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105913032A (zh) * 2016-04-15 2016-08-31 天地(常州)自动化股份有限公司 一种矿用皮带工作状态检测方法及***
WO2018095082A1 (zh) * 2016-11-28 2018-05-31 江苏东大金智信息***有限公司 一种视频监测中运动目标的快速检测方法
CN106683121A (zh) * 2016-11-29 2017-05-17 广东工业大学 一种融合检测过程的鲁棒目标追踪方法
CN110309720A (zh) * 2019-05-27 2019-10-08 北京奇艺世纪科技有限公司 视频检测方法、装置、电子设备和计算机可读介质
CN110728700A (zh) * 2019-09-25 2020-01-24 北京佳讯飞鸿电气股份有限公司 一种运动目标追踪方法、装置、计算机设备及存储介质
WO2021098657A1 (zh) * 2019-11-18 2021-05-27 中国科学院深圳先进技术研究院 视频检测方法、装置、终端设备及可读存储介质
CN111191576A (zh) * 2019-12-27 2020-05-22 长安大学 人员行为目标检测模型构建方法、智能分析方法及***
CN111275743A (zh) * 2020-01-20 2020-06-12 深圳奇迹智慧网络有限公司 目标追踪方法、装置、计算机可读存储介质和计算机设备

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
A Pornographic Video Detection Method Based on Semi-supervised Learning on Graphs;Wei Yu et al.;《2013 Sixth International Symposium on Computational Intelligence and Design》;20140424;全文 *
一种基于自适应阈值的运动目标检测方法;张淑军;;湖南科技学院学报;20150501(05);全文 *
视频中运动物体检测算法的研究;夏晨洋;顾西存;陈茜;;激光杂志;20150325(03);全文 *

Also Published As

Publication number Publication date
CN113569770A (zh) 2021-10-29

Similar Documents

Publication Publication Date Title
CN113128368B (zh) 一种人物交互关系的检测方法、装置及***
CN109116129B (zh) 终端检测方法、检测设备、***及存储介质
CN108647587B (zh) 人数统计方法、装置、终端及存储介质
CN112381104A (zh) 一种图像识别方法、装置、计算机设备及存储介质
CN111144337A (zh) 火灾检测方法、装置及终端设备
CN107704797B (zh) 基于安防视频中行人和车辆的实时检测方法和***及设备
Wang et al. Hybrid fire detection using hidden Markov model and luminance map
CN112418135A (zh) 人体行为识别方法、装置、计算机设备及可读存储介质
CN111507324A (zh) 卡片边框识别方法、装置、设备和计算机存储介质
CN113011403B (zh) 手势识别方法、***、介质及设备
CN113111782A (zh) 基于显著对象检测的视频监控方法及装置
CN111080665B (zh) 图像边框识别方法、装置、设备和计算机存储介质
CN113627339A (zh) 一种隐私保护的方法、装置及设备
Liu et al. Scene background estimation based on temporal median filter with Gaussian filtering
CN115457466A (zh) 一种基于巡检视频的隐患检测方法、***及电子设备
CN109740527B (zh) 一种视频帧中图像处理方法
CN115131229A (zh) 图像降噪、滤波数据处理方法、装置和计算机设备
CN114119964A (zh) 一种网络训练的方法及装置、目标检测的方法及装置
CN113569770B (zh) 视频检测方法及装置、电子设备和存储介质
CN113569771B (zh) 视频分析方法及装置、电子设备和存储介质
CN112969032A (zh) 光照模式识别方法、装置、计算机设备及存储介质
CN116342940A (zh) 图像审批方法、装置、介质及设备
CN113438286B (zh) 信息推送方法及装置、电子设备和存储介质
CN109033797A (zh) 一种权限设置方法及装置
CN113469138A (zh) 对象检测方法和装置、存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant