CN109815936A - 一种目标对象分析方法及装置、计算机设备和存储介质 - Google Patents

一种目标对象分析方法及装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN109815936A
CN109815936A CN201910130040.0A CN201910130040A CN109815936A CN 109815936 A CN109815936 A CN 109815936A CN 201910130040 A CN201910130040 A CN 201910130040A CN 109815936 A CN109815936 A CN 109815936A
Authority
CN
China
Prior art keywords
video
preset
analyzed
model
target object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910130040.0A
Other languages
English (en)
Other versions
CN109815936B (zh
Inventor
颜佺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Sensetime Technology Co Ltd
Original Assignee
Shenzhen Sensetime Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Sensetime Technology Co Ltd filed Critical Shenzhen Sensetime Technology Co Ltd
Priority to CN201910130040.0A priority Critical patent/CN109815936B/zh
Publication of CN109815936A publication Critical patent/CN109815936A/zh
Application granted granted Critical
Publication of CN109815936B publication Critical patent/CN109815936B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Analysis (AREA)

Abstract

本申请实施例提供一种目标对象分析方法及装置、计算机设备和存储介质,其中,所述方法包括:确定获取的待分析视频的拍摄信息;其中,所述待分析的视频中包含至少一个目标对象的图像;根据所述拍摄信息,确定对所述待分析视频进行处理的预设模型,以确定所述待分析视频中包含的目标对象的总数;其中,所述预设模型为预设的目标检测模型或预设的目标计数模型,采用所述预设的目标检测模型处理的待分析视频的拍摄信息,与采用所述预设的目标计数模型处理的待分析视频的拍摄信息不同。

Description

一种目标对象分析方法及装置、计算机设备和存储介质
技术领域
本申请实施例涉及计算机视觉通信领域,涉及但不限于一种目标对象分析方法及装置、计算机设备和存储介质。
背景技术
人群分析是智能安防的一个热门应用领域,在相关技术基于深度卷积神经网络的人群计数技术,可以检测出视频帧的人群密度和人群前景图,该技术统计视频帧中人群的头肩信息,根据头肩信息输出人群密度图;基于上述的实现原理,该技术很难在不同的视频场景中应用;如视频帧中的人体面积太大,会导致输出的计数结果偏多,场景中背景颜色和目标颜色相似会引起前景图的分割不准,视频帧的场景角度也会影响到最终的输出结果。
发明内容
有鉴于此,本申请实施例提供一种目标对象分析方法及装置、计算机设备和存储介质。
本申请实施例的技术方案是这样实现的:
本申请实施例提供一种目标对象分析方法,所述方法包括:
确定获取的待分析视频的拍摄信息;其中,所述待分析的视频中包含至少一个目标对象的图像;
根据所述拍摄信息,确定对所述待分析视频进行处理的预设模型,以确定所述待分析视频中包含的目标对象的总数;其中,所述预设模型为预设的目标检测模型或预设的目标计数模型,采用所述预设的目标检测模型处理的待分析视频的拍摄信息,与采用所述预设的目标计数模型处理的待分析视频的拍摄信息不同。
在上述方法中,所述待分析视频的拍摄信息,包括:所述待分析视频所属的拍摄场景和/或所述待分析视频的拍摄时段。
在上述方法中,在所述根据所述拍摄信息,确定对所述待分析视频进行处理的预设模型之前,所述方法还包括:
采用所述预设的目标计数模型或预设的目标计数模型为初始化模型;
对应地,根据所述拍摄信息,调整对所述待分析视频进行处理的预设模型。
在上述方法中,所述根据所述拍摄信息,调整对所述待分析视频进行处理的预设模型,包括:
如果所述待分析视频所属的场景包含在预设的场景集合中,和/或所述待分析视频所属的时段在预设时段内,将所述初始化模型调整为所述预设的目标检测模型;
采用所述预设的目标检测模型对所述待分析视频进行处理;
如果所述待分析视频所属的场景不包含在预设的场景集合中,且所述待分析视频所属的时段不在预设时段内,将所述初始化模型调整为所述预设的目标计数模型。
在上述方法中,根据所述拍摄信息,确定对所述待分析视频进行处理的预设模型之前,所述方法还包括:
采用视频解码器对所述待分析视频进行解码,得到连续的多帧图像。
在上述方法中,确定采用所述预设的目标检测模型对所述待分析视频进行处理,以确定所述待分析视频中包含的目标对象的总数,包括:
采用所述预设的目标检测模型对所述多帧图像的每一帧图像进行扫描,得到所述每一目标对象的身体特征;
根据所述每一目标对象的身体特征,生成所述每一目标对象的检测框;
根据所述检测框的个数,确定所述待分析视频中包含的目标对象的总数。
在上述方法中,所述采用所述预设的目标检测模型对所述多帧图像的每一帧图像进行扫描,得到所述每一目标对象的身体特征,包括:
采用预设的目标检测模型按照预设步长扫描所述每一帧图像,确定所述每一帧图像中出现的每一个目标对象的身体特征。
在上述方法中,所述多帧图像包括M帧图像,M为大于等于2的整数,所述根据所述每一目标对象的身体特征,生成所述每一目标对象的检测框,包括:
利用预设的目标检测模型对所述M帧图像的第i帧图像进行扫描,确定所述第i帧图像包含的N个目标对象的身体特征;其中,i和N为大于0的整数,且i小于等于M;
如果所述N个目标对象的第j个目标对象的身体特征,与除所述第i帧图像之外的其他帧图像中目标对象的身体特征不同,生成所述j个目标对象的检测框;其中,j为大于0小于等于N的整数。
在上述方法中,所述确定采用所述预设的目标计数模型对所述待分析视频进行处理,以确定所述待分析视频中包含的目标对象的总数,包括:
利用预设的目标计数模型对所述待分析视频进行处理,得到所述待分析视频的前景分割图和所述待分析视频的对象群密度图;
根据所述前景分割图和所述目标对象群密度图,确定所述待分析视频中包含的目标对象的总数。
在上述方法中,所述利用预设的目标计数模型对所述待分析视频进行处理,得到所述待分析视频的前景分割图和所述待分析视频的对象群密度图,包括:
利用预设的目标计数模型对所述待分析视频的多帧图像中每一帧图像进行边缘检测,确定所述每一帧图像中每一目标对象的头部所覆盖的区域;
对所述每一帧图像中的目标对象和背景进行分割,得到所述每一帧图像的前景分割图;
根据所述每一帧图像中每一目标对象的头部所覆盖的区域,生成用于表征所述每一帧图像中目标对象密度的对象群密度图。
在上述方法中,根据所述检测框的个数,确定所述待分析视频中包含的目标对象的总数,包括:
如果所述待分析视频的第i帧图像中的检测框的个数大于预设数量阈值,将所述预设的目标检测模型切换为所述预设的目标计数模型;
利用所述预设的目标计数模型,对所述待分析视频中未经过所述预设的目标检测模型进行处理的第一剩余视频进行处理,得到所述目标对象的总数。
在上述方法中,所述利用所述预设的目标计数模型,对所述待分析视频中未经过所述预设的目标检测模型进行处理的第一剩余视频进行处理,得到所述目标对象的总数,包括
利用所述预设的目标计数模型,确定所述第一剩余视频的前景分割子图和所述待分析视频的对象群密度子图;
根据所述前景分割子图和所述对象群密度子图,确定所述第一剩余视频中包含的目标对象的第二数量;
将所述第二数量确定为所述目标对象的总数。
在上述方法中,所述根据所述前景分割图和所述目标对象群密度图,确定所述待分析视频中包含的目标对象的总数,包括:
根据所述多帧图像中的第L帧图像的前景分割图和所述第L帧图像中目标对象的对象群密度图,确定所述第L帧图像包含的目标对象的第三数量;其中,L为大于0的整数;
如果所述第三数量小于预设数量阈值,将所述预设的目标计数模型切换为所述预设的目标检测模型;
利用所述预设的目标检测模型,对所述待分析视频中未经过所述预设的目标计数模型进行处理的第二剩余视频进行处理,得到所述目标对象的总数。
在上述方法中,所述利用所述预设的目标检测模型,对所述待分析视频中未经过所述预设的目标计数模型进行处理的第二剩余视频进行处理,得到所述目标对象的总数,包括:
利用所述预设的目标检测模型,确定所述第二剩余视频中每一目标对象的子检测框;
根据所述子检测框的个数,确定所述第二剩余视频中包含的目标对象的第四数量;
将所述第四数量确定为所述目标对象的总数。
在上述方法中,所述方法还包括:
根据所述目标对象的总数所属的数值范围和所述待分析视频中的目标对象个数为所述总数的时长,生成与所述时长和所述数值范围相匹配的告警事件。
本申请实施例提供一种目标对象分析装置,所述装置包括:第一获取模块、和第一确定模块,其中:
所述第一获取模块,用于确定获取的待分析视频的拍摄信息;其中,所述待分析的视频中包含至少一个目标对象的图像;
所述第一确定模块,用于根据所述拍摄信息,确定对所述待分析视频进行处理的预设模型,以确定所述待分析视频中包含的目标对象的总数;其中,所述预设模型为预设的目标检测模型或预设的目标计数模型,采用所述预设的目标检测模型处理的待分析视频的拍摄信息,与采用所述预设的目标计数模型处理的待分析视频的拍摄信息不同。
在上述装置中,所述待分析视频的拍摄信息,包括:所述待分析视频所属的拍摄场景和/或所述待分析视频的拍摄时段。
在上述装置中,所述装置还包括:
第一初始化模块,用于采用所述预设的目标计数模型或预设的目标计数模型为初始化模型;
对应地,所述第一确定模块,包括:第一调整子模块,用于根据所述拍摄信息,调整对所述待分析视频进行处理的预设模型。
在上述装置中,所述第一调整子模块,包括:
第一判断单元,用于如果所述待分析视频所属的场景包含在预设的场景集合中,和/或所述待分析视频所属的时段在预设时段内,将所述初始化模型调整为所述预设的目标检测模型;
第一处理单元,用于采用所述预设的目标检测模型对所述待分析视频进行处理;
第二判断单元,用于如果所述待分析视频所属的场景不包含在预设的场景集合中,且所述待分析视频所属的时段不在预设时段内,将所述初始化模型调整为所述预设的目标计数模型。
在上述装置中,所述装置还包括:
第一解码模块,用于采用视频解码器对所述待分析视频进行解码,得到连续的多帧图像。
在上述装置中,当确定采用所述预设的目标检测模型对所述待分析视频进行处理时,所述第一确定模块,包括:
第一扫描子模块,用于采用所述预设的目标检测模型对所述多帧图像的每一帧图像进行扫描,得到所述每一目标对象的身体特征;
第一生成子模块,用于根据所述每一目标对象的身体特征,生成所述每一目标对象的检测框;
第一确定子模块,用于根据所述检测框的个数,确定所述待分析视频中包含的目标对象的总数。
在上述装置中,所述第一扫描子模块,包括:
第一扫描单元,用于采用预设的目标检测模型按照预设步长扫描所述每一帧图像,确定所述每一帧图像中出现的每一个目标对象的身体特征。
在上述装置中,所述多帧图像包括M帧图像,M为大于等于2的整数,所述第一生成子模块,包括:
第二扫描单元,用于利用预设的目标检测模型对所述M帧图像的第i帧图像进行扫描,确定所述第i帧图像包含的N个目标对象的身体特征;其中,i和N为大于0的整数,且i小于等于M;
第一生成单元,用于如果所述N个目标对象的第j个目标对象的身体特征,与除所述第i帧图像之外的其他帧图像中目标对象的身体特征不同,生成所述j个目标对象的检测框;其中,j为大于0小于等于N的整数。
在上述装置中,当确定采用所述预设的目标计数模型对所述待分析视频进行处理时,所述第一确定模块,包括:
第二判断子模块,用于利用预设的目标计数模型对所述待分析视频进行处理,得到所述待分析视频的前景分割图和所述待分析视频的对象群密度图;
第二确定子模块,用于根据所述前景分割图和所述目标对象群密度图,确定所述待分析视频中包含的目标对象的总数。
在上述装置中,所述第二判断子模块,包括:
第一检测单元,用于利用预设的目标计数模型对所述待分析视频的多帧图像中每一帧图像进行边缘检测,确定所述每一帧图像中每一目标对象的头部所覆盖的区域;
第一分割单元,用于对所述每一帧图像中的目标对象和背景进行分割,得到所述每一帧图像的前景分割图;
第二生成单元,用于根据所述每一帧图像中每一目标对象的头部所覆盖的区域,生成用于表征所述每一帧图像中目标对象密度的对象群密度图。
在上述装置中,第一确定子模块,包括:
第一切换单元,用于如果所述待分析视频的第i帧图像中的检测框的个数大于预设数量阈值,将所述预设的目标检测模型切换为所述预设的目标计数模型;
第二处理单元,用于利用所述预设的目标计数模型,对所述待分析视频中未经过所述预设的目标检测模型进行处理的第一剩余视频进行处理,得到所述目标对象的总数。
在上述装置中,所述第二处理单元,包括
第一确定子单元,用于利用所述预设的目标计数模型,确定所述第一剩余视频的前景分割子图和所述待分析视频的对象群密度子图;
第二确定子单元,用于根据所述前景分割子图和所述对象群密度子图,确定所述第一剩余视频中包含的目标对象的第二数量;
第三确定子单元,用于将所述第二数量确定为所述目标对象的总数。
在上述装置中,所述第二确定子模块,包括:
第一确定单元,用于根据所述多帧图像中的第L帧图像的前景分割图和所述第L帧图像中目标对象的对象群密度图,确定所述第L帧图像包含的目标对象的第三数量;其中,L为大于0的整数;
第二切换单元,用于如果所述第三数量小于预设数量阈值,将所述预设的目标计数模型切换为所述预设的目标检测模型;
第二处理单元,用于利用所述预设的目标检测模型,对所述待分析视频中未经过所述预设的目标计数模型进行处理的第二剩余视频进行处理,得到所述目标对象的总数。
在上述装置中,所述第二处理单元,包括:
第四确定子单元,用于利用所述预设的目标检测模型,确定所述第二剩余视频中每一目标对象的子检测框;
第五确定子单元,用于根据所述子检测框的个数,确定所述第二剩余视频中包含的目标对象的第四数量;
第六确定子单元,用于将所述第四数量确定为所述目标对象的总数。
在上述装置中,所述装置还包括:
第一告警模块,用于根据所述目标对象的总数所属的数值范围和所述待分析视频中的目标对象个数为所述总数的时长,生成与所述时长和所述数值范围相匹配的告警事件。
对应地,本申请实施例提供一种计算机存储介质,所述计算机存储介质上存储有计算机可执行指令,该计算机可执行指令被执行后,能够实现本申请实施例提供的目标对象分析方法中的步骤。
本申请实施例提供一种计算机设备,所述计算机设备包括存储器和处理器,所述存储器上存储有计算机可执行指令,所述处理器运行所述存储器上的计算机可执行指令时可实现本申请实施例提供的目标对象分析方法中的步骤。
本申请实施例提供一种目标对象分析方法及装置、计算机设备和存储介质,其中,首先确定获取的待分析视频的拍摄信息;其中,所述待分析的视频中包含至少一个目标对象的图像;然后,根据所述拍摄信息,确定对所述待分析视频进行处理的预设模型,以确定所述待分析视频中包含的目标对象的总数;从而,实现了在不同条件下,能够通过不同的模型预设模型,进行确定待分析视频中目标对象的总数,保证了对于目标对象较少的图像中,更加准确的确定目标对象的总数。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,这些附图示出了符合本公开的实施例,并与说明书一起用于说明本公开的技术方案。
图1A为本申请实施例网络架构的组成结构示意图;
图1B为本申请实施例目标对象分析方法的实现流程示意图;
图2A为本申请实施例目标对象分析方法的实现流程示意图;
图2B为本申请实施例目标对象分析方法的另一实现流程示意图;
图2C为本申请实施例目标对象分析方法的又一实现流程示意图;
图2D为本申请实施例目标对象分析方法的另一实现流程示意图;
图2E为本申请实施例目标对象分析方法的再一实现流程示意图;
图3为本申请实施例目标对象分析方法的实现流程示意图;
图4为本申请实施例目标对象分析装置的组成结构示意图;
图5为本申请实施例计算机设备的组成结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对发明的具体技术方案做进一步详细描述。以下实施例用于说明本申请,但不用来限制本申请的范围。
本实施例先提供一种网络架构,图1A为本申请实施例网络架构的组成结构示意图,如图1A所示,该网络架构包括两个或多个计算机设备11至1N和服务器30,其中计算机设备11至1N与服务器31之间通过网络21进行交互。计算机设备在实现的过程中可以为各种类型的具有信息处理能力的计算机设备,例如所述计算机设备可以包括手机、平板电脑、台式机、个人数字助理等。
本实施例提出一种目标对象分析方法,能够在人数较少的视频中,采用目标检测模型进行人体检测,在人数较多时,采用目标计数模型进行确定待处理视频中目标对象的个数,从而保证了对于人少的视频中,更加准确的确定人数,该方法应用于计算机设备,该方法所实现的功能可以通过计算机设备中的处理器调用程序代码来实现,当然程序代码可以保存在计算机存储介质中,可见,该计算机设备至少包括处理器和存储介质。
图1B为本申请实施例目标对象分析方法的实现流程示意图,如图1B所示,所述方法包括以下步骤:
步骤S101,确定获取的待分析视频的拍摄信息。
这里,所述待分析的视频中包含至少一个目标对象的图像,比如,地铁场景下包含很多人像的视频,放羊场景中包含羊群的视频等。所述步骤S101可以是由计算机设备实现的,进一步地,所述计算机设备可以是智能终端,例如可以是移动电话(比如,手机)、平板电脑、笔记本电脑等具有无线通信能力的移动终端设备,还可以是台式计算机等不便移动的智能终端设备。所述计算机设备用于进行图像识别或处理。
步骤S102,根据所述拍摄信息,确定对所述待分析视频进行处理的预设模型,以确定所述待分析视频中包含的目标对象的总数。
这里,所述待分析视频的拍摄信息,包括:所述待分析视频所属的拍摄场景和/或所述待分析视频的拍摄时段;所述预设模型为预设的目标检测模型或预设的目标计数模型,采用所述预设的目标检测模型处理的待分析视频的拍摄信息,与采用所述预设的目标计数模型处理的待分析视频的拍摄信息不同。所述预设的目标检测模型可以是采用任何一种目标检测的方式对神经网络进行训练得到的模型。比如,通过按照一定的像素间隔,遍历样本图像,获取样本图像中的头部特征(也可以是脸部、头发或者身体等),确定样本图像中每一个人的检测框;将这个检测框与已知的样本图像中的人的检测框进行比较,从而完成对该预设的目标检测模型的训练。所述步骤S102可以理解为,根据待分析视频所属的拍摄场景的不同和/或所述待分析视频的拍摄时段的不同,采用不同的预设模型对待分析视频中包含的目标对象的个数进行统计,比如,如果所述待分析视频所属的场景包含在预设的场景集合中,和/或所述待分析视频所属的时段在预设时段内(即满足预设条件的视频),将初始化模型调整为所述预设的目标检测模型;如果所述待分析视频所属的场景不包含在预设的场景集合中,且所述待分析视频所属的时段不在预设时段内(即不满足预设条件的视频),将初始化模型调整为预设的目标计数模型,如果初始化模型本身就是预设的目标计数模型,那么继续采用所述预设的目标计数模型对所述待分析视频进行处理。
在实际实现过程中,目标对象的总数在所述计算机设备中输出;所述目标对象的总数可以是在自身显示屏上输出目标对象的总数,还可以是所述计算机设备将所述目标对象的总数输出至其他设备,也就是发送给其他设备,例如所述其他设备可以是用户的智能终端上。
在本申请实施例中,通过对于输入的待分析视频的拍摄信息进行分析,判断拍摄信息是否满足特定的场景,如果满足,那么就采用目标检测模型的方式,确定视频中有多少目标对象,这样保证了对于目标对象较少的图像中,更加准确的确定目标对象的总数,从而在非高峰时段人群稀疏情况下采用目标检测模型,可以更高效率的利用硬件资源。
本实施例再提供一种目标对象分析方法,图2A为本申请实施例目标对象分析方法的实现流程示意图,如图2A所示,所述方法包括以下步骤:
步骤S201,采用所述预设的目标计数模型或预设的目标计数模型为初始化模型。
这里,所述步骤S201可以理解为,获取到待分析视频之后,将待分析视频中目标对象个数的进行确定的初始化模型为预设的目标计数模型,即获取到待分析视频之后,默认的模型为预设的目标计数模型,然后确定待拍摄视频的拍摄信息,基于该拍摄信息决定是否要将预设的目标计数模型切换为预设的目标检测模型。
步骤S202,确定获取的待分析视频的拍摄信息。
这里,在步骤S202之后,开始对拍摄信息进行判断,如果所述待分析视频所属的场景包含在预设的场景集合中,且所述待分析视频所属的时段在预设时段内,进入步骤S203;如果所述待分析视频所属的场景没有包含在预设的场景集合中,或者所述待分析视频所属的时段不在预设时段内,确定所述拍摄信息不满足预设条件,进入步骤S205。
步骤S203,如果所述待分析视频所属的场景包含在预设的场景集合中,和/或所述待分析视频所属的时段在预设时段内,将所述初始化模型调整调整为所述预设的目标检测模型。
这里,对拍摄信息中包含的待分析视频所属的场景和待分析视频所属的时段进行判断,如果待分析视频所属的场景包含在预设的场景集合中,和/或待分析视频所属的时段在预设时段内,则确定该拍摄信息满足预设条件,将作为初始化模型的预设的目标计数模型调整为预设的目标检测模型。所述预设的场景集合可以包括:地铁场景、超市场景、校园场景等;所述满足预设条件的视频可以理解为,包含人数较少视频。比如,确定晚上十点之后的地铁场景下拍摄的视频未满足预设条件的视频,显然这个场景下的视频中包含的人数较少,切换为目标检测模型对人体进行检测,更加准确的确定视频中的人数。确定早高峰时段的地铁场景下拍摄的视频为不满足预设条件的视频,显然这一时段人数众多,在本实施例中采用预设的目标计数模型对目标对象进行统计;这样对于人数较少的视频中采用目标检测模型,对于人数较多的视频中采用预设的目标计数模型,使统计到的人数更加准确。待分析视频中一个目标对象的图像对应着一个检测框。比如,目标对象是人,对于该视频中的每一个人均生成一个检测框,通过统计检测框的个数,即可确定该视频中的人数。
步骤S204,采用所述预设的目标检测模型对所述待分析视频进行处理。
步骤S205,如果所述待分析视频所属的场景不包含在预设的场景集合中,且所述待分析视频所属的时段不在预设时段内,将所述初始化模型调整为所述预设的目标计数模型。
这里,所述待分析视频所属的场景不包含在预设的场景集合中,且待分析视频所属的时段不在预设时段内,说明该视频内目标对象较多。比如,如果场景是地铁场景,那么预设时段就是高峰时段,早上七点的地铁场景,即如果待分析视频是早上七点的地铁场景下的视频,那么确定该视频的拍摄信息不满足预设条件。如果场景是酒吧,那么预设时段为夜里十一点到凌晨四点,即如果待分析视频是夜里十一点到凌晨四点的酒吧场景下的视频,说明该视频中人数较多,那么确定该视频的拍摄信息不满足预设条件。步骤S205,如果所述待分析视频所属的场景不包含在预设的场景集合中,且所述待分析视频所属的时段不在预设时段内,说明该视频中目标对象较多,继续采用初始化模型(即预设的目标计数模型)对目标对象进行计数。
在本实施例中,通过对于输入的待分析视频的拍摄信息进行分析,判断拍摄信息是否满足特定的场景,如果满足,那么就将默认的预设模型切换为预设的目标检测模型的方式,以确定视频中有多少目标对象,从而实现了在不同条件下,能够通过不同的模型预设模型,进行确定待分析视频中目标对象的总数,保证了对于目标对象较少的图像中,更加准确的确定目标对象的总数。
本实施例再提供一种目标对象分析方法,图2B为本申请实施例目标对象分析方法的另一实现流程示意图,如图2B所示,所述方法包括以下步骤:
步骤S221,确定获取的待分析视频的拍摄信息。
步骤S222,采用视频解码器对所述待分析视频进行解码,得到连续的多帧图像。
这里,所述多帧图像包括M帧图像,M为大于等于2的整数。
上述步骤S222提供了一种对待分析视频进行解码的方式,当获取到待分析视频之后,首先对待分析视频进行解码,以得到连续的多帧图像,然后判断拍摄信息是否满足预设条件,从而采用相应的预设模型对每一帧图像进行处理。
步骤S223,如果所述待分析视频所属的场景包含在预设的场景集合中,和/或所述待分析视频所属的时段在预设时段内,将所述初始化模型调整为所述预设的目标检测模型。
步骤S224,采用所述预设的目标检测模型对所述多帧图像的每一帧图像进行扫描,得到所述每一目标对象的身体特征。
这里,利用预设的目标检测模型按照预设步长扫描所述每一帧图像,确定所述每一帧图像中出现的每一个目标对象的身体特征;也就是说,当确定视频的拍摄信息满足预设条件之后,将所述预设的目标计数模型切换为所述预设的目标检测模型,然后采用该预设的目标检测模型,按照一定的步长,对多帧图像的每一帧图像进行扫描,以扫描得到每一目标对象的身体特征(比如,按照一定的像素间隔对每一帧图像进行遍历,以确定每一目标对象的身体特征)。
步骤S225,根据所述每一目标对象的身体特征,生成所述每一目标对象的检测框。
这里,所述步骤S225可以通过以下过程实现:
第一步,利用预设的目标检测模型对所述M帧图像的第i帧图像进行扫描,确定所述第i帧图像包含的N个目标对象的身体特征。
这里,i和N为大于0的整数,且i小于等于M。
第二步,如果所述N个目标对象的第j个目标对象的身体特征,与除所述第i帧图像之外的其他帧图像中目标对象的身体特征不同,生成所述j个目标对象的检测框。
这里,j为大于0小于等于N的整数。如果一帧图像中的N个目标对象中的某一个目标对象的身体特征,与其他帧中的目标对象的身体特征均不同,说明该目标对象在其他帧中没有出现,即该目标对象在其他帧中没有生成相应的检测框,这样在该帧中对该目标对象生成检测框,能够保证在该视频中每一目标对象对应一个检测框,不会出现一个目标对象对应多个检测框的情况,从而保证了基于检测框的个数确定目标对象总数的准确度。
步骤S226,根据所述检测框的个数,确定所述待分析视频中包含的目标对象的总数。
上述步骤S223至步骤S226给出了一个对待分析视频进行解码之后,实现“如果所述待分析视频所属的场景包含在预设的场景集合中,和/或所述待分析视频所属的时段在预设时段内,将所述初始化模型调整为所述预设的目标检测模型”的方式,在该方式中,通过对解码得到的多帧图像逐帧进行检测,得到每一目标对象对应的检测框,从而确定待分析视频中目标对象的总数。
在本实施例中,在场景人很少的情况下将初始化的预设模型即预设的目标计数模型切换为目标检测模型对视频中的人数进行确定,在这种情况下使用目标检测模型将是一种更好的选择,而且能有效的弥补目标计数模型在人群稀疏,目标较大等视频场景中计数不准的短板,还能降低目标分析的能耗。
本实施例再提供一种目标对象分析方法,图2C为本申请实施例目标对象分析方法的又一实现流程示意图,如图2C所示,所述方法包括以下步骤:
步骤S231,确定获取的待分析视频的拍摄信息。
步骤S232,采用视频解码器对所述待分析视频进行解码,得到连续的多帧图像。
步骤S233,如果所述待分析视频所属的场景不包含在预设的场景集合中,且所述待分析视频所属的时段不在预设时段内,利用预设的目标计数模型对所述待分析视频进行处理,得到所述待分析视频的前景分割图和所述待分析视频的对象群密度图。
这里,所述步骤S233可以通过以下过程实现:
首先,采用视频解码器对所述待分析视频进行解码,得到连续的多帧图像;其次,利用预设的目标计数模型对所述多帧图像中每一帧图像进行边缘检测,确定所述每一帧图像中每一目标对象的头部所覆盖的区域;比如,目标对象是人,确定每一帧图像中每一人像的头部占据的像素区域;再次,对所述每一帧图像中的目标对象和背景进行分割,得到所述每一帧图像的前景分割图;最后,根据所述每一帧图像中每一目标对象的头部所覆盖的区域,生成用于表征所述每一帧图像中目标对象密度的对象群密度图。
步骤S234,根据所述前景分割图和所述目标对象群密度图,确定所述待分析视频中包含的目标对象的总数。
这里,如果待分析图像中的目标对象为人群,那么所述步骤S224可以是根据已知的每个人头位置,再估计该位置所在人头的大小,这样可以得到该人头的覆盖区域,将该区域转化为该区域内可能为人头的概率,该区域概率和为1,即可得到一张人群密度图;得到人群密度图后,对该密度图进行积分(求和)就可以得到人群数目。显然在本实施例中,还可以通过其他方式确定密度图,以及其他方式基于密度图确定目标对象总数;比如,确定每一个人的人头所占据的像素区域,基于该像素区域确定密度图,从而得到人群总数。
在本实施例中,通过判断待分析视频的场景信息是否满足预设条件,以初步确定该视频是否为目标对象稀疏的视频,如果是,则采用预设的目标检测模型;如果不是,则采用预设的目标计数模型,如在地铁场景下,早晚高峰人群密度高,数量大,可使用目标计数模型,在非高峰时段人群稀疏则切换到目标检测模型,这样可以更高效率的利用硬件资源。
本实施例再提供一种目标对象分析方法,图2D为本申请实施例目标对象分析方法的另一实现流程示意图,如图2D所示,所述方法包括以下步骤:
步骤S241,确定获取的待分析视频的拍摄信息。
步骤S242,如果所述待分析视频所属的场景包含在预设的场景集合中,和/或所述待分析视频所属的时段在预设时段内,利用预设的目标检测模型对所述M帧图像的第i帧图像进行扫描,确定所述第i帧图像包含的N个目标对象的身体特征。
这里,所述身体特征可以是目标对象的身体的特征点,比如,面部特征点、上身特征点和下身特征点,通过这些特征点即可确定目标对象的检测框。i和N为大于0的整数,且i小于等于M。步骤S232可以理解为,对于待分析视频逐帧进行扫描,以确定每一目标对象的身体特征。
步骤S243,如果所述N个目标对象的第j个目标对象的身体特征,与除所述第i帧图像之外的其他帧图像中目标对象的身体特征不同,生成所述j个目标对象的检测框。
这里,j为大于0小于等于N的整数。
上述步骤S242和步骤S243给出了一种实现“如果所述待分析视频所属的场景包含在预设的场景集合中,和/或所述待分析视频所属的时段在预设时段内,将预设目标计数模型切换为预设的目标检测模型对所述待分析视频进行处理,得到所述待分析视频中每一目标对象的检测框”的方式,在该方式中,通过逐帧扫描解析后的视频,获取每一目标对象的身体特征,从而生成目标对象的检测框。
步骤S244,如果所述第i帧图像中的检测框的个数大于预设数量阈值,将所述预设的目标检测模型切换为所述预设的目标计数模型。
这里,首先,根据所述第i帧图像中的检测框的个数,确定所述第i帧图像中包含的目标对象的第一数量;然后,如果所述第一数量大于预设数量阈值,将所述预设的目标检测模型切换为所述预设的目标计数模型。所述步骤S234可以理解为,如果所述待分析视频所属的场景包含在预设的场景集合中,和/或所述待分析视频所属的时段在预设时段内,将预设目标计数模型切换为预设的目标检测模型对该视频进行检测,当检测到第i帧图像中的检测框个数较多时,直接切换到预设的目标计数模型对剩余的多帧图像中的目标对象的个数进行统计。比如,虽然视频是夜间十点多的地铁场景,但是由于当天是节假日,地铁的客流量仍然很大,这时虽然拍摄信息满足预设条件,自动采用预设的目标检测模型对该视频进行检测,但是一旦检测到人数较多即切换为适合用于人数较多场景的预设的目标计数模型。
步骤S245,利用所述预设的目标计数模型,对所述待分析视频中未经过所述预设的目标检测模型进行处理的第一剩余视频进行处理,得到所述目标对象的总数。
这里,当预设的目标检测模型检测到人数较多时,切换为预设的目标计数模型;利用预设的目标计数模型对剩余的视频进行处理,首先,确定所述第一剩余视频的前景分割子图和所述待分析视频的对象群密度子图;然后,根据所述前景分割子图和所述对象群密度子图,确定所述第一剩余视频中包含的目标对象的第二数量;最后,将所述第二数量确定为所述目标对象的总数;如此,根据每一帧图像中的目标对象的个数及时的切换进行目标对象个数进行统计的模型,从而能更加准确,灵活和高效的完成对目标对象群进行分析的任务,从而解决了在实际的安防场景中人群的数量和密度是实时变化的,不同场景不同时刻的人流可能很大,有些场景视角可能还会发生变化(如高速球摄像头拍摄的视频),使用单一分析技术可能很难满足实际的分析需求的问题。
在本实施例中,如果预设的目标检测模型检测到某一帧图像中目标对象数量较大,则自动切换为目标计数模型对剩余的多帧图像中的目标对象进行统计,并将最终目标计数模型统计到的目标对象的个数作为该待分析视频的目标对象的总数;从而能更加准确,灵活和高效的实现人群分析。
在其他实施例中,当确定目标对象的总数之后,所述方法还包括以下告警过程:
根据所述目标对象的总数所属的数值范围和所述待分析视频中的目标对象个数为所述总数的时长,生成与所述时长和所述数值范围相匹配的告警事件。
这里,该告警过程可以理解为,如果待分析视频的场景是机场的场景,目标对象的总数为几十万人,且这些人持续待在机场达到数小时,那么可以确定该机场人数过密,且有滞留人口,然后,生成人数过密事件的告警信息和滞留人口事件的告警信息,以提示机场工作人员进行人口疏散。
在本实施例中,针对目标对象的总数的数值范围和标对象个数为该总数的时长,生成相应的告警事件,以提示用户正对该告警事件做出相应的处理,从而能够有效的处理人口过密或者人口滞留等事件。
本实施例再提供一种目标对象分析方法,图2E为本申请实施例目标对象分析方法的再一实现流程示意图,如图2E所示,所述方法包括以下步骤:
步骤S251,确定获取的待分析视频的拍摄信息。
步骤S252,如果所述待分析视频所属的场景不包含在预设的场景集合中,且所述待分析视频所属的时段不在预设时段内,继续利用预设的目标计数模型对多帧图像中每一帧图像进行边缘检测,确定所述每一帧图像中每一目标对象的头部所覆盖的区域。
这里,在步骤S252之前,先采用视频解码器对所述待分析视频进行解码,得到连续的多帧图像;在步骤S252中,对于该多帧图像中的每一帧进行边缘检测,以确定每一目标对象的头部占据的像素区域。
步骤S253,对所述每一帧图像中的目标对象和背景进行分割,得到所述每一帧图像的前景分割图。
这里,得到每一帧图像的前景分割图,从而可以突出目标对象,以便于后面对目标对象的统计。
步骤S254,根据所述每一帧图像中每一目标对象的头部所覆盖的区域,生成用于表征所述每一帧图像中目标对象密度的对象群密度图。
步骤S255,根据所述多帧图像中的第L帧图像的前景分割图和所述第L帧图像中目标对象的对象群密度图,确定所述第L帧图像包含的目标对象的第三数量。
这里,L为大于0的整数;所述步骤S255,可以理解为,确定多帧图像中第L帧图像中目标对象包含的数量,即第三数量。
步骤S256,如果所述第三数量小于预设数量阈值,将所述预设的目标计数模型切换为所述预设的目标检测模型。
这里,所述步骤S256可以理解为,如果视频的拍摄信息不满足预设条件,采用预设的目标计数模型对该视频中的目标对象进行计数,当检测到第L帧图像中的目标对象较少时,直接切换到预设的目标检测模型对剩余的多帧图像进行检测,以确定其中的目标对象的个数。比如,虽然视频是早上八点多的地铁场景,但是由于当天是地铁停运,地铁的客流量很小,这时虽然拍摄信息不满足预设条件,自动采用预设的目标计数模型对该视频进行分析,但是一旦分析到人数较少,即切换为适合用于人数较少场景的预设的目标检测模型。
步骤S257,利用所述预设的目标检测模型,对所述待分析视频中未经过所述预设的目标计数模型进行处理的第二剩余视频进行处理,得到所述目标对象的总数。
这里,首先,利用所述预设的目标检测模型,确定所述第二剩余视频中每一目标对象的子检测框;然后,根据所述子检测框的个数,确定所述第二剩余视频中包含的目标对象的第四数量;最后,将所述第四数量确定为所述目标对象的总数。
在本实施例中,如果预设的目标计数模型分析到某一帧图像中目标对象数量较小,则自动切换为目标检测模型对剩余的多帧图像中的目标对象进行统计,并将最终目标检测模型统计到的目标对象的个数作为该待分析视频的目标对象的总数;从而能有效的弥补人群计数技术在人群稀疏,人体目标较大等视频场景中计数不准的短板,还能降低人群分析技术的能耗。
在相关技术中,通过深度学习等手段可以计算出视频帧中的人群密度和人群前景图,人群密度和人群前景图可以分析出一块监控区域的人数和人群滞等信息,这些信息可以指导控制监控区域的人流量,协助分流高密度人群,在车站,广场,商场等公共场所的治安中具有较大的应用价值。但是如果视频帧中的人体面积太大,采用这一方式,会导致输出的计数结果偏多,场景中背景颜色和目标颜色相似会引起前景图的分割不准,视频帧的场景角度也会影响到最终的输出结果。
针对上述提到的现有的人群计数技术无法满足多场景多时刻灵活高效准确的完成人群分析任务的问题,本申请实施例提供一种目标对象分析方法,针对同一场景下的不同时刻,采用一种更高效更节能的分析方式,如在场景人很少的情况下使用目标检测模型代替目标计数模型,因为相关技术中采用的目标计数模型都比较消耗硬件资源;在这种情况下使用目标检测模型将是一种更好的补充,基于深度卷积神经网络的目标检测模型在安防监控场景中已广泛应用,在监控场景下能取得较好的检测效果,能有效的弥补人群计数技术在人群稀疏,人体目标较大等视频场景中计数不准的短板,还能降低人群分析技术的能耗。
本申请实施例提供的目标对象分析方法融合了目标计数模型和目标检测模型,在不同的场景下,可自动或者手动切换模型,如在地铁或者广场等高人流量高密度的场景可切换至目标计数模型,在室内或者目标较大的场景下切换到人体引擎,这类场景目标较大,目标之间遮挡较少,单体检测效果较好,得到的人数和密度也更加精确;又或者在同一场景的不同时刻,根据场景内人群的数量切换分析模型,如在地铁场景下,早晚高峰人群密度高,数量大,可使用目标计数模型,在非高峰时段人群稀疏则切换到人体检测,这样可以更高效率的利用硬件资源。
图3为本申请实施例目标对象分析方法的实现流程示意图,如图3所示,所述方法包括以下步骤:
步骤S301,根据获取待分析视频的初始化参数,确定该视频需要采用的用于人群分析的模型引擎。
这里,所述模式引擎用于表明采用哪种模型对该视频中的人群进行分析,可以是指模型的标识;比如,目标检测模型的引擎为“1”;目标计数模型的引擎为“0”;初始化参数即为该视频的拍摄信息。比如,获取该视频对应的场景和该视频对应的时段。所述步骤S301可以理解为是引擎初始化主要是创建好人群分析需要用到的模型,并加载相应的深度学习模型(即目标检测模型和目标计数模型),这里需要同时加载目标检测模型和目标计数模型,并指定引擎的初始工作模式,如已知场景内人流量大,人群密集,可指定为目标计数模型;若是场景内人群数量少,单体目标较大则设置使用目标检测模型,这里需要在分析前先获取场景内人数这一先验信息;引擎初始化时还需要读取分析区域,事件阈值,人数阈值,视频场景的头脚标注信息等参数,所有用到的参数均从配置文件中读取,方便灵活调整引擎的初始化参数。
步骤S302,对该视频进行解码,得到连续的多帧图像。
这里,所述步骤S302可以理解为,通过视频解码器,将离线视频或网络摄像头的视频流数据解码为连续的视频帧数据,我们可以将连续的多帧图像按时序表示为F0,F1,F2,···,Ft
步骤S303,将多帧图像依次输入步骤S301中的模型引擎指示的模型中。
这里,如果模型引擎为“1”,即表示模型引擎指示的模型为目标检测模型,进入步骤S304;如果模型引擎为“0”,即标识模型引擎指示的模型为目标计数模型,进入步骤S305。这里的多帧图像输入哪一个模型中因引擎不同输出的结果有所差异,如果初始化时指定目标检测模型,分析过程主要就包括目标的检测,跟踪和人体结构化信息的提取等模块,检测框数量可直接换算成人群数量,跟踪模块可以输出多张时间连续的视频帧上同一个人体的跟踪标识和跟踪框,人体的属性信息可以提取也可不提取,根据具体的业务要求确定。如果初始化时指定的是目标计数模型,则分析过程主要包括人群的密度检测和前景图分割图,这两个模型可以由同一个深度卷积神经网络完成。
步骤S304,采用预设的目标检测模型,对输入的多帧图像的每一帧进行检测,得到每一个人的检测框。
这里,所述步骤S304可以理解为是,采用任何一种人像检测方式,确定每一视频中的人像,比如,检测每一帧视频中的人脸或者检测每一帧视频中的人的人体区域等,以生成每一个人的检测框。步骤S304之后,进入步骤S306。如过设置按人数阈值切换模型,则在步骤S304完成后,对比当前的人群人数和人数阈值,按照低于人数阈值仍然使用目标检测模型,高于人数阈值使用目标计数模型的原则进行切换,切换的依据是低于某个人数阈值说明场景中人数较少,在人数较少的情况使用目标检测模型更为准确;如果设置了按时间段切换策略,则在高峰人群时间段使用目标计数模型(比如,地铁站的早高峰和晚高峰),非高峰时段则使用目标检测模型;这样可以结合实际的场景灵活设置策略,在分析效果和能耗之间取得一个比较好的平衡。
步骤S305,采用预设的目标计数模型,对输入的多帧视频的每一帧进行检测,得到该视频的前景分割图和对象密度图。
这里,前景分割图用于突出该视频中的人群与背景,对象密度图用于表明该视频中人群的密度。
步骤S306,确定当前帧图像中包含的人像的个数。
这里,如果采用的目标检测模型,则是根据检测框的个数,确定当前帧图像中包含的人的个数;如果采用的是目标计数模型,则是根据该帧视频的前景分割图和对象密度图,确定该帧图像中包含的人像的个数。
步骤S307,如果采用的目标检测模型确定的当前帧视频中包含的人像的个数大于预设的数量阈值,将目标检测模型切换为目标计数模型。
这里,如果采用的目标计数模型确定的当前帧图像中包含的人像的个数小于预设的数量阈值,将目标计数模型切换为目标检测模型;从而保证视频中包含的人数较少时,采用目标检测模型进行检测视频中的人像,使得到的人数更加准确。
步骤S308,将采用预设的目标计数模型对待分析视频中未经过所述预设的目标检测模型进行处理的第一剩余视频进行处理,得到所述目标对象的总数。
步骤S309,如果所述总数所属的数值范围和所述视频中的人的个数为所述最终人数的时长,生成与所述时长和所述数值范围相匹配的告警事件,并输出该告警事件。
这里,比如,视频所属的场景为某一地铁口的场景,视频中的最终人数为几万人,而且在一个小时之内该视频中的人数均为几万人,那么说明该地铁口中人数过密,生成过密事件告警,而且由于这些人长时间滞留在地铁口,生成滞留事件告警;并输出这个告警事件,以提示相关人员针对这一情况做引流工作等。
步骤S310,分析该视频是否解码完成。
这里,如果解码完成,则进入步骤S311;如果解码未完成,则进入步骤S302。
步骤S311,如果解码完成,则结束目标对象分析。
在本实施例中,通过分析视频的拍摄场景,确定该视频需要采用的模型,从而解决了不同场景下单一人群分析计数存在的精度不足的问题,结合人体检测技术能完成更多类别场景的人群分析任务,充分发挥两者的技术优势。
本申请实施例提供一种目标对象分析装置,图4为本申请实施例目标对象分析装置的组成结构示意图,如图4所示,所述装置400包括:第一获取模块401和第一确定模块402,其中:
所述第一获取模块401,用于确定获取的待分析视频的拍摄信息;其中,所述待分析的视频中包含至少一个目标对象的图像;
所述第一确定模块402,用于根据所述拍摄信息,确定对所述待分析视频进行处理的预设模型,以确定所述待分析视频中包含的目标对象的总数;其中,所述预设模型为预设的目标检测模型或预设的目标计数模型,采用所述预设的目标检测模型处理的待分析视频的拍摄信息,与采用所述预设的目标计数模型处理的待分析视频的拍摄信息不同。
在上述装置中,所述待分析视频的拍摄信息,包括:所述待分析视频所属的拍摄场景和/或所述待分析视频的拍摄时段。
在上述装置中,所述装置还包括:
第一初始化模块,用于采用所述预设的目标计数模型或预设的目标计数模型为初始化模型;
对应地,所述第一确定模块,包括:第一调整子模块,用于根据所述拍摄信息,调整对所述待分析视频进行处理的预设模型。
在上述装置中,所述第一调整子模块,包括:
第一判断单元,用于如果所述待分析视频所属的场景包含在预设的场景集合中,和/或所述待分析视频所属的时段在预设时段内,将所述初始化模型调整为所述预设的目标检测模型;
第一处理单元,用于采用所述预设的目标检测模型对所述待分析视频进行处理;
第二判断单元,用于如果所述待分析视频所属的场景不包含在预设的场景集合中,且所述待分析视频所属的时段不在预设时段内,将所述初始化模型调整为所述预设的目标计数模型。
在上述装置中,所述装置还包括:
第一解码模块,用于采用视频解码器对所述待分析视频进行解码,得到连续的多帧图像。
在上述装置中,当确定采用所述预设的目标检测模型对所述待分析视频进行处理时,所述第一确定模块,包括:
第一扫描子模块,用于采用所述预设的目标检测模型对所述多帧图像的每一帧图像进行扫描,得到所述每一目标对象的身体特征;
第一生成子模块,用于根据所述每一目标对象的身体特征,生成所述每一目标对象的检测框;
第一确定子模块,用于根据所述检测框的个数,确定所述待分析视频中包含的目标对象的总数。
在上述装置中,所述第一扫描子模块,包括:
第一扫描单元,用于采用预设的目标检测模型按照预设步长扫描所述每一帧图像,确定所述每一帧图像中出现的每一个目标对象的身体特征。
在上述装置中,所述多帧图像包括M帧图像,M为大于等于2的整数,所述第一生成子模块,包括:
第二扫描单元,用于利用预设的目标检测模型对所述M帧图像的第i帧图像进行扫描,确定所述第i帧图像包含的N个目标对象的身体特征;其中,i和N为大于0的整数,且i小于等于M;
第一生成单元,用于如果所述N个目标对象的第j个目标对象的身体特征,与除所述第i帧图像之外的其他帧图像中目标对象的身体特征不同,生成所述j个目标对象的检测框;其中,j为大于0小于等于N的整数。
在上述装置中,当确定采用所述预设的目标计数模型对所述待分析视频进行处理时,所述第一确定模块,包括:
第二判断子模块,用于利用预设的目标计数模型对所述待分析视频进行处理,得到所述待分析视频的前景分割图和所述待分析视频的对象群密度图;
第二确定子模块,用于根据所述前景分割图和所述目标对象群密度图,确定所述待分析视频中包含的目标对象的总数。
在上述装置中,所述第二判断子模块,包括:
第一检测单元,用于利用预设的目标计数模型对所述待分析视频的多帧图像中每一帧图像进行边缘检测,确定所述每一帧图像中每一目标对象的头部所覆盖的区域;
第一分割单元,用于对所述每一帧图像中的目标对象和背景进行分割,得到所述每一帧图像的前景分割图;
第二生成单元,用于根据所述每一帧图像中每一目标对象的头部所覆盖的区域,生成用于表征所述每一帧图像中目标对象密度的对象群密度图。
在上述装置中,第一确定子模块,包括:
第一切换单元,用于如果所述待分析视频的第i帧图像中的检测框的个数大于预设数量阈值,将所述预设的目标检测模型切换为所述预设的目标计数模型;
第二处理单元,用于利用所述预设的目标计数模型,对所述待分析视频中未经过所述预设的目标检测模型进行处理的第一剩余视频进行处理,得到所述目标对象的总数。
在上述装置中,所述第二处理单元,包括
第一确定子单元,用于利用所述预设的目标计数模型,确定所述第一剩余视频的前景分割子图和所述待分析视频的对象群密度子图;
第二确定子单元,用于根据所述前景分割子图和所述对象群密度子图,确定所述第一剩余视频中包含的目标对象的第二数量;
第三确定子单元,用于将所述第二数量确定为所述目标对象的总数。
在上述装置中,所述第二确定子模块,包括:
第一确定单元,用于根据所述多帧图像中的第L帧图像的前景分割图和所述第L帧图像中目标对象的对象群密度图,确定所述第L帧图像包含的目标对象的第三数量;其中,L为大于0的整数;
第二切换单元,用于如果所述第三数量小于预设数量阈值,将所述预设的目标计数模型切换为所述预设的目标检测模型;
第二处理单元,用于利用所述预设的目标检测模型,对所述待分析视频中未经过所述预设的目标计数模型进行处理的第二剩余视频进行处理,得到所述目标对象的总数。
在上述装置中,所述第二处理单元,包括:
第四确定子单元,用于利用所述预设的目标检测模型,确定所述第二剩余视频中每一目标对象的子检测框;
第五确定子单元,用于根据所述子检测框的个数,确定所述第二剩余视频中包含的目标对象的第四数量;
第六确定子单元,用于将所述第四数量确定为所述目标对象的总数。
在上述装置中,所述装置还包括:
第一告警模块,用于根据所述目标对象的总数所属的数值范围和所述待分析视频中的目标对象个数为所述总数的时长,生成与所述时长和所述数值范围相匹配的告警事件
需要说明的是,以上装置实施例的描述,与上述方法实施例的描述是类似的,具有同方法实施例相似的有益效果。对于本申请装置实施例中未披露的技术细节,请参照本申请方法实施例的描述而理解。
需要说明的是,本申请实施例中,如果以软件功能模块的形式实现上述的目标对象分析方法,并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台即时通讯设备(可以是终端、服务器等)执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read Only Memory,ROM)、磁碟或者光盘等各种可以存储程序代码的介质。这样,本申请实施例不限制于任何特定的硬件和软件结合。
相应地,本申请实施例提供一种计算机存储介质,所述计算机存储介质上存储有计算机可执行指令,该计算机可执行指令被执行后,能够实现本申请实施例提供的目标对象分析方法中的步骤。
本申请实施例提供一种计算机设备,所述计算机设备包括存储器和处理器,所述存储器上存储有计算机可执行指令,所述处理器运行所述存储器上的计算机可执行指令时可实现本申请实施例提供的目标对象分析方法中的步骤。
以上即时计算机设备和存储介质实施例的描述,与上述方法实施例的描述是类似的,具有同方法实施例相似的有益效果。对于本申请即时通讯设备和存储介质实施例中未披露的技术细节,请参照本申请方法实施例的描述而理解。
图5为本申请实施例计算机设备的组成结构示意图,如图5所示,该计算机设备500的硬件实体包括:处理器501、通信接口502和存储器503,其中
处理器501通常控制计算机设备500的总体操作。
通信接口502可以使计算机设备通过网络与其他终端或服务器通信。
存储器503配置为存储由处理器501可执行的指令和应用,还可以缓存待处理器501以及计算机设备500中各模块待处理或已经处理的数据(例如,图像数据、音频数据、语音通信数据和视频通信数据),可以通过闪存(FLASH)或随机访问存储器(Random AccessMemory,RAM)实现。
应理解,说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此,在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外,这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解,在本申请的各种实施例中,上述各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
在本申请所提供的几个实施例中,应该理解到,所揭露的设备和方法,可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,如:多个单元或组件可以结合,或可以集成到另一个***,或一些特征可以忽略,或不执行。另外,所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口,设备或单元的间接耦合或通信连接,可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的,作为单元显示的部件可以是、或也可以不是物理单元;既可以位于一个地方,也可以分布到多个网络单元上;可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外,在本申请各实施例中的各功能单元可以全部集成在一个处理单元中,也可以是各单元分别单独作为一个单元,也可以两个或两个以上单元集成在一个单元中;上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:移动存储设备、只读存储器(Read Only Memory,ROM)、磁碟或者光盘等各种可以存储程序代码的介质。
或者,本申请上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机或服务器等)执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括:移动存储设备、ROM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种目标对象分析方法,其特征在于,所述方法包括:
确定获取的待分析视频的拍摄信息;其中,所述待分析的视频中包含至少一个目标对象的图像;
根据所述拍摄信息,确定对所述待分析视频进行处理的预设模型,以确定所述待分析视频中包含的目标对象的总数;其中,所述预设模型为预设的目标检测模型或预设的目标计数模型,采用所述预设的目标检测模型处理的待分析视频的拍摄信息,与采用所述预设的目标计数模型处理的待分析视频的拍摄信息不同。
2.根据权利要求1所述的方法,其特征在于,所述待分析视频的拍摄信息,包括:所述待分析视频所属的拍摄场景和/或所述待分析视频的拍摄时段。
3.根据权利要求1或2所述的方法,其特征在于,在所述根据所述拍摄信息,确定对所述待分析视频进行处理的预设模型之前,所述方法还包括:
采用所述预设的目标计数模型或预设的目标计数模型为初始化模型;
对应地,根据所述拍摄信息,调整对所述待分析视频进行处理的预设模型。
4.根据权利要求3所述的方法,其特征在于,所述根据所述拍摄信息,调整对所述待分析视频进行处理的预设模型,包括:
如果所述待分析视频所属的场景包含在预设的场景集合中,和/或所述待分析视频所属的时段在预设时段内,将所述初始化模型调整为所述预设的目标检测模型;
采用所述预设的目标检测模型对所述待分析视频进行处理;
如果所述待分析视频所属的场景不包含在预设的场景集合中,且所述待分析视频所属的时段不在预设时段内,将所述初始化模型调整为所述预设的目标计数模型。
5.根据权利要求1至4任一项所述的方法,其特征在于,在根据所述拍摄信息,确定对所述待分析视频进行处理的预设模型之前,所述方法还包括:
采用视频解码器对所述待分析视频进行解码,得到连续的多帧图像。
6.根据权利要求1至5任一项所述的方法,其特征在于,确定采用所述预设的目标检测模型对所述待分析视频进行处理,以确定所述待分析视频中包含的目标对象的总数,包括:
采用所述预设的目标检测模型对所述多帧图像的每一帧图像进行扫描,得到所述每一目标对象的身体特征;
根据所述每一目标对象的身体特征,生成所述每一目标对象的检测框;
根据所述检测框的个数,确定所述待分析视频中包含的目标对象的总数。
7.根据权利要求6所述的方法,其特征在于,所述采用所述预设的目标检测模型对所述多帧图像的每一帧图像进行扫描,得到所述每一目标对象的身体特征,包括:
采用预设的目标检测模型按照预设步长扫描所述每一帧图像,确定所述每一帧图像中出现的每一个目标对象的身体特征。
8.一种目标对象分析装置,其特征在于,所述装置包括:第一获取模块、和第一确定模块,其中:
所述第一获取模块,用于确定获取的待分析视频的拍摄信息;其中,所述待分析的视频中包含至少一个目标对象的图像;
所述第一确定模块,用于根据所述拍摄信息,确定对所述待分析视频进行处理的预设模型,以确定所述待分析视频中包含的目标对象的总数;其中,所述预设模型为预设的目标检测模型或预设的目标计数模型,采用所述预设的目标检测模型处理的待分析视频的拍摄信息,与采用所述预设的目标计数模型处理的待分析视频的拍摄信息不同。
9.一种计算机存储介质,其特征在于,所述计算机存储介质上存储有计算机可执行指令,该计算机可执行指令被执行后,能够实现权利要求1至7任一项所述的方法步骤。
10.一种计算机设备,其特征在于,所述计算机设备包括存储器和处理器,所述存储器上存储有计算机可执行指令,所述处理器运行所述存储器上的计算机可执行指令时可实现权利要求1至7任一项所述的方法步骤。
CN201910130040.0A 2019-02-21 2019-02-21 一种目标对象分析方法及装置、计算机设备和存储介质 Active CN109815936B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910130040.0A CN109815936B (zh) 2019-02-21 2019-02-21 一种目标对象分析方法及装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910130040.0A CN109815936B (zh) 2019-02-21 2019-02-21 一种目标对象分析方法及装置、计算机设备和存储介质

Publications (2)

Publication Number Publication Date
CN109815936A true CN109815936A (zh) 2019-05-28
CN109815936B CN109815936B (zh) 2023-08-22

Family

ID=66607122

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910130040.0A Active CN109815936B (zh) 2019-02-21 2019-02-21 一种目标对象分析方法及装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN109815936B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110838134A (zh) * 2019-10-10 2020-02-25 北京海益同展信息科技有限公司 目标对象的统计方法、装置、计算机设备和存储介质
CN111383455A (zh) * 2020-03-11 2020-07-07 上海眼控科技股份有限公司 交通路口对象流量统计方法、装置、计算机设备和介质
CN111445500A (zh) * 2020-04-02 2020-07-24 中国科学院深圳先进技术研究院 实验活体行为的分析方法、装置、设备和存储介质
CN111582242A (zh) * 2020-06-05 2020-08-25 上海商汤智能科技有限公司 滞留检测方法、装置、电子设备和存储介质
CN111851341A (zh) * 2020-06-29 2020-10-30 广东荣文科技集团有限公司 拥堵预警方法、智能指示牌及相关产品
CN111338669B (zh) * 2020-02-17 2023-10-24 深圳英飞拓仁用信息有限公司 智能分析盒子中智能功能的更新方法及装置

Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5953055A (en) * 1996-08-08 1999-09-14 Ncr Corporation System and method for detecting and analyzing a queue
US20060227862A1 (en) * 2005-04-06 2006-10-12 March Networks Corporation Method and system for counting moving objects in a digital video stream
US20100046842A1 (en) * 2008-08-19 2010-02-25 Conwell William Y Methods and Systems for Content Processing
CN103839308A (zh) * 2012-11-26 2014-06-04 中兴通讯股份有限公司 人数获取方法、装置及***
CN105160313A (zh) * 2014-09-15 2015-12-16 中国科学院重庆绿色智能技术研究院 视频监控中人群行为分析的方法及装置
CN105205900A (zh) * 2015-10-23 2015-12-30 华录智达科技有限公司 基于视频识别的动态自适应公交客流统计装置
CN105302315A (zh) * 2015-11-20 2016-02-03 小米科技有限责任公司 图片处理方法及装置
CN105787853A (zh) * 2016-04-14 2016-07-20 北京中电万联科技股份有限公司 一种公共区域拥挤、***件应急预警***
CN105809178A (zh) * 2014-12-31 2016-07-27 中国科学院深圳先进技术研究院 一种基于人脸属性的人群分析方法及装置
CN107491715A (zh) * 2016-06-13 2017-12-19 北京文安智能技术股份有限公司 一种基于视频分析的地铁车厢客流统计方法、装置及***
CN107624189A (zh) * 2015-05-18 2018-01-23 北京市商汤科技开发有限公司 用于生成预测模型的方法和设备
CN108009477A (zh) * 2017-11-10 2018-05-08 东软集团股份有限公司 图像的人流数量检测方法、装置、存储介质及电子设备
CN108280427A (zh) * 2018-01-24 2018-07-13 成都鼎智汇科技有限公司 一种基于人流量的大数据处理方法
CN108881821A (zh) * 2018-05-28 2018-11-23 西南交通大学 一种利用地铁站风力自供电的地铁车厢拥挤程度显示***及其方法
CN108985256A (zh) * 2018-08-01 2018-12-11 曜科智能科技(上海)有限公司 基于场景密度分布的多神经网络人数统计方法、***、介质、终端
CN109034036A (zh) * 2018-07-19 2018-12-18 青岛伴星智能科技有限公司 一种视频分析方法、教学质量评估方法及***、计算机可读存储介质
CN109063667A (zh) * 2018-08-14 2018-12-21 视云融聚(广州)科技有限公司 一种基于场景的视频识别方式优化及推送方法
CN109241871A (zh) * 2018-08-16 2019-01-18 北京此时此地信息科技有限公司 一种基于视频数据的公共区域人流跟踪方法

Patent Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5953055A (en) * 1996-08-08 1999-09-14 Ncr Corporation System and method for detecting and analyzing a queue
US20060227862A1 (en) * 2005-04-06 2006-10-12 March Networks Corporation Method and system for counting moving objects in a digital video stream
US20100046842A1 (en) * 2008-08-19 2010-02-25 Conwell William Y Methods and Systems for Content Processing
CN103839308A (zh) * 2012-11-26 2014-06-04 中兴通讯股份有限公司 人数获取方法、装置及***
CN105160313A (zh) * 2014-09-15 2015-12-16 中国科学院重庆绿色智能技术研究院 视频监控中人群行为分析的方法及装置
CN105809178A (zh) * 2014-12-31 2016-07-27 中国科学院深圳先进技术研究院 一种基于人脸属性的人群分析方法及装置
CN107624189A (zh) * 2015-05-18 2018-01-23 北京市商汤科技开发有限公司 用于生成预测模型的方法和设备
CN105205900A (zh) * 2015-10-23 2015-12-30 华录智达科技有限公司 基于视频识别的动态自适应公交客流统计装置
CN105302315A (zh) * 2015-11-20 2016-02-03 小米科技有限责任公司 图片处理方法及装置
CN105787853A (zh) * 2016-04-14 2016-07-20 北京中电万联科技股份有限公司 一种公共区域拥挤、***件应急预警***
CN107491715A (zh) * 2016-06-13 2017-12-19 北京文安智能技术股份有限公司 一种基于视频分析的地铁车厢客流统计方法、装置及***
CN108009477A (zh) * 2017-11-10 2018-05-08 东软集团股份有限公司 图像的人流数量检测方法、装置、存储介质及电子设备
CN108280427A (zh) * 2018-01-24 2018-07-13 成都鼎智汇科技有限公司 一种基于人流量的大数据处理方法
CN108881821A (zh) * 2018-05-28 2018-11-23 西南交通大学 一种利用地铁站风力自供电的地铁车厢拥挤程度显示***及其方法
CN109034036A (zh) * 2018-07-19 2018-12-18 青岛伴星智能科技有限公司 一种视频分析方法、教学质量评估方法及***、计算机可读存储介质
CN108985256A (zh) * 2018-08-01 2018-12-11 曜科智能科技(上海)有限公司 基于场景密度分布的多神经网络人数统计方法、***、介质、终端
CN109063667A (zh) * 2018-08-14 2018-12-21 视云融聚(广州)科技有限公司 一种基于场景的视频识别方式优化及推送方法
CN109241871A (zh) * 2018-08-16 2019-01-18 北京此时此地信息科技有限公司 一种基于视频数据的公共区域人流跟踪方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110838134A (zh) * 2019-10-10 2020-02-25 北京海益同展信息科技有限公司 目标对象的统计方法、装置、计算机设备和存储介质
CN110838134B (zh) * 2019-10-10 2020-09-29 北京海益同展信息科技有限公司 目标对象的统计方法、装置、计算机设备和存储介质
CN111338669B (zh) * 2020-02-17 2023-10-24 深圳英飞拓仁用信息有限公司 智能分析盒子中智能功能的更新方法及装置
CN111383455A (zh) * 2020-03-11 2020-07-07 上海眼控科技股份有限公司 交通路口对象流量统计方法、装置、计算机设备和介质
CN111445500A (zh) * 2020-04-02 2020-07-24 中国科学院深圳先进技术研究院 实验活体行为的分析方法、装置、设备和存储介质
CN111445500B (zh) * 2020-04-02 2023-06-27 中国科学院深圳先进技术研究院 实验活体行为的分析方法、装置、设备和存储介质
CN111582242A (zh) * 2020-06-05 2020-08-25 上海商汤智能科技有限公司 滞留检测方法、装置、电子设备和存储介质
CN111582242B (zh) * 2020-06-05 2024-03-26 上海商汤智能科技有限公司 滞留检测方法、装置、电子设备和存储介质
CN111851341A (zh) * 2020-06-29 2020-10-30 广东荣文科技集团有限公司 拥堵预警方法、智能指示牌及相关产品

Also Published As

Publication number Publication date
CN109815936B (zh) 2023-08-22

Similar Documents

Publication Publication Date Title
CN109815936A (zh) 一种目标对象分析方法及装置、计算机设备和存储介质
Hossain et al. Crowd counting using scale-aware attention networks
CN106960195B (zh) 一种基于深度学习的人群计数方法及装置
CN107566781B (zh) 视频监控方法和视频监控设备
CN109508671B (zh) 一种基于弱监督学习的视频异常事件检测***及其方法
CN110210276A (zh) 一种移动轨迹获取方法及其设备、存储介质、终端
US20230289979A1 (en) A method for video moving object detection based on relative statistical characteristics of image pixels
CN109151501A (zh) 一种视频关键帧提取方法、装置、终端设备及存储介质
CN104867161B (zh) 一种视频处理方法及装置
CN108288027A (zh) 一种图像质量的检测方法、装置及设备
CN109447169A (zh) 图像处理方法及其模型的训练方法、装置和电子***
CN108765394A (zh) 基于质量评价的目标识别方法
WO2019114145A1 (zh) 监控视频中人数检测方法及装置
CN109492577A (zh) 一种手势识别方法、装置及电子设备
CN113159200B (zh) 对象分析方法、装置及存储介质
CN109195011A (zh) 一种视频处理方法、装置、设备及存储介质
CN109740527B (zh) 一种视频帧中图像处理方法
CN103049748A (zh) 行为监测方法及装置
CN102194270A (zh) 基于启发信息的行人流量统计方法
CN113920585A (zh) 行为识别方法及装置、设备和存储介质
CN113450369A (zh) 一种基于人脸识别技术的课堂分析***及方法
CN109784291A (zh) 基于多尺度的卷积特征的行人检测方法
CN112487920B (zh) 一种基于卷积神经网络的翻越行为识别方法
CN109727218B (zh) 一种完整图形提取方法
CN113158720A (zh) 一种基于双模特征和注意力机制的视频摘要方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant