CN112738387B - 目标抓拍方法、装置及存储介质 - Google Patents
目标抓拍方法、装置及存储介质 Download PDFInfo
- Publication number
- CN112738387B CN112738387B CN201910975245.9A CN201910975245A CN112738387B CN 112738387 B CN112738387 B CN 112738387B CN 201910975245 A CN201910975245 A CN 201910975245A CN 112738387 B CN112738387 B CN 112738387B
- Authority
- CN
- China
- Prior art keywords
- target
- snapshot
- parameter
- snap
- shot
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 230000015654 memory Effects 0.000 claims description 5
- 238000012544 monitoring process Methods 0.000 abstract description 30
- 238000010586 diagram Methods 0.000 description 10
- 238000001514 detection method Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种目标抓拍方法、装置及存储介质,属于安防监控领域。所述方法包括:对视频中的视频帧依次进行目标识别,以确定识别到的每个视频帧中包括的目标;每当识别到一个视频帧时,确定该视频帧中包括的至少一个目标中待抓拍的抓拍目标的距离参数;基于该至少一个目标的位置信息,确定所述抓拍目标的被遮挡参数;当基于抓拍目标的距离参数和被遮挡参数,确定抓拍目标符合被抓拍条件时,对抓拍目标进行抓拍。本申请能够保证在抓拍目标距抓拍摄像机的距离较仅且被遮挡较低时进行抓拍,从而提高了抓拍得到的抓拍目标的图像质量,避免了因对不清晰的抓拍目标进行频繁抓拍导致的资源消耗。
Description
技术领域
本申请涉及安防监控领域,特别涉及一种目标抓拍方法、装置及存储介质。
背景技术
目前,在安防监控领域,不仅需要通过安防监控设备对监控场景进行拍摄,以获取监控场景的监控视频,而且,在某些时候,当监控场景中出现特定目标时,还需要对特定目标进行抓拍,以获得较为清晰的特定目标的抓拍图像。比如,在智能交通场景中,需要对违章车辆进行抓拍,以通过抓拍图像准确识别违章车辆的车牌号等信息。
相关技术中,提供了一种违停抓拍方法,包括:检测拍摄装置获得的多个监控场景中是否存在违停目标,获取存在违停目标的监控场景,作为目标监控场景,按照预设抓拍顺序和时间间隔对目标监控场景内的违章目标进行多次抓拍,得到违章目标的多张抓拍图像。也即是,当监控场景中存在待抓拍的抓拍目标时,按照预设抓拍顺序和时间间隔,对监控场景中的抓拍目标进行抓拍。
但是,按照预设抓拍顺序和时间间隔对抓拍目标进行抓拍的过程中,抓拍目标可能会被其他目标遮挡,或者抓拍目标距摄像机的距离可能会较远,如此,可能会导致抓拍得到的抓拍目标的图像质量较低,以及因对不清晰的抓拍目标进行频繁抓拍导致的资源消耗。
发明内容
本申请实施例提供了一种目标抓拍方法、装置及存储介质,可以用于解决相关技术中存在的抓拍目标的图像质量较低,以及资源消耗较大的问题。所述技术方案如下:
一方面,提供了一种目标抓拍方法,所述方法包括:
对视频中的视频帧依次进行目标识别,以确定识别到的每个视频帧中包括的目标;
每当识别到一个视频帧时,确定所述视频帧中包括的至少一个目标中待抓拍的抓拍目标的距离参数,所述距离参数用于指示所述抓拍目标距拍摄所述视频的第一摄像机的距离;
基于所述至少一个目标的位置信息,确定所述抓拍目标的被遮挡参数,所述被遮挡参数用于指示所述抓拍目标被其他目标遮挡的比例;
当基于所述抓拍目标的距离参数和被遮挡参数,确定所述抓拍目标符合被抓拍条件时,对所述抓拍目标进行抓拍。
可选地,所述确定所述视频帧中包括的至少一个目标中待抓拍的抓拍目标的距离参数,包括:
确定所述视频帧中的所述抓拍目标的面积;
基于所述抓拍目标的面积和所述第一摄像机的摄像参数,确定所述抓拍目标的距离参数。
可选地,所述基于所述抓拍目标的面积和所述第一摄像机的摄像参数,确定所述抓拍目标的距离参数,包括:
基于所述抓拍目标的面积和所述第一摄像机的摄像参数,通过以下公式,确定所述抓拍目标的距离参数:
其中,d为所述抓拍目标的距离参数,S为所述抓拍目标的面积,k为所述摄像参数。
可选地,所述基于所述至少一个目标的位置信息,确定所述抓拍目标的被遮挡参数,包括:
基于所述至少一个目标的位置信息,确定所述至少一个目标中的每个非抓拍目标遮挡所述抓拍目标的面积与所述抓拍目标的面积之间的比例,得到每个非抓拍目标遮挡所述抓拍目标的遮挡比例,非抓拍目标是指所述至少一个目标中除所述抓拍目标之外的目标;
将每个非抓拍目标遮挡所述抓拍目标的遮挡比例之和与所述非抓拍目标中对所述抓拍目标有遮挡的目标的数量之间的比值,确定为所述抓拍目标的被遮挡参数。
可选地,所述在确定所述抓拍目标的被遮挡参数之后,还包括:
基于所述抓拍目标的距离参数和被遮挡参数,确定所述抓拍目标的目标质量参数;
若所述抓拍目标的目标质量参数大于或等于参考目标质量参数,则确定所述抓拍目标符合被抓拍条件。
可选地,所述基于所述抓拍目标的距离参数和被遮挡参数,确定所述抓拍目标的目标质量参数,包括:
基于所述抓拍目标的距离参数和被遮挡参数,以及参考系数,确定所述抓拍目标的目标质量参数;或者,
基于所述抓拍目标的距离参数和被遮挡参数,以及参考系数和所述抓拍目标的目标分类参数,确定所述抓拍目标的目标质量参数。
可选地,所述基于所述抓拍目标的距离参数和被遮挡参数,以及参考系数,确定所述抓拍目标的目标质量参数,包括:
基于所述抓拍目标的距离参数和被遮挡参数,以及参考系数,通过以下公式确定所述抓拍目标的目标质量参数:
score(A)=m/[d(A)*W(A)]
其中,A为所述抓拍目标,score(A)为所述抓拍目标的目标质量参数,m为参考系数,d(A)为所述抓拍目标的距离参数,W(A)为所述抓拍目标的被遮挡参数。
可选地,所述基于所述抓拍目标的距离参数和被遮挡参数,以及参考系数和所述抓拍目标的目标分类参数,确定所述抓拍目标的目标质量参数,包括:
基于所述抓拍目标的距离参数和被遮挡参数,以及参考系数和所述抓拍目标的目标分类参数,通过以下公式确定所述抓拍目标的目标质量参数:
score(A)=m*cls(A)/[d(A)*W(A)]
其中,A为所述抓拍目标,score(A)为所述抓拍目标的目标质量参数,m为参考系数,cls(A)为所述抓拍目标的目标分类参数,d(A)为所述抓拍目标的距离参数,W(A)为所述抓拍目标的被遮挡参数。
可选地,所述参考目标质量参数为目标质量参数阈值,所述抓拍目标的历史最大目标质量参数,或者所述目标质量参数阈值和所述历史最大目标质量参数中的最大目标质量参数。
可选地,所述对所述抓拍目标进行抓拍,包括:
将所述视频帧或者所述视频帧中包括所述抓拍目标的局部区域,确定为所述抓拍目标的抓拍图像;或者,
调用所述第一摄像机或者第二摄像机,对所述第一摄像机拍摄场景中的所述抓拍目标进行抓拍,得到所述抓拍目标的抓拍图像,所述第二摄像机是指除所述第一摄像机之外的摄像机。
一方面,提供了一种目标抓拍装置,所述装置包括:
目标识别模块,用于对视频中的视频帧依次进行目标识别,以确定识别到的每个视频帧中包括的目标;
第一确定模块,用于每当识别到一个视频帧时,确定所述视频帧中包括的至少一个目标中待抓拍的抓拍目标的距离参数,所述距离参数用于指示所述抓拍目标距拍摄所述视频的第一摄像机的距离;
第二确定模块,用于基于所述至少一个目标的位置信息,确定所述抓拍目标的被遮挡参数,所述被遮挡参数用于指示所述抓拍目标被其他目标遮挡的比例;
抓拍模块,用于当基于所述抓拍目标的距离参数和被遮挡参数,确定所述抓拍目标符合被抓拍条件时,对所述抓拍目标进行抓拍。
可选地,所述第一确定模块包括:
第一确定单元,用于确定所述视频帧中的所述抓拍目标的面积;
第二确定单元,用于基于所述抓拍目标的面积和所述第一摄像机的摄像参数,确定所述抓拍目标的距离参数。
可选地,所述第二确定单元用于:
基于所述抓拍目标的面积和所述第一摄像机的摄像参数,通过以下公式,确定所述抓拍目标的距离参数:
其中,d为所述抓拍目标的距离参数,S为所述抓拍目标的面积,k为所述摄像参数。
可选地,所述第二确定模块用于:
基于所述至少一个目标的位置信息,确定所述至少一个目标中的每个非抓拍目标遮挡所述抓拍目标的面积与所述抓拍目标的面积之间的比例,得到每个非抓拍目标遮挡所述抓拍目标的遮挡比例,非抓拍目标是指所述至少一个目标中除所述抓拍目标之外的目标;
将每个非抓拍目标遮挡所述抓拍目标的遮挡比例之和与所述非抓拍目标中对所述抓拍目标有遮挡的目标的数量之间的比值,确定为所述抓拍目标的被遮挡参数。
可选地,所述装置还包括:
第三确定模块,用于基于所述抓拍目标的距离参数和被遮挡参数,确定所述抓拍目标的目标质量参数;
第四确定模块,用于若所述抓拍目标的目标质量参数大于或等于参考目标质量参数,则确定所述抓拍目标符合被抓拍条件。
可选地,所述第三确定模块包括:
第三确定单元,用于基于所述抓拍目标的距离参数和被遮挡参数,以及参考系数,确定所述抓拍目标的目标质量参数;或者,
第四确定单元,用于基于所述抓拍目标的距离参数和被遮挡参数,以及参考系数和所述抓拍目标的目标分类参数,确定所述抓拍目标的目标质量参数。
可选地,所述第三确定单元用于:
基于所述抓拍目标的距离参数和被遮挡参数,以及参考系数,通过以下公式确定所述抓拍目标的目标质量参数:
score(A)=m/[d(A)*W(A)]
其中,A为所述抓拍目标,score(A)为所述抓拍目标的目标质量参数,m为参考系数,d(A)为所述抓拍目标的距离参数,W(A)为所述抓拍目标的被遮挡参数。
可选地,所述第四确定单元用于:
基于所述抓拍目标的距离参数和被遮挡参数,以及参考系数和所述抓拍目标的目标分类参数,通过以下公式确定所述抓拍目标的目标质量参数:
score(A)=m*cls(A)/[d(A)*W(A)]
其中,A为所述抓拍目标,score(A)为所述抓拍目标的目标质量参数,m为参考系数,cls(A)为所述抓拍目标的目标分类参数,d(A)为所述抓拍目标的距离参数,W(A)为所述抓拍目标的被遮挡参数。
可选地,所述参考目标质量参数为目标质量参数阈值,所述抓拍目标的历史最大目标质量参数,或者所述目标质量参数阈值和所述历史最大目标质量参数中的最大目标质量参数。
可选地,所述抓拍模块用于:
将所述视频帧或者所述视频帧中包括所述抓拍目标的局部区域,确定为所述抓拍目标的抓拍图像;或者,
调用所述第一摄像机或者第二摄像机,对所述第一摄像机拍摄场景中的所述抓拍目标进行抓拍,得到所述抓拍目标的抓拍图像,所述第二摄像机是指除所述第一摄像机之外的摄像机。
一方面,提供了一种目标抓拍装置,所述装置包括:
一个或多个处理器;
用于存储所述一个或多个处理器可执行指令的一个或多个存储器;
其中,所述一个或多个处理器被配置为执行上述任一种目标抓拍方法。
一方面,提供了一种非临时性计算机可读存储介质,当所述存储介质中的指令由计算机的处理器执行时,使得计算机能够执行上述任一种目标抓拍方法。
本申请实施例提供的技术方案带来的有益效果是:
本申请实施例中,可以对视频中的视频帧依次进行目标识别,每当识别到一个视频帧时,可以基于视频帧中包括的至少一个目标的位置信息,确定视频帧中待抓拍的抓拍目标的距离参数和被遮挡参数,当基于抓拍目标的距离参数和被遮挡参数,确定抓拍目标符合被抓拍条件时,再对抓拍目标进行抓拍。也即是,本申请能够基于视频中的抓拍目标距抓拍摄像机的距离远近,以及被其他目标的遮挡率,来对抓拍目标进行抓拍,如此,能够保证在抓拍目标距抓拍摄像机的距离较仅且被遮挡较低时进行抓拍,从而提高了抓拍得到的抓拍目标的图像质量,避免了因对不清晰的抓拍目标进行频繁抓拍导致的资源消耗。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种目标抓拍***的示意图;
图2是本申请实施例提供的一种目标抓拍装置的示意图;
图3是本申请实施例提供的一种抓拍方法的流程图;
图4是本申请实施例提供的一个视频帧的示意图;
图5是本申请实施例提供的一种目标抓拍装置的结构框图;
图6是本申请实施例提供的一种目标抓拍装置的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。
在对本申请实施例进行详细地解释说明之前,先对本申请实施例的应用场景予以说明。
本申请实施例提供的目标抓拍方法应用于对待抓拍目标进行准确抓拍的场景中,具体可以应用于智能交通领域、安防监控领域或罪犯抓捕领域等。而且,可以对视频的某个视频帧中的目标进行抓拍,也可以对视频的拍摄场景中的目标进行抓拍。所述待抓拍目标包括但不限于人、车辆或违禁品等。
例如,在智能交通领域中,可以从监控视频中违章车辆,并在监控视频中的违章车辆满足抓拍条件时,对监控场景中的违章车辆进行抓拍。再例如,在罪犯抓捕领域中,可以在从监控视频中识别出罪犯,并在监控视频中的罪犯满足抓拍条件时,对监控场景中的罪犯进行抓拍。
接下来,对本申请实施例涉及的实施环境进行介绍。
图1是本申请实施例提供的一种目标抓拍***的示意图,如图1所示,该目标抓拍***包括第一摄像机10、控制端20和第二摄像机30。第一摄像机10、控制端20和第二摄像机30之间可以通过有线网络或无线网络进行连接。
其中,第一摄像机10用于对监控场景进行拍摄,得到监控视频,并将监控视频发送给控制端20。示例的,第一摄像机可以为广角摄像机或鱼眼摄像机,当然也可以为其他摄像机。而且,第一摄像机10的数目可以为一个或多个,本申请实施例对第一摄像机10的数目不做限定。第二摄像机30用于对监控场景中的抓拍目标进行抓拍。示例的,第二摄像机30可以为长焦摄像机。而且,第二摄像机30的数目也可以为一个或多个。
其中,控制端20用于对监控视频进行图像分析和处理,且可以对第一摄像机10或第二摄像机30进行控制。示例的,控制端20可以为终端、服务器或者处理器等,本申请实施例对此不做限定。
具体地,控制端用于对监控视频中的视频帧进行目标识别,以确定每个视频帧中包括的目标,每当识别到一个视频帧时,确定该视频帧中包括的至少一个目标中待抓拍的抓拍目标的距离参数和被遮挡参数,当基于抓拍目标的距离参数和被遮挡参数,确定抓拍目标符合被抓拍条件时,调用第二摄像机30对监控场景中的抓拍目标进行抓拍。
需要说明的是,第一摄像机10和第二摄像机30可以为不同的摄像机,也可以在物理结构上合成为一个摄像机,本申请实施例对此不做限定。示例的,在另一示例中,该目标抓拍***还可以仅包括第一摄像机10和控制端20,第一摄像机10可以对监控场景进行拍摄,得到监控视频,并将监控视频发送给控制端20,控制端20可以对监控视频进行分析处理,当确定监控视频中的抓拍目标满足抓拍条件时,可以调用第一摄像机10对监控场景中的抓拍目标进行抓拍。
图2是本申请实施例提供的一种目标抓拍装置的示意图,该目标抓拍装置可以获取待抓拍的视频,比如可以接收其他设备发送的视频,获取存储在本地的视频或者从网络上下载视频等。然后,按照本申请实施例提供的方法,对待抓拍的视频中的视频帧进行处理,当确定某个视频帧中的抓拍目标满足抓拍条件时,将该视频帧或该视频帧中包括抓拍目标的局部区域,确定为抓拍目标的抓拍图像。比如,对该视频帧进行捕捉,得到抓拍目标的抓拍图像,或者,对该视频帧中包括抓拍目标的局部区域进行截图,得到抓拍目标的抓拍图像。
需要说明的是,图2仅是以目标抓拍装置为计算机为例,而在其他实施例中,目标抓拍装置还可以为手机或平板电脑等其他终端,或者还可以为服务器等,本申请实施例对此不作限定。
图3是本申请实施例提供的一种抓拍方法的流程图,该方法可以应用于上述图1所示的目标抓拍***或目标抓拍***中的控制端,或者应用于上述图2所示的目标抓拍装置中。参见图3,该方法包括:
步骤301:对视频中的视频帧依次进行目标识别,以确定识别到的每个视频帧中包括的目标。
也即是,可以对视频逐帧进行目标识别,以逐帧确定该视频的视频帧中包括的所有目标。
其中,该视频可以为监控场景的实时监控视频,也可以为正在播放视频,比如正在播放的本地视频或网络视频等,本申请实施例对此不做限定。所述目标为待识别目标,可以预先设置,具体可以设置为人、车辆或违禁品等。
作为一个示例,可以接收第一摄像机发送的视频,将接收的视频作为待识别的视频,该视频可以由第一摄像机对监控场景进行拍摄得到。作为另一示例,可以对其他设备发送的、本地存储的或者从网络上下载的视频进行播放,将正在播放的视频作为待识别的视频。
作为一个示例,对视频中的视频帧依次进行目标识别的操作包括:对视频中的视频帧依次进行目标检测和目标跟踪,来确定每个视频帧中包括的目标以及每个目标的位置。进一步地,还可以确定出视频帧中包括的每个目标的类别。
作为一个示例,目标检测可以使用HOG、DPM、FRCNN、YOLO、SSD等目标检测算法,目标跟踪可以使用MOT等目标跟踪算法。
步骤302:每当识别到一个视频帧时,确定该视频帧中包括的至少一个目标中待抓拍的抓拍目标的距离参数,距离参数用于指示抓拍目标距拍摄该视频的第一摄像机的距离。
其中,待抓拍的抓拍目标可以为该视频帧中包括的至少一个目标中的任一目标,比如为该至少一个目标中属于预设类别的目标,或者具有预设图像特征的目标。例如,假设目标为人,则抓拍目标可以为某个特定的人,示例的,可以为罪犯库中的所有罪犯或预先设置的某个罪犯。作为一个示例,通过对视频帧进行目标识别,可以识别得到该视频帧中包括的所有人,然后可以从所有人中确定属于罪犯库中罪犯的距离参数。
其中,抓拍目标的距离参数用于指示抓拍目标距第一摄像机的距离的远近,距离参数越大,表示距第一摄像机的距离越远,距离参数越小,表示距第一摄像机的距离越近。
作为一个示例,确定该视频帧中包括的至少一个目标中待抓拍的抓拍目标的距离参数的操作包括:确定该视频帧中的抓拍目标的面积,基于抓拍目标的面积和该第一摄像机的摄像参数,确定抓拍目标的距离参数。
其中,抓拍目标的面积可以为抓拍目标的目标框的面积,或者抓拍目标的分割图的面积。第一摄像机的摄像参数可以指示第一摄像机拍摄到的拍摄图像与相机坐标空间之间的映射关系,可以指示拍摄图像中目标的面积与实际场景中的目标距第一摄像机的距离的大小关系。
作为一个示例,可以基于抓拍目标的面积和第一摄像机的摄像参数,通过以下公式(1),确定抓拍目标的距离参数:
其中,d为抓拍目标的距离参数,S为抓拍目标的面积,k为摄像参数。
请参考图4,图4是本申请实施例提供的一个视频帧的示意图,在该视频帧中,目标B的面积大于目标C的面积,目标C的面积大于目标A的面积,则目标B距离第一摄像机最近,目标A距离第一摄像机最远,也即是,这3个目标的距离远近关系为:B>C>A。
步骤303:基于该至少一个目标的位置信息,确定抓拍目标的被遮挡参数,该被遮挡参数用于指示抓拍目标被其他目标遮挡的比例。
也即是,可以基于该至少一个目标的位置信息,确定该至少一个目标的重叠情况,然后基于该至少一个目标的重叠情况,确定抓拍目标的被遮挡参数。
其中,抓拍目标的被遮挡参数越大,表示抓拍目标被其他目标遮挡的比例越大,抓拍目标的被遮挡参数越小,表示抓拍目标被其他目标遮挡的比例越小。
作为一个示例,可以基于该至少一个目标的位置信息,确定该至少一个目标中的每个非抓拍目标遮挡抓拍目标的面积与抓拍目标的面积之间的比例,得到每个非抓拍目标遮挡抓拍目标的遮挡比例,非抓拍目标是指该至少一个目标中除所述抓拍目标之外的目标。然后,将每个非抓拍目标遮挡抓拍目标的遮挡比例之和与非抓拍目标中对抓拍目标有遮挡的目标的数量之间的比值,确定为抓拍目标的被遮挡参数。
请参考图4,该视频帧中包括3个目标,分别为目标A、目标B和目标C,假设目标A为待抓拍的抓拍目标,则可以基于目标A、目标B和目标C的重叠情况,确定目标A的被遮挡参数。例如,可以通过以下公式(2),确定目标A 的被遮挡参数:
W(A)=[O(B,A)+O(C,A)]/K (2)
其中,W(A)为目标A的被遮挡参数,O(B,A)是指目标B遮挡目标A的遮挡比例,O(C,A)是指目标C遮挡目标A的遮挡比例,K是指对目标A有遮挡的所有目标的数量,在图4中,K为1。
而且,由图4可知,O(A,B)=O(B,A)=0,O(B,C)=O(C,B) =0,O(A,C)=0,O(C,A)=0.1。其中,O(A,B)是指目标A遮挡目标 B的遮挡比例,O(B,C)是指目标B遮挡目标C的遮挡比例,O(C,B)是指目标C遮挡目标B的遮挡比例,O(A,C)是指目标A遮挡目标C的遮挡比例。
步骤304:基于抓拍目标的距离参数和被遮挡参数,确定抓拍目标是否符合被抓拍条件。
其中,被抓拍条件是指能够触发对抓拍目标进行抓拍的条件。
作为一个示例,基于抓拍目标的距离参数和被遮挡参数,确定抓拍目标是否符合被抓拍条件的操作可以包括:基于抓拍目标的距离参数和被遮挡参数,确定抓拍目标的目标质量参数;若抓拍目标的目标质量参数大于或等于参考目标质量参数,则确定抓拍目标符合被抓拍条件;若抓拍目标的目标质量参数小于参考目标质量参数,则确定抓拍目标不符合被抓拍条件。
其中,抓拍目标的目标质量参数用于指示抓拍目标被抓拍后得到的抓拍图像的质量,且抓拍目标的目标质量参数越大,表示抓拍目标被抓拍后得到的抓拍图像的质量越高。
其中,参考目标质量参数可以为目标质量参数阈值,或者为抓拍目标的历史最大目标质量参数,或者为目标质量参数阈值和历史最大目标质量参数中的最大目标质量参数。抓拍目标的历史最大目标质量参数是指抓拍目标在该识别到的视频帧之前的所有视频帧中的历史最大目标质量参数。
示例的,score(A)=max(t1,t_history)。其中,score(A)为抓拍目标的目标质量参数,t1为目标质量参数阈值,t_history为抓拍目标的历史最大目标质量参数。
作为一个示例,基于抓拍目标的距离参数和被遮挡参数,确定抓拍目标的目标质量参数的操作可以包括以下两种实现方式:
第一种实现方式:基于抓拍目标的距离参数和被遮挡参数,以及参考系数,确定抓拍目标的目标质量参数。
其中,参考系数可以预先设置,可以为1,也可以为其他数值,本申请实施例对此不做限定。
作为一个示例,可以基于抓拍目标的距离参数和被遮挡参数,以及参考系数,通过以下公式(3)确定抓拍目标的目标质量参数:
score(A)=m/[d(A)*W(A)] (3)
其中,A为抓拍目标,score(A)为抓拍目标的目标质量参数,m为参考系数, d(A)为抓拍目标的距离参数,W(A)为抓拍目标的被遮挡参数。
第二种实现方式:基于抓拍目标的距离参数和被遮挡参数,以及参考系数和抓拍目标的目标分类参数,确定抓拍目标的目标质量参数。
其中,抓拍目标的目标分类参数可以用于指示该视频帧中的抓拍目标属于目标分类的可能性,也可以用于指示该视频帧中的抓拍目标需要预警的可能性。示例的,抓拍目标的目标分类参数可以为抓拍目标的目标置信度,或者为预警置信度等。
作为一个示例,若抓拍目标的目标置信度小于预警置信度阈值,则抓拍目标的目标分类参数为0,若抓拍目标的目标置信度大于或等于预警置信度阈值,则抓拍目标的目标分类参数为该抓拍目标的目标置信度。
作为一个示例,可以基于抓拍目标的距离参数和被遮挡参数,以及参考系数和抓拍目标的目标分类参数,通过以下公式(4)确定抓拍目标的目标质量参数:
score(A)=m*cls(A)/[d(A)*W(A)] (4)
其中,A为抓拍目标,score(A)为抓拍目标的目标质量参数,m为参考系数, cls(A)为抓拍目标的目标分类参数,d(A)为抓拍目标的距离参数,W(A)为抓拍目标的被遮挡参数。
当基于抓拍目标的距离参数和被遮挡参数,确定抓拍目标符合被抓拍条件时,可以执行以下步骤305,当基于抓拍目标的距离参数和被遮挡参数,确定抓拍目标不符合被抓拍条件时,还可以继续对下一帧视频帧进行识别,以继续确定下一帧视频帧中的抓拍目标是否满足抓拍条件。
步骤305:当基于抓拍目标的距离参数和被遮挡参数,确定抓拍目标符合被抓拍条件时,对抓拍目标进行抓拍。
作为一个示例,可以将该视频帧或者该视频帧中包括抓拍目标的局部区域,确定为抓拍目标的抓拍图像。比如,对该视频帧进行捕捉,得到抓拍目标的抓拍图像,或者,对该视频帧中包括抓拍目标的局部区域进行截图,得到抓拍目标的抓拍图像。
作为另一示例,可以调用第一摄像机或者第二摄像机,对第一摄像机拍摄场景中的抓拍目标进行抓拍,得到抓拍目标的抓拍图像,第二摄像机是指除第一摄像机之外的摄像机。比如,假设第一摄像机为广角摄像机,用于对监控场景进行拍摄,得到监控视频,第二摄像机为长焦摄像机,则在检测到第一摄像机拍摄到的监控视频中的某个视频帧中的抓拍目标满足抓拍条件时,即可调用第二摄像机对该监控场景中的抓拍目标进行抓拍。
本申请实施例中,可以对视频中的视频帧依次进行目标识别,每当识别到一个视频帧时,可以基于视频帧中包括的至少一个目标的位置信息,确定视频帧中待抓拍的抓拍目标的距离参数和被遮挡参数,当基于抓拍目标的距离参数和被遮挡参数,确定抓拍目标符合被抓拍条件时,再对抓拍目标进行抓拍。也即是,本申请能够基于视频中的抓拍目标距抓拍摄像机的距离远近,以及被其他目标的遮挡率,来对抓拍目标进行抓拍,如此,能够保证在抓拍目标距抓拍摄像机的距离较仅且被遮挡较低时进行抓拍,从而提高了抓拍得到的抓拍目标的图像质量,避免了因对不清晰的抓拍目标进行频繁抓拍导致的资源消耗。
图5是本申请实施例提供的一种目标抓拍装置的结构框图,如图5所示,该装置包括目标识别模块501,第一确定模块502,第二确定模块503和抓拍模块504。
目标识别模块501,用于对视频中的视频帧依次进行目标识别,以确定识别到的每个视频帧中包括的目标;
第一确定模块502,用于每当识别到一个视频帧时,确定该视频帧中包括的至少一个目标中待抓拍的抓拍目标的距离参数,该距离参数用于指示该抓拍目标距拍摄该视频的第一摄像机的距离;
第二确定模块503,用于基于该至少一个目标的位置信息,确定该抓拍目标的被遮挡参数,该被遮挡参数用于指示该抓拍目标被其他目标遮挡的比例;
抓拍模块504,用于当基于该抓拍目标的距离参数和被遮挡参数,确定该抓拍目标符合被抓拍条件时,对该抓拍目标进行抓拍。
本申请实施例中,可以对视频中的视频帧依次进行目标识别,每当识别到一个视频帧时,可以基于视频帧中包括的至少一个目标的位置信息,确定视频帧中待抓拍的抓拍目标的距离参数和被遮挡参数,当基于抓拍目标的距离参数和被遮挡参数,确定抓拍目标符合被抓拍条件时,再对抓拍目标进行抓拍。也即是,本申请能够基于视频中的抓拍目标距抓拍摄像机的距离远近,以及被其他目标的遮挡率,来对抓拍目标进行抓拍,如此,能够保证在抓拍目标距抓拍摄像机的距离较仅且被遮挡较低时进行抓拍,从而提高了抓拍得到的抓拍目标的图像质量,避免了因对不清晰的抓拍目标进行频繁抓拍导致的资源消耗。
可选地,该第一确定模块502包括:
第一确定单元,用于确定该视频帧中的该抓拍目标的面积;
第二确定单元,用于基于该抓拍目标的面积和该第一摄像机的摄像参数,确定该抓拍目标的距离参数。
可选地,该第二确定单元用于:
基于该抓拍目标的面积和该第一摄像机的摄像参数,通过以下公式,确定该抓拍目标的距离参数:
其中,d为该抓拍目标的距离参数,S为该抓拍目标的面积,k为该摄像参数。
可选地,该第二确定模块503用于:
基于该至少一个目标的位置信息,确定该至少一个目标中的每个非抓拍目标遮挡该抓拍目标的面积与该抓拍目标的面积之间的比例,得到每个非抓拍目标遮挡该抓拍目标的遮挡比例,非抓拍目标是指该至少一个目标中除该抓拍目标之外的目标;
将每个非抓拍目标遮挡该抓拍目标的遮挡比例之和与该非抓拍目标中对该抓拍目标有遮挡的目标的数量之间的比值,确定为该抓拍目标的被遮挡参数。
可选地,该装置还包括:
第三确定模块,用于基于该抓拍目标的距离参数和被遮挡参数,确定该抓拍目标的目标质量参数;
第四确定模块,用于若该抓拍目标的目标质量参数大于或等于参考目标质量参数,则确定该抓拍目标符合被抓拍条件。
可选地,该第三确定模块包括:
第三确定单元,用于基于该抓拍目标的距离参数和被遮挡参数,以及参考系数,确定该抓拍目标的目标质量参数;或者,
第四确定单元,用于基于该抓拍目标的距离参数和被遮挡参数,以及参考系数和该抓拍目标的目标分类参数,确定该抓拍目标的目标质量参数。
可选地,该第三确定单元用于:
基于该抓拍目标的距离参数和被遮挡参数,以及参考系数,通过以下公式确定该抓拍目标的目标质量参数:
score(A)=m/[d(A)*W(A)]
其中,A为该抓拍目标,score(A)为该抓拍目标的目标质量参数,m为参考系数,d(A)为该抓拍目标的距离参数,W(A)为该抓拍目标的被遮挡参数。
可选地,该第四确定单元用于:
基于该抓拍目标的距离参数和被遮挡参数,以及参考系数和该抓拍目标的目标分类参数,通过以下公式确定该抓拍目标的目标质量参数:
score(A)=m*cls(A)/[d(A)*W(A)]
其中,A为该抓拍目标,score(A)为该抓拍目标的目标质量参数,m为参考系数,cls(A)为该抓拍目标的目标分类参数,d(A)为该抓拍目标的距离参数,W(A) 为该抓拍目标的被遮挡参数。
可选地,该参考目标质量参数为目标质量参数阈值,该抓拍目标的历史最大目标质量参数,或者该目标质量参数阈值和该历史最大目标质量参数中的最大目标质量参数。
可选地,该抓拍模块504用于:
将该视频帧或者该视频帧中包括该抓拍目标的局部区域,确定为该抓拍目标的抓拍图像;或者,
调用该第一摄像机或者第二摄像机,对该第一摄像机拍摄场景中的该抓拍目标进行抓拍,得到该抓拍目标的抓拍图像,该第二摄像机是指除该第一摄像机之外的摄像机。
需要说明的是:上述实施例提供的目标抓拍装置在对目标进行抓拍时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的目标抓拍装置与目标抓拍方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
图6是本申请实施例提供的一种目标抓拍装置600的结构示意图,该目标抓拍装置600可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上处理器(centralprocessing units,CPU)Y01和一个或一个以上的存储器602,其中,所述存储器602中存储有至少一条指令,所述至少一条指令由所述处理器601加载并执行以实现上述各个方法实施例提供的目标抓拍方法。当然,该目标抓拍装置600还可以具有有线或无线网络接口、键盘以及输入输出接口等部件,以便进行输入输出,该目标抓拍装置600还可以包括其他用于实现设备功能的部件,在此不做赘述。
在另一实施例中,还提供了一种非临时性计算机可读存储介质,当所述存储介质中的指令由计算机的处理器执行时,使得计算机能够执行上述任一种目标抓拍方法。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上所述仅为本申请的较佳实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
Claims (9)
1.一种目标抓拍方法,其特征在于,所述方法包括:
对视频中的视频帧依次进行目标识别,以确定识别到的每个视频帧中包括的目标;
每当识别到一个视频帧时,确定所述视频帧中包括的至少一个目标中待抓拍的抓拍目标的距离参数,所述距离参数用于指示所述抓拍目标距拍摄所述视频的第一摄像机的距离;
基于所述至少一个目标的位置信息,确定所述抓拍目标的被遮挡参数,所述被遮挡参数用于指示所述抓拍目标被其他目标遮挡的比例;
基于所述抓拍目标的距离参数和被遮挡参数,以及参考系数和所述抓拍目标的目标分类参数,确定所述抓拍目标的目标质量参数,所述抓拍目标的目标质量参数用于指示所述抓拍目标被抓拍后得到的抓拍图像的质量;所述抓拍目标的目标分类参数用于指示所述抓拍目标属于目标分类的可能性,若所述抓拍目标的目标置信度小于预警置信度阈值,则所述抓拍目标的目标分类参数为0,若所述抓拍目标的目标置信度大于或等于预警置信度阈值,则所述抓拍目标的目标分类参数为所述抓拍目标的目标置信度;
若所述抓拍目标的目标质量参数大于或等于参考目标质量参数,则确定所述抓拍目标符合被抓拍条件,所述参考目标质量参数为所述抓拍目标的历史最大目标质量参数,或者为目标质量参数阈值和所述历史最大目标质量参数中的最大目标质量参数;
当所述抓拍目标符合被抓拍条件时,对所述抓拍目标进行抓拍。
2.如权利要求1所述的方法,其特征在于,所述确定所述视频帧中包括的至少一个目标中待抓拍的抓拍目标的距离参数,包括:
确定所述视频帧中的所述抓拍目标的面积;
基于所述抓拍目标的面积和所述第一摄像机的摄像参数,确定所述抓拍目标的距离参数。
4.如权利要求1所述的方法,其特征在于,所述基于所述至少一个目标的位置信息,确定所述抓拍目标的被遮挡参数,包括:
基于所述至少一个目标的位置信息,确定所述至少一个目标中的每个非抓拍目标遮挡所述抓拍目标的面积与所述抓拍目标的面积之间的比例,得到每个非抓拍目标遮挡所述抓拍目标的遮挡比例,非抓拍目标是指所述至少一个目标中除所述抓拍目标之外的目标;
将每个非抓拍目标遮挡所述抓拍目标的遮挡比例之和与所述非抓拍目标中对所述抓拍目标有遮挡的目标的数量之间的比值,确定为所述抓拍目标的被遮挡参数。
5.如权利要求1所述的方法,其特征在于,所述基于所述抓拍目标的距离参数和被遮挡参数,以及参考系数和所述抓拍目标的目标分类参数,确定所述抓拍目标的目标质量参数,包括:
基于所述抓拍目标的距离参数和被遮挡参数,以及参考系数和所述抓拍目标的目标分类参数,通过以下公式确定所述抓拍目标的目标质量参数:
score(A)=m*cls(A)/[d(A)*W(A)]
其中,A为所述抓拍目标,score(A)为所述抓拍目标的目标质量参数,m为参考系数,cls(A)为所述抓拍目标的目标分类参数,d(A)为所述抓拍目标的距离参数,W(A)为所述抓拍目标的被遮挡参数。
6.如权利要求1所述的方法,其特征在于,所述对所述抓拍目标进行抓拍,包括:
将所述视频帧或者所述视频帧中包括所述抓拍目标的局部区域,确定为所述抓拍目标的抓拍图像;或者,
调用所述第一摄像机或者第二摄像机,对所述第一摄像机拍摄场景中的所述抓拍目标进行抓拍,得到所述抓拍目标的抓拍图像,所述第二摄像机是指除所述第一摄像机之外的摄像机。
7.一种目标抓拍装置,其特征在于,所述装置包括:
目标识别模块,用于对视频中的视频帧依次进行目标识别,以确定识别到的每个视频帧中包括的目标;
第一确定模块,用于每当识别到一个视频帧时,确定所述视频帧中包括的至少一个目标中待抓拍的抓拍目标的距离参数,所述距离参数用于指示所述抓拍目标距拍摄所述视频的第一摄像机的距离;
第二确定模块,用于基于所述至少一个目标的位置信息,确定所述抓拍目标的被遮挡参数,所述被遮挡参数用于指示所述抓拍目标被其他目标遮挡的比例;
抓拍模块,用于当基于所述抓拍目标的距离参数和被遮挡参数,确定所述抓拍目标符合被抓拍条件时,对所述抓拍目标进行抓拍;
所述装置还包括执行以下操作的模块:
基于所述抓拍目标的距离参数和被遮挡参数,以及参考系数和所述抓拍目标的目标分类参数,确定所述抓拍目标的目标质量参数,所述抓拍目标的目标质量参数用于指示所述抓拍目标被抓拍后得到的抓拍图像的质量;所述抓拍目标的目标分类参数用于指示所述抓拍目标属于目标分类的可能性,若所述抓拍目标的目标置信度小于预警置信度阈值,则所述抓拍目标的目标分类参数为0,若所述抓拍目标的目标置信度大于或等于预警置信度阈值,则所述抓拍目标的目标分类参数为所述抓拍目标的目标置信度;若所述抓拍目标的目标质量参数大于或等于参考目标质量参数,则确定所述抓拍目标符合被抓拍条件,所述参考目标质量参数为所述抓拍目标的历史最大目标质量参数,或者为目标质量参数阈值和所述历史最大目标质量参数中的最大目标质量参数。
8.一种目标抓拍装置,其特征在于,所述装置包括:
一个或多个处理器;
用于存储所述一个或多个处理器可执行指令的一个或多个存储器;
其中,所述一个或多个处理器被配置为执行权利要求1-6任一项所述的目标抓拍方法。
9.一种非临时性计算机可读存储介质,其特征在于,当所述存储介质中的指令由计算机的处理器执行时,使得计算机能够执行权利要求1-6任一项所述的目标抓拍方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910975245.9A CN112738387B (zh) | 2019-10-14 | 2019-10-14 | 目标抓拍方法、装置及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910975245.9A CN112738387B (zh) | 2019-10-14 | 2019-10-14 | 目标抓拍方法、装置及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112738387A CN112738387A (zh) | 2021-04-30 |
CN112738387B true CN112738387B (zh) | 2022-11-15 |
Family
ID=75588646
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910975245.9A Active CN112738387B (zh) | 2019-10-14 | 2019-10-14 | 目标抓拍方法、装置及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112738387B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114554086B (zh) * | 2022-02-10 | 2024-06-25 | 支付宝(杭州)信息技术有限公司 | 一种辅助拍摄方法、装置及电子设备 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106210553A (zh) * | 2016-07-11 | 2016-12-07 | 浙江宇视科技有限公司 | 一种阴影遮挡下的抓拍优化方法及装置 |
CN106375665A (zh) * | 2016-09-23 | 2017-02-01 | 深圳市金立通信设备有限公司 | 一种拍照方法及终端 |
CN106791455A (zh) * | 2017-03-31 | 2017-05-31 | 努比亚技术有限公司 | 全景拍摄方法及装置 |
CN109145771A (zh) * | 2018-08-01 | 2019-01-04 | 武汉普利商用机器有限公司 | 一种人脸抓拍方法及装置 |
CN109740533A (zh) * | 2018-12-29 | 2019-05-10 | 北京旷视科技有限公司 | 遮挡比例确定方法、装置和电子*** |
-
2019
- 2019-10-14 CN CN201910975245.9A patent/CN112738387B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106210553A (zh) * | 2016-07-11 | 2016-12-07 | 浙江宇视科技有限公司 | 一种阴影遮挡下的抓拍优化方法及装置 |
CN106375665A (zh) * | 2016-09-23 | 2017-02-01 | 深圳市金立通信设备有限公司 | 一种拍照方法及终端 |
CN106791455A (zh) * | 2017-03-31 | 2017-05-31 | 努比亚技术有限公司 | 全景拍摄方法及装置 |
CN109145771A (zh) * | 2018-08-01 | 2019-01-04 | 武汉普利商用机器有限公司 | 一种人脸抓拍方法及装置 |
CN109740533A (zh) * | 2018-12-29 | 2019-05-10 | 北京旷视科技有限公司 | 遮挡比例确定方法、装置和电子*** |
Also Published As
Publication number | Publication date |
---|---|
CN112738387A (zh) | 2021-04-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109166261B (zh) | 基于图像识别的图像处理方法、装置、设备及存储介质 | |
WO2020094091A1 (zh) | 一种图像抓拍方法、监控相机及监控*** | |
EP3641298B1 (en) | Method and device for capturing target object and video monitoring device | |
CN111738240A (zh) | 区域监测方法、装置、设备及存储介质 | |
CN111161206A (zh) | 一种图像抓拍方法、监控相机及监控*** | |
CN110569770A (zh) | 人体入侵行为识别方法、装置、存储介质及电子设备 | |
CN112689221B (zh) | 录音方法、录音装置、电子设备及计算机可读存储介质 | |
CN106851229B (zh) | 一种基于图像识别的安防智能决策的方法与*** | |
US10909388B2 (en) | Population density determination from multi-camera sourced imagery | |
JP2014027442A (ja) | 画像処理装置、画像処理方法、およびプログラム | |
CN110647818A (zh) | 一种遮挡目标物体的识别方法及装置 | |
CN112651398A (zh) | 车辆的抓拍控制方法、装置及计算机可读存储介质 | |
CN112738387B (zh) | 目标抓拍方法、装置及存储介质 | |
CN113158773B (zh) | 一种活体检测模型的训练方法及训练装置 | |
CN107770487B (zh) | 一种特征提取并优选的方法、***及终端设备 | |
CN115082326A (zh) | 视频去模糊的处理方法、边缘计算设备及中心处理器 | |
CN112819859B (zh) | 一种应用于智慧安防的多目标跟踪方法及装置 | |
CN114359828A (zh) | 目标行为的记录方法、装置、存储介质及电子装置 | |
CN110572618B (zh) | 一种非法拍照行为监控方法、装置及*** | |
CN114022924A (zh) | 一种人脸识别方法及相关装置 | |
CN112380938A (zh) | 一种人脸识别及测温方法、装置、设备及介质 | |
CN111225178A (zh) | 基于对象检测的视频监控方法及其*** | |
CN114219830A (zh) | 一种目标跟踪方法、终端及计算机可读存储介质 | |
US20240119598A1 (en) | Image processing system, imaging device, terminal device, and image processing method | |
CN113949830B (zh) | 一种图像处理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |