CN110096935A - 图像分析方法、装置、电子设备及存储介质 - Google Patents

图像分析方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN110096935A
CN110096935A CN201810096195.2A CN201810096195A CN110096935A CN 110096935 A CN110096935 A CN 110096935A CN 201810096195 A CN201810096195 A CN 201810096195A CN 110096935 A CN110096935 A CN 110096935A
Authority
CN
China
Prior art keywords
group
result
testing result
vehicle
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810096195.2A
Other languages
English (en)
Inventor
向杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN201810096195.2A priority Critical patent/CN110096935A/zh
Publication of CN110096935A publication Critical patent/CN110096935A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/62Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625License plates
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供了一种图像分析方法、装置、电子设备及存储介质,应用于智能视频监控技术领域,上述图像分析方法包括:获取待检测图像;通过预设的目标检测算法,对所述待检测图像进行检测,得到多个目标检测结果;按照预设合并规则对所述多个目标检测结果进行合并,得到目标合并检测结果。本发明实施例中,将符合预设合并规则的目标检测结果进行合并,可以增强各目标检测结果间的联系,丰富图像分析结果,后续可以直接对目标合并检测结果进行处理,方便图像的后续处理,同时减少了后续需要跟踪的目标个数,降低后续目标跟踪的计算量。

Description

图像分析方法、装置、电子设备及存储介质
技术领域
本发明涉及智能视频监控技术领域,特别是涉及图像分析方法、装置、电子设备及存储介质。
背景技术
随着智能视频监控技术的发展,监控设备遍及生活的方方面面,例如交通路口的摄像头,电梯中的监视器及景区中的摄像头等。通过对各监控设备采集的监控图像进行图像分析,从而为人们提供更加安全的生活环境。
相关的图像分析方法中,利用目标检测算法,分别提取出监控图像中各待检测目标的目标检测结果。但是这种方法中,分别提取每个待检测目标的目标检测结果,导致图像分析结果单一,不方便图像的后续处理,且大量零散的检测结果会大大增加需要跟踪的目标个数,增加后续目标跟踪的计算量。
发明内容
本发明实施例的目的在于提供一种图像分析方法、装置、电子设备及存储介质,以实现丰富图像分析结果,方便图像的后续处理,同时减少了后续需要跟踪的目标个数,降低后续目标跟踪的计算量。具体技术方案如下:
第一方面,本发明实施例提供了一种图像分析方法,所述方法包括:
获取待检测图像;
通过预设的目标检测算法,对所述待检测图像进行检测,得到多个目标检测结果;
按照预设合并规则对所述多个目标检测结果进行合并,得到目标合并检测结果。
可选的,所述按照预设合并规则对所述多个目标检测结果进行合并,得到目标合并检测结果的步骤包括:
按照预设分组规则,将所述多个目标检测结果进行分组,得到多个检测结果分组;
按照预设组内合并规则,将每个所述检测结果分组中包括的目标检测结果进行合并,得到组内合并检测结果;
按照预设组间合并规则,在各所述检测结果分组之间,将各目标检测结果及组内合并检测结果进行合并,得到组间合并检测结果;
将各所述组间合并检测结果,作为目标合并检测结果。
可选的,所述按照预设分组规则,将所述多个目标检测结果进行分组,得到多个检测结果分组的步骤包括:
在所述多个目标检测结果中,将人体检测结果、头肩检测结果、人头检测结果及人脸检测结果归类到人体组,将第一类车辆的车辆检测结果及所述第一类车辆的车牌检测结果归类到第一车组,将第二类车辆的车辆检测结果归类到第二车组,将第三类车辆的车辆检测结果归类到第三车组,其中,所述第一类车辆为车轮数量不少于4的车辆,所述第二类车辆为车轮数量为2的车辆,所述第三类车辆为车轮数为3的车辆。
可选的,所述按照预设组内合并规则,将每个所述检测结果分组包括的目标检测结果进行合并,得到组内合并检测结果的步骤包括:
按照位置关系,将每个所述检测结果分组包括的目标检测结果进行合并,得到每个组内目标合并后的组内主体检测结果及组内组件检测结果,作为组内合并检测结果。
可选的,所述多个目标检测结果包括人体检测结果、头肩检测结果、人头检测结果及人脸检测结果,所述检测结果分组包括人体组;
所述按照位置关系,将每个所述检测结果分组包括的目标检测结果进行合并,得到每个组内目标合并后的组内主体检测结果及组内组件检测结果,作为组内合并检测结果的步骤包括:
在所述人体组中,按照预设目标框调整方法,调整每个所述人体检测结果中人体框的高度及所述人头检测结果中人头框的大小;
按照高度调整后的人体框、所述头肩检测结果的头肩框、大小调整后的人头框、及所述人脸检测结果的人脸框的位置关系,确定出属于同一目标主体的目标检测结果;
针对每个所述目标主体,选取定义级别最高的目标检测结果,作为所述目标主体的组内主体检测结果,将所述目标主体的除所述主体检测结果外的其他目标检测结果,作为所述目标主体的组内组件检测结果,其中,所述定义级别由高到低的顺序依次为:人体检测结果、头肩检测结果、人头检测结果及人脸检测结果;
分别将每个所述目标主体的组内主体检测结果及组内组件检测结果进行合并,得到所述人体组的组内合并检测结果。
可选的,所述多个目标检测结果还包括第一类车辆的车辆检测结果及所述第一类车辆的车牌检测结果,所述检测结果分组还包括第一车组,其中,所述第一类车辆为车轮数量不少于4的车辆;
所述按照位置关系,将每个所述检测结果分组包括的目标检测结果进行合并,得到每个组内目标合并后的组内主体检测结果及组内组件检测结果,作为组内合并检测结果的步骤包括:
在所述第一车组中,检测各所述车辆检测结果的车辆框与各所述车牌检测结果的车牌框的位置关系;
若所述车辆框中包含所述车牌框,将所述车辆框对应的车辆检测结果作为组内主体检测结果,将所述车辆框包含的车牌框对应的车牌检测结果作为组内组件检测结果;
若所述车辆框中不包含所述车牌框,将所述车辆框对应的车辆检测结果作为组内主体检测结果,组内组件检测结果为空;
若所述车牌框不包含在所述车辆框中,将所述车牌框对应的车牌检测结果作为组内主体检测结果,组内组件检测结果为空;
分别将各所述组内主体检测结果及相应的组内组件检测结果进行合并,得到所述第一车组的组内合并检测结果。
可选的,所述按照预设组间合并规则,在各所述检测结果分组之间,将各目标检测结果及组内合并检测结果进行合并,得到组间合并检测结果的步骤包括:
按照位置关系,在各所述检测结果分组之间,将各目标检测结果及组内合并检测结果进行合并,得到各组间合并后的组间主体检测结果及组间组件检测结果,作为组间合并检测结果
可选的,在所述按照位置关系,在各所述检测结果分组之间,将各目标检测结果及组内合并检测结果进行合并,得到各组间合并后的组间主体检测结果及组间组件检测结果,作为组间合并检测结果之前,所述方法还包括:
按照语义关系,确定组间合并组合,其中,同一所述组间合并组合中至少包括两个检测结果分组;
所述按照位置关系,在各所述检测结果分组之间,将各目标检测结果及组内合并检测结果进行合并,得到各组间合并后的组间主体检测结果及组间组件检测结果,作为组间合并检测结果,包括:
针对每个所述组间合并组合,按照位置关系,在该组间合并组合的各检测结果分组之间,将各目标检测结果及组内合并检测结果进行合并,得到各组间合并后的组间主体检测结果及组间组件检测结果,作为组间合并检测结果。
可选的,所述多个目标检测结果还包括第二类车辆的车辆检测结果及第三类车辆的车辆检测结果,所述检测结果分组还包括第二车组及第三车组,其中,所述第二类车辆为车轮数量为2的车辆,所述第三类车辆为车轮数为3的车辆;
所述按照语义关系,确定组间合并组合的步骤包括:
按照语义关系,确定第一组间合并组合、第二组间合并组合及第三组间合并组合,其中,所述第一组间合并组合包括所述人体组及所述第一车组,所述第二组间合并组合包括所述人体组及所述第二车组,所述第三组间合并组合包括所述人体组及所述第三车组。
可选的,所述针对每个所述组间合并组合,按照位置关系,在该组间合并组合的检测结果分组之间,将各目标检测结果及组内合并检测结果进行合并,得到各组间合并后的组间主体检测结果及组间组件检测结果,作为组间合并检测结果的步骤包括:
针对所述第二组间合并组合,检测所述第二类车辆的车辆检测结果的二轮车框与所述人体组中组内主体检测结果的主体框的位置关系;
若所述二轮车框中包含所述主体框,将所述二轮车框对应的第二类车辆的车辆检测结果作为组间主体检测结果,将所述二轮车框包含的主体框对应的组内主体检测结果及组内组件检测结果作为组间组件检测结果;
若所述二轮车框中不包含所述主体框,将所述二轮车框对应的第二类车辆的车辆检测结果作为组间主体检测结果,组间组件检测结果为空;
若所述主体框不包含在所述二轮车框中,将所述主体框对应的组内主体检测结果作为组间主体检测结果,将所述主体框对应的组内组件检测结果作为组间组件检测结果;
分别将各所述组间主体检测结果及相应的组间组件检测结果进行合并,得到所述第二车组的组间合并检测结果。
可选的,所述针对每个所述组间合并组合,按照位置关系,在该组间合并组合的检测结果分组之间,将各目标检测结果及组内合并检测结果进行合并,得到各组间合并后的组间主体检测结果及组间组件检测结果,作为组间合并检测结果的步骤包括:
针对所述第三组间合并组合,检测所述第三类车辆的车辆检测结果的三轮车框与所述人体组中组内主体检测结果的主体框的位置关系;
若所述三轮车框中包含所述主体框,将所述三轮车框对应的第三类车辆的车辆检测结果作为组间主体检测结果,将所述三轮车框包含的主体框对应的组内合并检测结果作为组间组件检测结果;
若所述三轮车框中不包含所述主体框,将所述三轮车框对应的第三类车辆的车辆检测结果作为组间主体检测结果,组间组件检测结果为空;
若所述主体框不包含在所述三轮车框中,将所述主体框对应的组内主体检测结果作为组间主体检测结果,将所述主体框对应的组内组件检测结果作为组间组件检测结果;
分别将各所述组间主体检测结果及相应的组间组件检测结果进行合并,得到所述第三车组的组间合并检测结果。
可选的,所述针对每个所述组间合并组合,按照位置关系,在该组间合并组合的检测结果分组之间,将各目标检测结果及组内合并检测结果进行合并,得到各组间合并后的组间主体检测结果及组间组件检测结果,作为组间合并检测结果的步骤包括:
针对所述第一组间合并组合,检测所述第一车组中组内主体检测结果的主体框与所述人体组中组内主体检测结果的主体框的位置关系;
若所述第一车组中组内主体检测结果的主体框中包含所述人体组中组内主体检测结果的主体框,将所述第一车组的组内主体检测结果作为组间主体检测结果,将所述第一车组的组内组件检测结果及所述人体组的组内合并检测结果作为组间组件检测结果;
若所述第一车组中组内主体检测结果的主体框中不包含所述人体组中组内主体检测结果的主体框,将所述第一车组的组内主体检测结果作为组间主体检测结果,将所述第一车组的组内组件检测结果作为组间组件检测结果;
若所述人体组中组内主体检测结果的主体框不包含在所述所述第一车组中组内主体检测结果的主体框中,将所述人体组的组内主体检测结果作为组间主体检测结果,将所述人体组的组内组件检测结果作为组间组件检测结果;
分别将各所述组间主体检测结果及相应的组间组件检测结果进行合并,得到所述第一车组的组间合并检测结果。
第二方面,本发明实施例提供了一种图像分析装置,所述装置包括:
图像获取模块,用于获取待检测图像;
目标检测模块,用于通过预设的目标检测算法,对所述待检测图像进行检测,得到多个目标检测结果;
结果合并模块,用于按照预设合并规则对所述多个目标检测结果进行合并,得到目标合并检测结果。
可选的,所述结果合并模块包括:
结果分组子模块,用于按照预设分组规则,将所述多个目标检测结果进行分组,得到多个检测结果分组;
组内合并子模块,用于按照预设组内合并规则,将每个所述检测结果分组中包括的目标检测结果进行合并,得到组内合并检测结果;
组间合并子模块,用于按照预设组间合并规则,在各所述检测结果分组之间,将各目标检测结果及组内合并检测结果进行合并,得到组间合并检测结果;
结果确定子模块,用于将各所述组间合并检测结果,作为目标合并检测结果。
可选的,所述结果分组子模块,具体用于:
在所述多个目标检测结果中,将人体检测结果、头肩检测结果、人头检测结果及人脸检测结果归类到人体组,将第一类车辆的车辆检测结果及所述第一类车辆的车牌检测结果归类到第一车组,将第二类车辆的车辆检测结果归类到第二车组,将第三类车辆的车辆检测结果归类到第三车组,其中,所述第一类车辆为车轮数量不少于4的车辆,所述第二类车辆为车轮数量为2的车辆,所述第三类车辆为车轮数为3的车辆。
可选的,所述组内合并子模块,具体用于:
按照位置关系,将每个所述检测结果分组包括的目标检测结果进行合并,得到每个组内目标合并后的组内主体检测结果及组内组件检测结果,作为组内合并检测结果。
可选的,所述多个目标检测结果包括人体检测结果、头肩检测结果、人头检测结果及人脸检测结果,所述检测结果分组包括人体组;
所述组内合并子模块包括:
检测框调整单元,用于在所述人体组中,按照预设目标框调整方法,调整每个所述人体检测结果中人体框的高度及所述人头检测结果中人头框的大小;
人体组位置比较单元,用于按照高度调整后的人体框、所述头肩检测结果的头肩框、大小调整后的人头框、及所述人脸检测结果的人脸框的位置关系,确定出属于同一目标主体的目标检测结果;
人体组主体确定单元,用于针对每个所述目标主体,选取定义级别最高的目标检测结果,作为所述目标主体的组内主体检测结果,将所述目标主体的除所述主体检测结果外的其他目标检测结果,作为所述目标主体的组内组件检测结果,其中,所述定义级别由高到低的顺序依次为:人体检测结果、头肩检测结果、人头检测结果及人脸检测结果;
人体组组内合并单元,用于分别将每个所述目标主体的组内主体检测结果及组内组件检测结果进行合并,得到所述人体组的组内合并检测结果。
可选的,所述多个目标检测结果还包括第一类车辆的车辆检测结果及所述第一类车辆的车牌检测结果,所述检测结果分组还包括第一车组,其中,所述第一类车辆为车轮数量不少于4的车辆;
所述组内合并子模块包括:
第一车组位置比较单元,用于在所述第一车组中,检测各所述车辆检测结果的车辆框与各所述车牌检测结果的车牌框的位置关系;
第一主体确定单元,用于若所述车辆框中包含所述车牌框,将所述车辆框对应的车辆检测结果作为组内主体检测结果,将所述车辆框包含的车牌框对应的车牌检测结果作为组内组件检测结果;
第二主体确定单元,用于若所述车辆框中不包含所述车牌框,将所述车辆框对应的车辆检测结果作为组内主体检测结果,组内组件检测结果为空;
第三主体确定单元,用于若所述车牌框不包含在所述车辆框中,将所述车牌框对应的车牌检测结果作为组内主体检测结果,组内组件检测结果为空;
第一车组组内合并单元,用于分别将各所述组内主体检测结果及相应的组内组件检测结果进行合并,得到所述第一车组的组内合并检测结果。
可选的,所述组间合并子模块,具体用于:
按照位置关系,在各所述检测结果分组之间,将各目标检测结果及组内合并检测结果进行合并,得到各组间合并后的组间主体检测结果及组间组件检测结果,作为组间合并检测结果。
可选的,本发明实施例的图像分析装置还包括:
组合确定模块,用于按照语义关系,确定组间合并组合,其中,同一所述组间合并组合中至少包括两个检测结果分组;
所述组间合并子模块,具体用于针对每个所述组间合并组合,按照位置关系,在该组间合并组合的各检测结果分组之间,将各目标检测结果及组内合并检测结果进行合并,得到各组间合并后的组间主体检测结果及组间组件检测结果,作为组间合并检测结果。
可选的,在本发明实施例的图像分析装置中,所述多个目标检测结果还包括第二类车辆的车辆检测结果及第三类车辆的车辆检测结果,所述检测结果分组还包括第二车组及第三车组,其中,所述第二类车辆为车轮数量为2的车辆,所述第三类车辆为车轮数为3的车辆;
所述组合确定模块,具体用于:
按照语义关系,确定第一组间合并组合、第二组间合并组合及第三组间合并组合,其中,所述第一组间合并组合包括所述人体组及所述第一车组,所述第二组间合并组合包括所述人体组及所述第二车组,所述第三组间合并组合包括所述人体组及所述第三车组。
可选的,所述组间合并子模块,包括:
二轮车位置比较单元,用于针对所述第二组间合并组合,检测所述第二类车辆的车辆检测结果的二轮车框与所述人体组中组内主体检测结果的主体框的位置关系;
二轮车第一确定单元,用于若所述二轮车框中包含所述主体框,将所述二轮车框对应的第二类车辆的车辆检测结果作为组间主体检测结果,将所述二轮车框包含的主体框对应的组内主体检测结果及组内组件检测结果作为组间组件检测结果;
二轮车第二确定单元,用于若所述二轮车框中不包含所述主体框,将所述二轮车框对应的第二类车辆的车辆检测结果作为组间主体检测结果,组间组件检测结果为空;
二轮车第三确定单元,用于所述主体框不包含在所述二轮车框中,将所述主体框对应的组内主体检测结果作为组间主体检测结果,将所述主体框对应的组内组件检测结果作为组间组件检测结果;
第二车组间合并单元,用于分别将各所述组间主体检测结果及相应的组间组件检测结果进行合并,得到所述第二车组的组间合并检测结果。
可选的,所述组间合并子模块,包括:
三轮车位置比较单元,用于针对所述第三组间合并组合,检测所述第三类车辆的车辆检测结果的三轮车框与所述人体组中组内主体检测结果的主体框的位置关系;
三轮车第一确定单元,用于若所述三轮车框中包含所述主体框,将所述三轮车框对应的第三类车辆的车辆检测结果作为组间主体检测结果,将所述三轮车框包含的主体框对应的组内合并检测结果作为组间组件检测结果;
三轮车第二确定单元,用于若所述三轮车框中不包含所述主体框,将所述三轮车框对应的第三类车辆的车辆检测结果作为组间主体检测结果,组间组件检测结果为空;
三轮车第三确定单元,用于若所述主体框不包含在所述三轮车框中,将所述主体框对应的组内主体检测结果作为组间主体检测结果,将所述主体框对应的组内组件检测结果作为组间组件检测结果;
第三车组间合并单元,用于分别将各所述组间主体检测结果及相应的组间组件检测结果进行合并,得到所述第三车组的组间合并检测结果。
可选的,所述组间合并子模块,包括:
一类车辆位置比较单元,用于针对所述第一组间合并组合,检测所述第一车组中组内主体检测结果的主体框与所述人体组中组内主体检测结果的主体框的位置关系;
一类车辆第一确定单元,用于若所述第一车组中组内主体检测结果的主体框中包含所述人体组中组内主体检测结果的主体框,将所述第一车组的组内主体检测结果作为组间主体检测结果,将所述第一车组的组内组件检测结果及所述人体组的组内合并检测结果作为组间组件检测结果;
一类车辆第二确定单元,用于若所述第一车组中组内主体检测结果的主体框中不包含所述人体组中组内主体检测结果的主体框,将所述第一车组的组内主体检测结果作为组间主体检测结果,将所述第一车组的组内组件检测结果作为组间组件检测结果;
一类车辆第三确定单元,用于若所述所述人体组中组内主体检测结果的主体框不包含在所述所述第一车组中组内主体检测结果的主体框中,将所述人体组的组内主体检测结果作为组间主体检测结果,将所述人体组的组内组件检测结果作为组间组件检测结果;
第一车组间合并单元,用于分别将各所述组间主体检测结果及相应的组间组件检测结果进行合并,得到所述第一车组的组间合并检测结果。
第三方面,本发明实施例提供了一种电子设备,包括处理器和存储器,
所述存储器,用于存放计算机程序;
所述处理器,用于执行所述存储器上所存放的程序时,实现上述第一方面任一所述的图像分析方法。
第四方面,本发明实施例提供了一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述第一方面任一所述的图像分析方法。
本发明实施例提供的图像分析方法、装置、电子设备及存储介质,所述方法包括:获取待检测图像;通过预设目标检测算法,检测所述待检测图像,得到多个目标检测结果;将符合预设合并规则的目标检测结果,按照所述预设合并规则进行合并,得到目标合并检测结果;输出所述目标合并检测结果。
本发明实施例中,将符合预设合并规则的目标检测结果进行合并,可以增强各目标检测结果间的联系,丰富图像分析结果,后续可以直接对目标合并检测结果进行处理,方便图像的后续处理,同时减少了后续需要跟踪的目标个数,降低后续目标跟踪的计算量。当然,实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例的一种图像分析方法的流程示意图;
图2为本发明实施例的一种图像分析方法的另一种流程示意图;
图3a为本发明实施例的图像分析方法的检测框1与检测框2存在包含关系的一种示意图;
图3b为本发明实施例的图像分析方法的检测框1与检测框2不存在包含关系的一种示意图;
图4为本发明实施例的图像分析方法的人体组组内合并检测结果的一种示意图;
图5为本发明实施例的一种图像分析方法的另一种流程示意图;
图6为本发明实施例的一种图像分析方法的另一种流程示意图;
图7为本发明实施例的图像分析方法的第一车组组内合并检测结果的一种示意图;
图8为本发明实施例的一种图像分析方法的另一种流程示意图;
图9为本发明实施例的图像分析方法的组间合并检测结果的第一种示意图;
图10为本发明实施例的一种图像分析方法的另一种流程示意图;
图11为本发明实施例的图像分析方法的组间合并检测结果的第二种示意图;
图12为本发明实施例的一种图像分析方法的另一种流程示意图;
图13为本发明实施例的图像分析方法的组间合并检测结果的第三种示意图;
图14为本发明实施例的一种图像分析方法的另一种流程示意图;
图15为本发明实施例的一种图像分析装置的结构示意图;
图16为本发明实施例的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
相关的图像分析方法中,利用目标检测算法,分别提取出监控图像中各待检测目标的目标检测结果。但是采用这种方法,分别提取每个待检测目标的目标检测结果,导致图像分析结果单一,各目标检测结果间缺乏联系,不方便后续分析,且大量零散的检测结果会大大增加需要跟踪的目标个数,增加后续目标跟踪的计算量。
有鉴于此,本发明实施例提供了一种图像分析方法,参见图1,该方法包括:
S101,获取待检测图像。
本发明实施例中的图像分析方法可以通过分析***实现,分析***为任意能够实现本发明实施例的图像分析方法的***。例如,分析***可以为一种设备,如,可以为摄像机、台式计算机、智能移动终端等。
在本发明实施例中,分析***获取待检测图像,可以为分析***获取存储介质中的待检测图像,也可以为分析***获取连接的图像采集设备传输的待检测图像。在分析***为摄像机时,还可以为分析***自身采集待检测图像。
S102,通过预设的目标检测算法,对待检测图像进行检测,得到多个目标检测结果。
预设的目标检测算法为任意能够识别指定目标的算法,例如Boosting、RCNN(Regions Convolutional Neural Network)、FRCNN(Fast Region Convolutional NeuralNetwork)、FasterRCNN(Faster Region Convolutional Neural Network)、SSD(SingleShot MultiBox Detector)及DPM(Deformable Parts Model)等。指定目标为预设的需要识别的目标,例如,车轮数不少于4的车辆、车牌、二轮车、三轮车、人脸、人体、头肩等。目标检测结果中包括检测框。
分析***通过预设的目标检测算法,对待检测图像中多个种类的指定目标进行检测,得到多个目标检测结果。例如通过预设目标检测算法,对待检测图像中的所有车轮数不少于4的车辆和车牌进行检测,得到待检测图像中所有车轮数不少于4的车辆的目标检测结果和所有车牌的目标检测结果。
S103,按照预设合并规则对多个目标检测结果进行合并,得到目标合并检测结果。
预设合并规则为任意合并目标检测结果的规则。可选的,可以根据语义关系对各目标检测结果进行合并,例如,在多个目标检测结果中包括人体检测结果、人头检测结果、头肩检测结果及人脸检测结果时,因为人体检测结果、人头检测结果、头肩检测结果及人脸检测结果都是对“人”的检测,因此可以进行合并。可选的,还可以根据各目标检测结果的空间位置,对目标检测结果进行合并,例如,在一个目标检测结果的检测框中包含其他目标检测结果的检测框时,可以将这些目标检测结果进行合并。当然还可以结合语义关系及空间位置对各目标检测结果进行合并。
在本发明实施例中,将符合预设合并规则的目标检测结果进行合并,可以增强各目标检测结果间的联系,丰富图像分析结果,后续可以直接对目标合并检测结果进行处理,方便图像的后续处理,同时减少了后续需要跟踪的目标个数,降低后续目标跟踪的计算量。
可选的,参见图2,上述按照预设合并规则对多个目标检测结果进行合并,得到目标合并检测结果的步骤包括:
S1031,按照预设分组规则,将多个目标检测结果进行分组,得到多个检测结果分组。
预设分组规则为任意的分组规则,例如,可以根据语义关系对各目标检测结果进行分组,例如,在多个目标检测结果中包括人体检测结果、人头检测结果、头肩检测结果及人脸检测结果时,因为人体检测结果、人头检测结果、头肩检测结果及人脸检测结果都是对“人”的检测,因此可以分为一组;在多个目标检测结果中包括车轮数不少于4的车辆的车辆检测结果及车牌检测结果时,因为车轮数不少于4的车辆都有车牌,所以可以将车轮数不少于4的车辆的车辆检测结果及车牌检测结果分为一组。
S1032,按照预设组内合并规则,将每个检测结果分组中包括的目标检测结果进行合并,得到组内合并检测结果。
预设组内合并规则为任意的合并同一分组中各目标检测结果的规则。
可选的,按照预设组内合并规则,将每个检测结果分组包括的目标检测结果进行合并,得到组内合并检测结果的步骤包括:
按照位置关系,将每个检测结果分组包括的目标检测结果进行合并,得到每个组内目标合并后的组内主体检测结果及组内组件检测结果,作为组内合并检测结果。例如,根据同一分组中各目标检测结果的检测框的位置关系,判断一个目标检测结果的检测框中是否包含其他目标检测结果的检测框,若包含则进行合并。
可选的,根据以下公式判断两个目标检测结果的检测框是否存在包含关系:
其中,一个目标检测结果的检测框表示为(x1,y1,w1,h1),x1表示检测框左上角x轴坐标值,y1表示检测框左上角y轴坐标值,w1表示检测框的宽度,h1表示检测框的高度;另一个目标检测结果的检测框表示为(x2,y2,w2,h2),x2表示检测框左上角x轴坐标值,y2表示检测框左上角y轴坐标值,w2表示检测框的宽度,h2表示检测框的高度。当检测框1与检测框2同时满足上述公式(1)和(2)时,判定检测框1与检测框2存在包含关系。检测框1包含检测框2的示意图如图3a所示,检测框1不包含检测框2的示意图如图3b所示。
S1033,按照预设组间合并规则,在各检测结果分组之间,将各目标检测结果及组内合并检测结果进行合并,得到组间合并检测结果。
预设组间合并规则为任意的合并各分组间的目标检测结果的规则。例如,根据各分组中的目标检测结果的检测框的位置关系,将各分组间的目标检测结果及组内合并检测结果进行合并。
在上述实施例的基础上,可选的,在本发明实施例的一种实施方式中,按照预设组间合并规则,在各检测结果分组之间,将各目标检测结果及组内合并检测结果进行合并,得到组间合并检测结果的步骤包括:
按照位置关系,在各上述检测结果分组之间,将各目标检测结果及组内合并检测结果进行合并,得到各组间合并后的组间主体检测结果及组间组件检测结果,作为组间合并检测结果。
一个组间主体检测结果对应一组组间组件检测结果,一组组间组件检测结果对应一个组间主体检测结果。一个组间主体检测结果中仅包含一个目标检测结果;一组组间组件检测结果可以包含任意数量的目标检测结果,例如0个、1个、2个、3个或4个等。分析***遍历各检测结果分组,分别比较不同检测结果分组中的组内合并检测结果的主体框的位置关系,若位置关系为包含关系,则在当前比较的各组内合并检测结果中,将预设的组间级别最高的组内主体检测结果作为组间主体检测结果,将各组内组件检测结果合并为组间组件检测结果,并将除组间主体检测结果外的其他组内主体检测结果添加到组间组件检测结果中。例如,当检测结果分组a中的组内合并检测结果a的主体框a,与检测结果分组b中的组内合并检测结果b的主体框b存在包含关系,且组内合并检测结果a的组间级别高于组内合并检测结果b的组间级别时,将组内合并检测结果a的组内主体检测结果作为组间主体检测结果;将组内合并检测结果a与组内合并检测结果b的组内组件检测结果进行合并,得到组间组件检测结果,并将组内合并检测结果b的组内主体检测结果添加到组间组件检测结果中。检测结果分组a与检测结果分组b为不同的检测结果分组。
预设的组间级别可以根据实际需求进行设定,可选的,组间级别由高到低的顺序依次为第一车组、第三车组、第二车组和人体组。
若一个组内合并检测结果的主体框与其他的任意组内合并检测结果的主体框均不存在包含关系,则令该组内合并检测结果的组内主体检测结果为组间合并检测结果,令该组内合并检测结果的组内组件检测结果为相应的组间组件检测结果。
在本发明实施例中,将根据位置关系,将各组内合并检测结果进行合并,得到组间合并检测结果。可以增强各目标检测结果间的联系,丰富图像分析结果,后续可以直接对目标合并检测结果进行处理,方便图像的后续处理,同时减少了后续需要跟踪的目标个数,降低后续目标跟踪的计算量。
S1034,将各组间合并检测结果,作为目标合并检测结果。
分析***将组间合并检测结果作为最终的目标合并检测结果,并输出目标合并检测结果。
在本发明实施例中,将各目标检测结果进行分组,并分别进行分组内及分组间的合并,得到目标合并检测结果,可以增强各目标检测结果间的联系,丰富图像分析结果,后续可以直接对目标合并检测结果进行处理,方便图像的后续处理,同时减少了后续需要跟踪的目标个数,降低后续目标跟踪的计算量。
可选的,按照预设分组规则,将多个目标检测结果进行分组,得到多个检测结果分组的步骤包括:
在上述多个目标检测结果中,将人体检测结果、头肩检测结果、人头检测结果及人脸检测结果归类到人体组,将第一类车辆的车辆检测结果及上述第一类车辆的车牌检测结果归类到第一车组,将第二类车辆的车辆检测结果归类到第二车组,将第三类车辆的车辆检测结果归类到第三车组,其中,上述第一类车辆为车轮数量不少于4的车辆,上述第二类车辆为车轮数量为2的车辆,上述第三类车辆为车轮数为3的车辆。
当本发明实施例的图像分析方法用于分析交通监控视频时,目标检测结果可以为人体检测结果、头肩检测结果、人头检测结果、人脸检测结果、车辆检测结果、车牌检测结果、第二类车辆的车辆检测结果及第三类车辆的车辆检测结果。根据预设分组规则将人体检测结果、头肩检测结果、人头检测结果及人脸检测结果归类到人体组,根据车轮数量将车辆检测结果及车牌检测结果归类为第一车组,将第二类车辆的车辆检测结果归类到第二车组,将第三类车辆的车辆检测结果归类到第三车组。能够应对待检测图像为交通监控视频中图像的情形,可以增强交通监控视频的待检测图像中目标检测结果间的联系,丰富图像分析结果。
可选的,按照预设组内合并规则,将每个检测结果分组包括的目标检测结果进行合并,得到组内合并检测结果的步骤包括:
按照位置关系,将每个检测结果分组包括的目标检测结果进行合并,得到每个组内目标合并后的组内主体检测结果及组内组件检测结果,作为组内合并检测结果。
在本发明实施例中,按照位置关系进行检测结果分组内目标检测结果的合并,可以增强各目标检测结果间的联系,丰富图像分析结果,后续可以直接对目标合并检测结果进行处理,方便图像的后续处理,同时减少了后续需要跟踪的目标个数,降低后续目标跟踪的计算量。
可选的,在本发明实施例的图像分析方法中,在多个目标检测结果包括人体检测结果、头肩检测结果、人头检测结果及人脸检测结果,检测结果分组包括人体组时,相应的,上述按照位置关系,将每个检测结果分组包括的目标检测结果进行合并,得到每个组内目标合并后的组内主体检测结果及组内组件检测结果,作为组内合并检测结果的步骤包括:
步骤一,在人体组中,按照预设目标框调整方法,调整每个人体检测结果中人体框的高度及人头检测结果中人头框的大小。
预设目标框调整方法为任意调整目标检测结果的检测框的方法,例如,对于人体检测结果,保持人体检测结果的人体框左上角x轴坐标、左上角y轴坐标及宽度不变,将人体框的高乘以变换系数a,得到高度调整后的人体框,其中,变换系数a为预设的常数,可以根据实际检测需求进行设定,例如0.333。对于人头检测结果的人头框,根据变换系数b,将人头框的左上角x轴坐标向左平移(b-1)/2、左上角y轴坐标向上移动(b-1)/2,宽度及高度各自乘以变换系数b,得到大小调整后的人头框,其中,变换系数a为预设的常数,可以根据实际检测需求进行设定,例如1.5。
步骤二,按照高度调整后的人体框、头肩检测结果的头肩框、大小调整后的人头框、及人脸检测结果的人脸框的位置关系,确定出属于同一目标主体的目标检测结果。
分别判断同一分组中各目标检测结果的检测框是否存在包含关系,将存在包含关系的检测框对应的目标检测结果作为同一目标主体(人)的目标检测结果。包含关系可以通过上述公式(1)和公式(2)进行判定,若两个目标检测结果的检测框同时满足上述公式(1)和公式(2),则判定存在包含关系。若目标检测结果1的检测框1与目标检测结果2的检测框2存在包含关系,且目标检测结果2的检测框2与目标检测结果3的检测框3存在包含关系,则无论目标检测结果1的检测框1与目标检测结果3的检测框3是否存在包含关系,都判定目标检测结果1、目标检测结果2及目标检测结果3为同一目标主体的目标检测结果。
步骤三,针对每个目标主体,选取定义级别最高的目标检测结果,作为该目标主体的组内主体检测结果,将该目标主体的除主体检测结果外的其他目标检测结果,作为该目标主体的组内组件检测结果,其中,定义级别由高到低的顺序依次为:人体检测结果、头肩检测结果、人头检测结果及人脸检测结果。
针对每个目标主体,分析***将定义级别最高的目标检测结果作为该目标主体的组内主体检测结果,将该目标主体的其余目标检测结果,作为该目标主体的组内组件检测结果。针对人体组中的每个目标主体,最后判定的结果可能为,人体检测结果为组内主体检测结果,组内组件检测结果为头肩检测结果、人头检测结果、人脸检测结果中的一个或多个,也可能为空;头肩检测结果为组内主体检测结果,组内组件检测结果为人头检测结果、人脸检测结果中的一个或多个,也可能为空;人头检测结果为组内主体检测结果,组内组件检测结果为人脸检测结果或为空;或人脸检测结果为组内主体检测结果,组内组件检测结果为空。
步骤四,分别将每个目标主体的组内主体检测结果及组内组件检测结果进行合并,得到人体组的组内合并检测结果。
人体组的组内合并检测结果可以如图4所示,人体框中包含头肩框、人头框及人脸框,其中人体框对应的人体检测结果为组内主体检测结果,头肩框对应的头肩检测结果、人头框对应的人头检测结果及人脸框对应的人脸检测结果为组内组件检测结果。
在本发明实施例中,给出了确定人体组的组内合并检测结果的具体方法,可以增强各目标检测结果间的联系,丰富图像分析结果,后续可以直接对目标合并检测结果进行处理,方便图像的后续处理,同时减少了后续需要跟踪的目标个数,降低后续目标跟踪的计算量。
在本发明实施例的一种实施方式中,参见图5,在多个目标检测结果包括人体检测结果、头肩检测结果、人头检测结果及人脸检测结果,检测结果分组包括人体组时,相应的,上述按照位置关系,将每个检测结果分组包括的目标检测结果进行合并,得到每个组内目标合并后的组内主体检测结果及组内组件检测结果,作为组内合并检测结果的步骤包括:
S501,获取人体组中的各人体检测结果。
由于同一待检测图像中可能有多个人,因此人体组内中可能包含多个目标主体(人)的目标检测结果。可以通过调用人体检测结果链表获取各人体检测结果,上述人体检测结果链表中保存了同一待检测图像中的所有人体检测结果。
S502,调整各人体检测结果的人体框的高度。
对所有人体检测结果中的人体框的高度进行调整,调整方式为人体框高度乘以变换系数a,其中a为常数,例如a=0.333。保持人体检测结果的人体框左上角x轴坐标、左上角y轴坐标及宽度不变,将人体框的高乘以变换系数a,得到高度调整后的人体框。
S503,获取人体组中的各头肩检测结果。
可以通过调用头肩检测结果链表获取各头肩检测结果,上述头肩检测结果链表中保存了同一待检测图像中的所有头肩检测结果。
S504,分别判断各人体检测结果的人体框中是否包含头肩检测结果中的头肩框。
根据上述公式(1)和(2),分别判断每个人体框与每个头肩框之间是否存在包含关系,若人体框与头肩框同时满足上述公式(1)和(2)则判定该人体框中包含该头肩框,否则判定不包含。若人体框中包含头肩框则执行S505,若人体框中不包含头肩框则执行S506。
S505,若人体框包含头肩框,则将该人体框对应的人体检测结果作为组内主体检测结果,对应的组内组件检测结果为该头肩框对应的头肩检测结果。
组内主体检测结果与组内组件检测结果是相互对应的,一个组内主体检测结果仅对应一个组内组件检测结果,且一个组内组件检测结果仅对应一个组内主体检测结果。其中,组内主体检测结果中仅包含一个目标检测结果,组内组件检测结果中可以包含任意数量的目标检测结果,例如,0个、1个、2个或3个等。
S506,若人体框不包含头肩框,则将该人体框对应的人体检测结果作为组内主体检测结果,对应的组内组件检测结果为空;同时若头肩框不包含在人体框中,将头肩框对应的头肩检测结果作为组内主体检测结果,对应的组内组件检测结果为空。
S507,合并当前组内主体检测结果及对应的组内组件检测结果,得到链表1。
将S505及S506得到的组内主体检测结果及该组内主体检测结果对应的组内组件检测结果进行合并相加,得到链表1,链表1中可以包括人体检测结果为组内主体检测结果,对应的组内组件检测结果为头肩检测结果;人体检测结果为组内主体检测结果,组内组件检测结果为空;及头肩测结果为组内主体检测结果,组内组件检测结果为空三种情况。
S508,获取人体组中的各人头检测结果。
可以通过调用人头检测结果链表获取各人头检测结果,上述人头检测结果链表中保存了同一待检测图像中的所有人头检测结果。
S509,调整各人头检测结果的人头框的大小。
对各人头检测结果中的人头框的高度和宽高进行调整,调整方式为宽、高都乘以变换系数b,其中,b为常数,例如b=1.5。对于人头检测结果的人头框,根据变换系数b,将人头框的左上角x轴坐标向左平移(b-1)/2、左上角y轴坐标向上移动(b-1)/2,宽度及高度各自乘以变换系数b,得到大小调整后的人头框。
S510,判断链表1中的组内主体检测结果的主体框中是否包含大小调整后的人头框。
组内主体检测结果的主体框是指作为组内主体检测结果的目标检测结果的检测框,例如人体检测结果的人体框等。根据上述公式(1)和(2)判断主体框中是否包含人头框。若主体框中包含人头框则执行S511,若主体框中不包含人头框则执行S512。
S511,若主体框中包含人头框,将该人头框对应的人头检测结果添加链表1中相应的组内组件检测结果中。
主体框中包含人头框,保持该主体框对应的组内主体检测结果不变,将该人头框对应的人头检测结果添加到,包含该人头框的主体框对应的组内组件检测结果中。
S512,若主体框中不包含人头框,保持该主体框对应的组内主体检测结果及组内组件检测结果不变,若人头框不包含在任何主体框中,将该人头框对应的人头检测结果作为组内主体检测结果,对应的组内组件检测结果为空。
S513,合并当前组内主体检测结果及对应的组内组件检测结果,得到链表2。
将S511及S512得到的组内主体检测结果及该组内主体检测结果对应的组内组件检测结果进行合并相加,得到链表2,链表2中可以包括:人体检测结果为组内主体检测结果,对应的组内组件检测结果为头肩检测结果及人头检测结果;人体检测结果为组内主体检测结果,对应的组内组件检测结果为头肩检测结果;人体检测结果为组内主体检测结果,对应的组内组件检测结果为人头检测结果;人体检测结果为组内主体检测结果,组内组件检测结果为空;头肩测结果为组内主体检测结果,组内组件检测结果为人头检测结果;及头肩测结果为组内主体检测结果,组内组件检测结果为空等情况。
S514,获取人体组中的各人脸检测结果。
可以通过调用人脸检测结果链表获取各人脸检测结果,上述人脸检测结果链表中保存了同一待检测图像中的所有人脸检测结果。
S515,判断链表2中的组内主体检测结果的主体框中是否包含的人脸框。
根据上述公式(1)和(2)判断主体框中是否包含人脸框。若主体框中包含人脸框则执行S516,若主体框中不包含人脸框则执行S517。
S516,若主体框中包含人脸框,则将该人脸框对应的人脸检测结果加入到相应的组内组件检测结果中。
主体框中包含人头框,保持该主体框对应的组内主体检测结果不变,将该人脸框对应的人脸检测结果添加到,包含该人脸框的主体框对应的组内组件检测结果中。
S517,若主体框不包含人脸框,保持该主体框对应的组内主体检测结果及组内组件检测结果不变,若人脸框不包含在任何主体框中,则将该人脸框对应的人脸检测结果作为组内主体检测结果,对应的组内组件检测结果为空。
S518,合并当前组内主体检测结果及对应的组内组件检测结果,得到组内链表。
将S516及S517得到的组内主体检测结果及该组内主体检测结果对应的组内组件检测结果进行合并相加,得到人体组的组内合并检测结果。为了方便存储及查询,可以将人体组的组内合并检测结果保存到人体组的组内链表中。则人体组的组内链表中可以包括:人体检测结果为组内主体检测结果,对应的组内组件检测结果为头肩检测结果、人头检测结果及人脸检测结果中的至少一种,或对应的组内组件检测结果为空;头肩测结果为组内主体检测结果,对应的组内组件检测结果为人头检测结果及人脸检测结果中的至少一种,或对应的组内组件检测结果为空;头肩测结果为组内主体检测结果,对应的组内组件检测结果为人脸检测结果或为空;人脸检测结果为组内主体检测结果,对应的组内组件检测结果为空等情况。
在本发明实施例中,给出了确定人体组的组内合并检测结果的具体方法,可以增强各目标检测结果间的联系,丰富图像分析结果,后续可以直接对目标合并检测结果进行处理,方便图像的后续处理,同时减少了后续需要跟踪的目标个数,降低后续目标跟踪的计算量。
在本发明实施例的一种实施方式中,多个目标检测结果还包括第一类车辆的车辆检测结果及上述第一类车辆的车牌检测结果,检测结果分组还包括第一车组,其中,上述第一类车辆为车轮数量不少于4的车辆。相应的,参见图6,按照位置关系,将每个检测结果分组包括的目标检测结果进行合并,得到每个组内目标合并后的组内主体检测结果及组内组件检测结果,作为组内合并检测结果的步骤包括:
S601,在第一车组中,检测各车辆检测结果的车辆框与各车牌检测结果的车牌框的位置关系。
车辆检测结果可以保存在车辆检测结果链表中,上述车辆检测结果链表中保存了同一待检测图像中的所有车辆检测结果。车牌检测结果可以保存在车牌检测结果链表中,上述车牌检测结果链表中保存了同一待检测图像中的所有车牌检测结果。遍历各车辆检测结果及各车牌检测结果,若车辆检测结果的车辆框与车牌检测结果的车牌框同时满足上述公式(1)和(2),则判定该车辆框中包含该车牌框。
S602,若车辆框中包含车牌框,将车辆框对应的车辆检测结果作为组内主体检测结果,将车辆框包含的车牌框对应的车牌检测结果作为组内组件检测结果。
S603,若车辆框中不包含车牌框,将车辆框对应的车辆检测结果作为组内主体检测结果,组内组件检测结果为空。
S604,若车牌框不包含在车辆框中,将车牌框对应的车牌检测结果作为组内主体检测结果,组内组件检测结果为空。
S605,分别将各组内主体检测结果及相应的组内组件检测结果进行合并,得到第一车组的组内合并检测结果。
将S602、S603及S604得到的组内主体检测结果及该组内主体检测结果对应的组内组件检测结果进行合并相加,得到第一车组的各组内合并检测结果。第一车组的组内合并检测结果可以包括:车辆检测结果为组内主体检测结果,对应的组内组件检测结果为车牌检测结果;车辆检测结果为组内主体检测结果,对应的组内组件检测结果为空;车牌检测结果为组内主体检测结果,对应的组内组件检测结果为空三种情况。其中,车辆检测结果为组内主体检测结果,对应的组内组件检测结果为车牌检测结果的组内合并检测结果可以如图7所示。可选的,第一车组的各组内合并检测结果可以保存在第一车组的组内链表中,以方便存储及查询。
在本发明实施例中,给出了确定第一车组的组内合并检测结果的具体方法,可以增强各目标检测结果间的联系,丰富图像分析结果,后续可以直接对目标合并检测结果进行处理,方便图像的后续处理,同时减少了后续需要跟踪的目标个数,降低后续目标跟踪的计算量。
在本发明实施例的一种实施方式中,按照预设组间合并规则,在各检测结果分组之间,将各目标检测结果及组内合并检测结果进行合并,得到组间合并检测结果的步骤包括:
按照位置关系,在各上述检测结果分组之间,将各目标检测结果及组内合并检测结果进行合并,得到各组间合并后的组间主体检测结果及组间组件检测结果,作为组间合并检测结果。
一个组间主体检测结果对应一组组间组件检测结果,一组组间组件检测结果对应一个组间主体检测结果。一个组间主体检测结果中仅包含一个目标检测结果;一组组间组件检测结果可以包含任意数量的目标检测结果,例如0个、1个、2个、3个或4个等。分析***遍历各检测结果分组,分别比较不同检测结果分组中的组内合并检测结果的主体框的位置关系,若位置关系为包含关系,则在当前比较的各组内合并检测结果中,将预设的组间级别最高的组内主体检测结果作为组间主体检测结果,将各组内组件检测结果合并为组间组件检测结果,并将除组间主体检测结果外的其他组内主体检测结果添加到组间组件检测结果中。例如,当检测结果分组a中的组内合并检测结果a的主体框a,与检测结果分组b中的组内合并检测结果b的主体框b存在包含关系,且组内合并检测结果a的组间级别高于组内合并检测结果b的组间级别时,将组内合并检测结果a的组内主体检测结果作为组间主体检测结果;将组内合并检测结果a与组内合并检测结果b的组内组件检测结果进行合并,得到组间组件检测结果,并将组内合并检测结果b的组内主体检测结果添加到组间组件检测结果中。检测结果分组a与检测结果分组b为不同的检测结果分组。
预设的组间级别可以根据实际需求进行设定,可选的,组间级别由高到低的顺序依次为第一车组、第三车组、第二车组和人体组。
若一个组内合并检测结果的主体框与其他的任意组内合并检测结果的主体框均不存在包含关系,则令该组内合并检测结果的组内主体检测结果为组间合并检测结果,令该组内合并检测结果的组内组件检测结果为相应的组间组件检测结果。
在本发明实施例中,将根据位置关系,将各组内合并检测结果进行合并,得到组间合并检测结果。可以增强各目标检测结果间的联系,丰富图像分析结果,后续可以直接对目标合并检测结果进行处理,方便图像的后续处理,同时减少了后续需要跟踪的目标个数,降低后续目标跟踪的计算量。
可选的,在上述按照位置关系,在各上述检测结果分组之间,将各目标检测结果及组内合并检测结果进行合并,得到各组间合并后的组间主体检测结果及组间组件检测结果,作为组间合并检测结果之前,上述方法还包括:
按照语义关系,确定组间合并组合,其中,同一组间合并组合中至少包括两个检测结果分组;
可选的,上述多个目标检测结果还包括第二类车辆的车辆检测结果及第三类车辆的车辆检测结果,上述检测结果分组还包括第二车组及第三车组,其中,上述第二类车辆为车轮数量为2的车辆,上述第三类车辆为车轮数为3的车辆,上述按照语义关系,确定组间合并组合的步骤包括:
按照语义关系,确定第一组间合并组合、第二组间合并组合及第三组间合并组合,其中,上述第一组间合并组合包括上述人体组及上述第一车组,上述第二组间合并组合包括上述人体组及上述第二车组,上述第三组间合并组合包括上述人体组及上述第三车组。
根据各检测结果分组的语义关系,将可以进行组间合并的各检测结果分组添加到同一组间合并组合中,且同一组间合并组合中各检测结果分组可以进行组间合并。例如,在检测结果分组包括第一车组及人体组时,可以将第一车组及人体组作为一个组间合并组合,这是因为从语义关系上分析,人可以驾驶第一类车辆,在人驾驶带一类车辆时,人和第一类车辆的运动速率一致,可以进行组间合并。
相应的,上述按照位置关系,在各上述检测结果分组之间,将各目标检测结果及组内合并检测结果进行合并,得到各组间合并后的组间主体检测结果及组间组件检测结果,作为组间合并检测结果,包括:
针对每个组间合并组合,按照位置关系,在该组间合并组合的各检测结果分组之间,将各目标检测结果及组内合并检测结果进行合并,得到各组间合并后的组间主体检测结果及组间组件检测结果,作为组间合并检测结果。
针对每个组间合并组合,根据该组间合并组合中的各检测框的位置关系,将各分组间的目标检测结果及组内合并检测结果进行合并。分析***分别比较同一组间合并组合中不同检测结果分组间的组内合并检测结果的主体框的位置关系,若位置关系为包含关系,则将预设的组间级别最高的组内主体检测结果作为组间主体检测结果,将各组内组件检测结果合并为组间组件检测结果,并将除组间主体检测结果外的其他组内主体检测结果添加到组间组件检测结果中。
例如,当检测结果分组a中的组内合并检测结果a的主体框a,与检测结果分组b中的组内合并检测结果b的主体框b存在包含关系,且组内合并检测结果a的组间级别高于组内合并检测结果b的组间级别时,将组内合并检测结果a的组内主体检测结果作为组间主体检测结果;将组内合并检测结果a与组内合并检测结果b的组内组件检测结果进行合并,得到组间组件检测结果,并将组内合并检测结果b的组内主体检测结果添加到组间组件检测结果中。检测结果分组a与检测结果分组b为不同的检测结果分组。
预设的组间级别可以根据实际需求进行设定,例如,组间级别由高到低的顺序依次为第一车组、第三车组、第二车组和人体组。
在本发明实施例中,根据语义关系,确定组间合并组合,对各组间合并组合分组内的检测结果分组进行组间合并,不用分别比较所有检测结果分组间检测框的位置关系,可以节约计算资源。
可选的,参见图8,针对每个组间合并组合,按照位置关系,在该组间合并组合的检测结果分组之间,将各目标检测结果及组内合并检测结果进行合并,得到各组间合并后的组间主体检测结果及组间组件检测结果,作为组间合并检测结果的步骤包括:
S801,针对第二组间合并组合,检测第二类车辆的车辆检测结果的二轮车框与人体组中组内主体检测结果的主体框的位置关系。
第二类车辆的车辆检测结果可以保存在第二类车辆的车辆检测结果链表中,上述第二类车辆的车辆检测结果链表中保存了同一待检测图像中的所有第二类车辆的车辆检测结果。分析***分别比较每个二轮车框与人体组中每个组内主体检测结果的主体框的位置关系,判断二轮车框中是否包含主体框,例如,若二轮车框与主体框满足上述公式(1)和(2),则判定二轮车框中包含主体框。
S802,若二轮车框中包含主体框,将二轮车框对应的第二类车辆的车辆检测结果作为组间主体检测结果,将二轮车框包含的主体框对应的组内主体检测结果及组内组件检测结果作为组间组件检测结果。
S803,若二轮车框中不包含主体框,将二轮车框对应的第二类车辆的车辆检测结果作为组间主体检测结果,组间组件检测结果为空。
S804,若主体框不包含在二轮车框中,将主体框对应的组内主体检测结果作为组间主体检测结果,将主体框对应的组内组件检测结果作为组间组件检测结果。
S805,分别将各组间主体检测结果及相应的组间组件检测结果进行合并,得到第二车组的组间合并检测结果。
第二车组的组间合并检测结果可以保存到第二车组间链表中。在实际情况中,可能存在多个人共乘一辆二轮车的情况,因此一个二轮车框中可能包含多个人体组中组内主体检测结果的主体框,此时第二车组的组间合并检测结果可以如图9所示,一个二轮车框中n个人的组内合并检测结果对应的检测框,包括人体框、头肩框、人头框及人脸框四个检测框,其中,n为正整数。
在本发明实施例中,给出了第二类车辆的车辆检测结果与人体组的组内合并检测结果的合并方法,可以增强各目标检测结果间的联系,丰富图像分析结果,后续可以直接对目标合并检测结果进行处理,方便图像的后续处理,同时减少了后续需要跟踪的目标个数,降低后续目标跟踪的计算量。
可选的,参见图10,针对每个组间合并组合,按照位置关系,在该组间合并组合的检测结果分组之间,将各目标检测结果及组内合并检测结果进行合并,得到各组间合并后的组间主体检测结果及组间组件检测结果,作为组间合并检测结果的步骤包括:
S1001,针对第三组间合并组合,检测第三类车辆的车辆检测结果的三轮车框与人体组中组内主体检测结果的主体框的位置关系。
第三类车辆的车辆检测结果可以保存在第三类车辆的车辆检测结果链表中,上述第三类车辆的车辆检测结果链表中保存了同一待检测图像中的所有第三类车辆的车辆检测结果。分析***分别比较每个三轮车框与人体组中每个组内主体检测结果的主体框的位置关系,判断三轮车框中是否包含主体框,例如,若三轮车框与主体框满足上述公式(1)和(2),则判定三轮车框中包含主体框。
S1002,若三轮车框中包含主体框,将三轮车框对应的第三类车辆的车辆检测结果作为组间主体检测结果,将三轮车框包含的主体框对应的组内主体检测结果及组内组件检测结果作为组间组件检测结果。
S1003,若三轮车框中不包含主体框,将三轮车框对应的第三类车辆的车辆检测结果作为组间主体检测结果,组间组件检测结果为空。
S1004,若主体框不包含在三轮车框中,将主体框对应的组内主体检测结果作为组间主体检测结果,将主体框对应的组内组件检测结果作为组间组件检测结果。
S1005,分别将各组间主体检测结果及相应的组间组件检测结果进行合并,得到第三车组的组间合并检测结果。
第三车组的组间合并检测结果可以保存到第三车组间链表中。在实际情况中,可能存在多个人共乘一辆三轮车的情况,因此一个三轮车框中可能包含多个人体组中组内主体检测结果的主体框,此时第三车组的组间合并检测结果可以如图11所示,一个三轮车框中包含n个人的组内合并检测结果对应的检测框,包括人体框、头肩框、人头框及人脸框四个检测框,其中,n为正整数。
在本发明实施例中,给出了第三类车辆的车辆检测结果与人体组的组内合并检测结果的合并方法,可以增强各目标检测结果间的联系,丰富图像分析结果,后续可以直接对目标合并检测结果进行处理,方便图像的后续处理,同时减少了后续需要跟踪的目标个数,降低后续目标跟踪的计算量。
可选的,参见图12,针对每个组间合并组合,按照位置关系,在该组间合并组合的检测结果分组之间,将各目标检测结果及组内合并检测结果进行合并,得到各组间合并后的组间主体检测结果及组间组件检测结果,作为组间合并检测结果的步骤包括:
S1201,针对第一组间合并组合,检测第一车组中组内主体检测结果的主体框与人体组中组内主体检测结果的主体框的位置关系。
分析***分别比较第一车组中每个组内主体检测结果的主体框与人体组中每个组内主体检测结果的主体框的位置关系,判断第一车组中组内主体检测结果的主体框是否包含人体组中组内主体检测结果的主体框,例如,若第一车组中组内主体检测结果的主体框与人体组中组内主体检测结果的主体框满足上述公式(1)和(2),则判定第一车组中组内主体检测结果的主体框包含人体组中组内主体检测结果的主体框。
S1202,若第一车组中组内主体检测结果的主体框中包含人体组中组内主体检测结果的主体框,将第一车组的组内主体检测结果作为组间主体检测结果,将第一车组的组内组件检测结果及人体组的组内合并检测结果作为组间组件检测结果。
S1203,若第一车组中组内主体检测结果的主体框中不包含人体组中组内主体检测结果的主体框,将第一车组的组内主体检测结果作为组间主体检测结果,将第一车组的组内组件检测结果作为组间组件检测结果。
S1204,若人体组中组内主体检测结果的主体框不包含在第一车组中组内主体检测结果的主体框中,将人体组的组内主体检测结果作为组间主体检测结果,将人体组的组内组件检测结果作为组间组件检测结果。
S1205,分别将各组间主体检测结果及相应的组间组件检测结果进行合并,得到第一车组的组间合并检测结果。
第一车组的组间合并检测结果可以保存到第一车组间链表中。在实际情况中,可能存在多个人共乘一辆第一类车辆的情况,因此一个车辆框中可能包含多个人体组中组内主体检测结果的主体框,此时第一车组的组间合并检测结果可以如图13所示,一个车辆框中包含一个车牌框及n个人的组内合并检测结果对应的检测框,包括人体框、头肩框、人头框及人脸框四个检测框,其中,n为正整数。
在本发明实施例中,给出了第一车组的组内合并检测结果与人体组的组内合并检测结果的合并方法,可以增强各目标检测结果间的联系,丰富图像分析结果,后续可以直接对目标合并检测结果进行处理,方便图像的后续处理,同时减少了后续需要跟踪的目标个数,降低后续目标跟踪的计算量。
下面根据一个具体的实施例,对本发明实施例的图像分析方法进行详细说明,参见图14,包括:
S1401,通过预设的目标检测算法,对待检测图像进行检测,得到多个目标检测结果,并分别将各目标检测结果保存到相应的检测结果链表中。
分别将各目标检测结果保存到相应的检测结果链表中,包括:将上述多个目标检测结果中的所有第二类车辆的车辆检测结果保存到第二类车辆的车辆检测结果链表中;将上述多个目标检测结果中的所有人脸检测结果保存到人脸检测结果链表中;将上述多个目标检测结果中的所有人头检测结果保存到人头检测结果链表中;将上述多个目标检测结果中的所有头肩检测结果保存到头肩检测结果链表中;将上述多个目标检测结果中的所有人体检测结果保存到人体检测结果链表中;将上述多个目标检测结果中的所有第三类车辆的车辆检测结果保存到第三类车辆的车辆检测结果链表中;将上述多个目标检测结果中的所有车辆检测结果保存到车辆检测结果链表中;将上述多个目标检测结果中的所有车牌检测结果保存到车牌检测结果链表中。
S1402,按照语义关系,将上述多个目标检测结果进行分组,并对各分组内的目标检测结果进行组内合并。
按照语义关系,将第二类车辆的车辆检测结果归类为第二车组;将人脸检测结果、人头检测结果、头肩检测结果及人体检测结果归类为人体组;将第三类车辆的车辆检测结果归类为第三车组;将车辆检测结果及车牌检测结果归类为第一车组。并针对人体组,对人脸检测结果、人头检测结果、头肩检测结果及人体检测结果进行组内合并,可选的,可以采用图5所示的方法对人体组进行组内合并,得到人体组的组内合并检测结果;针对第一车组,对车辆检测结果及车牌检测结果进行组内合并,可选的,可以采用图6所示的方法对第一车组进行组内合并,得到第一车组的组内合并检测结果。
S1403,在各分组间进行组间合并,得到组间合并检测结果。
将第二车组与人体组进行组间合并,比较每个二轮车框与人体组中每个组内主体检测结果的主体框的位置关系,判断二轮车框中是否包含主体框,例如,若二轮车框与主体框满足上述公式(1)和(2),则判定二轮车框中包含主体框。若二轮车框中包含主体框,将二轮车框对应的第二类车辆的车辆检测结果作为组间主体检测结果,将二轮车框包含的主体框对应的组内主体检测结果及组内组件检测结果作为组间组件检测结果。若二轮车框中不包含主体框,将二轮车框对应的第二类车辆的车辆检测结果作为组间主体检测结果,组间组件检测结果为空。
将第三车组与人体组进行组间合并,比较每个三轮车框与人体组中每个组内主体检测结果的主体框的位置关系,判断三轮车框中是否包含主体框,例如,若三轮车框与主体框满足上述公式(1)和(2),则判定三轮车框中包含主体框。若三轮车框中包含主体框,将三轮车框对应的第三类车辆的车辆检测结果作为组间主体检测结果,将三轮车框包含的主体框对应的组内主体检测结果及组内组件检测结果作为组间组件检测结果。若三轮车框中不包含主体框,将三轮车框对应的第三类车辆的车辆检测结果作为组间主体检测结果,组间组件检测结果为空。
将第一车组与人体组进行组间合并,比较第一车组中每个组内主体检测结果的主体框与人体组中每个组内主体检测结果的主体框的位置关系,判断第一车组中组内主体检测结果的主体框是否包含人体组中组内主体检测结果的主体框,例如,若第一车组中组内主体检测结果的主体框与人体组中组内主体检测结果的主体框满足上述公式(1)和(2),则判定第一车组中组内主体检测结果的主体框包含人体组中组内主体检测结果的主体框。若第一车组中组内主体检测结果的主体框中包含人体组中组内主体检测结果的主体框,将第一车组的组内主体检测结果作为组间主体检测结果,将第一车组的组内组件检测结果及人体组的组内合并检测结果作为组间组件检测结果。若第一车组中组内主体检测结果的主体框中不包含人体组中组内主体检测结果的主体框,将第一车组的组内主体检测结果作为组间主体检测结果,将第一车组的组内组件检测结果作为组间组件检测结果。
若人体组中组内主体检测结果的主体框不包含在第一车组中组内主体检测结果的主体框中,人体组中组内主体检测结果的主体框不包含在二轮车框中,且人体组中组内主体检测结果的主体框不包含在三轮车框中,将人体组的组内主体检测结果作为组间主体检测结果,将人体组的组内组件检测结果作为组间组件检测结果。
针对每个组间主体检测结果,合并该组间主体检测结果及该组间主体检测结果对应的组间组件检测结果,得到组间合并检测结果。组间合并检测结果可以为:车辆检测结果为组间主体检测结果,组间组件检测结果为人体检测结果、头肩检测结果、人头检测结果、人脸检测结果、车牌检测结果中的1个或多个,也可能为空;人体检测结果为组间主体检测结果,组间组件检测结果为头肩检测结果、人头检测结果、人脸检测结果中的1个或多个,也可能为空;头肩检测结果为组间主体检测结果,组间组件检测结果为人头检测结果、人脸检测结果中的1个或多个,也可能为空;人头检测结果为组间主体检测结果,组间组件检测结果为人脸检测结果或为空;人脸检测结果为组间主体检测结果,组间组件检测结果为空;第二类车辆的车辆检测结果为组间主体检测结果,组间组件检测结果为人体检测结果、头肩检测结果、人头检测结果、人脸检测结果中的1个或多个,也可能为空;第三类车辆的车辆检测结果为组间主体检测结果,组间组件检测结果为人体检测结果、头肩检测结果、人头检测结果、人脸检测结果中的1个或多个,也可能为空。
本发明实施例的图像分析方法,可以获取待检测图像中的人体检测结果、头肩检测结果、人头检测结果、人脸检测结果、车辆检测结果、车牌检测结果、第二类车辆的车辆检测结果、第三类车辆的车辆检测结果等多种检测结果,同时将各目标检测结果进行合并,得到的组间合并检测结果,具有一定的语义。例如对于一个目标:如果组间合并检测结果的组间主体检测结果为人体检测结果,同时存在组间组件检测结果为人头检测结果、头肩检测结果、人脸检测结果中的一种或多种,则可表示该目标是一个类别为“人”的目标,同时该目标还存在着人头、头肩、人脸中的一种或多种;如果组间合并检测结果的组间主体检测结果为车辆检测结果,同时存在组间组件检测结果为车牌检测结果,则可表示该目标是一个类别为“车”的目标,同时还有车牌,进一步的,如果组间组件检测结果中还包括人体组的目标检测结果,则表示该车辆中还有人。对视频中的目标进行了全面的分析,并对目标之间的语义关系进行了描述。
相应的,本发明实施例还提供了一种图像分析装置,参见图15,该装置包括:
图像获取模块1501,用于获取待检测图像;
目标检测模块1502,用于通过预设的目标检测算法,对上述待检测图像进行检测,得到多个目标检测结果;
结果合并模块1503,用于按照预设合并规则对上述多个目标检测结果进行合并,得到目标合并检测结果。
在本发明实施例中,将符合预设合并规则的目标检测结果进行合并,可以增强各目标检测结果间的联系,丰富图像分析结果,后续可以直接对目标合并检测结果进行处理,方便图像的后续处理,同时减少了后续需要跟踪的目标个数,降低后续目标跟踪的计算量。
在本发明实施例的一种实施方式中,上述结果合并模块1503包括:
结果分组子模块,用于按照预设分组规则,将上述多个目标检测结果进行分组,得到多个检测结果分组;
组内合并子模块,用于按照预设组内合并规则,将每个上述检测结果分组中包括的目标检测结果进行合并,得到组内合并检测结果;
组间合并子模块,用于按照预设组间合并规则,在各上述检测结果分组之间,将各目标检测结果及组内合并检测结果进行合并,得到组间合并检测结果;
结果确定子模块,用于将各上述组间合并检测结果,作为目标合并检测结果。
在本发明实施例的一种实施方式中,上述结果分组子模块,具体用于:
在上述多个目标检测结果中,将人体检测结果、头肩检测结果、人头检测结果及人脸检测结果归类到人体组,将第一类车辆的车辆检测结果及上述第一类车辆的车牌检测结果归类到第一车组,将第二类车辆的车辆检测结果归类到第二车组,将第三类车辆的车辆检测结果归类到第三车组,其中,上述第一类车辆为车轮数量不少于4的车辆,上述第二类车辆为车轮数量为2的车辆,上述第三类车辆为车轮数为3的车辆。
在本发明实施例的一种实施方式中,上述组内合并子模块,具体用于:
按照位置关系,将每个上述检测结果分组包括的目标检测结果进行合并,得到每个组内目标合并后的组内主体检测结果及组内组件检测结果,作为组内合并检测结果。
在本发明实施例的一种实施方式中,上述多个目标检测结果包括人体检测结果、头肩检测结果、人头检测结果及人脸检测结果,上述检测结果分组包括人体组;相应的,上述组内合并子模块包括:
检测框调整单元,用于在上述人体组中,按照预设目标框调整方法,调整每个上述人体检测结果中人体框的高度及上述人头检测结果中人头框的大小;
人体组位置比较单元,用于按照高度调整后的人体框、上述头肩检测结果的头肩框、大小调整后的人头框、及上述人脸检测结果的人脸框的位置关系,确定出属于同一目标主体的目标检测结果;
人体组主体确定单元,用于针对每个上述目标主体,选取定义级别最高的目标检测结果,作为上述目标主体的组内主体检测结果,将上述目标主体的除上述主体检测结果外的其他目标检测结果,作为上述目标主体的组内组件检测结果,其中,上述定义级别由高到低的顺序依次为:人体检测结果、头肩检测结果、人头检测结果及人脸检测结果;
人体组组内合并单元,用于分别将每个上述目标主体的组内主体检测结果及组内组件检测结果进行合并,得到上述人体组的组内合并检测结果。
在本发明实施例的一种实施方式中,上述多个目标检测结果还包括第一类车辆的车辆检测结果及车牌检测结果,上述检测结果分组还包括第一车组,其中,上述第一类车辆为车轮数量不少于4的车辆;相应的,上述组内合并子模块包括:
第一车组组位置比较单元,用于在上述第一车组中,检测各上述车辆检测结果的车辆框与各上述车牌检测结果的车牌框的位置关系;
第一主体确定单元,用于若上述车辆框中包含上述车牌框,将上述车辆框对应的车辆检测结果作为组内主体检测结果,将上述车辆框包含的车牌框对应的车牌检测结果作为组内组件检测结果;
第二主体确定单元,用于若上述车辆框中不包含上述车牌框,将上述车辆框对应的车辆检测结果作为组内主体检测结果,组内组件检测结果为空;
第三主体确定单元,用于若上述车牌框不包含在上述车辆框中,将上述车牌框对应的车牌检测结果作为组内主体检测结果,组内组件检测结果为空;
第一车组组内合并单元,用于分别将各上述组内主体检测结果及相应的组内组件检测结果进行合并,得到上述第一车组的组内合并检测结果。
在本发明实施例的一种实施方式中,上述组间合并子模块,具体用于:
按照位置关系,在各上述检测结果分组之间,将各目标检测结果及组内合并检测结果进行合并,得到各组间合并后的组间主体检测结果及组间组件检测结果,作为组间合并检测结果。
在本发明实施例的一种实施方式中,上述组间合并子模块,具体用于:
按照位置关系,在各上述检测结果分组之间,将各目标检测结果及组内合并检测结果进行合并,得到各组间合并后的组间主体检测结果及组间组件检测结果,作为组间合并检测结果。
在本发明实施例的一种实施方式中,上述图像分析装置,还包括:
组合确定模块,用于按照语义关系,确定组间合并组合,其中,同一组间合并组合中至少包括两个检测结果分组;
上述组间合并子模块,具体用于针对每个组间合并组合,按照位置关系,在该组间合并组合的各检测结果分组之间,将各目标检测结果及组内合并检测结果进行合并,得到各组间合并后的组间主体检测结果及组间组件检测结果,作为组间合并检测结果。
在本发明实施例的一种实施方式中,上述多个目标检测结果还包括第二类车辆的车辆检测结果及第三类车辆的车辆检测结果,上述检测结果分组还包括第二车组及第三车组,其中,上述第二类车辆为车轮数量为2的车辆,上述第三类车辆为车轮数为3的车辆;
组合确定模块,具体用于:
按照语义关系,确定第一组间合并组合、第二组间合并组合及第三组间合并组合,其中,第一组间合并组合包括人体组及第一车组,第二组间合并组合包括人体组及第二车组,第三组间合并组合包括人体组及第三车组。
在本发明实施例的一种实施方式中,上述组间合并子模块,包括:
二轮车位置比较单元,用于针对上述第二组间合并组合,检测上述第二类车辆的车辆检测结果的二轮车框与上述人体组中组内主体检测结果的主体框的位置关系;
二轮车第一确定单元,用于若上述二轮车框中包含上述主体框,将上述二轮车框对应的第二类车辆的车辆检测结果作为组间主体检测结果,将上述二轮车框包含的主体框对应的组内主体检测结果及组内组件检测结果作为组间组件检测结果;
二轮车第二确定单元,用于若上述二轮车框中不包含上述主体框,将上述二轮车框对应的第二类车辆的车辆检测结果作为组间主体检测结果,组间组件检测结果为空;
二轮车第三确定单元,用于上述主体框不包含在上述二轮车框中,将上述主体框对应的组内主体检测结果作为组间主体检测结果,将上述主体框对应的组内组件检测结果作为组间组件检测结果;
第二车组间合并单元,用于分别将各上述组间主体检测结果及相应的组间组件检测结果进行合并,得到上述第二车组的组间合并检测结果。
在本发明实施例的一种实施方式中,上述组间合并子模块,包括:
三轮车位置比较单元,用于针对上述第三组间合并组合,检测上述第三类车辆的车辆检测结果的三轮车框与上述人体组中组内主体检测结果的主体框的位置关系;
三轮车第一确定单元,用于若上述三轮车框中包含上述主体框,将上述三轮车框对应的第三类车辆的车辆检测结果作为组间主体检测结果,将上述三轮车框包含的主体框对应的组内合并检测结果作为组间组件检测结果;
三轮车第二确定单元,用于若上述三轮车框中不包含上述主体框,将上述三轮车框对应的第三类车辆的车辆检测结果作为组间主体检测结果,组间组件检测结果为空;
三轮车第三确定单元,用于若上述主体框不包含在上述三轮车框中,将上述主体框对应的组内主体检测结果作为组间主体检测结果,将上述主体框对应的组内组件检测结果作为组间组件检测结果;
第三车组间合并单元,用于分别将各上述组间主体检测结果及相应的组间组件检测结果进行合并,得到上述第三车组的组间合并检测结果。
在本发明实施例的一种实施方式中,上述组间合并子模块,包括:
一类车辆位置比较单元,用于针对上述第一组间合并组合,检测上述第一车组中组内主体检测结果的主体框与上述人体组中组内主体检测结果的主体框的位置关系;
一类车辆第一确定单元,用于若上述第一车组中组内主体检测结果的主体框中包含上述人体组中组内主体检测结果的主体框,将上述第一车组的组内主体检测结果作为组间主体检测结果,将上述第一车组的组内组件检测结果及上述人体组的组内合并检测结果作为组间组件检测结果;
一类车辆第二确定单元,用于若上述第一车组中组内主体检测结果的主体框中不包含上述人体组中组内主体检测结果的主体框,将上述第一车组的组内主体检测结果作为组间主体检测结果,将上述第一车组的组内组件检测结果作为组间组件检测结果;
一类车辆第三确定单元,用于若上述人体组中组内主体检测结果的主体框不包含在上述第一车组中组内主体检测结果的主体框中,将上述人体组的组内主体检测结果作为组间主体检测结果,将上述人体组的组内组件检测结果作为组间组件检测结果;
第一车组间合并单元,用于分别将各上述组间主体检测结果及相应的组间组件检测结果进行合并,得到上述第一车组的组间合并检测结果。
相应的,本发明实施例还提供了一种电子设备,如图16所示,包括处理器1601和存储器1602,
存储器1602,用于存放计算机程序;
处理器1601,用于执行存储器1602上所存放的程序时,实现如下步骤:
获取待检测图像;
通过预设的目标检测算法,对上述待检测图像进行检测,得到多个目标检测结果;
按照预设合并规则对上述多个目标检测结果进行合并,得到目标合并检测结果。
在本发明实施例中,将符合预设合并规则的目标检测结果进行合并,可以增强各目标检测结果间的联系,丰富图像分析结果,后续可以直接对目标合并检测结果进行处理,方便图像的后续处理,同时减少了后续需要跟踪的目标个数,降低后续目标跟踪的计算量。
可选的,处理器1601,用于执行存储器1602上所存放的程序时,还可以实现上述任一图像分析方法。
上述电子设备提到的存储器可以包括随机存取存储器(Random Access Memory,RAM),也可以包括非易失性存储器(Non-Volatile Memory,NVM),例如至少一个磁盘存储器。可选的,存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(Network Processor,NP)等;还可以是数字信号处理器(Digital SignalProcessing,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本发明实施例提供了一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现如下步骤:
获取待检测图像;
通过预设的目标检测算法,对上述待检测图像进行检测,得到多个目标检测结果;
按照预设合并规则对上述多个目标检测结果进行合并,得到目标合并检测结果。
在本发明实施例中,将符合预设合并规则的目标检测结果进行合并,可以增强各目标检测结果间的联系,丰富图像分析结果,后续可以直接对目标合并检测结果进行处理,方便图像的后续处理,同时减少了后续需要跟踪的目标个数,降低后续目标跟踪的计算量。
可选的,计算机可读存储介质内存储的计算机程序被处理器执行时,还可以实现上述任一图像分析方法。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置、电子设备及存储介质的实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。

Claims (26)

1.一种图像分析方法,其特征在于,所述方法包括:
获取待检测图像;
通过预设的目标检测算法,对所述待检测图像进行检测,得到多个目标检测结果;
按照预设合并规则对所述多个目标检测结果进行合并,得到目标合并检测结果。
2.根据权利要求1所述的方法,其特征在于,所述按照预设合并规则对所述多个目标检测结果进行合并,得到目标合并检测结果的步骤包括:
按照预设分组规则,将所述多个目标检测结果进行分组,得到多个检测结果分组;
按照预设组内合并规则,将每个所述检测结果分组中包括的目标检测结果进行合并,得到组内合并检测结果;
按照预设组间合并规则,在各所述检测结果分组之间,将各目标检测结果及组内合并检测结果进行合并,得到组间合并检测结果;
将各所述组间合并检测结果,作为目标合并检测结果。
3.根据权利要求2所述的方法,其特征在于,所述按照预设分组规则,将所述多个目标检测结果进行分组,得到多个检测结果分组的步骤包括:
在所述多个目标检测结果中,将人体检测结果、头肩检测结果、人头检测结果及人脸检测结果归类到人体组,将第一类车辆的车辆检测结果及所述第一类车辆的车牌检测结果归类到第一车组,将第二类车辆的车辆检测结果归类到第二车组,将第三类车辆的车辆检测结果归类到第三车组,其中,所述第一类车辆为车轮数量不少于4的车辆,所述第二类车辆为车轮数量为2的车辆,所述第三类车辆为车轮数为3的车辆。
4.根据权利要求2所述的方法,其特征在于,所述按照预设组内合并规则,将每个所述检测结果分组包括的目标检测结果进行合并,得到组内合并检测结果的步骤包括:
按照位置关系,将每个所述检测结果分组包括的目标检测结果进行合并,得到每个组内目标合并后的组内主体检测结果及组内组件检测结果,作为组内合并检测结果。
5.根据权利要求4所述的方法,其特征在于,所述多个目标检测结果包括人体检测结果、头肩检测结果、人头检测结果及人脸检测结果,所述检测结果分组包括人体组;
所述按照位置关系,将每个所述检测结果分组包括的目标检测结果进行合并,得到每个组内目标合并后的组内主体检测结果及组内组件检测结果,作为组内合并检测结果的步骤包括:
在所述人体组中,按照预设目标框调整方法,调整每个所述人体检测结果中人体框的高度及所述人头检测结果中人头框的大小;
按照高度调整后的人体框、所述头肩检测结果的头肩框、大小调整后的人头框、及所述人脸检测结果的人脸框的位置关系,确定出属于同一目标主体的目标检测结果;
针对每个所述目标主体,选取定义级别最高的目标检测结果,作为所述目标主体的组内主体检测结果,将所述目标主体的除所述主体检测结果外的其他目标检测结果,作为所述目标主体的组内组件检测结果,其中,所述定义级别由高到低的顺序依次为:人体检测结果、头肩检测结果、人头检测结果及人脸检测结果;
分别将每个所述目标主体的组内主体检测结果及组内组件检测结果进行合并,得到所述人体组的组内合并检测结果。
6.根据权利要求5所述的方法,其特征在于,所述多个目标检测结果还包括第一类车辆的车辆检测结果及所述第一类车辆的车牌检测结果,所述检测结果分组还包括第一车组,其中,所述第一类车辆为车轮数量不少于4的车辆;
所述按照位置关系,将每个所述检测结果分组包括的目标检测结果进行合并,得到每个组内目标合并后的组内主体检测结果及组内组件检测结果,作为组内合并检测结果的步骤包括:
在所述第一车组中,检测各所述第一类车辆的车辆检测结果的车辆框与各所述车牌检测结果的车牌框的位置关系;
若所述车辆框中包含所述车牌框,将所述车辆框对应的车辆检测结果作为组内主体检测结果,将所述车辆框包含的车牌框对应的车牌检测结果作为组内组件检测结果;
若所述车辆框中不包含所述车牌框,将所述车辆框对应的车辆检测结果作为组内主体检测结果,组内组件检测结果为空;
若所述车牌框不包含在所述车辆框中,将所述车牌框对应的车牌检测结果作为组内主体检测结果,组内组件检测结果为空;
分别将各所述组内主体检测结果及相应的组内组件检测结果进行合并,得到所述第一车组的组内合并检测结果。
7.根据权利要求6所述的方法,其特征在于,所述按照预设组间合并规则,在各所述检测结果分组之间,将各目标检测结果及组内合并检测结果进行合并,得到组间合并检测结果的步骤包括:
按照位置关系,在各所述检测结果分组之间,将各目标检测结果及组内合并检测结果进行合并,得到各组间合并后的组间主体检测结果及组间组件检测结果,作为组间合并检测结果。
8.根据权利要求7所述的方法,其特征在于,在所述按照位置关系,在各所述检测结果分组之间,将各目标检测结果及组内合并检测结果进行合并,得到各组间合并后的组间主体检测结果及组间组件检测结果,作为组间合并检测结果之前,所述方法还包括:
按照语义关系,确定组间合并组合,其中,同一所述组间合并组合中至少包括两个检测结果分组;
所述按照位置关系,在各所述检测结果分组之间,将各目标检测结果及组内合并检测结果进行合并,得到各组间合并后的组间主体检测结果及组间组件检测结果,作为组间合并检测结果,包括:
针对每个所述组间合并组合,按照位置关系,在该组间合并组合的各检测结果分组之间,将各目标检测结果及组内合并检测结果进行合并,得到各组间合并后的组间主体检测结果及组间组件检测结果,作为组间合并检测结果。
9.根据权利要求8所述的方法,其特征在于,所述多个目标检测结果还包括第二类车辆的车辆检测结果及第三类车辆的车辆检测结果,所述检测结果分组还包括第二车组及第三车组,其中,所述第二类车辆为车轮数量为2的车辆,所述第三类车辆为车轮数为3的车辆;
所述按照语义关系,确定组间合并组合的步骤包括:
按照语义关系,确定第一组间合并组合、第二组间合并组合及第三组间合并组合,其中,所述第一组间合并组合包括所述人体组及所述第一车组,所述第二组间合并组合包括所述人体组及所述第二车组,所述第三组间合并组合包括所述人体组及所述第三车组。
10.根据权利要求9所述的方法,其特征在于,所述针对每个所述组间合并组合,按照位置关系,在该组间合并组合的检测结果分组之间,将各目标检测结果及组内合并检测结果进行合并,得到各组间合并后的组间主体检测结果及组间组件检测结果,作为组间合并检测结果的步骤包括:
针对所述第二组间合并组合,检测所述第二类车辆的车辆检测结果的二轮车框与所述人体组中组内主体检测结果的主体框的位置关系;
若所述二轮车框中包含所述主体框,将所述二轮车框对应的第二类车辆的车辆检测结果作为组间主体检测结果,将所述二轮车框包含的主体框对应的组内主体检测结果及组内组件检测结果作为组间组件检测结果;
若所述二轮车框中不包含所述主体框,将所述二轮车框对应的第二类车辆的车辆检测结果作为组间主体检测结果,组间组件检测结果为空;
若所述主体框不包含在所述二轮车框中,将所述主体框对应的组内主体检测结果作为组间主体检测结果,将所述主体框对应的组内组件检测结果作为组间组件检测结果;
分别将各所述组间主体检测结果及相应的组间组件检测结果进行合并,得到所述第二车组的组间合并检测结果。
11.根据权利要求9所述的方法,其特征在于,所述针对每个所述组间合并组合,按照位置关系,在该组间合并组合的检测结果分组之间,将各目标检测结果及组内合并检测结果进行合并,得到各组间合并后的组间主体检测结果及组间组件检测结果,作为组间合并检测结果的步骤包括:
针对所述第三组间合并组合,检测所述第三类车辆的车辆检测结果的三轮车框与所述人体组中组内主体检测结果的主体框的位置关系;
若所述三轮车框中包含所述主体框,将所述三轮车框对应的第三类车辆的车辆检测结果作为组间主体检测结果,将所述三轮车框包含的主体框对应的组内合并检测结果作为组间组件检测结果;
若所述三轮车框中不包含所述主体框,将所述三轮车框对应的第三类车辆的车辆检测结果作为组间主体检测结果,组间组件检测结果为空;
若所述主体框不包含在所述三轮车框中,将所述主体框对应的组内主体检测结果作为组间主体检测结果,将所述主体框对应的组内组件检测结果作为组间组件检测结果;
分别将各所述组间主体检测结果及相应的组间组件检测结果进行合并,得到所述第三车组的组间合并检测结果。
12.根据权利要求9所述的方法,其特征在于,所述针对每个所述组间合并组合,按照位置关系,在该组间合并组合的检测结果分组之间,将各目标检测结果及组内合并检测结果进行合并,得到各组间合并后的组间主体检测结果及组间组件检测结果,作为组间合并检测结果的步骤包括:
针对所述第一组间合并组合,检测所述第一车组中组内主体检测结果的主体框与所述人体组中组内主体检测结果的主体框的位置关系;
若所述第一车组中组内主体检测结果的主体框中包含所述人体组中组内主体检测结果的主体框,将所述第一车组的组内主体检测结果作为组间主体检测结果,将所述第一车组的组内组件检测结果及所述人体组的组内合并检测结果作为组间组件检测结果;
若所述第一车组中组内主体检测结果的主体框中不包含所述人体组中组内主体检测结果的主体框,将所述第一车组的组内主体检测结果作为组间主体检测结果,将所述第一车组的组内组件检测结果作为组间组件检测结果;
若所述人体组中组内主体检测结果的主体框不包含在所述所述第一车组中组内主体检测结果的主体框中,将所述人体组的组内主体检测结果作为组间主体检测结果,将所述人体组的组内组件检测结果作为组间组件检测结果;
分别将各所述组间主体检测结果及相应的组间组件检测结果进行合并,得到所述第一车组的组间合并检测结果。
13.一种图像分析装置,其特征在于,所述装置包括:
图像获取模块,用于获取待检测图像;
目标检测模块,用于通过预设的目标检测算法,对所述待检测图像进行检测,得到多个目标检测结果;
结果合并模块,用于按照预设合并规则对所述多个目标检测结果进行合并,得到目标合并检测结果。
14.根据权利要求13所述的装置,其特征在于,所述结果合并模块包括:
结果分组子模块,用于按照预设分组规则,将所述多个目标检测结果进行分组,得到多个检测结果分组;
组内合并子模块,用于按照预设组内合并规则,将每个所述检测结果分组中包括的目标检测结果进行合并,得到组内合并检测结果;
组间合并子模块,用于按照预设组间合并规则,在各所述检测结果分组之间,将各目标检测结果及组内合并检测结果进行合并,得到组间合并检测结果;
结果确定子模块,用于将各所述组间合并检测结果,作为目标合并检测结果。
15.根据权利要求14所述的装置,其特征在于,所述结果分组子模块,具体用于:
在所述多个目标检测结果中,将人体检测结果、头肩检测结果、人头检测结果及人脸检测结果归类到人体组,将第一类车辆的车辆检测结果及所述第一类车辆的车牌检测结果归类到第一车组,将第二类车辆的车辆检测结果归类到第二车组,将第三类车辆的车辆检测结果归类到第三车组,其中,所述第一类车辆为车轮数量不少于4的车辆,所述第二类车辆为车轮数量为2的车辆,所述第三类车辆为车轮数为3的车辆。
16.根据权利要求14所述的装置,其特征在于,所述组内合并子模块,具体用于:
按照位置关系,将每个所述检测结果分组包括的目标检测结果进行合并,得到每个组内目标合并后的组内主体检测结果及组内组件检测结果,作为组内合并检测结果。
17.根据权利要求16所述的装置,其特征在于,所述多个目标检测结果包括人体检测结果、头肩检测结果、人头检测结果及人脸检测结果,所述检测结果分组包括人体组;
所述组内合并子模块包括:
检测框调整单元,用于在所述人体组中,按照预设目标框调整方法,调整每个所述人体检测结果中人体框的高度及所述人头检测结果中人头框的大小;
人体组位置比较单元,用于按照高度调整后的人体框、所述头肩检测结果的头肩框、大小调整后的人头框、及所述人脸检测结果的人脸框的位置关系,确定出属于同一目标主体的目标检测结果;
人体组主体确定单元,用于针对每个所述目标主体,选取定义级别最高的目标检测结果,作为所述目标主体的组内主体检测结果,将所述目标主体的除所述主体检测结果外的其他目标检测结果,作为所述目标主体的组内组件检测结果,其中,所述定义级别由高到低的顺序依次为:人体检测结果、头肩检测结果、人头检测结果及人脸检测结果;
人体组组内合并单元,用于分别将每个所述目标主体的组内主体检测结果及组内组件检测结果进行合并,得到所述人体组的组内合并检测结果。
18.根据权利要求17所述的装置,其特征在于,所述多个目标检测结果还包括第一类车辆的车辆检测结果及所述第一类车辆的车牌检测结果,所述检测结果分组还包括第一车组,其中,所述第一类车辆为车轮数量不少于4的车辆;
所述组内合并子模块包括:
第一车组位置比较单元,用于在所述第一车组中,检测各所述车辆检测结果的车辆框与各所述车牌检测结果的车牌框的位置关系;
第一主体确定单元,用于若所述车辆框中包含所述车牌框,将所述车辆框对应的车辆检测结果作为组内主体检测结果,将所述车辆框包含的车牌框对应的车牌检测结果作为组内组件检测结果;
第二主体确定单元,用于若所述车辆框中不包含所述车牌框,将所述车辆框对应的车辆检测结果作为组内主体检测结果,组内组件检测结果为空;
第三主体确定单元,用于若所述车牌框不包含在所述车辆框中,将所述车牌框对应的车牌检测结果作为组内主体检测结果,组内组件检测结果为空;
第一车组组内合并单元,用于分别将各所述组内主体检测结果及相应的组内组件检测结果进行合并,得到所述第一车组的组内合并检测结果。
19.根据权利要求18所述的装置,其特征在于,所述组间合并子模块,具体用于:
按照位置关系,在各所述检测结果分组之间,将各目标检测结果及组内合并检测结果进行合并,得到各组间合并后的组间主体检测结果及组间组件检测结果,作为组间合并检测结果。
20.根据权利要求19所述的装置,其特征在于,所述装置还包括:
组合确定模块,用于按照语义关系,确定组间合并组合,其中,同一所述组间合并组合中至少包括两个检测结果分组;
所述组间合并子模块,具体用于针对每个所述组间合并组合,按照位置关系,在该组间合并组合的各检测结果分组之间,将各目标检测结果及组内合并检测结果进行合并,得到各组间合并后的组间主体检测结果及组间组件检测结果,作为组间合并检测结果。
21.根据权利要求20所述的装置,其特征在于,所述多个目标检测结果还包括第二类车辆的车辆检测结果及第三类车辆的车辆检测结果,所述检测结果分组还包括第二车组及第三车组,其中,所述第二类车辆为车轮数量为2的车辆,所述第三类车辆为车轮数为3的车辆;
所述组合确定模块,具体用于:
按照语义关系,确定第一组间合并组合、第二组间合并组合及第三组间合并组合,其中,所述第一组间合并组合包括所述人体组及所述第一车组,所述第二组间合并组合包括所述人体组及所述第二车组,所述第三组间合并组合包括所述人体组及所述第三车组。
22.根据权利要求21所述的方法,其特征在于,所述组间合并子模块,包括:
二轮车位置比较单元,用于针对所述第二组间合并组合,检测所述第二类车辆的车辆检测结果的二轮车框与所述人体组中组内主体检测结果的主体框的位置关系;
二轮车第一确定单元,用于若所述二轮车框中包含所述主体框,将所述二轮车框对应的第二类车辆的车辆检测结果作为组间主体检测结果,将所述二轮车框包含的主体框对应的组内主体检测结果及组内组件检测结果作为组间组件检测结果;
二轮车第二确定单元,用于若所述二轮车框中不包含所述主体框,将所述二轮车框对应的第二类车辆的车辆检测结果作为组间主体检测结果,组间组件检测结果为空;
二轮车第三确定单元,用于所述主体框不包含在所述二轮车框中,将所述主体框对应的组内主体检测结果作为组间主体检测结果,将所述主体框对应的组内组件检测结果作为组间组件检测结果;
第二车组间合并单元,用于分别将各所述组间主体检测结果及相应的组间组件检测结果进行合并,得到所述第二车组的组间合并检测结果。
23.根据权利要求21所述的方法,其特征在于,所述组间合并子模块,包括:
三轮车位置比较单元,用于针对所述第三组间合并组合,检测所述第三类车辆的车辆检测结果的三轮车框与所述人体组中组内主体检测结果的主体框的位置关系;
三轮车第一确定单元,用于若所述三轮车框中包含所述主体框,将所述三轮车框对应的第三类车辆的车辆检测结果作为组间主体检测结果,将所述三轮车框包含的主体框对应的组内合并检测结果作为组间组件检测结果;
三轮车第二确定单元,用于若所述三轮车框中不包含所述主体框,将所述三轮车框对应的第三类车辆的车辆检测结果作为组间主体检测结果,组间组件检测结果为空;
三轮车第三确定单元,用于若所述主体框不包含在所述三轮车框中,将所述主体框对应的组内主体检测结果作为组间主体检测结果,将所述主体框对应的组内组件检测结果作为组间组件检测结果;
第三车组间合并单元,用于分别将各所述组间主体检测结果及相应的组间组件检测结果进行合并,得到所述第三车组的组间合并检测结果。
24.根据权利要求21所述的方法,其特征在于,所述组间合并子模块,包括:
一类车辆位置比较单元,用于针对所述第一组间合并组合,检测所述第一车组中组内主体检测结果的主体框与所述人体组中组内主体检测结果的主体框的位置关系;
一类车辆第一确定单元,用于若所述第一车组中组内主体检测结果的主体框中包含所述人体组中组内主体检测结果的主体框,将所述第一车组的组内主体检测结果作为组间主体检测结果,将所述第一车组的组内组件检测结果及所述人体组的组内合并检测结果作为组间组件检测结果;
一类车辆第二确定单元,用于若所述第一车组中组内主体检测结果的主体框中不包含所述人体组中组内主体检测结果的主体框,将所述第一车组的组内主体检测结果作为组间主体检测结果,将所述第一车组的组内组件检测结果作为组间组件检测结果;
一类车辆第三确定单元,用于若所述所述人体组中组内主体检测结果的主体框不包含在所述所述第一车组中组内主体检测结果的主体框中,将所述人体组的组内主体检测结果作为组间主体检测结果,将所述人体组的组内组件检测结果作为组间组件检测结果;
第一车组间合并单元,用于分别将各所述组间主体检测结果及相应的组间组件检测结果进行合并,得到所述第一车组的组间合并检测结果。
25.一种电子设备,其特征在于,包括处理器和存储器,
所述存储器,用于存放计算机程序;
所述处理器,用于执行所述存储器上所存放的程序时,实现权利要求1-12任一所述的方法步骤。
26.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1-12任一所述的方法步骤。
CN201810096195.2A 2018-01-31 2018-01-31 图像分析方法、装置、电子设备及存储介质 Pending CN110096935A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810096195.2A CN110096935A (zh) 2018-01-31 2018-01-31 图像分析方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810096195.2A CN110096935A (zh) 2018-01-31 2018-01-31 图像分析方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN110096935A true CN110096935A (zh) 2019-08-06

Family

ID=67442039

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810096195.2A Pending CN110096935A (zh) 2018-01-31 2018-01-31 图像分析方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN110096935A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110427905A (zh) * 2019-08-08 2019-11-08 北京百度网讯科技有限公司 行人跟踪方法、装置以及终端
CN113223046A (zh) * 2020-07-10 2021-08-06 浙江大华技术股份有限公司 一种监狱人员行为识别的方法和***
CN113435429A (zh) * 2021-08-27 2021-09-24 广东电网有限责任公司中山供电局 一种基于现场作业监控视频的多目标检测和跟踪***
US11538175B2 (en) 2019-09-29 2022-12-27 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Method and apparatus for detecting subject, electronic device, and computer readable storage medium
US11836903B2 (en) 2019-10-16 2023-12-05 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Subject recognition method, electronic device, and computer readable storage medium

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102750532A (zh) * 2012-06-06 2012-10-24 西安电子科技大学 基于部件的目标检测方法
CN102914267A (zh) * 2012-09-27 2013-02-06 无锡天授信息科技有限公司 一种运动目标尺寸检测***及方法
CN104361327A (zh) * 2014-11-20 2015-02-18 苏州科达科技股份有限公司 一种行人检测方法和***

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102750532A (zh) * 2012-06-06 2012-10-24 西安电子科技大学 基于部件的目标检测方法
CN102914267A (zh) * 2012-09-27 2013-02-06 无锡天授信息科技有限公司 一种运动目标尺寸检测***及方法
CN104361327A (zh) * 2014-11-20 2015-02-18 苏州科达科技股份有限公司 一种行人检测方法和***

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110427905A (zh) * 2019-08-08 2019-11-08 北京百度网讯科技有限公司 行人跟踪方法、装置以及终端
US11538175B2 (en) 2019-09-29 2022-12-27 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Method and apparatus for detecting subject, electronic device, and computer readable storage medium
US11836903B2 (en) 2019-10-16 2023-12-05 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Subject recognition method, electronic device, and computer readable storage medium
CN113223046A (zh) * 2020-07-10 2021-08-06 浙江大华技术股份有限公司 一种监狱人员行为识别的方法和***
CN113223046B (zh) * 2020-07-10 2022-10-14 浙江大华技术股份有限公司 一种监狱人员行为识别的方法和***
CN113435429A (zh) * 2021-08-27 2021-09-24 广东电网有限责任公司中山供电局 一种基于现场作业监控视频的多目标检测和跟踪***

Similar Documents

Publication Publication Date Title
CN110096935A (zh) 图像分析方法、装置、电子设备及存储介质
CN109447169A (zh) 图像处理方法及其模型的训练方法、装置和电子***
CN108831161A (zh) 一种基于无人机的交通流量监测方法、智能***及数据集
CN105590099B (zh) 一种基于改进卷积神经网络的多人行为识别方法
CN108460362A (zh) 一种检测人体部位的***及方法
CN110879982B (zh) 一种人群计数***及方法
CN106250838A (zh) 车辆识别方法及***
CN109711322A (zh) 一种基于rfcn的人车分离方法
CN101073078A (zh) 按照事件的多层图像聚类
CN110033481A (zh) 用于进行图像处理的方法和设备
CN109829542B (zh) 基于多核处理器的多元深度网络模型重构方法及装置
CN109447186A (zh) 聚类方法及相关产品
CN108664849A (zh) 视频中事件的检测装置、方法以及图像处理设备
CN107578021A (zh) 基于深度学习网络的行人检测方法、装置及***
CN106952274A (zh) 基于立体视觉的行人检测与测距方法
CN109508583A (zh) 一种人群分布特征的获取方法和装置
CN110533053A (zh) 一种事件检测方法、装置及电子设备
CN112257799A (zh) 一种生活垃圾目标检测的方法、***及装置
KR20190050639A (ko) 컨볼루션 신경망에 기반한 제스처 분류장치 및 방법
CN114821102A (zh) 密集柑橘数量检测方法、设备、存储介质及装置
CN111553321A (zh) 一种流动商贩目标检测模型、检测方法及其管理方法
CN101794437A (zh) 一种高光谱遥感影像异常探测方法
CN101651824A (zh) 移动物体监视装置
CN110222616A (zh) 行人异常行为检测方法、图像处理装置及存储装置
CN110532959B (zh) 基于双通道三维卷积神经网络的实时暴力行为检测***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190806

RJ01 Rejection of invention patent application after publication