CN112149476B - 目标检测方法、装置、设备和存储介质 - Google Patents

目标检测方法、装置、设备和存储介质 Download PDF

Info

Publication number
CN112149476B
CN112149476B CN201910578134.4A CN201910578134A CN112149476B CN 112149476 B CN112149476 B CN 112149476B CN 201910578134 A CN201910578134 A CN 201910578134A CN 112149476 B CN112149476 B CN 112149476B
Authority
CN
China
Prior art keywords
image
detected
target
environment
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910578134.4A
Other languages
English (en)
Other versions
CN112149476A (zh
Inventor
郁昌存
王德鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jingdong Technology Information Technology Co Ltd
Original Assignee
Jingdong Technology Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jingdong Technology Information Technology Co Ltd filed Critical Jingdong Technology Information Technology Co Ltd
Priority to CN201910578134.4A priority Critical patent/CN112149476B/zh
Publication of CN112149476A publication Critical patent/CN112149476A/zh
Application granted granted Critical
Publication of CN112149476B publication Critical patent/CN112149476B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration using local operators
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141Control of illumination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20024Filtering details
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07Target detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

本发明实施例公开了一种目标检测方法、装置、设备和存储介质。该方法包括:依据待检测图像确定所述待检测图像对应的拍摄环境的当前环境指标值;依据所述当前环境指标值和检测环境指标阈值,确定所述待检测图像对应的目标拍摄环境类别;依据所述目标拍摄环境类别,以及拍摄环境类别与预设检测模型的映射关系,确定所述目标拍摄环境类别对应的目标预设检测模型;基于所述目标预设检测模型对所述待检测图像进行目标检测,获得所述待检测图像中的各目标。通过上述技术方案,实现了更加准确地检测目标,提高了目标检测的实时性。

Description

目标检测方法、装置、设备和存储介质
技术领域
本发明实施例涉及图像处理技术,尤其涉及一种目标检测方法、装置、设备和存储介质。
背景技术
随着技术的发展,出现了许多基于图像或视频的目标自动检测业务,例如人流量分析业务中基于图像的人物检测,又如在智能交通***中通过拍摄的图像或视频来自动检测车辆,以进一步地进行车辆跟踪、车牌识别及道路流量统计等后续工作。
以车辆自动检测为例,现有方法主要针对强光照情况下的车辆检测。但是,在弱光照(如夜晚或阴雨天气)的情况下,图像中车辆的特征会发生很大的变化,如轮廓不清晰、纹理细节消失或车灯光线强烈等,使得现有的车辆检测算法的车辆正确率不高。
针对上述问题,目前多采用两种方式:一种是增大包含各种影响因素的车辆训练数据集,以期望提高车辆检测算法的泛化能力;另一种是提高检测算法的复杂度,以期望该算法可以适应各种光照条件。
在实现本发明过程中,发明人发现现有技术中至少存在如下问题:(1)增大训练数据集的改进方式很难在各种光照条件下都保证较高的检测正确率;(2)提高算法复杂度的方案无法达到实时检测的目的。
发明内容
本发明实施例提供一种目标检测方法、装置、设备和存储介质,以实现更加准确地检测目标,提高目标检测的实时性。
第一方面,本发明实施例提供了一种目标检测方法,包括:
依据待检测图像确定所述待检测图像对应的拍摄环境的当前环境指标值;
依据所述当前环境指标值和检测环境指标阈值,确定所述待检测图像对应的目标拍摄环境类别;
依据所述目标拍摄环境类别,以及拍摄环境类别与预设检测模型的映射关系,确定所述目标拍摄环境类别对应的目标预设检测模型;
基于所述目标预设检测模型对所述待检测图像进行目标检测,获得所述待检测图像中的各目标。
第二方面,本发明实施例还提供了一种目标检测装置,该装置包括:
当前环境指标值确定模块,用于依据待检测图像确定所述待检测图像对应的拍摄环境的当前环境指标值;
目标拍摄环境类别确定模块,用于依据所述当前环境指标值和检测环境指标阈值,确定所述待检测图像对应的目标拍摄环境类别;
目标预设检测模型确定模块,用于依据所述目标拍摄环境类别,以及拍摄环境类别与预设检测模型的映射关系,确定所述目标拍摄环境类别对应的目标预设检测模型;
目标检测模块,用于基于所述目标预设检测模型对所述待检测图像进行目标检测,获得所述待检测图像中的各目标。
第三方面,本发明实施例还提供了一种电子设备,该电子设备包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现本发明任意实施例所提供的目标检测方法。
第四方面,本发明实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现本发明任意实施例所提供的目标检测方法。
本发明实施例通过确定待检测图像对应的拍摄环境的当前环境指标值,并依据当前环境指标值和检测环境指标阈值确定待检测图像对应的目标拍摄环境类别;进而依据目标拍摄环境类别,以及拍摄环境类别与预设检测模型的映射关系,确定目标拍摄环境类别对应的目标预设检测模型;基于目标预设检测模型对待检测图像进行目标检测,获得待检测图像中的各目标。实现了根据待检测图像的当前环境指标值自适应地调度合适的目标预设检测模型,使得在不同的拍摄环境下均能获得目标检测精度较高的检测结果,解决了因算法泛化能力低而导致的在不同拍摄环境下目标检测精度低,以及因算法复杂度高而导致检测延时的问题,达到了提高目标检测的准确性,降低算法复杂度以更加快速地检测目标的效果。
附图说明
图1是本发明实施例一中的一种目标检测方法的流程图;
图2是本发明实施例二中的一种目标检测方法的流程图;
图3是本发明实施例二中的强光照拍摄环境和弱光照拍摄环境对应的待检测图像;
图4是本发明实施例三中的一种目标检测方法的流程图;
图5是本发明实施例三中的强光照拍摄环境和弱光照拍摄环境对应的待检测图像的车辆检测结果示意图;
图6是本发明实施例四中的一种目标检测装置的结构示意图;
图7是本发明实施例五中的一种电子设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
本实施例提供的目标检测方法可适用于从不同拍摄环境下拍摄的图像中检测目标,例如车辆或行人等。该方法可以由目标检测装置来执行,该装置可以由软件和/或硬件的方式实现,该装置可以集成在具有图像处理功能的电子设备中,例如手机、平板电脑、台式电脑或服务器等。参见图1,本实施例的方法具体包括如下步骤:
S110、依据待检测图像确定待检测图像对应的拍摄环境的当前环境指标值。
其中,待检测图像是指需要进行目标检测的图像,其可以是独立拍摄的图像,也可以是一段视频中的一帧图像。拍摄环境是指待检测图像拍摄时的环境,例如可以是拍摄时的光照强度或起雾程度等。不同的光照强度会使得拍摄图像的明暗不同,而不同的起雾程度会使得拍摄图像的模糊程度不同。这些都是影响图像质量,进而影响目标检测精度的环境因素。环境指标值是指表征拍摄环境的指标的值。表征拍摄环境的指标可以是图像亮度,也可以是图像中的边缘信息。当前环境指标值是指拍摄待检测图像时的环境指标值。
相关技术中在利用图像进行目标检测时,通常不区分待检测图像对应的拍摄环境,而是采用同一目标检测模型进行目标检测,故而使得基于不同拍摄环境下所得图像进行目标检测的检测精度不等。本发明实施例基于上述问题,采用了区分待检测图像的拍摄环境,进而采用与其拍摄环境一致的目标检测模型来进行目标检测的方案。故对待检测图像进行目标检测,首先需要确定待检测图像对应的拍摄环境。具体实施时,可以对待检测图像进行亮度信息提取或边缘信息提取,并将提取的结果作为待检测图像对应的拍摄环境的当前环境指标值。
示例性地,S110包括:依据待检测图像的亮度通道对应的各亮度值确定待检测图像的亮度信息,作为待检测图像对应的拍摄环境的当前环境指标值。
将待检测图像由原始的颜色空间转换至包含亮度通道的颜色空间,例如Lab颜色空间或HSV颜色空间等,并获取待检测图像的亮度通道对应的亮度通道图像。之后,对亮度通道图像中的灰度值进行均值或均值方差等计算,便可获得该亮度通道图像对应的亮度信息,该亮度信息便可作为待检测图像对应的拍摄环境的当前环境指标值。这样设置的好处在于,通过图像的亮度信息来反映该图像的拍摄环境,能够提高当前环境指标值的确定速度。
S120、依据当前环境指标值和检测环境指标阈值,确定待检测图像对应的目标拍摄环境类别。
其中,检测环境指标阈值是指目标检测过程中用于区分不同拍摄环境的环境指标的分界值,其可以是人为经验设定,也可以是利用预先确定的多个环境指标值,基于自动阈值分割算法来自动确定。如果是自动确定检测环境指标阈值,其可以是仅确定出一个检测环境指标阈值,并在后续的目标检测过程中均使用该检测环境指标阈值,这样既能在一定程度上确保检测环境指标阈值的准确性,又能在一定程度上提高目标检测的速度;也可以是阶段性地更新检测环境指标阈值,例如基于拍摄视频中的每一帧图像进行目标检测时,利用每一段拍摄视频自动一个检测环境指标阈值,并在相应拍摄视频中使用相应的检测环境指标阈值,这样可以更大程度上确保检测环境指标阈值的适用性,进一步提高后续调度的预设检测模型的准确性,进而进一步提高目标检测精度。检测环境指标阈值的具体确定方式可以根据具体的业务需求中对检测速度和检测精度等方面的要求来确定。拍摄环境类别是指拍摄环境所属的类别,例如拍摄环境为光照强度时,拍摄环境类别便可以为强光照类别和弱光照类别等。目标拍摄环境类别是指待检测图像对应的拍摄环境所属的拍摄环境类别。
根据检测环境指标阈值将拍摄环境划分为不同的拍摄环境类别。之后,比较当前环境指标值和检测环境指标阈值,确定当前环境指标值落入检测环境指标阈值对应的哪个数值范围内,并将落入的数值范围对应的拍摄环境类别确定为待检测图像对应的目标拍摄环境类别。
S130、依据目标拍摄环境类别,以及拍摄环境类别与预设检测模型的映射关系,确定目标拍摄环境类别对应的目标预设检测模型。
其中,预设检测模型是预先设定的目标检测模型,其可以是相关技术中已训练的目标检测模型,也可以是利用训练样本集重新训练而获得的目标检测模型。这里的目标检测模型可以是改进的基于区域的卷积神经网络目标检测模型Faster Region-CNN、基于多框预测的端到端目标检测模型(Single Shot MultiBox Detector,SSD)和基于端到端的单网络目标检测模型(You Only Look Once,YOLO)等。
不同拍摄环境下的图像质量不同,本发明实施例中为了提高基于各种拍摄环境下所获得的图像的目标检测精度,预先获得了更加适配于每种拍摄环境(拍摄环境类别)的预设检测模型,并且建立了每种拍摄环境类别及其对应的预设检测模型之间的一一对应关系。可以理解的是,在拍摄环境A下拍摄所得的图像,采用拍摄环境A对应的预设检测模型进行目标检测所得的检测结果的精度,高于采用其他拍摄环境对应的预设检测模型进行目标检测所得的检测结果的精度。
具体实施时,以目标拍摄环境类别为模型查找关键词,从拍摄环境类别与预设检测模型的映射关系中确定出目标拍摄环境类别对应的预设检测模型,作为目标拍摄环境类别对应的目标预设检测模型。
S140、基于目标预设检测模型对待检测图像进行目标检测,获得待检测图像中的各目标。
将待检测图像输入目标预设检测模型,经过模型的目标检测处理,便可检测得到待检测图像中的各个目标。
本实施例的技术方案,通过确定待检测图像对应的拍摄环境的当前环境指标值,并依据当前环境指标值和检测环境指标阈值确定待检测图像对应的目标拍摄环境类别;进而依据目标拍摄环境类别,以及拍摄环境类别与预设检测模型的映射关系,确定目标拍摄环境类别对应的目标预设检测模型;基于目标预设检测模型对待检测图像进行目标检测,获得待检测图像中的各目标。实现了根据待检测图像的当前环境指标值自适应地调度合适的目标预设检测模型,使得在不同的拍摄环境下均能获得目标检测精度较高的检测结果,解决了因算法泛化能力低而导致的在不同拍摄环境下目标检测精度低,以及因算法复杂度高而导致检测延时的问题,达到了提高目标检测的准确性,降低算法复杂度以更加快速地检测目标的效果。
实施例二
本实施例在上述实施例一的基础上,对“依据待检测图像确定待检测图像对应的拍摄环境的当前环境指标值”进行了进一步优化。在此基础上,进一步增加了“确定待检测图像对应的检测环境指标阈值”的步骤。其中与上述各实施例相同或相应的术语的解释在此不再赘述。参见图2,本实施例提供的目标检测方法包括:
S210、依据待检测图像和设定引导图像,基于可引导式滤波器,对待检测图像进行滤波处理,获得滤波图像。
其中,设定引导图像是指预先设定的图像,用于滤波处理中的引导图,其与待检测图像的拍摄场景一致。示例性地,设定引导图像为待检测图像对应的拍摄视频中的至少一帧视频图像。这样设置的好处在于进一步提高设定引导图像与待检测图像之间的拍摄场景一致性。可引导式滤波器是指利用引导图进行滤波处理的滤波器,例如可以是引导滤波器或联合双边滤波器等。可引导式滤波器具有去噪且保留边缘信息的特性,其输入为待滤波图像和引导图,输出为滤波后图像,滤波后图像的图像整体与待滤波图像一致,但是其纹理信息与引导图一致。
本发明实施例中是基于拍摄环境类别进行目标检测,故在判定待检测图像对应的目标拍摄环境类别过程中,为了将图像中的可变因素控制为拍摄环境,引入了引导图及可引导式滤波。具体实施时,将待检测图像和设定引导图像输入可引导式滤波器,经过滤波处理,便可获得待检测图像滤波后的图像,即滤波图像。
上述过程中的可引导式滤波器可以为引导滤波,引导滤波的算法原理如下:
假设引导滤波函数的输出与输入在一个二维窗口内满足如下线性关系:
其中,q是输出图像的像素值,I是设定引导图像的像素值,p是输入图像的像素值,n是噪声,i和k是像素索引,a和b是当窗口中心位于k(即窗口wk)时该线性函数的系数。
对上述公式(1)中的第一个式子两边取梯度,可以得到:该公式表明:当设定引导图像I有梯度时,输出图像q也有类似的梯度,即保证了引导滤波器输出图像和引导图像间的边缘一致性。
求解公式(1)中的线性系数a和b,即希望拟合函数的输出值q与真实值p之间的差距最小,转化为最优化问题,也就是最小化窗口中的如下成本函数:
其中,ε是规则化参数,用于防止a太大,也增加数值稳定性。
S220、依据待检测图像和滤波图像,确定待检测图像对应的峰值信噪比,作为待检测图像对应的拍摄环境的当前环境指标值。
峰值信噪比PSNR是一种对图像质量进行评价的客观方法。在图像经过引导滤波处理之后,其质量相比原始图像会有所不同,为了衡量引导滤波前后图像的变化程度,即衡量待检测图像和滤波图像之间的变化程度,采用PSNR值作为衡量标准。PSNR的计算公式如下:
其中,M表示待检测图像X和滤波图像Y的均方误差,即
其中,H和W分别为图像的高度和宽度;n为每像素的比特数,一般取n=8,即像素灰度级数为256。PSNR的单位是dB,其数值越大,表示失真越小。
以拍摄环境为光照强度为例,说明峰值信噪比可作为环境指标,且其相对于亮度指标能够更加精确的反映拍摄环境的变化。根据上述说明,经过引导滤波处理前后的图像之间会有边缘差异。参见图3,弱光照拍摄环境下所得的图像的相邻像素间灰度值差距小,边缘信息少,引导滤波后图像变化小。而强光照拍摄环境下所得的图像的相邻像素间灰度值差距大,边缘信息多,引导滤波后图像变化大。所以,根据滤波前后图像之间的变化程度可以判断待检测图像是在强光照环境下拍摄还是在若光照环境下拍摄。而由PSNR的计算公式可以看出,PSNR值表示了两幅图像间的差异。所以,待检测图像在引导滤波前后的PSNR值可以作为待检测图像对应的拍摄环境的当前环境指标值。
S230、依据待检测图像对应的设定数量的关联图像,确定每个关联图像对应的拍摄环境的关联环境指标值。
其中,设定数量是预先设定的图像的数量值,其可以人为设定,也可以根据待检测图像对应的拍摄视频中的帧数来自动确定。关联图像是指与待检测图像具有关联关系的图像,例如可以是待检测图像对应的拍摄视频中的帧图像。关联环境指标值是指关联图像对应的环境指标值。
为了使得检测环境指标阈值更加适用于拍摄待检测图像时的拍摄环境的类别判定,本实施例中设置了根据待检测图像的关联图像实时更新检测环境指标阈值。具体实施时,先获取设定数量的关联图像,而后对于每一个关联图像,均确定该关联图像对应的关联环境指标值。关联环境指标值可以是关联图像的亮度信息,也可以是关联图像对应的峰值信噪比。为了与待检测图像的当前环境指标值保持一致,本实施例中关联环境指标值采用峰值信噪比。关联环境的峰值信噪比的确定操作可参见S210~S220的说明。
S240、依据各关联环境指标值,基于预设阈值分割算法,确定待检测图像对应的检测环境指标阈值。
其中,预设阈值分割算法是指预先设定的阈值分割算法,例如可以是最大类间方差法OTSU、自适应阈值分割方法、最大熵阈值分割方法或迭代阈值分割方法等。本实施例中以最大类间方差法为例。OTSU是一种获取最优阈值的算法,使用OTSU求得的阈值进行分类后,两类目标的类间方差最大。
为了减少阈值确定过程中的人为因素影响,提高阈值的精确性,本实施例中采用自动确定阈值的方式。具体实施时,可将所有的关联环境指标值组合为一个关联环境指标值二维矩阵,而后采用最大类间方差法对该关联环境指标值二维矩阵进行处理,便可获得自动确定的分割环境指标值,作为待检测图像对应的检测环境指标阈值。
所有的关联环境指标值除了待检测图像对应的关联图像的关联环境指标值之外,还包含历史的关联环境指标值。也就是,确定检测环境指标阈值的过程中,不断地增加关联环境指标值的数据量,这样可使得确定的检测环境指标阈值更加准确,且不会因某一值的突然变化影响阈值的正确性,抗干扰能力强。
S250、依据当前环境指标值和检测环境指标阈值,确定待检测图像对应的目标拍摄环境类别。
S260、依据目标拍摄环境类别,以及拍摄环境类别与预设检测模型的映射关系,确定目标拍摄环境类别对应的目标预设检测模型。
S270、基于目标预设检测模型对待检测图像进行目标检测,获得待检测图像中的各目标。
本实施例的技术方案,通过依据待检测图像和设定引导图像,基于可引导式滤波器,对待检测图像进行滤波处理,获得滤波图像,并依据待检测图像和滤波图像,确定待检测图像对应的峰值信噪比,作为待检测图像对应的拍摄环境的当前环境指标值。实现了通过峰值信噪比来确定当前环境指标值,提高了待检测图像对应的拍摄环境的表征准确性,进一步提高后续调度的预设检测模型的准确性,进而进一步提高目标检测精度。通过依据待检测图像对应的设定数量的关联图像,确定每个关联图像对应的拍摄环境的关联环境指标值;依据各关联环境指标值,基于预设阈值分割算法,确定待检测图像对应的检测环境指标阈值。实现了检测环境指标阈值的阶段性更新,更大程度上确保检测环境指标阈值与待检测图像的适用性,进一步提高后续调度的预设检测模型的准确性,进而进一步提高目标检测精度。
实施例三
本实施例在上述实施例二的基础上,增加了“初始检测模型”的训练步骤。其中与上述各实施例相同或相应的术语的解释在此不再赘述。
本实施例中,目标为车辆,拍摄环境为光照强度,拍摄环境类别为强光照类别和弱光照类别。
智能交通***中车辆的自动检测是诸多交通业务开展的基础,而道路上的实时拍摄的交通视频受拍摄环境的影响较大。故更加需要适应不同拍摄环境的快速的车辆检测算法。拍摄环境中对视频质量影响较大的因素为光照强度。在拍摄环境为光照强度时,拍摄环境类别便可拍摄光强类别,具体分为强光照类别和弱光照类别。在该场景下,当前环境指标值、关联环境指标值和检测环境指标阈值分别为当前光强指标值、关联光强指标值和检测光强指标阈值。目标拍摄环境类别为目标拍摄光强类别。
参见图4,本实施例提供的目标检测方法包括:
S310、依据待检测图像和设定引导图像,基于可引导式滤波器,对待检测图像进行滤波处理,获得滤波图像。
S320、依据待检测图像和滤波图像,确定待检测图像对应的峰值信噪比,作为待检测图像对应的光照强度的当前光强指标值。
S330、依据待检测图像对应的设定数量的关联图像,确定每个关联图像对应的光照强度的关联光强指标值。
S340、依据各关联光强指标值,基于预设阈值分割算法,确定待检测图像对应的检测光强指标阈值。
S350、依据当前光强指标值和检测光强指标阈值,确定待检测图像对应的目标拍摄光强类别。
S360、依据目标拍摄光强类别,以及拍摄光强类别与预设检测模型的映射关系,确定目标拍摄光强类别对应的目标预设检测模型。
本实施例中的预设检测模型均是利用训练样本集重新训练模型而获得,这样可使得各预设检测模型与其对应的拍摄环境更加匹配,能够进一步提高模型的目标检测精度。
示例性地,各预设检测模型通过如下方式预先训练:
A、依据目标检测的训练样本集中的各样本图像,确定训练样本集对应的训练环境指标阈值。
在训练模型之前,先获取目标在各种拍摄环境下拍摄而获得的图像作为训练样本集,该训练样本集可以是自定义的图像集,也可以是各开源平台所提供的数据集,例如公开车辆检测数据集。之后,确定训练样本集中每个样本图像对应的训练环境指标值,并利用所有的训练环境指标值确定训练样本集对应的环境指标阈值(即训练环境指标阈值)。本实施例中的训练环境指标阈值即为训练光强指标阈值。该过程的具体实现可参见实施例二中确定检测环境指标阈值的说明。
B、依据每个样本图像对应的训练环境指标值和训练环境指标阈值,将训练样本集划分为各拍摄环境对应的训练样本子集。
C、针对每种拍摄环境,利用拍摄环境对应的训练样本子集,对拍摄环境对应的初始检测模型进行模型训练,获得拍摄环境对应的预设检测模型。
其中,初始检测模型是指未进行训练的目标检测模型,其模型参数均为初始的模型参数值。每个拍摄环境对应的初始检测模型可以相同,也可以不同。
利用每个训练样本子集训练其对应的初始检测模型获得该训练样本子集对应的预设检测模型。如果所有的初始检测模型相同,那么由于训练数据的不同,其最终所获得的预设检测模型也会不同。如使用强光照训练样本子集训练出来的预设检测模型会对强光照拍摄环境下所得图像的目标检测有更好的效果,使用弱光照训练样本子集训练出来的预设检测模型会对弱光照拍摄环境下所得图像的目标检测有更好的效果。
示例性地,初始检测模型为第三版基于端到端的单网络目标检测模型YOLO V3。YOLO V3是到目前为止,运行速度和监测精度最均衡的目标检测网络。通过多种先进方法的融合,将YOLO系列的短板(速度很快,不擅长检测小物体等)全部补齐。YOLO将输入的图像分为S*S个格子,若某个物体Ground truth的中心位置的坐标落入到某个格子,那么这个格子就负责检测出这个物体,每个格子预测B个bounding box及其置信度(confidence score),以及C个类别概率。bbox信息(x,y,w,h)为物体的中心位置相对格子位置的偏移及宽度和高度,均被归一化。置信度反映是否包含物体以及包含物体情况下位置的准确性,定义为Pr(Object)×IOUtruthpred,其中Pr(Object)∈{0,1}。
YOLO V3采用多个尺度融合的方式做预测。在YOLO V3中采用类似FPN的上采样(upsample)和融合做法(最后融合了3个尺度scale,其他两个scale的大小分别是16*16和32*32),在多个尺度scale的特征图像feature map上做检测,对于小目标的检测效果提升还是比较明显的。虽然在YOLO V3中每个网格预测3个边界框,看起来比YOLO V2中每个格子grid cell预测5个边界框要少,但因为YOLO V3采用了多个尺度的特征融合,所以边界框的数量要比之前多很多。
S370、基于目标预设检测模型对待检测图像进行车辆检测,获得待检测图像中的各车辆。
对图3所示的两个待检测图像进行车辆检测,可获得相应的车辆检测结果,见图5。从图5中可以看出,本发明实施例中使用模型调度算法结合yolov3模型的目标检测方法,在强光照和弱光照的拍摄环境下,均可获得车辆识别准确率高的目标检测结果,提升了车辆识别准确率,降低了车辆检测过程的计算复杂性,达到了实时检测效果。
本实施例的技术方案,通过依据目标检测的训练样本集中的各样本图像,确定训练样本集对应的训练环境指标阈值;依据每个样本图像对应的训练环境指标值和训练环境指标阈值,将训练样本集划分为各拍摄环境对应的训练样本子集;针对每种拍摄环境,利用拍摄环境对应的训练样本子集,对拍摄环境对应的初始检测模型进行模型训练,获得拍摄环境对应的预设检测模型。实现了不同拍摄环境类别对应的预设检测模型的训练,使得各预设检测模型与其对应的拍摄环境更加匹配,能够进一步提高模型的目标检测精度。
实施例四
本实施例提供一种目标检测装置,参见图6,该装置具体包括:
当前环境指标值确定模块810,用于依据待检测图像确定待检测图像对应的拍摄环境的当前环境指标值;
目标拍摄环境类别确定模块820,用于依据当前环境指标值和检测环境指标阈值,确定待检测图像对应的目标拍摄环境类别;
目标预设检测模型确定模块830,用于依据目标拍摄环境类别,以及拍摄环境类别与预设检测模型的映射关系,确定目标拍摄环境类别对应的目标预设检测模型;
目标检测模块840,用于基于目标预设检测模型对待检测图像进行目标检测,获得待检测图像中的各目标。
可选地,当前环境指标值确定模块810具体用于:
依据待检测图像的亮度通道对应的各亮度值确定待检测图像的亮度信息,作为待检测图像对应的拍摄环境的当前环境指标值。
可选地,当前环境指标值确定模块810具体用于:
依据待检测图像和设定引导图像,基于可引导式滤波器,对待检测图像进行滤波处理,获得滤波图像;
依据待检测图像和滤波图像,确定待检测图像对应的峰值信噪比,作为待检测图像对应的拍摄环境的当前环境指标值。
可选地,在上述装置的基础上,该装置还包括检测环境指标阈值确定模块,用于:
在依据当前环境指标值和检测环境指标阈值,确定待检测图像对应的目标拍摄环境类别之前,依据待检测图像对应的设定数量的关联图像,确定每个关联图像对应的拍摄环境的关联环境指标值;
依据各关联环境指标值,基于预设阈值分割算法,确定待检测图像对应的检测环境指标阈值。
可选地,在上述装置的基础上,该装置还包括模型训练模块,用于通过如下方式预先训练各预设检测模型:
依据目标检测的训练样本集中的各样本图像,确定训练样本集对应的训练环境指标阈值;
依据每个样本图像对应的训练环境指标值和训练环境指标阈值,将训练样本集划分为各拍摄环境对应的训练样本子集;
针对每种拍摄环境,利用拍摄环境对应的训练样本子集,对拍摄环境对应的初始检测模型进行模型训练,获得拍摄环境对应的预设检测模型。
进一步地,初始检测模型为第三版基于端到端的单网络目标检测模型。
可选地,目标为车辆,拍摄环境为光照强度,拍摄环境类别为强光照类别和弱光照类别。
通过本发明实施例四的一种目标检测装置,实现了根据待检测图像的当前环境指标值自适应地调度合适的目标预设检测模型,使得在不同的拍摄环境下均能获得目标检测精度较高的检测结果,解决了因算法泛化能力低而导致的在不同拍摄环境下目标检测精度低,以及因算法复杂度高而导致检测延时的问题,达到了提高目标检测的准确性,降低算法复杂度以更加快速地检测目标的效果。
本发明实施例所提供的目标检测装置可执行本发明任意实施例所提供的目标检测方法,具备执行方法相应的功能模块和有益效果。
值得注意的是,上述目标检测装置的实施例中,所包括的各个单元和模块只是按照功能逻辑进行划分的,但并不局限于上述的划分,只要能够实现相应的功能即可;另外,各功能单元的具体名称也只是为了便于相互区分,并不用于限制本发明的保护范围。
实施例五
参见图7,本实施例提供了一种电子设备,其包括:一个或多个处理器920;存储装置910,用于存储一个或多个程序,当一个或多个程序被一个或多个处理器920执行,使得一个或多个处理器920实现本发明实施例所提供的目标检测方法,包括:
依据待检测图像确定待检测图像对应的拍摄环境的当前环境指标值;
依据当前环境指标值和检测环境指标阈值,确定待检测图像对应的目标拍摄环境类别;
依据目标拍摄环境类别,以及拍摄环境类别与预设检测模型的映射关系,确定目标拍摄环境类别对应的目标预设检测模型;
基于目标预设检测模型对待检测图像进行目标检测,获得待检测图像中的各目标。
当然,本领域技术人员可以理解,处理器920还可以实现本发明任意实施例所提供的目标检测方法的技术方案。
图7显示的电子设备仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。如图7所示,该电子设备包括处理器920、存储装置910、输入装置930和输出装置940;电子设备中处理器920的数量可以是一个或多个,图7中以一个处理器920为例;电子设备中的处理器920、存储装置910、输入装置930和输出装置940可以通过总线或其他方式连接,图7中以通过总线950连接为例。
存储装置910作为一种计算机可读存储介质,可用于存储软件程序、计算机可执行程序以及模块,如本发明实施例中的目标检测方法对应的程序指令/模块(例如,目标检测装置中的当前环境指标值确定模块、目标拍摄环境类别确定模块、目标预设检测模型确定模块和目标检测模块)。
存储装置910可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作***、至少一个功能所需的应用程序;存储数据区可存储根据终端的使用所创建的数据等。此外,存储装置910可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中,存储装置910可进一步包括相对于处理器920远程设置的存储器,这些远程存储器可以通过网络连接至电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置930可用于接收输入的数字或字符信息,以及产生与电子设备的用户设置以及功能控制有关的键信号输入。输出装置940可包括显示屏等显示设备。
实施例六
本实施例提供一种包含计算机可执行指令的存储介质,计算机可执行指令在由计算机处理器执行时用于执行一种目标检测方法,该方法包括:
依据待检测图像确定待检测图像对应的拍摄环境的当前环境指标值;
依据当前环境指标值和检测环境指标阈值,确定待检测图像对应的目标拍摄环境类别;
依据目标拍摄环境类别,以及拍摄环境类别与预设检测模型的映射关系,确定目标拍摄环境类别对应的目标预设检测模型;
基于目标预设检测模型对待检测图像进行目标检测,获得待检测图像中的各目标。
当然,本发明实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上的方法操作,还可以执行本发明任意实施例所提供的目标检测方法中的相关操作。
通过以上关于实施方式的描述,所属领域的技术人员可以清楚地了解到,本发明可借助软件及必需的通用硬件来实现,当然也可以通过硬件实现,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等,包括若干指令用以使得一台电子设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所提供的目标检测方法。
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。

Claims (9)

1.一种目标检测方法,其特征在于,包括:
依据待检测图像确定所述待检测图像对应的拍摄环境的当前环境指标值;所述依据待检测图像确定所述待检测图像对应的拍摄环境的当前环境指标值包括:依据所述待检测图像和设定引导图像,基于可引导式滤波器,对所述待检测图像进行滤波处理,获得滤波图像;依据所述待检测图像和所述滤波图像,确定所述待检测图像对应的峰值信噪比,作为所述待检测图像对应的拍摄环境的当前环境指标值;
依据所述当前环境指标值和检测环境指标阈值,确定所述待检测图像对应的目标拍摄环境类别;
依据所述目标拍摄环境类别,以及拍摄环境类别与预设检测模型的映射关系,确定所述目标拍摄环境类别对应的目标预设检测模型;
基于所述目标预设检测模型对所述待检测图像进行目标检测,获得所述待检测图像中的各目标。
2.根据权利要求1所述的方法,其特征在于,所述依据待检测图像确定所述待检测图像对应的拍摄环境的当前环境指标值包括:
依据所述待检测图像的亮度通道对应的各亮度值确定所述待检测图像的亮度信息,作为所述待检测图像对应的拍摄环境的当前环境指标值。
3.根据权利要求1所述的方法,其特征在于,在所述依据所述当前环境指标值和检测环境指标阈值,确定所述待检测图像对应的目标拍摄环境类别之前,还包括:
依据所述待检测图像对应的设定数量的关联图像,确定每个所述关联图像对应的拍摄环境的关联环境指标值;
依据各所述关联环境指标值,基于预设阈值分割算法,确定所述待检测图像对应的所述检测环境指标阈值。
4.根据权利要求1所述的方法,其特征在于,各所述预设检测模型通过如下方式预先训练:
依据目标检测的训练样本集中的各样本图像,确定所述训练样本集对应的训练环境指标阈值;
依据每个所述样本图像对应的训练环境指标值和所述训练环境指标阈值,将所述训练样本集划分为各拍摄环境对应的训练样本子集;
针对每种所述拍摄环境,利用所述拍摄环境对应的训练样本子集,对所述拍摄环境对应的初始检测模型进行模型训练,获得所述拍摄环境对应的预设检测模型。
5.根据权利要求4所述的方法,其特征在于,所述初始检测模型为第三版基于端到端的单网络目标检测模型。
6.根据权利要求1-5任一项所述的方法,其特征在于,所述目标为车辆,所述拍摄环境为光照强度,所述拍摄环境类别为强光照类别和弱光照类别。
7.一种目标检测装置,其特征在于,包括:
当前环境指标值确定模块,用于依据待检测图像确定所述待检测图像对应的拍摄环境的当前环境指标值;所述当前环境指标值确定模块具体用于:依据所述待检测图像和设定引导图像,基于可引导式滤波器,对所述待检测图像进行滤波处理,获得滤波图像;依据所述待检测图像和所述滤波图像,确定所述待检测图像对应的峰值信噪比,作为所述待检测图像对应的拍摄环境的当前环境指标值;
目标拍摄环境类别确定模块,用于依据所述当前环境指标值和检测环境指标阈值,确定所述待检测图像对应的目标拍摄环境类别;
目标预设检测模型确定模块,用于依据所述目标拍摄环境类别,以及拍摄环境类别与预设检测模型的映射关系,确定所述目标拍摄环境类别对应的目标预设检测模型;
目标检测模块,用于基于所述目标预设检测模型对所述待检测图像进行目标检测,获得所述待检测图像中的各目标。
8.一种电子设备,其特征在于,所述电子设备包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-6中任一所述的目标检测方法。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1-6中任一所述的目标检测方法。
CN201910578134.4A 2019-06-28 2019-06-28 目标检测方法、装置、设备和存储介质 Active CN112149476B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910578134.4A CN112149476B (zh) 2019-06-28 2019-06-28 目标检测方法、装置、设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910578134.4A CN112149476B (zh) 2019-06-28 2019-06-28 目标检测方法、装置、设备和存储介质

Publications (2)

Publication Number Publication Date
CN112149476A CN112149476A (zh) 2020-12-29
CN112149476B true CN112149476B (zh) 2024-06-21

Family

ID=73891107

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910578134.4A Active CN112149476B (zh) 2019-06-28 2019-06-28 目标检测方法、装置、设备和存储介质

Country Status (1)

Country Link
CN (1) CN112149476B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112926476B (zh) * 2021-03-08 2024-06-18 京东鲲鹏(江苏)科技有限公司 车辆识别方法、装置及存储介质
CN113077422B (zh) * 2021-03-22 2023-08-15 浙江大华技术股份有限公司 起雾图像检测方法、模型训练方法及装置
CN113933294B (zh) * 2021-11-08 2023-07-18 中国联合网络通信集团有限公司 浓度检测方法及装置
CN114241430A (zh) * 2021-12-22 2022-03-25 杭州海康威视***技术有限公司 一种事件检测方法、装置、***、电子设备及存储介质
CN117649367B (zh) * 2024-01-30 2024-04-30 广州敏行数字科技有限公司 一种图像方位的校正方法及***

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108810413A (zh) * 2018-06-15 2018-11-13 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质
CN109858381A (zh) * 2019-01-04 2019-06-07 深圳壹账通智能科技有限公司 活体检测方法、装置、计算机设备和存储介质

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102902951A (zh) * 2012-06-29 2013-01-30 陕西省交通规划设计研究院 高清视频监控图像的车辆目标定位、事件检测***及方法
CN103927734B (zh) * 2013-01-11 2016-12-28 华中科技大学 一种基于无参考的模糊图像质量评价方法
JP5820843B2 (ja) * 2013-05-29 2015-11-24 富士重工業株式会社 周囲環境判定装置
US9460522B2 (en) * 2014-10-29 2016-10-04 Behavioral Recognition Systems, Inc. Incremental update for background model thresholds
CN105791814A (zh) * 2016-03-09 2016-07-20 中国科学院自动化研究所 一种基于图像处理技术的监控视频质量检测方法及装置
CN106205488B (zh) * 2016-09-21 2019-01-15 深圳市华星光电技术有限公司 延长有机电致发光显示器寿命的方法及显示设备
CN109871730A (zh) * 2017-12-05 2019-06-11 杭州海康威视数字技术股份有限公司 一种目标识别方法、装置及监控设备
CN109325418A (zh) * 2018-08-23 2019-02-12 华南理工大学 基于改进YOLOv3的道路交通环境下行人识别方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108810413A (zh) * 2018-06-15 2018-11-13 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质
CN109858381A (zh) * 2019-01-04 2019-06-07 深圳壹账通智能科技有限公司 活体检测方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
CN112149476A (zh) 2020-12-29

Similar Documents

Publication Publication Date Title
CN112149476B (zh) 目标检测方法、装置、设备和存储介质
CN110276767B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN110378945B (zh) 深度图处理方法、装置和电子设备
CN107153817B (zh) 行人重识别数据标注方法和装置
CN111104943B (zh) 基于决策级融合的彩色图像感兴趣区域提取方法
US11700457B2 (en) Flicker mitigation via image signal processing
CN110580428A (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
CN109413411B (zh) 一种监控线路的黑屏识别方法、装置及服务器
CN110569782A (zh) 一种基于深度学习目标检测方法
CN111738064A (zh) 一种雾霾图像的雾浓度识别方法
CN107563299B (zh) 一种利用ReCNN融合上下文信息的行人检测方法
CN111695373B (zh) 斑马线的定位方法、***、介质及设备
WO2022116104A1 (zh) 图像处理方法、装置、设备及存储介质
CN108765406A (zh) 一种基于红外遥感图像的雪山检测方法
CN112949578B (zh) 车灯状态识别方法、装置、设备及存储介质
CN110969164A (zh) 基于深度学习端对端的低照度成像车牌识别方法及装置
CN112686252A (zh) 一种车牌检测方法和装置
CN112330544A (zh) 图像拖影的处理方法、装置、设备及介质
CN110276318A (zh) 夜间公路下雨识别方法、装置、计算机设备及存储介质
Shu et al. Small moving vehicle detection via local enhancement fusion for satellite video
CN111027564A (zh) 基于深度学习一体化的低照度成像车牌识别方法及装置
Lashkov et al. Edge-computing-facilitated nighttime vehicle detection investigations with CLAHE-enhanced images
CN116311212B (zh) 基于高速摄像机实现运动状态下的船号识别方法及装置
CN110633705A (zh) 一种低照度成像车牌识别方法及装置
CN112785550B (zh) 图像质量值确定方法、装置、存储介质及电子装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 601, 6 / F, building 2, No. 18, Kechuang 11th Street, Daxing District, Beijing, 100176

Applicant after: Jingdong Technology Information Technology Co.,Ltd.

Address before: 601, 6 / F, building 2, No. 18, Kechuang 11th Street, Daxing District, Beijing, 100176

Applicant before: Jingdong Shuke Haiyi Information Technology Co.,Ltd.

Address after: 601, 6 / F, building 2, No. 18, Kechuang 11th Street, Daxing District, Beijing, 100176

Applicant after: Jingdong Shuke Haiyi Information Technology Co.,Ltd.

Address before: 601, 6 / F, building 2, No. 18, Kechuang 11th Street, Daxing District, Beijing, 100176

Applicant before: BEIJING HAIYI TONGZHAN INFORMATION TECHNOLOGY Co.,Ltd.

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant