CN113065379B - 融合图像质量的图像检测方法、装置、电子设备 - Google Patents
融合图像质量的图像检测方法、装置、电子设备 Download PDFInfo
- Publication number
- CN113065379B CN113065379B CN201911378061.0A CN201911378061A CN113065379B CN 113065379 B CN113065379 B CN 113065379B CN 201911378061 A CN201911378061 A CN 201911378061A CN 113065379 B CN113065379 B CN 113065379B
- Authority
- CN
- China
- Prior art keywords
- detection frame
- image quality
- information
- image
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 362
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 51
- 230000001629 suppression Effects 0.000 claims abstract description 18
- 238000000034 method Methods 0.000 claims abstract description 17
- 238000012549 training Methods 0.000 claims description 28
- 239000000284 extract Substances 0.000 claims description 13
- 238000004364 calculation method Methods 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 11
- 238000000605 extraction Methods 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 7
- 238000013441 quality evaluation Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 7
- 238000005070 sampling Methods 0.000 description 7
- 238000011176 pooling Methods 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000012544 monitoring process Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000012854 evaluation process Methods 0.000 description 2
- 230000005764 inhibitory process Effects 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例提供一种融合图像质量的图像检测方法、装置、电子设备及存储介质，方法包括：通过预先训练好的卷积神经网络对待检测图像进行检测，提取得到检测框的特征信息，所述特征信息融合有检测框信息以及与所述检测框对应的图像质量信息，所述待检测图像中包括目标对象；根据所述检测框信息进行非极大值抑制，得到目标检测框信息；将所述目标检测框信息对应的图像质量信息与预先训练好的质量权重进行计算，得到目标检测框的图像质量分数；基于所述目标检测框信息以及所述目标检测框的图像质量分数，输出得到所述目标对象。同时提取到检测框信息以及图像质量信息，通过质量权重对目标检测框的图像质量信息进行评估对终端设备运行速度影响较小。
Description
技术领域
本发明涉及人工智能技术领域，尤其涉及一种融合图像质量的图像检测方法、装置、电子设备。
背景技术
在随着物联网以及边缘计算的发展，越来越多的算法被移植到终端设备上，比如安防设备、智能家居设备等，将算法移植到终端设备上，赋予了终端设备一定的计算能力，能够不再依赖云端计算力，使得计算力成本降低。然而，由于终端设备上计算力和计算单元的限制，算法模型在设计的时候需要更快计算速度以及更小的计算资源要求，比如将检测算法移植到摄像头中，由于算法要求计算速度以及计算资源要求，无法对检测到图像进行质量评估，在后期的图像处理中，图像质量没有保证，如果在检测前或检测后引入图像质量评估模块，则会大增加终端设备的计算力负担，比如，在人脸检测过程中，单张图片经过人脸质量评估的模块是2毫秒，在一般的室内场景监控中一张监控抓拍图里有20个人，那么人脸质量评估模块处理一张图片的速度就是20毫秒(50fps)，一般来说正常用的人脸检测器的速度在30ms左右，如果这样整个人脸检测加人脸质量评估模块运行的速度就是50ms，这对于一个需要实时计算的***来说是远远不够的。因此，现有的检测模块增加图像质量评估模块后，增加了图像质量评估耗时，导致整个终端设备运行速度极大的下降，极大影响了终端设备的实时检测性能。
发明内容
本发明实施例提供一种融合图像质量的图像检测方法，能够在检测的同时输出图像质量，对终端设备运行速度影响较小。
第一方面，本发明实施例提供一种融合图像质量的图像检测方法，包括：
通过预先训练好的卷积神经网络对待检测图像进行检测，提取得到检测框的特征信息，所述特征信息融合有检测框信息以及与所述检测框对应的图像质量信息，所述待检测图像中包括目标对象；
根据所述检测框信息进行非极大值抑制，得到目标检测框信息；
将所述目标检测框信息对应的图像质量信息与预先训练好的质量权重进行计算，得到目标检测框的图像质量分数；
基于所述目标检测框信息以及所述目标检测框的图像质量分数，输出得到所述目标对象。
可选的，所述检测框信息包括置信度，所述通过预先训练好的卷积神经网络对待检测图像进行检测，提取得到检测框的特征信息，包括：
通过预先训练好的卷积神经网络提取不同网格尺度下的特征图像，所述特征图像包括预定数量的图像质量通道；
通过检测框对所述不同网格尺度下的特征图像进行预测，提取对应不同网格尺度下的特征图像中，每个网格的检测框的目标分类概率作为检测框的置信度；
根据所述图像质量通道，对每个检测框进行图像质量信息提取，得到所述每个检测框对应的图像质量信息；
基于所述置信度以及检测框对应的图像质量信息，得到检测框的特征信息。
可选的，所述检测框信息包括检测框的坐标信息，所述根据所述检测框信息进行非极大值抑制，得到目标检测框信息，包括：
根据所述检测框的坐标信息，计算每两个检测框之间的交并比，并判断所述交并比是否大于预设的交并比阈值；
若所述交并比大于预设的交并比阈值，则比对两个检测框之间的置信度大小，并保留置信度较大的检测框；
遍历所有的检测框，删除置信度小于预设的置信度阈值的检测框，得到目标检测框信息。
可选的，所述将所述目标检测框信息对应的图像质量信息与预先训练好的质量权重进行计算，得到目标检测框的图像质量分数，包括：
将所述目标检测框对应的图像质量信息与所述预先训练好的质量权重进行点乘计算，得到目标检测框的图像质量分数。
可选的，所述基于所述目标检测框信息以及所述目标检测框的图像质量分数，输出得到所述目标对象，包括：
根据所述目标检测框信息，输出所述目标检测框中对应的图像作为目标对象；以及
输出所述目标检测框的图像质量分数作为目标对象的图像质量分数。
可选的，所述卷积神经网络的训练，包括：
通过添加了第一图像质量标签的第一样本数据集对所述卷积神经网络进行训练，以使所述卷积神经网络能够提取到对应的目标对象以及图像质量信息；
所述质量权重的训练，包括：
通过添加了第二图像质量信息的第二样本数据集对所述质量权重进行训练，以使所述质量权重能够提取到对应的图像质量分数；
其中，所述卷积神经网络的训练与所述质量权重的训练不耦合。
第二方面，本发明实施例提供一种融合图像质量的图像检测装置，包括：
提取模块，用于通过预先训练好的卷积神经网络对待检测图像进行检测，提取得到检测框的特征信息，所述特征信息融合有检测框信息以及与所述检测框对应的图像质量信息，所述待检测图像中包括目标对象；
处理模块，用于根据所述检测框信息进行非极大值抑制，得到目标检测框信息；
计算模块，用于将所述目标检测框对应的图像质量信息与预先训练好的质量权重进行计算，得到目标检测框的图像质量分数；
输出模块，用于基于所述目标检测框信息以及所述目标检测框的图像质量分数，输出得到所述目标对象。
第三方面，本发明实施例提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本发明实施例提供的融合图像质量的图像检测方法中的步骤。
第四方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现发明实施例提供的融合图像质量的图像检测方法中的步骤。
本发明实施例中，通过预先训练好的卷积神经网络对待检测图像进行检测，提取得到检测框的特征信息，所述特征信息融合有检测框信息以及与所述检测框对应的图像质量信息，所述待检测图像中包括目标对象；根据所述检测框信息进行非极大值抑制，得到目标检测框信息；将所述目标检测框信息对应的图像质量信息与预先训练好的质量权重进行计算，得到目标检测框的图像质量分数；基于所述目标检测框信息以及所述目标检测框的图像质量分数，输出得到所述目标对象。通过在对待检测图像进行检测时，提取到融合有检测框信息以及图像质量信息的检测框的特征信息，通过非极大值抑制得到目标检测框信息，通过质量权重对目标检测框的图像质量信息进行评估，无需在输出目标对象后再进行目标对象的图像质量评估，相当于只增加了一个质量权重与图像质量信息的评估过程，无需额外提取图像质量信息的时间开销，所以对终端设备运行速度影响较小。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种融合图像质量的图像检测方法的流程图；
图2是本发明实施例提供的一种检测框的特征信息提取方法的流程图；
图3是本发明实施例提供的一种融合图像质量的图像检测装置的结构示意图；
图4是本发明实施例提供的另一种融合图像质量的图像检测装置的结构示意图；
图5是本发明实施例提供的另一种融合图像质量的图像检测装置的结构示意图；
图6是本发明实施例提供的另一种融合图像质量的图像检测装置的结构示意图；
图7是本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参见图1，图1是本发明实施例提供的一种融合图像质量的图像检测方法的流程图，如图1所示，包括以下步骤：
101、通过预先训练好的卷积神经网络对待检测图像进行检测，提取得到检测框的特征信息。
上述特征信息融合有检测框信息以及与该检测框对应的图像质量信息，上述待检测图像中包括目标对象。
上述的检测框信息包括检测框置信度、检测框坐标以及分类置信度，上述检测框置信度可以通过一个维度来进行表示，上述检测框坐标可以通过四个维度来进行表示，分类置信度可以通过与分类数相同的维度来进行表示，比如，以人脸检测为例，上述的检测框信息包括人脸框置信度、人脸框的坐标以及人脸分类置信度，上述的人脸框置信度用于表示对应检测框是人脸框的概率，人脸框的坐标表示对应检测框在特征图中的位置坐标，人脸分类置信度表示对应检测框中图像为人脸分类的概率及为他类分类的概率，当然，在做单一目标分类时，人脸分类置信度可以中用一个维度来进行表示。
因此，上述的特征信息可以通过一个(1+4+D+E)维度向量进行表示，其中，上述的D为分类置信度，上述的E为图像质量信息所需要的维度，当有80个分类，图像质量信息维度为64时，则特征信息为(1+4+80+64)＝149维的向量，当只有一个分类时，即只分类人脸或非人脸时，则特征信息为(1+4+1+64)＝70维的向量。当然，上述的图像质量信息维度也可以是其他维度，比如32维度、128维度或256维度等。
上述的待检测图像可以是终端设备实时获取到的图像，比如，可以是监控摄像头实时拍摄到的图像或视频，上述的待检测图像还可以是用户上传的图像或视频。需要说明的是，上述的待检测图像中可以有一个或多个目标对象用于检测，当然，若待检测图像中没有目标对象，在检测后则会输出空值。
上述的目标对象可以是任意可检测的对象，比如人员、人脸、交通工具、物品、动物等可检测的对象。
上述的卷积神经网络为预先训练好的，可以是在现有检测用的卷积神经网络上进行改进，添加对应的提取图像质量信息的卷积，以使卷积神经网络能够通过卷积计算提取到特征图像以及图像质量信息。具体的，在卷积神经网络中增加用于提取图像质量信息的卷积核，具体卷积核的添加数量可以根据需要的图像质量信息的维度进行添加，比如，需要的图像质量信息为64维的，则增加64个卷积核对待检测图像的图像质量信息进行提取，提取得到64维的图像质量信息。当然，在卷积神经网络中，还包括用于提取检测框置信度的卷积核以及用于提取检测框坐标的卷积核，还可以包括用于提取目标分类置信度的卷积核等。其中，上述的卷积神经网络中还包括池化核，池化核用于对卷积计算后的特征图像进行下采样，以得到不同尺度(也可以称为不同感受野，图像尺度越小，感受野越大，可以检测较大的目标)的特征图像。
需要说明的是，上述的卷积神经网络也可以称为检测器或检测模块。
请参见图2，图2是本发明实施例提供的一种检测框的特征信息提取方法，如图2所法，包括：
201、通过预先训练好的卷积神经网络提取不同网格尺度下的特征图像。
特征图像包括预定数量的图像质量通道。
在该步骤中，上述的网格尺度指的是将不同尺寸的特征图像通过网络进行划分，可以是将特征图像划分S×S个网格，对于尺度较大的特征图像，可以采用较多的网格进行划分，对于尺度较小的特征图像，则可以采用较小的网格进行划分，上述特征图像的尺度与下采样的次数相关，下采样越多，则图像尺度越小。具体的，上述的卷积神经网络可以通过第一下采样、第二下采样以及第三下采样分别采样到三个不同尺度的特征图像。更具体的，上述第一下采样可以是8倍下采样，第二下采样可以是16倍下采样，第三下采样可以是32倍下采样。
在一种可能的实施例中，上述的卷积神经网络也可以根据32倍下采样后的特征图像进行上采样，进行2倍上采样，则得到对应16倍下采样的特征图像，在该对应16倍下采样的特征图像上再2倍上采样，则得到对应8倍下采样的特征图像。
通过上述的下采样，可以分别得到对应第一下采样的第一特征图像，对应第二下采样的第二特征图像，对应第三下采样的第三特征图像，将上述的第一特征图像、第二特征图像、第三特征图像通过卷积操作分别划分S1×S1，S2×S2，S3×S3个网格，其中，S1＞S2＞S3，具体的，可以是S1＝2S2＝4S3。更具体的，假设输入为416×416×3的待检测图像，则S1＝52，S2＝26，S3＝13，表示第一特征图像被划分为52×52个网格，第二特征图像被划分为26×26个网格，第三特征图像被划分为13×13个网格，每个网格都可以当作锚点用于对目标对象进行预测。
上述的图像质量通道是根据添加的卷积核进行特征提取得到的通道。
202、通过检测框对所述不同网格尺度下的特征图像进行预测，提取得到对应不同网格尺度下的特征图像中，每个网格的检测框的目标分类概率作为检测框的置信度。
上述的检测框可以设置为K个，上述的K个检测框互不相同，即每个网格都通过K个检测框来对目标对象进行预测，将每个网格通过检测框预测一次，则对于上述的第一特征图像、第二特征图像以及第三特征图像中的每个网络均预测K次，总共预测了(13×13×K+26×26×K+52×52×K)次，每一次预测得到的检测框的特征信息为(1+4+D+E)个维度的向量，当分类数量为1，图像质量信息为64维时，则每一次预测得到的检测框的特征信息为(1+4+1+64)维度的向量，此时，假设K＝3，整个第三特征图像的输出是一个13×13×(1+4+1+64)×3维度的向量，第二特征图像的输出是一个26×26×(1+4+1+64)×3维度的向量，第一特征图像的输出是一个52×52×(1+4+1+64)×3。需要说明的是，上述的检测框是基于锚点进行预先设置的，也可以称为锚点框。上述的锚点用于增加先验信息，用于指导初始训练以使模型更好的检测框进行回归。
通过提取每个网格对应检测框中的图像进行目标分类预测，由于每个网络对应K个检测框，每个检测框都会进行目标分类预测，将检测框中的图像进行目标分类计算，计算该目标属于各个分类的概率，以这个概率作为检测框的置信度。以人脸检测为例，通过提取每个网格对应检测框中的图像进行人脸预测，得到对应检测框中的图像属性人脸的概率作为人脸框置信度，人脸框置信度越高，说明该个检测框是人脸检测框的可信度越高。
203、根据图像质量通道，对每个检测框进行图像质量信息提取，得到每个检测框对应的图像质量信息。
在该步骤中，还会提取每个检测框对应的图像质量信息，每个网格通过K个检测框对特征图像的质量信息通道的通道值进行提取，以得到每个检测框对应的图像质量信息。
204、基于的置信度以及检测框对应的图像质量信息，得到检测框的特征信息。
比如，输入为(416×416×3)的图像，其中3为RGB三个通道，在经过卷积计算后，会在第一池化层、第二池化层以及第三池化层中分别与池化核进行计算，得到第一尺度特征图像中52×52×K个检测框的特征信息，得到第二尺度特征图像中26×26×K个检测框的特征信息，得到第三尺度特征图像中13×13×K个检测框的特征信息。
102、根据检测框信息进行非极大值抑制，得到目标检测框信息。
在该步骤中，上述的检测框的特征信息中包括检测框信息，上述的检测框信息包括置信度以及检测框的坐标信息。上述的检测框的坐标信息包括中心点(锚点)在像素点坐标系中的x，y坐标值，以及检测框的高(h)，宽(w)，总共四个维度值，在一种可能的实施例中，上述的检测框的坐标信息也可以是两个对角点在像素点坐标系中的坐标值，比如互为对角点的(x1，y1)与(x2，y2)，也可以求出中心点为x＝(x1+x2)/2，y＝(y1，y2)/2，高(h)＝∣y1－y2∣，宽(w)＝∣x1－x2∣。需要说明的是，本发明实施例中检测框均为矩形检测框。
在进行非极大值抑制时，可以将第一特征图像、第二特征图像以及第三特征图像中的检测框映射到同一尺寸的图像中，比如将检测框映射到原图中，或是映射到尺寸最大的特征图像中，比如将第二特征图像、第三特征图像中的检测框映射到第一特征图像中。
上述的非极大值抑制指可以理解为抑制置信度不是最大值的检测框。具体的，可以根据检测框的坐标信息，计算每两个检测框之间的交并比，并判断交并比是否大于预设的交并比阈值；上述的交并比指的是两个检测框相交部分面积与相并部分面积的比值。交并比最大为1，是两个大小相同的检测框完全重合的情况，交并比越大，说明两个检测框越相近以及越相似。由于每个网格产生K个检测框，每个网格附近的网格也会产生多个检测框进行相交，一个目标对象可以会被多个聚集在一个区域的检测框所表示，但一个目标对象只有一个最优检测框，因此，可以通过非极大值抑制对一个目标对象的多个检测框进行抑制，保留置信度最高的检测框作为目标检测框。
若所述交并比大于预设的交并比阈值，则比对两个检测框之间的置信度大小，并保留置信度较大的检测框；当两个检测框的交并比大于上述的交并比阈值时，说明两个检测框足够近，而且该两个检测框的形状也足够相似。
遍历所有的检测框，删除置信度小于预设的置信度阈值的检测框，得到目标检测框信息。由于在待检测图像中，目标对象可以是一个或多个，上述的检测框也可以是一个或多个。在通过非极大值抑制之后，每个目标对象一个检测框，即为目标检测框。上述的目标检测框信息包括置信度以及检测框位置。
103、将目标检测框信息对应的图像质量信息与预先训练好的质量权重进行计算，得到目标检测框的图像质量分数。
由于在步骤203中，每个检测框还包括提取到的图像质量信息，即目标检测框也包括有图像质量信息，可以理解的，目标检测框包括检测框本身的信息(即检测框置信度、检测框坐标、目标分类置信度)以及图像质量信息。
上述的图像质量信息与预先训练好的质量权重进行计算，计算得到目标检测框的图像质量信息。比如，以人脸检测为例，上述预先训练好的质量权重为人脸质量权重，通过将图像质量信息与质量权重进行点乘，计算人脸质量信息与质量权重的点积，得到人脸质量分数，上述的图像质量分数也可以称为图像质量评分，是一个标量。
在一种可能的实施例中，由于图像质量信息是融合在目标检测框的特征信息中，可以先对目标检测框的特征信息中的检测框信息进行掩码，以使检测框信息不参与质量权重的点乘计算。或者，可以对提取出目标检测框的特征信息中图像质量信息对应的维度用以与质量权重进行点乘计算。
104、基于目标检测框信息以及目标检测框的图像质量分数，输出得到目标对象。
在该步骤中，通过步骤102得到目标检测框信息，则可以根据目标检测框信息中的检测框坐标，可以将目标检测框通过该目标检测框坐标投影到待检测图像中，得到目标对象在待检测图像中位置，并在待检测图像中显示对应的检测框与置信度，同时，还会输出对应的图像质量分数以对该目标对象的图像质量进行评估。或者，将待检测图像中与目标检测框对应的图像区域作为目标对象进行提取，提取得到目标对象的图像以用于后续任务，比如通过提取到人脸进行建档，或将提取到人脸进行人脸结构化处理等。
在本发明实施例中，通过预先训练好的卷积神经网络对待检测图像进行检测，提取得到检测框的特征信息，所述特征信息融合有检测框信息以及与所述检测框对应的图像质量信息，所述待检测图像中包括目标对象；根据所述检测框信息进行非极大值抑制，得到目标检测框信息；将所述目标检测框信息对应的图像质量信息与预先训练好的质量权重进行计算，得到目标检测框的图像质量分数；基于所述目标检测框信息以及所述目标检测框的图像质量分数，输出得到所述目标对象。通过在对待检测图像进行检测时，提取到融合有检测框信息以及图像质量信息的检测框的特征信息，通过非极大值抑制得到目标检测框信息，通过质量权重对目标检测框的图像质量信息进行评估，无需在输出目标对象后再进行目标对象的图像质量评估，相当于只增加了一个质量权重与图像质量信息的评估过程，无需额外提取图像质量信息的时间开销，所以对终端设备运行速度影响较小。
需要说明的是，本发明实施例提供的融合图像质量的图像检测方法可以应用于需要进行图像检测的手机、监控器、门禁机、计算机、服务器等设备。
可选的，在计算到目标检测框的图像质量信息时，还可以根据图像质量分数进行排序，可以通过svm(support vector machines，支持向量机)或者ranknet(排序网络)将图像质量分数的排序转换成分类问题，将排序融合到质量权重中，在计算得到图像质量分数的同时还可以根据图像质量分数对目标对象进行排序输出。
可选的，上述的卷积神经网络(检测器)与上述的质量权重可以分开进行训练，即上述卷积神经网络的训练与质量权重的训练是不耦合的。这样可以避免在训练时，卷积神经网络与质量权重的误差回传互相影响，最终导致模型不收敛。
其中，上述卷积神经网络的训练可以是通过第一样本数据集对该卷积神经网络进行训练，上述的第一样本数据集包括样本对象框，样本分类标签以及第一图像质量标签，以使该卷积神经网络能够学习到对应的目标对象分类以及检测框的同时，还能够提取图像质量信息。
上述质量权重的训练可以是通过第二样本数据集对该质量权重，上述的第二样本数据集包括第二图像质量标签，上述第二样本数据集中的样本数据可以是卷积神经网络提取到的图像质量信息，上述的第二图像质量标签可以与第一图像质量标签是相同的。
在一种可能的实施例中，卷积神经网络中的用于提取图像质量信息的卷积核可以是从预先训练好的图像质量评估网络中提取得到的，然后将提取到的已经训练好的卷积核融合到卷积神经网络中。这样，就可以不用对用于提取图像质量信息的卷积核再进行训练。
请参见图3，图3是本发明实施例提供的一种融合图像质量的图像检测装置的结构示意图，如图3所示，所述装置包括：
提取模块301，用于通过预先训练好的卷积神经网络对待检测图像进行检测，提取得到检测框的特征信息，所述特征信息融合有检测框信息以及与所述检测框对应的图像质量信息，所述待检测图像中包括目标对象；
处理模块302，用于根据所述检测框信息进行非极大值抑制，得到目标检测框信息；
计算模块303，用于将所述目标检测框信息对应的图像质量信息与预先训练好的质量权重进行计算，得到目标检测框的图像质量分数；
输出模块304，用于基于所述目标检测框信息以及所述目标检测框的图像质量分数，输出得到所述目标对象。
可选的，如图4所示，所述检测框信息包括置信度，所述提取模块301包括：
第一提取单元3011，用于通过预先训练好的卷积神经网络提取不同网格尺度下的特征图像，所述特征图像包括预定数量的图像质量通道；
第二提取单元3012，用于通过检测框对所述不同网格尺度下的特征图像进行预测，提取对应不同网格尺度下的特征图像中，每个网格的检测框的目标分类概率作为检测框的置信度；
第三提取单元3013，用于根据所述图像质量通道，对每个检测框进行图像质量信息提取，得到所述每个检测框对应的图像质量信息；
得到单元3014，用于基于的置信度以及检测框对应的图像质量信息，得到检测框的特征信息。
可选的，如图5所示，所述检测框信息包括检测框的坐标信息，所述处理模块302，包括：
计算单元3021，用于根据所述检测框的坐标信息，计算每两个检测框之间的交并比，并判断所述交并比是否大于预设的交并比阈值；
保留单元3022，用于若所述交并比大于预设的交并比阈值，则比对两个检测框之间的置信度大小，并保留置信度较大的检测框；
删除单元3023，用于遍历所有的检测框，删除置信度小于预设的置信度阈值的检测框，得到目标检测框信息。
可选的，所述计算模块303还用于将所述目标检测框对应的图像质量信息与所述预先训练好的质量权重进行点乘计算，得到目标检测框的图像质量分数。
可选的，所述输出模块304还用于第一输出模块，用于根据所述目标检测框信息，输出所述目标检测框中对应的图像作为目标对象；以及根据所述目标检测框的质量信息，输出所述目标检测框的图像质量分数作为目标对象的图像质量分数。
可选的，如图6所示，所述装置还包括：
第一训练模块305，用于通过添加了第一图像质量标签的第一样本数据集对所述卷积神经网络进行训练，以使所述卷积神经网络能够提取到对应的目标对象以及图像质量信息；
第二训练模块306，用于通过添加了第二图像质量信息的第二样本数据集对所述质量权重进行训练，以使所述质量权重能够提取到对应的图像质量分数；
其中，所述卷积神经网络的训练与所述质量权重的训练不耦合。
需要说明的是，本发明实施例提供的融合图像质量的图像检测装置可以应用于需要进行图像检测的手机、监控器、门禁机、计算机、服务器等设备。
本发明实施例提供的融合图像质量的图像检测装置能够实现上述方法实施例中融合图像质量的图像检测方法实现的各个过程，且可以达到相同的有益效果。为避免重复，这里不再赘述。
参见图7，图7是本发明实施例提供的一种电子设备的结构示意图，如图7所示，包括：存储器702、处理器701及存储在所述存储器702上并可在所述处理器701上运行的计算机程序，其中：
处理器701用于调用存储器702存储的计算机程序，执行如下步骤：
通过预先训练好的卷积神经网络对待检测图像进行检测，提取得到检测框的特征信息，所述特征信息融合有检测框信息以及与所述检测框对应的图像质量信息，所述待检测图像中包括目标对象；
根据所述检测框信息进行非极大值抑制，得到目标检测框信息；
将所述目标检测框信息对应的图像质量信息与预先训练好的质量权重进行计算，得到目标检测框的图像质量分数；
基于所述目标检测框信息以及所述目标检测框的图像质量分数，输出得到所述目标对象。
可选的，所述检测框信息包括置信度，处理器701执行的所述通过预先训练好的卷积神经网络对待检测图像进行检测，提取得到检测框的特征信息，包括：
通过预先训练好的卷积神经网络提取不同网格尺度下的特征图像，所述特征图像包括预定数量的图像质量通道；
通过检测框对所述不同网格尺度下的特征图像进行预测，提取对应不同网格尺度下的特征图像中，每个网格的检测框的目标分类概率作为检测框的置信度；
根据所述图像质量通道，对每个检测框进行图像质量信息提取，得到所述每个检测框对应的图像质量信息；
基于的置信度以及检测框对应的图像质量信息，得到检测框的特征信息。
可选的，所述检测框信息包括检测框的坐标信息，处理器701执行的所述根据所述检测框信息进行非极大值抑制，得到目标检测框信息，包括：
根据所述检测框的坐标信息，计算每两个检测框之间的交并比，并判断所述交并比是否大于预设的交并比阈值；
若所述交并比大于预设的交并比阈值，则比对两个检测框之间的置信度大小，并保留置信度较大的检测框；
遍历所有的检测框，删除置信度小于预设的置信度阈值的检测框，得到目标检测框信息。
可选的，处理器701执行的所述将所述目标检测框信息对应的图像质量信息与预先训练好的质量权重进行计算，得到目标检测框的图像质量信息，包括：
将所述目标检测框的特征信息与所述预先训练好的质量权重进行点乘计算，得到目标检测框的图像质量分数。
可选的，处理器701执行的所述基于所述目标检测框信息以及所述目标检测框的图像质量信息，输出得到所述目标对象，包括：
根据所述目标检测框信息，输出所述目标检测框中对应的图像作为目标对象；以及
输出所述目标检测框的图像质量分数作为目标对象的图像质量分数。
可选的，处理器701执行的所述卷积神经网络的训练，包括：
通过添加了第一图像质量标签的第一样本数据集对所述卷积神经网络进行训练，以使所述卷积神经网络能够提取到对应的目标对象以及图像质量信息；
所述质量权重的训练，包括：
通过添加了第二图像质量信息的第二样本数据集对所述质量权重进行训练，以使所述质量权重能够提取到对应的图像质量分数；
其中，所述卷积神经网络的训练与所述质量权重的训练不耦合。
需要说明的是，上述电子设备可以是可以应用于需要进行图像检测的手机、监控器、门禁机、计算机、服务器等设备。
本发明实施例提供的电子设备能够实现上述方法实施例中融合图像质量的图像检测方法实现的各个过程，且可以达到相同的有益效果，为避免重复，这里不再赘述。
本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现本发明实施例提供的融合图像质量的图像检测方法的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存取存储器(Random AccessMemory，简称RAM)等。
以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。
Claims (8)
1.一种融合图像质量的图像检测方法，其特征在于，包括以下步骤：
通过预先训练好的卷积神经网络对待检测图像进行检测，提取得到检测框的特征信息，所述特征信息融合有检测框信息以及与所述检测框对应的图像质量信息，所述待检测图像中包括目标对象，所述检测框信息包括置信度；
根据所述检测框信息进行非极大值抑制，得到目标检测框信息；
将所述目标检测框信息对应的图像质量信息与预先训练好的质量权重进行计算，得到目标检测框的图像质量分数；
基于所述目标检测框信息以及所述目标检测框的图像质量分数，输出得到所述目标对象；
所述通过预先训练好的卷积神经网络对待检测图像进行检测，提取得到检测框的特征信息，包括：
通过预先训练好的卷积神经网络提取不同网格尺度下的特征图像，所述特征图像包括预定数量的图像质量通道；
通过检测框对所述不同网格尺度下的特征图像进行预测，提取对应不同网格尺度下的特征图像中，每个网格的检测框的目标分类概率作为检测框的置信度；
根据所述图像质量通道，对每个检测框进行图像质量信息提取，得到所述每个检测框对应的图像质量信息；
基于所述置信度以及检测框对应的图像质量信息，得到检测框的特征信息。
2.如权利要求1所述的方法，其特征在于，所述检测框信息包括检测框的坐标信息，所述根据所述检测框信息进行非极大值抑制，得到目标检测框信息，包括：
根据所述检测框的坐标信息，计算每两个检测框之间的交并比，并判断所述交并比是否大于预设的交并比阈值；
若所述交并比大于预设的交并比阈值，则比对两个检测框之间的置信度大小，并保留置信度较大的检测框；
遍历所有的检测框，删除置信度小于预设的置信度阈值的检测框，得到目标检测框信息。
3.如权利要求1所述的方法，其特征在于，所述将所述目标检测框信息对应的图像质量信息与预先训练好的质量权重进行计算，得到目标检测框的图像质量分数，包括：
将所述目标检测框对应的图像质量信息与所述预先训练好的质量权重进行点乘计算，得到目标检测框的图像质量分数。
4.如权利要求3所述的方法，其特征在于，所述基于所述目标检测框信息以及所述目标检测框的图像质量分数，输出得到所述目标对象，包括：
根据所述目标检测框信息，输出所述目标检测框中对应的图像作为目标对象；以及输出所述目标检测框的图像质量分数作为目标对象的图像质量分数。
5.如权利要求1至4中任一所述的方法，其特征在于，所述卷积神经网络的训练，包括：
通过添加了第一图像质量标签的第一样本数据集对所述卷积神经网络进行训练，以使所述卷积神经网络能够提取到对应的目标对象以及图像质量信息；
所述质量权重的训练，包括：
通过添加了第二图像质量信息的第二样本数据集对所述质量权重进行训练，以使所述质量权重能够提取到对应的图像质量分数；
其中，所述卷积神经网络的训练与所述质量权重的训练不耦合。
6.一种融合图像质量的图像检测装置，其特征在于，所述装置包括：
提取模块，用于通过预先训练好的卷积神经网络对待检测图像进行检测，提取得到检测框的特征信息，所述特征信息融合有检测框信息以及与所述检测框对应的图像质量信息，所述待检测图像中包括目标对象；
处理模块，用于根据所述检测框信息进行非极大值抑制，得到目标检测框信息；
计算模块，用于将所述目标检测框信息对应的图像质量信息与预先训练好的质量权重进行计算，得到目标检测框的图像质量分数；
输出模块，用于基于所述目标检测框信息以及所述目标检测框的图像质量分数，输出得到所述目标对象；
所述提取模块还包括：
第一提取单元，用于通过预先训练好的卷积神经网络提取不同网格尺度下的特征图像，所述特征图像包括预定数量的图像质量通道；
第二提取单元，用于通过检测框对所述不同网格尺度下的特征图像进行预测，提取对应不同网格尺度下的特征图像中，每个网格的检测框的目标分类概率作为检测框的置信度；
第三提取单元，用于根据所述图像质量通道，对每个检测框进行图像质量信息提取，得到所述每个检测框对应的图像质量信息；
得到单元，用于基于所述置信度以及检测框对应的图像质量信息，得到检测框的特征信息。
7.一种电子设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至5中任一项所述的融合图像质量的图像检测方法中的步骤。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至5中任一项所述的融合图像质量的图像检测方法中的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911378061.0A CN113065379B (zh) | 2019-12-27 | 2019-12-27 | 融合图像质量的图像检测方法、装置、电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911378061.0A CN113065379B (zh) | 2019-12-27 | 2019-12-27 | 融合图像质量的图像检测方法、装置、电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113065379A CN113065379A (zh) | 2021-07-02 |
| CN113065379B true CN113065379B (zh) | 2024-05-07 |
Family
ID=76557892
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911378061.0A Active CN113065379B (zh) | 2019-12-27 | 2019-12-27 | 融合图像质量的图像检测方法、装置、电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113065379B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114387219A (zh) * | 2021-12-17 | 2022-04-22 | 依未科技(北京)有限公司 | 眼底动静脉交叉压迫特征的检测方法、装置、介质及设备 |
| CN114299037B (zh) * | 2021-12-30 | 2023-09-01 | 广州极飞科技股份有限公司 | 一种对象检测结果的质量评估方法、装置、电子设备及计算机可读存储介质 |
| CN114444895A (zh) * | 2021-12-31 | 2022-05-06 | 深圳云天励飞技术股份有限公司 | 清洁质量评估方法及相关设备 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108520229A (zh) * | 2018-04-04 | 2018-09-11 | 北京旷视科技有限公司 | 图像检测方法、装置、电子设备和计算机可读介质 |
| CN109886951A (zh) * | 2019-02-22 | 2019-06-14 | 北京旷视科技有限公司 | 视频处理方法、装置及电子设备 |
| WO2019128646A1 (zh) * | 2017-12-28 | 2019-07-04 | 深圳励飞科技有限公司 | 人脸检测方法、卷积神经网络参数的训练方法、装置及介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9881234B2 (en) * | 2015-11-25 | 2018-01-30 | Baidu Usa Llc. | Systems and methods for end-to-end object detection |
-
2019
- 2019-12-27 CN CN201911378061.0A patent/CN113065379B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019128646A1 (zh) * | 2017-12-28 | 2019-07-04 | 深圳励飞科技有限公司 | 人脸检测方法、卷积神经网络参数的训练方法、装置及介质 |
| CN108520229A (zh) * | 2018-04-04 | 2018-09-11 | 北京旷视科技有限公司 | 图像检测方法、装置、电子设备和计算机可读介质 |
| CN109886951A (zh) * | 2019-02-22 | 2019-06-14 | 北京旷视科技有限公司 | 视频处理方法、装置及电子设备 |
Non-Patent Citations (2)
| Title |
|---|
| 基于SSD的车辆目标检测;吴水清;王宇;师岩;;计算机与现代化(第05期);全文 * |
| 弱监督深层神经网络遥感图像目标检测模型;周明非;汪西莉;;中国科学:信息科学(第08期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113065379A (zh) | 2021-07-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111178183B (zh) | 人脸检测方法及相关装置 | |
| US11062123B2 (en) | Method, terminal, and storage medium for tracking facial critical area | |
| CN112052787B (zh) | 基于人工智能的目标检测方法、装置及电子设备 | |
| CN111126258B (zh) | 图像识别方法及相关装置 | |
| US20180114071A1 (en) | Method for analysing media content | |
| CN110807385A (zh) | 目标检测方法、装置、电子设备及存储介质 | |
| CN113065379B (zh) | 融合图像质量的图像检测方法、装置、电子设备 | |
| CN110633745A (zh) | 一种基于人工智能的图像分类训练方法、装置及存储介质 | |
| CN108805016B (zh) | 一种头肩区域检测方法及装置 | |
| Ahmad et al. | Overhead view person detection using YOLO | |
| KR102476022B1 (ko) | 얼굴검출 방법 및 그 장치 | |
| CN111709471B (zh) | 对象检测模型的训练方法以及对象检测方法、装置 | |
| CN113033523B (zh) | 跌倒判断模型的构建方法及***、跌倒判断方法及*** | |
| US20220327676A1 (en) | Method and system for detecting change to structure by using drone | |
| CN111652181B (zh) | 目标跟踪方法、装置及电子设备 | |
| CN111368634B (zh) | 基于神经网络的人头检测方法、***及存储介质 | |
| CN112561801A (zh) | 基于se-fpn的目标检测模型训练方法、目标检测方法及装置 | |
| CN115690545B (zh) | 训练目标跟踪模型和目标跟踪的方法和装置 | |
| CN111008622B (zh) | 一种图像对象检测方法、装置以及计算机可读存储介质 | |
| CN117475253A (zh) | 一种模型训练方法、装置、电子设备及存储介质 | |
| CN113688810B (zh) | 一种边缘设备的目标捕获方法、***及相关设备 | |
| CN115298705A (zh) | 车牌识别方法、装置、电子设备及存储介质 | |
| JP2024516642A (ja) | 行動検出方法、電子機器およびコンピュータ読み取り可能な記憶媒体 | |
| CN111539390A (zh) | 一种基于Yolov3的小目标图像识别方法、设备和*** | |
| CN117830758A (zh) | 水道漂浮物识别方法、水道漂浮物识别模型训练方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |