CN109308516A - 一种图像处理的方法及设备 - Google Patents

Abstract

一种图像处理的方法及设备，用以解决现有技术中存在的目标检测过程中筛选出的目标候选框的个数固定使得在目标检测时不能同时保证检测效率和检测准确性问题。本发明实施例中，设备基于待检测图像确定待检测图像的目标数量，并从待检测图像的多个目标候选框中选取与所述目标数量相关的目标候选框，以使得针对不同的图像选取的目标候选框的数量更适合，从而可以在目标图像检测过程中既可以避免计算量太大导致的检测效率较低的问题，又可以使得检测结果较为准确。

Description

一种图像处理的方法及设备

技术领域

本申请涉及图像处理技术领域，尤其涉及一种图像处理的方法及设备。

背景技术

对于给定的图像，常常需要将图像中用户关心的目标标注或提取出来，该过程称为目标检测，也可以称为目标提取；目标检测是一种基于目标几何和统计特征的图像分割的技术，目标检测中涉及图像中目标的识别及图像分割，而目标检测的准确性和高效性是评价目标检测的两个重要指标。

近年来，目标检测多使用一些基于深度学习的目标检测算法。这些基于深度学习的目标检测算法中，大部分都采用了级联(cascade)架构，例如Fast-RCNN(fastconvolution neural network，快速区域卷积神经网络)、Faster-RCNN(fasterconvolution neural network，高效区域卷积神经网络)、Cascade CNN(cascadeconvolution neural network，级联卷积神经网络)、Multi-task Network Cascades(多任务网络级联)等；Cascade架构的目标检测算法由多个处理模块串联而成，在待检测的图像的每个像素点上生成大小不同的目标候选框(proposal region candidate window)，由于待检测图像中会包含成千上万个像素点，因此会产生成千上万个目标候选框，将生成的千上万个目标候选框输入到第一级处理模块，继而，每一级模块对输入的目标候选框进行分析评估，并根据评估结果过滤其中部分的目标候选框，降低目标候选框的数量，进而将通过筛选的目标候选框输入到后一级模块再进行进一步的评估分析，最终输出包含有目标的目标候选框。

Faster RCNN目标检测算法为目标检测算法中较为典型的一种算法，在算法中对于输入的一幅图像首先使用多层卷积层(conv layers)提取图像的基础特征图，基于基础特征图，利用Faster RCNN算法中的RPN(region proposal net，区域提议网络)生成大量的目标候选框，并对大量的目标候选框进行筛选和过滤，只选取固定数量的目标候选框输入到后一级模块中；之后对固定数量的目标候选框进行更深层的分类分析，最终获取包含有目标的目标候选框。

还有一些基于级联架构的目标检测算法中，会将经过前级筛选过滤以后的所有目标候选框全部输送到后级进行处理，而不经过额外的排序以及取固定数量的目标候选框的操作；事实上这种处理方式是将固定数量设置为一个较大的数值。

在实际应用中，不同图像中的目标数量差别一般较大。以车辆图像的目标检测场景为例，在市中心拍摄的道路照片中的车辆数量往往很大，而郊区拍摄的道路照片中的车辆数量就会很少。若在目标检测过程中，将固定数量设置为较大的数目，对于检测包含单一目标或少量目标的图像就会产生大量的冗余的计算过程，导致目标检测效率较低，而将固定数量设置为较小的数目，对于检测包含较多目标的图像而言，就会使得目标检测结果准确度较低。

发明内容

本申请提供一种图像处理的方法及设备，用以解决现有技术中存在的目标检测过程中筛选出的目标候选框的个数固定使得在目标检测时不能同时保证检测效率和检测准确性问题。

第一方面，本申请实施例提供了一种图像处理的方法，所述方法包括：首先图像处理设备在获取待检测图像后确定待检测图像中的目标数量；根据所述目标数量确定所述待检测图像需要保留的目标候选框个数；上述过程为图像处理设备确定需要保留的目标候选框个数N的过程；所述图像处理设备从所述待检测图像的多个目标候选框中选择N个目标候选框，所述N个目标候选框用于对所述待检测图像进行处理；所述图像处理设备利用筛选出的N个目标候选框对所述待检测图像继续进行下一步处理，也可以将筛选出的N个目标候选框传输至其他图像处理设备以使其他图像设备利用N个目标候选框对所述待检测图像进行下一步处理。

通过上述方法，图像处理设备从所述待检测图像的多个目标候选框中筛选目标候选框时，需要保留的目标候选框的个数是图像处理设备基于待检测图像的目标数量确定的，使得在确定需要保留的目标候选框个数是针对图像进行设置的，以使得针对不同的图像选取的目标候选框的数量更适合，选取合适的目标候选框的个数可以减少冗余的计算量，提高检测效率，同时也能够保证检测结果的准确性。

在一种可能的设计中，所述图像处理设备通过分析每个目标候选框，确定所述目标候选框存在目标信息的概率；之后所述图像处理设备根据每个所述目标候选框存在目标信息的概率，从所述多个目标候选框筛选出N个目标候选框。

通过上述方法，所述图像处理设备筛选目标候选框时，依据的是每个所述目标候选框存在目标信息的概率，使得最终筛选出的目标候选框与目标存在的概率相关，可以保证筛选出的目标候选框的准确性更高。

在一种可能的设计中，所述图像处理设备根据每个所述目标候选框存在目标信息的概率，在所述多个目标候选框中筛选N个目标候选框的方式有许多种，较佳的，可以采用如下两种方式：

方式一：所述图像处理设备从所述多个目标候选框中选取存在目标信息的概率最大的N个目标候选框；具体的，选择概率最大的N个目标候选框的方式可以是根据每个所述目标候选框存在目标信息的概率对所述多个目标候选框进行排序，从排序结果中选取概率最大的N个目标候选框；也可以先确定概率最大的一个目标候选框，再从剩余的目标候选框中选取概率最大的一个目标候选框，直至确定出N个目标候选框。

方式二：所述图像处理设备从所述多个目标候选框中存在目标信息的概率大于第一阈值的目标候选框中选取N个目标候选框。

所述图像处理设备也可以将上述两种方式结合起来对多个目标候选框进行筛选。

通过上述方法，所述图像处理设备在筛选目标候选框时依据每个所述目标候选框存在目标信息的概率进行排序或过滤，保证存在目标信息的概率较高的目标候选框通过筛选。

在一种可能的设计中，所述图像处理设备中可以存储有目标数量与需要保留的目标候选框个数的对应关系，针对不同的目标数量对应的需要保留的目标候选框个数不同，所述对应关系可以是所述图像处理设备中预先设置的，也可以是所述图像处理设备通过与其他图像处理设备通信获取的，所述图像处理设备在根据所述目标数量确定所述待检测图像需要保留的目标候选框个数时，根据所述对应关系确定所述待检测图像需要保留的目标候选框个数。

通过上述方法，所述图像处理设备确定的需要保留的目标候选框个数，与目标数量相关，使得在后续筛选的过程中，筛选出的目标候选框可以更多的覆盖所有可能包含目标信息的目标候选框。

在一种可能的设计中，所述目标数量与需要保留的目标候选框个数之间的对应关系有许多表现形式，例如，所述目标数量和需要保留的目标候选框个数之间存在映射表，或所述目标数量与需要保留的目标候选框个数之间的一种运算关系；具体的，所述图像处理设备在确定出所述目标数量后根据所述待检测图像的目标数量与预设因数确定所述待检测图像需要保留的目标候选框个数，其中，所述预设因数为正实数。所述待检测图像需要保留的目标候选框个数可以是所述待检测图像的目标数量与预设因数的乘积取整后的值，也可以是所述图像处理设备从包含有所述待检测图像的目标数量与预设因数的乘积的预设长度的区间内选取的值，也可以是所述图像处理设备基于所述待检测图像的目标数量与预设因数进行预设的运算后确定的值，例如预设的运算可以是指数运算或加法运算等等。

通过上述方法，所述图像处理设备并不直接将目标数量作为需要保留的目标候选框个数，而是与一个预设因数一同确定需要保留的目标候选框个数，使得更多可能包含有目标信息的目标候选框通过筛选，进一步保证了目标候选框筛选时的准确性。

在一种可能的设计中，为了保证后续处理所述待检测图像的精确度，所述图像处理设备设置所述预设因数与处理所述待检测图像所需要的检测精度相关。在具体实施中，所述图像处理设备可以根据具体的场景确定处理所述待检测图像所需要的检测精度；所述图像处理设备也可以同时考虑处理所述待检测图像所需要的检测精度和处理所述待检测图像所需要的检测速度，确定预设因数。

通过上述方法，预设因数是基于处理所述待检测图像所需要的检测精度确定的一个数值，可以保证在具体的处理图像场景下图像处理的精确度。

在一种可能的设计中，所述图像处理设备从所述待检测图像的多个目标候选框中选择N个目标候选框之前，所述图像处理设备还可以进行进一步的过滤操作；

其中过滤操作，可以是从所述待检测图像的多个目标候选框中删除存在目标信息的概率小于预设的第二阈值的目标候选框；也可以是删除与剩余的其他目标候选框重叠程度超过预设第三阈值的目标候选框；也可以是既执行从所述待检测图像的多个目标候选框中删除存在目标信息的概率小于预设的第二阈值的目标候选框的操作，也执行删除与剩余的其他目标候选框重叠程度超过预设第三阈值的目标候选框的操作。

所述图像处理设备执行进一步的过滤操作，并不限定具体的执行时间节点，所述图像处理设备可以在确定了所述待检测图像的多个目标候选框后就进行过滤操作，也可以在筛选N个目标候选框时，筛选操作和过滤操作同时进行或者交替进行，只需保证筛选出的N个目标候选框中不存在或者存在较少的重叠程度大的目标候选框即可。

通过上述方法，所述图像处理设备将目标候选框中重叠程度较大的目标候选框过滤掉能够使得通过筛选的目标候选框所圈定的区域存在较少的重合，也能够减少在目标检测中的冗余的计算过程，提高目标检测的检测效率。

在一种可能的设计中，所述图像处理设备在确定待检测图像中的目标数量时是根据根据预先学习到的基础特征图像与目标数量的映射关系来确定的，而所述基础特征图像与目标数量的映射关系是所述图像处理设备根据预设的训练图像数据集合中训练图像的基础特征图像与所述训练图像的基础特征图像对应的目标数量学习所确定的。

通过上述方法，所述图像处理设备在预估目标数量时的依据是一种已经成熟的的基础特征图像与目标数量的映射关系，能够保证预估出的目标数量更加接近真实数值，减少误差。

第二方面，本发明实施例提供了一种图像处理设备，所述图像处理设备具有实现上述方法实例中图像处理设备行为的功能。所述功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。所述硬件或软件包括一个或多个与上述功能相对应的模块。

在一种可能的设计中，所述图像处理设备包括第一确定单元、第二确定单元和筛选单元；确定单元，用于确定待检测图像中的目标数量；以及根据确定的目标数量，确定所述待检测图像需要保留的目标候选框个数N，其中N为大于1的整数；筛选单元，用于从所述待检测图像的多个目标候选框中选择N个目标候选框，所述N个目标候选框用于对所述待检测图像进行处理。

在一种可能的设计中，所述筛选单元从所述待检测图像的多个目标候选框中选择N个目标候选框时，具体用于：确定所述多个目标候选框中每个目标候选框存在目标信息的概率；根据每个目标候选框存在目标信息的概率，从所述多个目标候选框选择N个目标候选框。

在一种可能的设计中，所述筛选单元根据每个目标候选框存在目标信息的概率，从所述多个目标候选框选择N个目标候选框时，具体的可以采用下述的两种方式选择：

方式一、从所述多个目标候选框中选取存在目标信息的概率最大的N个目标候选框；

方式二、从所述多个目标候选框中存在目标信息的概率大于第一阈值的目标候选框中选取N个目标候选框。

所述筛选单元也可以采用方式一与方式二结合的方式选择N个目标候选框。

在一种可能的设计中，所述确定单元在确定需要保留的目标候选框个数时，可以依据预设的目标数量与需要保留的目标候选框个数之间的对应关系，确定所述待检测图像需要保留的目标候选框个数N。

在一种可能的设计中，所述确定单元具体用于根据所述待检测图像的目标数量和预设因数确定所述待检测图像需要保留的目标候选框个数N，其中所述预设因数为正实数。

具体的，所述确定单元可以根据所述待检测图像的目标数量和预设因数的乘积确定，也可以通过所述待检测图像的目标数量和预设因数通过设定的运算规则获取的结果值确定。

在一种可能的设计中，所述确定单元在确定所述待检测图像需要保留的目标候选框个数N所采用的预设因数是所述所述确定单元根据处理所述待检测图像所需要的检测精度确定的。

在一种可能的设计中，所述筛选单元从所述多个目标候选框选择N个目标候选框时还可以执行进一步的过滤操作；

所述过滤操作下列操作的部分或全部：从所述待检测图像的所有目标候选框中删除存在目标信息的概率小于预设的第二阈值的目标候选框，删除与剩余的其他目标候选框重叠程度超过预设第三阈值的目标候选框。

在一种可能的设计中，所述确定单元在确定所述待检测图像的目标数量时，具体可采用如下方式确定：

确定所述待检测图像的基础特征图像；

根据预先学习到的基础特征图像与目标数量的映射关系，确定所述基础特征图像中存在的目标数量。

第三方面，本发明实施例提供了一种图像处理设备，所述图像处理设备包括采集器、存储器以及处理器：所述采集器，用于获取待检测图像；所述处理器被配置为支持所述设备执行上述方法中相应的功能；所述存储器与所述处理器耦合，其保存所述设备必要的程序指令和数据。

具体的，所述处理器用于确定待检测图像中的目标数量；以及根据所述目标数量，确定所述待检测图像需要保留的目标候选框个数N，其中N为大于1的整数；以及从所述待检测图像的多个目标候选框中选择N个目标候选框，所述N个目标候选框用于对所述待检测图像进行处理。

在一种可能的设计中，所述处理器从所述待检测图像的多个目标候选框中在选择N个目标候选框时，具体用于：确定所述多个目标候选框中每个目标候选框存在目标信息的概率；根据每个目标候选框存在目标信息的概率，从所述多个目标候选框选择N个目标候选框。

在一种可能的设计中，所述处理器在根据每个目标候选框存在目标信息的概率，从所述多个目标候选框选择N个目标候选框时，可以采用如下两种方式确定：

方式一、从所述多个目标候选框中选取存在目标信息的概率最大的N个目标候选框；

方式二、从所述多个目标候选框中存在目标信息的概率大于第一阈值的目标候选框中选取N个目标候选框。

所述处理器也可以采用上述两种方式结合的方式选择N个目标候选框。

在一种可能的设计中，所述处理器在确定需要保留的目标候选框个数时是以预设的目标数量与需要保留的目标候选框个数之间的对应关系为根据的。

在一种可能的设计中，所述目标数量与需要保留的目标候选框个数之间的对应关系有许多表现形式，例如，所述目标数量和需要保留的目标候选框个数之间存在映射表，或所述目标数量与需要保留的目标候选框个数之间的一种运算关系；

具体的，所述处理器根据所述待检测图像的目标数量和预设因数确定所述待检测图像需要保留的目标候选框个数N，其中所述预设因数为正实数。

在一种可能的设计中，所述处理器根据所述待检测图像的目标数量和预设因数确定所述待检测图像需要保留的目标候选框个数N，所述处理器需先确定所述预设因数，所述处理器可以根据处理所述待检测图像所需要的检测精度确定所述预设因数。

在一种可能的设计中，所述处理器在从所述多个目标候选框中选择N个目标候选框时，还可以执行进一步的过滤操作，所述过滤操作包括下列操作的部分或全部：从所述待检测图像的所有目标候选框中删除存在目标信息的概率小于预设的第二阈值的目标候选框；删除与剩余的其他目标候选框重叠程度超过预设第三阈值的目标候选框。

在一种可能的设计中，所述处理器在确定所述待检测图像的目标数量时，具体用于：

确定所述待检测图像的基础特征图像；

根据预先学习到的基础特征图像与目标数量的映射关系，确定所述基础特征图像中存在的目标数量。

第四方面，本申请实施例中还提供一种计算机存储介质，该存储介质中存储软件程序，该软件程序在被一个或多个处理器读取并执行时可实现第一方面的任意一种设计提供的方法。

本申请实施例提供的方案中，图像处理设备基于所述待检测图像的目标数量来确定在从所述待检测图像多个目标候选框中筛选目标候选框时，需要保留的目标候选框个数，针对于不同的待检测图像确定的需要保留的目标候选框个数与待检测图像的目标数量相关，可以有效提高目标检测的效率，减少不必要的计算过程，同时也能够保证目标检测的准确性。

附图说明

图1为本申请提供的一种图像处理***的架构示意图；

图2为本申请提供的一种手机的结构示意图；

图3为本申请提供的一种图像处理的方法示意图；

图4为本申请提供的一种映射表的结构示意图；

图5为本申请提供的一种构造及设置多层神经网络的流程图；

图6为本申请提供的一种Faster-RCNN的结构示意图；

图7为本申请提供的另一种Faster-RCNN的结构示意图；

图8为本申请提供的一种图像处理示例的流程图；

图9为本申请提供的一种图像处理设备结构示意图；

图10为本申请提供的另一种图像处理设备结构示意图。

具体实施方式

本申请提供了一种图像处理的方法及设备，用以图像处理设备基于所述待检测图像的目标数量，并从所述待检测图像的多个目标候选框中选取数量与所述目标数量相关的目标候选框，以使得针对不同的图像选取的目标候选框的数量更适合，从而可以在目标图像检测过程中既可以避免计算量太大导致的检测效率较低的问题，又可以使得检测结果较为准确。

首先，对本申请中的部分用语进行解释说明，以便使本领域技术人员理解。

1、基础特征图像，对待检测图像进行处理获取图像中每个像素点的基础特征，所有像素点的基础特征构成的图像即为基础特征图像，基础特征图像中每个像素的值为该像素的特征值；其中，基础特征可以是对待检测图像中各个像素点处的几何结构进行强度分析后确定的，例如可以是基础卷积层确定出的图像的一些简单、基础的特征。

2、目标候选框，指以基础特征图像上的一个像素点为中心生成的一个规则框(例如为长方形或正方形等)，目标候选框内的基础特征图像为目标候选框对应的基础特征图像；在确定了基础图像上存在的多个目标候选框后，筛选出一定数目的目标候选框以进行下一步的操作，例如进行下一步目标检测或目标识别的操作；筛选出的目标候选框的数目为所述待检测图像需要保留的目标候选框个数。

3、目标、目标信息，待检测图像中存在的主体对象为所述待检测图像中的目标，一个主体对象为所述待检测图像的一个目标，所述主体对象可以为人物，动物，实物等对象。

目标信息为所目标候选框所圈定的范围内存在的目标的部分或全部信息。例如，所述目标候选框所圈定的范围内只存在待检测图像的一个目标的一部分，则所述目标的一部分与所述目标候选框存在的目标信息对应。

在本发明实施例中在确定所述待检测图像的目标数量时，由于确定方法的检测精度，可能确定目标数量与实际的目标数量存在误差，也可能与实际的目标数量相同。

4、训练图像数据集合，包含有多张训练图像以及每张训练图像中目标的相关信息，例如目标的个数信息、位置信息和类型信息。

5、神经网络(neural networks，NNs)，一种模仿动物神经网络的特征而形成的可以进行分布式并行信息处理的算法模型，按结构分类有单层神经网络、两层神经网络和多层神经网络；其中，多层神经网络的工作参数主要是指多层神经网络连接处的权值。

6、BP算法与梯度下降算法，BP(error back propagation，误差反向传播)算法是利用神经网络中信号的正向传播与误差的反向传播两个过程对神经网络中的各项权值进行修正的一类算法，梯度下降算法是沿梯度下降的方向求解极小值以修正神经网络中的各项权值达到最小偏差的一类算法。

7、重叠程度，重叠程度大是指两个目标候选框之间重合区域较多，对于重叠程度大的目标候选框只需保留其中一个目标候选框；重叠程度可以用目标候选框与其他目标候选框的重合区域面积占该目标候选框总面积的比重来表示，也可以采用重合区域中包含的像素点数目与目标候选框中的总的像素点数目的比值表示，也可以采用其他方式表示。

8、网络层，神经网络为层状结构，每一层结构为一个网络层，网络层种类有很多，常见的有卷积层、全连接层等等，不同的网络层实现的功能也不相同，例如，卷积层可以进行浅层的分析并进行相应的分类；在构造神经网络时可以根据需要实现的功能搭配不同的网络层，形成一个完整的神经网络。

9、检测精度，用于表示在处理图像是所要达到的准确程度，检测精度的种类有许多，例如可以是目标检测的检测精度，以表示目标检测算法检测到目标的准确程度，可以基于测试数据集计算检测算法检测结果的真阳率(true positive rate)与假阳率(falsepositive rate)来表征检测精度，也可以是图像识别的检测精度，以表示识别结果的准确程度。

为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请作进一步地详细描述。

本申请实施例提供的筛选目标候选框的方案可应用于各种设备，该设备包括但不限于个人计算机、服务器计算机、手持式或膝上型设备、移动设备(比如手机、移动电话、平板电脑、个人数字助理、媒体播放器等等)、消费型电子设备、小型计算机、大型计算机，等等。

本发明实例提供的一种图像处理的方法，可以适用于如图1所示的图像处理的***架构中，该***架构包括用户设备110、服务器120，其中所述服务器120中包含有传输模块121、处理模块122、存储器123。其中，传输模块121用于接收用户设备110传输的图像或数据，并将接收到的图像或数据传输至处理模块122；传输模块121还用于将处理模块122处理后的图像或数据传输给用户设备110，以使用户设备110获取处理后的数据。

存储器123用于存储服务器中的数据，例如存储器123可以用于存储传输模块121接收的图像或数据，也可以用于存储处理模块122处理后的数据。处理模块122用于对存储器123存储的图像或数据进行处理。

下面以传输模块121将接收到的图像传输至处理模块122为例，说明处理模块的工作流程：

处理模块122接收到传输模块121传输的待检测图像的数据后，首先利用处理模块中包含的特征提取神经网络模块，确定待检测图像中的基础特征图像；并生成大量的目标候选框，对生成的目标候选框进行筛选，并将筛选后的目标候选框输入到下一级的神经网络模块中进行进一步的分类分析，最终获取包含有目标的目标候选框及相关数据。处理模块122将包含有目标的目标候选框及相关数据传输给传输模块121，由传输模块121将包含有目标的目标候选框及相关数据返回至用户设备110。

本发明实例提供的一种图像处理的方法，也同样适用于如图2所示的手机，下述先简单介绍手机的具体结构组成。

参考图2所示，为本申请实施例应用的手机的硬件结构示意图。如图2所示，手机200包括显示设备210、处理器220以及存储器230。存储器230可用于存储软件程序以及数据，处理器220通过运行存储在存储器230的软件程序以及数据，从而执行手机200的各种功能应用以及数据处理。存储器230可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序(比如图像采集功能等)等；存储数据区可存储根据手机200的使用所创建的数据(比如音频数据、电话本、图像数据等)等。此外，存储器230可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。处理器220是手机200的控制中心，利用各种接口和线路连接整个手机的各个部分，通过运行或执行存储在存储器130内的软件程序和/或数据，执行手机200的各种功能和处理数据，从而对手机进行整体监控。处理器220可以包括一个或多个通用处理器，还可包括一个或多个DSP(digital signal processor，数字信号处理器)，也可以包括一个或者多个ISP(image signal processor，图像信号处理器)，用于执行相关操作，以实现本申请实施例所提供的技术方案。

手机200中还包括用于拍摄图像或视频的摄像头260。摄像头260可以是普通摄像头，也可以是对焦摄像头。

手机200还可以包括输入设备240，用于接收输入的数字信息、字符信息或接触式触摸操作/非接触式手势，以及产生与手机200的用户设置以及功能控制有关的信号输入等。

显示设备210，包括的显示面板211，用于显示由用户输入的信息或提供给用户的信息以及手机200的各种菜单界面等，在本申请实施例中主要用于显示手机100中摄像头或者传感器获取的待检测图像。可选的，显示面板可以采用液晶显示器(liquid crystaldisplay，LCD)或OLED(organic light-emitting diode，有机发光二极管)等形式来配置显示面板211。

除以上之外，手机200还可以包括用于给其他模块供电的电源250。手机200还可以包括一个或多个传感器270，例如图像传感器、红外传感器、激光传感器等。手机200还可以包括无线射频(radio frequency，RF)电路280，用于与无线网络设备进行网络通信，还可以包括WiFi模块290，用于与其他设备进行WiFi通信，获取其他设备传输的图像或者数据等。

基于上述介绍，本申请提供一种图像处理的方法及设备，用以解决现有技术中存在的目标检测过程中筛选出的目标候选框的个数固定使得在目标检测时不能同时保证检测效率和检测准确性问题。其中，方法和设备是基于同一发明构思的，由于方法及设备解决问题的原理相似，因此设备与方法的实施可以相互参见，重复之处不再赘述。

在本申请实施例中，以所述手机200为例进行描述，但是并不限制本发明实施例应用到其他类型的设备中。参阅图3所示，该方法的具体流程可以包括：

步骤301：手机200确定待检测图像中的目标数量；

步骤302：手机200根据所述目标数量，确定所述待检测图像需要保留的目标候选框个数N，其中N为大于1的整数；

步骤303：手机200从所述待检测图像的多个目标候选框中选择N个目标候选框，所述N个目标候选框用于对所述待检测图像进行处理。

步骤301和步骤302属于手机确定需要保留的目标候选框个数的过程，步骤303为手机筛选目标候选框的过程；手机可以先执行确定需要保留的目标候选框个数的过程，再执行筛选目标候选框的过程，也可以两个过程同时执行，这两个过程的并没有严格的先后顺序，只需保证在手机需要从多个目标候选框中筛选出N个目标候选框时，手机已确定出需要保留的目标候选框个数N即可。

手机在选择的N个目标候选框后可以根据所述N个目标候选框对所述待检测图像进行图像处理,也可以将N个目标候选框传输给其他图像处理设备，以使其他图像处理设备根据N个目标候选框对所述待检测图像进行图像处理。

在步骤301中，手机首先确定出待检测图像的基础特征图像，手机可以将现有的用于图像处理的深度神经网络中的基础卷积层的输出作为基础特征图像，常见的一些深度神经网络有VGG、Googlenet(谷歌网络)、Faster-RCNN；也可以采用现有的计算机视觉中的基础特征图像，例如利用待检测图像的SIFT(scale-invariant feature transform，尺度不变特征变换)特征构成的基础特征图像。

手机200在确定了待检测图像的基础特征图像之后，对基础特征图像进行分析，可以根据预先学习到的基础特征图像与目标数量的映射关系，确定出基础特征图像中存在的目标数量。

其中，所述基础特征图像与目标数量的映射关系是所述手机200根据预设的训练图像数据集合中包括的训练图像的基础特征图像与训练图像的基础特征图像对应的目标数量进行学习所确定的。

下面介绍两种通过预设的训练图像数据集合学习而获取所述基础特征图像与目标数量的映射关系的方式：

方式一：所述手机200首选选取训练图像数据集合中的一个训练图像，确定该训练图像的基础特征图像；所述手机200根据所述训练图像的基础特征图像中各个像素的特征值，确定所述训练图像的基础特征图像中包括的目标所在区域的个数，其中，所述目标所在区域内的各个像素点的特征值与目标所在区域外预设范围内各像素点的特征值的差值均大于设定阈值。

所述目标所在区域中的各个像素点与目标所在区域外像素点之间有明显的区别，举例来说，若特征值越高表明该像素点处存在几何结构的强度就越大，也表明该像素点为目标所在区域的像素点之一，而这类特征值高的点聚集在一个区域内，则该区域内就可能是目标所在的区域，而与目标所在区域外的像素点比较，该目标所在区域外的一定范围内不存在目标，该目标所在区域外的一定范围内的像素点的特征值也就较低。

所述手机200确定所述目标所在区域与所述训练图像中目标的相关信息是否一致，例如所述目标所在区域的个数和所述训练图像中目标的个数信息是否相同，所述目标所在区域的位置和所述训练图像中目标的位置信息是否相同。若所述目标所在区域与所述训练图像中目标的相关信息一致，则所述手机200就可以确定一种基础特征图与目标数量的对应关系。

若所述目标所在区域与所述训练图像中目标的相关信息不一致，则所述手机200根据所述训练图像中目标的相关信息对所述目标所在区域进行调整，使调整后的目标所在区域与所述训练图像中目标的相关信息一致，并根据调整后的目标所在区域确定基础特征图与目标数量的对应关系。

所述手机200对训练图像数据集合中的每一个训练图像都进行上述过程，并对确定的多种基础特征图与目标数量的对应关系进行分析统计后就可以确定出基础特征图像与目标数量的映射关系。

如图4所示为一种基础特征图像与目标数量的映射关系的映射表，表中记录了训练图像编号、训练图像的基础特征图像编号、目标所在区域的个数和目标数量，不同的基础特征图像对应不同的目标所在区域个数和目标数量，例如，对于训练图像编号为图像1的基础特征图像的图像编号为基础特征图像1，在基础特征图像1中存在7个目标所在区域，最后确定的目标数量为7；对于训练图像编号为图像3的基础特征图像的图像编号为基础特征图像3，在基础特征图像3中，由于目标所在区域与训练图像中目标的相关信息不一致，根据训练图像中目标的相关信息对目标所在区域进行了调整，调整后存在6个目标所在区域，最后确定的目标数量为6。

需要说明的是，所述手机200可以通过多种训练图像数据集合学习获得基础特征图像与目标数量的映射关系，以使得所述基础特征图像与目标数量的映射关系更具有普适性，也可以提高所述基础特征图像与目标数量的映射关系的准确性。

方式二：所述手机200构造一个多层神经网络的架构，例如手机200可以采用卷积层与全连接(fully connected)层结合的架构，也可以采用全卷积(fully convolutional)与全局平均池化(global average pooling)层结合的架构。

关于本发明实施例中多层神经网络的架构的构造方法，并不局限于上述两种，所述手机200可以将多个不同类型的网络层组合起来构造一个多层神经网络的架构，其中，一些常见的网络层有卷积层、全连接层、池化(pooling)层；也就是凡是可以构造多层神经网络架构的方法均适用于本发明实施例。

手机200在确定了多层神经网络的架构后，首先需要对多层神经网络的所有工作参数进行初始化，手机200可以从[-1,1]之间，生成符合高斯分布的随机数，来初始化多层神经网络的工作参数。

手机200在对多层神经网络初始化之后，将预设的训练图像数据集合中一个训练图像的基础特征图像作为多层神经网络的输入，通过前向计算得到多层神经网络的输出。然后根据输出，利用收敛条件判断是否需要更新多层神经网络的工作参数。

收敛条件设置方式如下：

基于多层神经网络的真实输出和目标输出的差异构建目标函数，例如可以设置多层神经网络的真实输出和目标输出的均方差(mean square error)为目标函数，也可以设置多层神经网络的真实输出和目标输出的差值绝对值为目标函数，当目标函数输出小于设定的阈值时，确定目标函数为收敛状态，无需更新多层神经网络的工作参数；当目标函数的输出不小于设定的阈值时，确定目标函数不是收敛状态，需要更新多层神经网络的工作参数。

若当前输出不是收敛状态，所述手机200可以采用BP算法与梯度下降算法对多层神经网络中的工作参数进行调整，调整以后，再重新输入训练图像的基础特征图像，获取目标函数的输出，直至目标函数收敛。

在此处，所述手机200构造的多层神经网络用于确定基础特征图像中存在的目标数量，则多层神经网络的目标输出设置为训练图像的目标个数。

所述手机200也可以将步骤301和步骤302结合考虑构造一个多层神经网络用于确定待检测图像需要保留的目标候选框个数，则多层神经网络的目标输出可以设置为与训练图像的目标个数与预设因数相关的一个值，在本发明实施例中以目标输出为训练图像的目标个数与预设因数的乘积为例说明。

需要说明的是，在两种方式中均涉及到训练图像的基础特征图像，为了保证手机200利用预先学习的基础特征图像与目标数量的映射关系确定目标数量的准确性，训练图像的基础特征图像的确定方式应与手机200确定待检测图像的基础特征图像确定方式可以相同。

如图5所示，以方式二为例，构造多层神经网络及设置多层神经网络工作参数的方法，其中多层神经网络的目标输出设置为训练图像的目标个数与预设因数的乘积，该方法包括：

步骤501：手机200确定训练集图像数据集合中训练图像的基础特征图及训练图像的目标个数；

步骤502：手机200构造一个多层神经网络的架构，并对多层神经网络的所有工作参数进行初始化；

步骤503：手机200将训练图像的基础特征图输入到多层神经网络中，确定多层神经网络的真实输出；

步骤504：手机200确定多层神经网络的目标输入为训练图像的目标个数与预设因数的乘积；

步骤505：手机200基于多层神经网络的真实输出和目标输出的差异构建目标函数；

步骤506：手机200判断目标函数是否满足收敛条件，若是则执行步骤507，否则执行步骤508；

步骤507：手机200不调整多层神经网络的工作参数；

步骤508：手机200采用BP算法与梯度下降算法对多层神经网络中的工作参数进行调整，并返回步骤503。

所述手机200在确定所述基础特征图像中存在的目标数量之后，所述手机200根据所述目标数量与需要保留的目标候选框个数的对应关系，确定所述待检测图像需要保留的目标候选框个数。

所述目标数量与需要保留的目标候选框个数的对应关系，可以是所述手机200在经过多次筛选目标候选框的过程中，确定了一种对应关系；也可以是所述手机200在进行了一系列的统计分析计算后确定的对应关系；例如，当目标数量较少时，对应一个较小的目标候选框的个数，当目标数量较多时，对应一个较大的目标候选框的个数。

目标数量与需要保留的目标候选框个数的对应关系的表现形式可以有多种，例如可以是一个映射表，也可以是一个具体的计算公式。

一种可能的实施方式，所述手机200可以根据所述待检测图像的目标数量与预设因数确定所述待检测图像需要保留的目标候选框个数，其中，所述预设因数为正实数。

具体的，所述待检测图像需要保留的目标候选框个数可以是所述待检测图像的目标数量与预设因数的乘积取整后的值，也可以是所述手机200从包含有所述待检测图像的目标数量与预设因数的乘积的预设长度的区间内选取的值，例如以所述乘积为中心，区间长度为300的区间中选用一个数值作为需要保留的目标候选框个数；也可以是所述手机200基于所述待检测图像的目标数量与预设因数进行预设的运算后确定的值，例如预设的运算可以是指数运算或加法运算。

所述预设因数可以是基于一种或多种图像处理的影响因素来确定的，所述图像处理设备根据处理所述待检测图像所需要的检测精度确定所述预设因数，也可以是所述图像处理设备根据处理所述待检测图像所需要的检测速度确定所述预设因数，也可以同时考虑检测精度和检测速度确定预设因数。在不同的应用场景下处理图像的检测精度也不同，对应设置的预设因数也存在差别。下面以目标检测的的检测精度和检测速度为例说明。

若在处理图像的过程中在筛选目标候选框后需进行目标检测，目标检测的检测精度是其中一个较为重要的因素，所述手机200可以根据筛选目标候选框后进行目标检测时所需要的检测精度确定所述预设因数。

在具体实施中，不同的目标检测或者图像检测场景下，需要的目标检测的检测精度不同；例如，在一些云计算目标检测场景中，对于目标检测的检测精度要求较高，可以设置预设因数为一个较大的数值；在一些日常的目标检测场景中，可能对于目标检测的检测精度要求较低，预设因数可以为一个较小的数值。

由于一些目标检测的场景下，例如利用基于大数据的云计算服务器进行目标检测时，云计算服务器的运算能力较高，可以不考虑目标检测的运算量及对应的检测速度；而一些目标检测的运算能力受限的场景下，除了考虑目标检测的检测精度，也可以考虑目标检测的检测速度，一般而言，如果要求目标检测的检测速度较高，目标检测的检测精度可能就会较差，相反的，如果要求目标检测的检测速度较低，目标检测的检测精度就会较高，若所述手机200筛选目标候选框的目的是用于目标检测，则在设置预设因数时，可以均衡目标检测的检测速度和检测精度，设置一个折中数值；其中目标检测的检测速度可以由利用基于不同预设因数确定的需要保留的目标候选框个数对所述待检测图像进行目标检测时所需的运算量来表示，目标检测的检测精度可以由利用基于不同预设因数确定的需要保留的目标候选框个数对所述待检测图像进行目标检测的检测精度表示，在分析目标检测的检测速度和目标检测的检测精度的基础上从多个不同的预设因数中选择一个折中数值。上述选取折中数值的方式仅是举例说明，凡是可以均衡目标检测的检测速度和检测精度设置预设因数的方式均适用于本发明实施例。

需要说明的是，目标检测的检测速度和目标检测的检测精度的表示，并不局限于上述表示方式，例如对于目标检测的速度也可以由利用基于不同预设因数确定的需要保留的目标候选框个数对所述待检测图像进行目标检测时所需的运算时间表示，目标检测的检测精度可以由利用基于不同预设因数确定的需要保留的目标候选框个数对所述待检测图像进行目标检测时最后输出的目标候选框与真实目标之间的位置偏差来表示。凡是可以表示目标检测速度和目标检测的检测精度的方式均适用于本发明实施例。

所述手机200确定了待检测图像的基础特征图像后，所述手机200可以在所述基础特征图像的每个像素点处生成至少一个目标候选框，并从生成的所述多个目标候选框中筛选出N个目标候选框，N等于所述待检测图像需要保留的目标候选框个数。

具体的，在筛选N个目标候选框时，所述手机200首先可以确定每个目标候选框对应的基础特征图像，基于每个目标候选框对应的基础特征图像分析每个生成的所述目标候选框存在目标信息的概率。

确定所述目标候选框存在目标信息的概率的方法可以分析目标候选框对应的基础特征图像中各个像素的特征值与目标候选框外一定范围内各个像素的特征值的强度关系来确定目标候选框中存在的概率，例如若目标候选框对应的基础特征图像中像素的特征值大于目标候选框外一定范围内各个像素的特征值的像素个数处于个数阈值范围内则手机200将所述个数阈值范围对应的概率值设置为所述目标候选框存在目标信息的概率，所述手机200可以设置多个个数阈值范围和每个个数阈值范围对应的概率值。

确定所述目标候选框存在目标信息的概率的方法也可以采用一些目标检测算法中采用的方法，根据目标候选框对应的基础特征图像来推断其中的目标信息。例如，在Faster-RCNN中，先使用基础卷积层提取待检测图像的基础特征图像，再利用RPN来分析每个目标候选框对应的基础特征图像，最终输出每个目标候选框中存在目标信息的概率以及每个目标候选框的坐标微调量。

所述手机200在获知了所述目标候选框存在目标信息的概率后，根据每个所述目标候选框存在目标信息的概率对所述目标候选框进行选择，在所述多个目标候选框中选择出N个目标候选框，N等于所述待检测图像需要保留的目标候选框个数。

下面给出两种从多个目标候选框中筛选目标候选框的方法：

方法一、所述图像处理设备从所述多个目标候选框中选取存在目标信息的概率最大的N个目标候选框；

在一种可能的实现方式中，选择概率最大的N个目标候选框的方式可以具体采用如下方式：

(一)：所述手机200根据每个所述目标候选框存在目标信息的概率，对所述多个目标候选框从大到小进行排序，所述手机200从排序后的所述多个目标候选框中选取前N个目标候选框。

所述手机200可以按照存在目标信息的概率大小关系，将所述多个目标候选框从大到小进行排序，排序之后，所述手机200可以直接从排序后的所述多个目标候选框中选取前N个目标候选框；也可以在排序过程中或在排序之后执行进一步的过滤操作：

其中，所述过滤操作包括下列操作的部分或全部：所述图像处理设备从所述待检测图像的多个目标候选框中删除存在目标信息的概率小于预设的第二阈值的目标候选框；删除与剩余的其他目标候选框重叠程度超过预设第三阈值的目标候选框。

其中，过滤重叠程度较大的目标候选框的方式如下：

针对任一所述目标候选框，所述手机200确定与所述目标候选框的距离小于设定阈值的其他目标候选框；

针对任一其他目标候选框，所述手机200在确定所述目标候选框与所述其他目标候选框之间的重叠程度大于第三阈值后将所述其他目标候选框删除，得到更新的所述待检测图像的多个目标候选框；

所述手机200在更新的所述待检测图像的多个目标候选框中筛选出N个目标候选框。

需要说明的是，过滤操作并不限于在对所述多个目标候选框进行排序之后进行，也可以在对所述多个目标候选框进行排序之前进行，也可以在对所述多个目标候选框进行排序的同时进行；过滤操作在所述手机200确定所述基础特征图像的多个目标候选框之后和在所述多个目标候选框中选取前N个目标候选框之前进行即可。

(二)：所述手机200根据每个所述目标候选框存在目标信息的概率，从所述多个目标候选框中选取存在目标信息的概率最大的N个目标候选框。区别于方式(一)，在具体的实施过程中，方式(二)不需要进行概率的排序，例如所述手机200可以在遍历了每个所述目标候选框存在目标信息的概率后，选择存在目标信息的概率最大的目标候选框，之后再逐步递减确定存在目标信息的概率次于最大概率的目标候选框，直至选择出N个目标候选框，以上举例仅是说明，凡是可以不经过排序就能够选择出概率最大的N个目标候选框的方式均适应于本发明实施例。方式(二)省去了不必要的排序过程，能够减小排序带来的计算量，进一步提高筛选目标候选框的效率。

同样的，在方式(二)中也可以包含有进一步的过滤操作，过滤操作在方式(一)中有描述，此处不再赘述。

而过滤操作并不限于在选取存在目标信息的概率最大的N个目标候选框之前进行；也可以在选取存在目标信息的概率最大的N个目标候选框的同时进行；过滤操作在所述手机200确定所述基础特征图像的多个目标候选框之后和在所述多个目标候选框中选取前N个目标候选框之前进行即可。

方法二、所述图像处理设备从所述多个目标候选框中存在目标信息的概率大于第一阈值的目标候选框中选取N个目标候选框。

对于一些存在目标信息的概率较小的目标候选框可以先行删除，再从剩余的目标候选框中筛选出N个目标候选框，而从剩余的目标候选框中筛选出N个目标候选框的方式可以是随机选取，也可以是选取存在目标信息的概率处于一定区间的N个目标候选框。

同样的，在方法二中也可以包含进一步的过滤操作，其中过滤操作的内存在方法一种有描述，此处不再赘述。

而过滤操作并不限于在删除存在目标信息的概率小于概率阈值的目标候选框之后进行，也可以在删除存在目标信息的概率小于概率阈值的目标候选框之前进行；也可以在删除存在目标信息的概率小于概率阈值的目标候选框的同时进行；过滤操作在所述手机200确定所述基础特征图像的多个目标候选框之后和在所述多个目标候选框中选取前N个目标候选框之前进行即可。

需要说明的是，过滤操作与从多个目标候选框中筛选N个目标候选框的操作，可以先后进行，也可以两个操作同时进行。

从多个目标候选框中筛选目标候选框的方式并不限于上述两种方式，例如所述手机200可以采用方法一和方法二结合的方式：

所述手机200先在所述多个目标候选框中删除存在目标信息的概率小于第一阈值或第二阈值的目标候选框，过滤掉重叠程度较大的目标候选框，将剩余的目标候选框按照存在目标信息的概率从大到小进行排序，所述手机200从排序后的所述多个目标候选框中选取前N个目标候选框。

若所述手机200将本发明实施例提供的图像处理的方法应用于目标检测中，所述手机200可以将最终筛选出N个目标候选框输入到后一级处理模块中，后一级处理模块对于输入的N个目标候选框，进行更深入分析，更精确的确定目标候选框中存在目标信息的概率以及目标的类型等信息，最终输出目标检测的结果。

将本发明实施例中图5所构造的多层神经网络应用于Faster-RCNN中，并将图5所构造的多层神经网络命名为PNPN(proposal number prediction net，提议数量预测网络)处理模块，其中，未应用本发明实施例构造的多层神经网络的Faster-RCNN的结构示意图如图6所示，Faster-RCNN中包含有多层卷积层处理模块601、RPN模块602、Region Filter(目标所在区域过滤)模块603、深度分析模块604；其中多层卷积层处理模块601用于提取图像的基础特征，多层卷积层处理模块601由多层卷积层构成；RPN模块602用于快速生成目标候选框，Region Filter模块603对RPN模块602生成的目标候选框进行初步的分析进行排序过滤，最后输出一定数目的目标候选框，其中目标候选框的数目是固定不变的，深度分析模块604对Region Filter模块603输出的目标候选框进行进一步的分类分析最后输出包含有目标的目标候选框。

本发明实施例构造的多层神经网络应用于Faster-RCNN的结构示意图如图7所示，Faster-RCNN中包含有多层卷积层处理模块701、RPN模块702、Region Filter模块703、深度分析模块704，PNPN处理模块705；PNPN处理模块705***到多层卷积层处理模块701与深度分析模块704之间。PNPN处理模块705根据待检测图像的目标数量，确定筛选时需要保留的目标候选框个数，然后从Region Filter模块703过滤筛选排序结果中选择数量等于PNPN处理模块705确定的需要保留的目标候选框个数的目标候选框，最后将筛选出目标候选框，输入到深度分析模块704中进行进一步处理。

如图8所示，本发明实施例提供的一种图像处理的方法的过程示意图，该方法包括：

步骤801：图像处理设备确定待检测图像的基础特征图像；

步骤802：图像处理设备根据预先学习到的基础特征图像与目标数量的映射关系，确定所述基础特征图像中存在的目标数量；

步骤803：图像处理设备根据所述目标数量确定所述待检测图像需要保留的目标候选框个数N；

步骤804：图像处理设备确定所述待检测图像的多个目标候选框；

步骤805：图像处理设备基于每个目标候选框对应的基础特征图像分析每个生成的所述目标候选框存在目标信息的概率；

步骤806：图像处理设备根据每个所述目标候选框存在目标信息的概率，在所述多个目标候选框中删除存在目标信息的概率小于第一阈值的目标候选框；

步骤807：图像处理设备删除重叠程度超过预设第三阈值的目标候选框；

步骤808：图像处理设备从剩余的目标候选框中选取N个目标候选框。

本发明提供了一种图像处理的方法，图像处理设备基于待检测图像的目标数量来确定筛选目标候选框时需要保留的目标候选框个数；采用本发明实施例提供的方式，针对于不同的待检测图像确定的需要保留的目标候选框个数不同，而需要保留的目标候选框个数与待检测图像的目标数量相关，使得最后筛选获取的目标候选框的个数更具有针对性，也使得筛选的过程更加灵活，将其应用目标检测过程中，可以有效提高目标检测的效率，减少不必要的计算过程同时也能够保证目标检测的准确性。

基于与方法实施例的同一发明构思，本发明实施例提供一种图像处理设备900，具体用于实现图3所述的实施例描述的方法，该装置的结构如图9所示，包括确定单元901和筛选单元902，其中：

确定单元，用于确定待检测图像中的目标数量；以及根据所述目标数量，确定所述待检测图像需要保留的目标候选框个数N，其中N为大于1的整数；

筛选单元，用于从所述待检测图像的多个目标候选框中选择N个目标候选框，所述N个目标候选框用于对所述图像进行处理。

确定单元901具体通过如下方式确定目标数量：

确定所述待检测图像的基础特征图像；

根据预先学习到的基础特征图像与目标数量的映射关系，确定所述基础特征图像中存在的目标数量。

其中所述基础特征图像与目标数量的映射关系是确定单元901根据预设的训练图像数据集合中训练图像的基础特征图像与所述训练图像的基础特征图像对应的目标数量学习所确定的。

一种可能的实施方式，在筛选出N个目标候选框时，所述筛选单元902确定所述多个目标候选框中每个目标候选框存在目标信息的概率；根据每个所述目标候选框存在目标信息的概率，从所述多个目标候选框选择N个目标候选框。

一种可能的实施方式，为了针对性的确定出所述待检测图像需要保留的目标候选框个数，所述筛选单元902可以根据所述目标数量与需要保留的目标候选框个数的对应关系，确定所述待检测图像需要保留的目标候选框个数。

所述目标数量与需要保留的目标候选框个数的对应关系的表现形式有多种，具体的，筛选单元902根据所述图像的目标数量与预设因数确定所述待检测图像需要保留的目标候选框个数，其中所述预设因数为正实数。

较佳的，筛选单元902基于所述图像的目标数量与预设因数的乘积确定所述待检测图像需要保留的目标候选框个数，例如将所述乘积取整后的值作为所述待检测图像需要保留的目标候选框个数，也可以是所述图像的目标数量与预设因数进行预设运算的方式的确定，相关的确定方式在图像处理的方法说明中有描述，此处不再赘述。

可选的，为了保证图像处理的准确度，所述筛选单元902根据处理所述待检测图像所需要的检测精度确定所述预设因数；除了考虑图像处理的检测精度，也可以考虑图像处理的检测速度，筛选单元902在设置预设因数时，可以均衡图像处理的检测速度和检测精度，设置一个折中数值。

可选的，筛选单元902在选择N个目标候选框可以采用如下两种方法进行：

方法一；从所述多个目标候选框中选取存在目标信息的概率最大的N个目标候选框；

方法二：从所述多个目标候选框中存在目标信息的概率大于第一阈值的目标候选框中选取N个目标候选框。

筛选单元902在选择N个目标候选框时，还可以执行进一步的过滤操作，所述过滤操作包括下列操作的部分或全部：从所述待检测图像的多个目标候选框中删除存在目标信息的概率小于预设的第二阈值的目标候选框；删除与剩余的其他目标候选框重叠程度超过预设第三阈值的目标候选框。

其中，具体的过滤重叠程度大的目标候选框的操作过程如下：

针对任一所述目标候选框，确定与所述目标候选框的距离小于设定阈值的其他目标候选框；

针对任一其他目标候选框，在确定所述目标候选框与所述其他目标候选框之间的重叠程度大于第三阈值后将所述其他目标候选框删除，得到更新的所述基础特征图像的多个目标候选框；

可选的，筛选单元902在更新的所述基础特征图像中存在的多个目标候选框中筛选出N个目标候选框。

本申请实施例中对单元的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，另外，在本申请各个实施例中的各功能单元可以集成在一个处理器中，也可以是单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台终端设备(可以是个人计算机，手机，或者网络设备等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

基于以上实施例，本发明实施例还提供了一种设备，所述设备用于实现图3所述的实施例描述的方法，参阅如图10所示，所述设备包括采集器1001，处理器1002以及存储器1003。

所述采集器1001，用于获取待检测图像；处理器1002，可以是一个中央处理单元(central processing unit，CPU)，或者为数字处理单元等等。处理器1002通过采集器1001获取待检测的图像。存储器1003，用于存储处理器1002执行的程序。

本申请实施例中不限定上述采集器1001、处理器1002以及存储器1003之间的具体连接介质。本申请实施例在图10中以存储器1003、处理器1002以及采集器1001之间通过总线1004连接，总线在图10中以粗线表示，其它部件之间的连接方式，仅是进行示意性说明，并不引以为限。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图10中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

存储器1003可以是易失性存储器(volatile memory)，例如随机存取存储器(random-access memory，RAM)；存储器1003也可以是非易失性存储器(non-volatilememory)，例如只读存储器，快闪存储器(flash memory)，硬盘(hard disk drive，HDD)或固态硬盘(solid-state drive，SSD)、或者存储器1003是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器1003可以是上述存储器的组合。

处理器1002，用于实现如图3所示的图像处理的方法，包括：

确定待检测图像中的目标数量；以及根据所述目标数量，确定所述待检测图像需要保留的目标候选框个数N，其中N为大于1的整数；以及从所述待检测图像的多个目标候选框中选择N个目标候选框，所述N个目标候选框用于对所述图像进行处理。

所述处理器1002在筛选目标候选框时，可以先确定所述多个目标候选框中每个目标候选框存在目标信息的概率；之后根据每个所述目标候选框存在目标信息的概率，从所述多个目标候选框选择N个目标候选框。

所述处理器1002在确定待检测图像中的目标数量可通过如下方式：

确定所述待检测图像的基础特征图像；

根据预先学习到的基础特征图像与目标数量的映射关系，确定所述基础特征图像中存在的目标数量；

其中所述基础特征图像与目标数量的映射关系是所述处理器1002根据预设的训练图像数据集合中训练图像的基础特征图像与所述训练图像的基础特征图像对应的目标数量学习所确定的。

在一种可能的实现方式中，所述处理器1002根据所述目标数量确定所述待检测图像需要保留的目标候选框个数时的依据所述目标数量与需要保留的目标候选框个数的对应关系。

所述目标数量与需要保留的目标候选框个数的对应关系的表现形式有多种，具体的，所述处理器1002根据所述图像的目标数量与预设因数确定所述待检测图像需要保留的目标候选框个数，其中所述预设因数为正实数。

在一种可能的实现方式中，所述处理器1002将所述图像的目标数量与预设因数的乘积取整后的数值，作为所述待检测图像需要保留的目标候选框个数，其中所述预设因数为正实数。

所述处理器1002还用于确定所预设因数，在确定预设因数时，可以考虑一种或多种图像处理的影响因素，具体的，处理器1002根据处理所述待检测图像所需要的检测精度确定所述预设因数。

除了考虑图像处理的检测精度，也可以考虑图像处理的检测速度；处理器1002在确定预设因数时，可以均衡图像处理的速度和检测精度，设置一个折中数值。

可选的，所述处理器1002在根据每个所述目标候选框存在目标信息的概率，在所述多个目标候选框中筛选出N个目标候选框时，采用如下方法：

方法一、所述处理器1002从所述多个目标候选框中选取存在目标信息的概率最大的N个目标候选框。

在一种可能的实现方式中，选择概率最大的N个目标候选框的方式可以具体采用如下方式：

(一)：所述处理器1002根据每个所述目标候选框存在目标信息的概率，对所述多个目标候选框从大到小进行排序，所述设备从排序后的所述多个目标候选框中选取前N个目标候选框；

(二)：所述处理器1002根据每个所述目标候选框存在目标信息的概率，从所述多个目标候选框中选取存在目标信息的概率最大的N个目标候选框；

方式二、所述图像处理设备从所述多个目标候选框中存在目标信息的概率大于第一阈值的目标候选框中选取N个目标候选框。

可选的，所述处理器1002在筛选N个目标候选框的同时或者在筛选N个目标候选框的之前，还可以执行进一步的过滤操作：

所述过滤操作包括下列操作的部分或全部：所述处理器1002从所述待检测图像的多个目标候选框中删除存在目标信息的概率小于预设的第二阈值的目标候选框；删除与剩余的其他目标候选框重叠程度超过预设第三阈值的目标候选框。

其中，过滤重叠程度较大的目标候选框的方式如下：

针对任一所述目标候选框，确定与所述目标候选框的距离小于设定阈值的其他目标候选框；

针对任一其他目标候选框，在确定所述目标候选框与所述其他目标候选框之间的重叠程度大于第三阈值后将所述其他目标候选框删除，得到更新的所述基础特征图像的多个目标候选框；

可选的，所述处理器1002在更新的所述基础特征图像中存在的多个目标候选框中筛选出N个目标候选框。

本发明实施例还提供了一种计算机可读存储介质，存储为执行上述处理器所需执行的计算机软件指令，其包含用于执行上述处理器所需执行的程序。

综上所述，本申请实施例提供了一种图像处理的方法及设备，在该方法中：图像处理设备在获取待检测图像后，对所述待检测图像进行分析，确定所述待检测图像的目标数量；根据所述目标数量确定所述待检测图像需要保留的目标候选框个数N；上述过程为图像处理设备确定在对目标候选框进行筛选时需要保留的目标候选框个数的过程，而需要保留的目标候选框个数是针对图像进行设置的，以使得针对不同的图像选取的目标候选框的数量更适合；所述图像处理设备从所述待检测图像多个目标候选框中选择N个目标候选框，选取的目标候选框的个数合适可以减少目标检测中冗余的计算量，提高检测效率，同时也能够保证检测结果的准确性。

本领域内的技术人员应明白，本申请的实施例可提供为方法、***、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (25)

1.一种图像处理方法，其特征在于，所述方法包括：

图像处理设备确定待检测图像中的目标数量；

所述图像处理设备根据所述目标数量，确定所述待检测图像需要保留的目标候选框个数N，其中N为大于1的整数；

所述图像处理设备从所述待检测图像的多个目标候选框中选择N个目标候选框，所述N个目标候选框用于对所述待检测图像进行处理。

2.如权利要求1所述的方法，其特征在于，所述图像处理设备从所述待检测图像的多个目标候选框中选择N个目标候选框，包括：

所述图像处理设备确定所述多个目标候选框中每个目标候选框存在目标信息的概率；

所述图像处理设备根据每个目标候选框存在目标信息的概率，从所述多个目标候选框选择N个目标候选框。

3.如权利要求2所述的方法，其特征在于，所述图像处理设备根据每个目标候选框存在目标信息的概率，从所述多个目标候选框选择N个目标候选框，包括：

所述图像处理设备从所述多个目标候选框中选取存在目标信息的概率最大的N个目标候选框；

所述图像处理设备从所述多个目标候选框中存在目标信息的概率大于第一阈值的目标候选框中选取N个目标候选框。

4.如权利要求1-3任一项所述的方法，其特征在于，所述图像处理设备根据所述目标数量，确定所述待检测图像需要保留的目标候选框个数N，包括：

所述图像处理设备根据预设的目标数量与需要保留的目标候选框个数之间的对应关系，确定所述待检测图像需要保留的目标候选框个数N。

5.如权利要求4所述的方法，其特征在于，所述图像处理设备根据预设的目标数量与需要保留的目标候选框个数之间的对应关系，确定所述待检测图像需要保留的目标候选框个数N，包括：

所述图像处理设备根据所述待检测图像的目标数量和预设因数确定所述待检测图像需要保留的目标候选框个数N，其中所述预设因数为正实数。

6.如权利要求5所述的方法，其特征在于，所述方法还包括，所述图像处理设备根据处理所述待检测图像所需要的检测精度确定所述预设因数。

7.如权利要求1～6任一所述的方法，其特征在于，所述图像处理设备从所述待检测图像的多个目标候选框中选择N个目标候选框之前，所述方法还包括：

所述图像处理设备从所述待检测图像的多个目标候选框中删除存在目标信息的概率小于预设的第二阈值的目标候选框，并删除与剩余的其他目标候选框重叠程度超过预设第三阈值的目标候选框。

8.如权利要求1-7任一项所述的方法，其特征在于，所述图像处理设备确定待检测图像中的目标数量，包括：

所述图像处理设备确定所述待检测图像的基础特征图像；

所述图像处理设备根据预先学习到的基础特征图像与目标数量的映射关系，确定所述基础特征图像中存在的目标数量。

9.一种图像处理设备，其特征在于，所述图像处理设备包括：

确定单元，用于确定待检测图像中的目标数量；根据所述目标数量，确定所述待检测图像需要保留的目标候选框个数N，其中N为大于1的整数；

筛选单元，用于从所述待检测图像的多个目标候选框中选择N个目标候选框，所述N个目标候选框用于对所述待检测图像进行处理。

10.如权利要求9所述的图像处理设备，其特征在于，所述筛选单元，具体用于：

确定所述多个目标候选框中每个目标候选框存在目标信息的概率；

根据每个目标候选框存在目标信息的概率，从所述多个目标候选框选择N个目标候选框。

11.如权利要求10所述的图像处理设备，其特征在于，所述筛选单元，具体用于：

从所述多个目标候选框中选取存在目标信息的概率最大的N个目标候选框；

从所述多个目标候选框中存在目标信息的概率大于第一阈值的目标候选框中选取N个目标候选框。

12.如权利要求9-11任一项所述的图像处理设备，其特征在于，所述确定单元，具体用于：

根据预设的目标数量与需要保留的目标候选框个数之间的对应关系，确定所述待检测图像需要保留的目标候选框个数N。

13.如权利要求12所述的图像处理设备，其特征在于，所述确定单元，具体用于：

根据所述待检测图像的目标数量和预设因数确定所述待检测图像需要保留的目标候选框个数N，其中所述预设因数为正实数。

14.如权利要求13所述的图像处理设备，其特征在于，所述确定单元，还用于：根据处理所述待检测图像所需要的检测精度确定所述预设因数。

15.如权利要求9～14任一所述的图像处理设备，其特征在于，所述筛选单元，还用于：

从所述待检测图像的多个目标候选框中删除存在目标信息的概率小于预设的第二阈值的目标候选框，并删除与剩余的其他目标候选框重叠程度超过预设第三阈值的目标候选框。

16.如权利要求9-15任一项所述的图像处理设备，其特征在于，所述确定单元，具体用于：

确定所述待检测图像的基础特征图像；

根据预先学习到的基础特征图像与目标数量的映射关系，确定所述基础特征图像中存在的目标数量。

17.一种图像处理设备，其特征在于，所述图像处理设备包括采集器、存储器以及处理器：

所述采集器，用于获取待检测图像；

所述存储器，用于存储所述处理器执行的程序；

所述处理器，用于确定待检测图像中的目标数量；

根据所述目标数量，确定所述待检测图像需要保留的目标候选框个数N，其中N为大于1的整数；

从所述待检测图像的多个目标候选框中选择N个目标候选框，所述N个目标候选框用于对所述待检测图像进行处理。

18.如权利要求17所述的图像处理设备，其特征在于，所述处理器，具体用于：

确定所述多个目标候选框中每个目标候选框存在目标信息的概率；

根据每个目标候选框存在目标信息的概率，从所述多个目标候选框选择N个目标候选框。

19.如权利要求18所述的图像处理设备，其特征在于，所述处理器，具体用于：

从所述多个目标候选框中选取存在目标信息的概率最大的N个目标候选框；

从所述多个目标候选框中存在目标信息的概率大于第一阈值的目标候选框中选取N个目标候选框。

20.如权利要求17-19任一项所述的图像处理设备，其特征在于，所述处理器，具体用于：

根据预设的目标数量与需要保留的目标候选框个数之间的对应关系，确定所述待检测图像需要保留的目标候选框个数N。

21.如权利要求20所述的图像处理设备，其特征在于，所述处理器，具体用于：

根据所述待检测图像的目标数量和预设因数确定所述待检测图像需要保留的目标候选框个数N，其中所述预设因数为正实数。

22.如权利要求21所述的图像处理设备，其特征在于，所述处理器，还用于：

根据处理所述待检测图像所需要的检测精度确定所述预设因数。

23.如权利要求17～22任一所述的图像处理设备，其特征在于，所述处理器还用于：

从所述待检测图像的所有目标候选框中删除存在目标信息的概率小于预设的第二阈值的目标候选框，并删除与剩余的其他目标候选框重叠程度超过预设第三阈值的目标候选框。

24.如权利要求17-23任一项所述的图像处理设备，其特征在于，所述处理器，具体用于：

确定所述待检测图像的基础特征图像；

根据预先学习到的基础特征图像与目标数量的映射关系，确定所述基础特征图像中存在的目标数量。

25.一种计算机存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行权利要求1至8任一项所述的方法。