CN110852321B - 候选框过滤方法、装置以及电子设备 - Google Patents

Abstract

本申请公开了一种候选框过滤方法、装置以及电子设备，涉及候选框过滤领域。具体实现方案为：将超参数的个数和超参数范围输入至过滤策略生成模型，得到超参数序列；根据超参数序列，从待检测图片中的全部候选框中过滤掉冗余的候选框；根据保留的候选框计算超参数序列对应的检测评价信息；利用检测评价信息更新过滤策略生成模型，直至收敛，得到目标候选框。解决基于人工设置非极大抑制阈值方法不能同时保证检测框准确率和召回率的问题，达到同时提高目标检测任务的准确率和召回率的技术效果。

Description

候选框过滤方法、装置以及电子设备

技术领域

本申请涉及一种神经网络领域，尤其涉及一种候选框过滤领域。

背景技术

通过目标检测模型对图片中的目标进行检测，在进行目标检测等任务时，算法会从一张图片中找出很多个候选框，为了去掉冗余的候选框，找到最佳的物体检测的位置，候选框提取策略至关重要。目前，通过设置非极大抑制的阈值的方式(NMS，Non-maximumsuppression)方式过滤候选框。但是，实际任务中，使用NMS方法过滤候选框，高的阈值可以保证召回率，低的阈值可以保证准确性。提高召回率的情况下，准确率会降低，提高准确率的情况下，召回率降低，候选框的准确率和召回率不可兼得。

发明内容

本申请实施例提供一种候选框过滤方法、装置以及电子设备，以解决现有技术中的一个或多个技术问题。

第一方面，本申请实施例提供了一种候选框过滤方法，包括：

将超参数的个数和超参数范围输入至过滤策略生成模型，得到超参数序列；

根据超参数序列，从待检测图片中的全部候选框中过滤掉冗余的候选框；

根据保留的候选框计算超参数序列对应的检测评价信息；

利用检测评价信息更新过滤策略生成模型，直至收敛，得到目标候选框。

本实施方式中，由于利用检测评价信息多次迭代更新过滤策略生成模型的方式，寻找最优的超参数序列，利用最优的超参数序列对待检测图片中的全部候选框进行过滤，得到目标候选框，不仅实现了目标检测中的冗余候选框的自动过滤，而且同时提高了目标检测的准确率和召回率。

在一种实施方式中，根据超参数序列，根据超参数序列，从待检测图片中的全部候选框中过滤掉冗余的候选框，包括：

按照各候选框对应的置信度由高到低的顺序，对待检测图片中的全部候选框进行排序，形成候选框序列；

对于候选框序列中的每个候选框，按照排序依次执行过滤步骤；

过滤步骤包括：选取候选框序列中的一个候选框为选取框，剩余的多个候选框均为未选框；根据超参数序列，计算选取框和各未选框之间的相似度；过滤掉相似度小于相似度阈值的未选框，并更新候选框序列。

本实施方式中，本实施方式中，根据超参数序列计算候选框之间的相似度，进而利用相似度对候选框进行过滤，提高了过滤的便捷性和准确性。

在一种实施方式中，根据超参数序列，计算选取框和各未选取框之间的相似度，包括：

根据超参数序列，计算选取框和各未选框之间的相似度，包括：

根据选取框的坐标和未选框的坐标，计算第一相似度；

根据选取框在检测任务中的关键点和未选框在检测任务中的关键点，计算第二相似度；

超参数序列中包括第一超参数和第二超参数，计算第一超参数与第一相似度的乘积为第一乘积，第二超参数与第二相似度的乘积为第二乘积；

第一乘积与第二乘积之和，得到相似度。

本实施方式中，利用超参数序列中的两个超参数作为第一相似度和第二相似度的权重，得到选取框和各个未选框之间的相似度，利用超参数序列中的超参数作为相似度阈值，通过相似度阈值来过滤候选框，使得保留的候选框接近真实框。

在一种实施方式中，还包括：

根据选取框的可见关键点和不可见关键点，以及未选框的可见关键点和不可见关键点，计算第三相似度；

超参数序列中还包括第三超参数，计算第三超参数与第三相似度的乘积为第三乘积；

第一乘积、第二乘积以及第三乘积之和，得到相似度。

本实施方式中，保留的候选框更进一步的接近真实框，提高了过滤效率和准确率。

在一种实施方式中，根据保留的候选框计算超参数序列对应的检测评价信息，包括：

根据保留的候选框计算超参数序列对应的召回率和准确率；

根据召回率和准确率的联合函数得到检测评价信息。

本实施方式中，利用召回率和准确率的联合函数更新过滤策略生成模型，能够保证同时提高召回率和准确率。

在一种实施方式中，过滤策略生成模型包括基于强化学习的过滤策略生成模型和基于进化算法的过滤策略生成模型中的一种。

第二方面，本申请实施例提供了一种候选框过滤装置，包括：

超参数生成模块，用于将超参数的个数和超参数范围输入至过滤策略生成模型，得到超参数序列；

候选框过滤模块，用于根据超参数序列，从待检测图片中的全部候选框中过滤掉冗余的候选框；

检测评价信息计算模块，用于根据保留的候选框计算超参数序列对应的检测评价信息；

目标候选框生成模块，用于利用检测评价信息更新过滤策略生成模型，直至收敛，得到目标候选框。

在一种实施方式中，候选框过滤模块包括：

排序子模块，用于按照各候选框对应的置信度由高到低的顺序，对待检测图片中的全部候选框进行排序，形成候选框序列；

过滤子模块，用于对于候选框序列中的每个候选框，按照排序依次执行过滤步骤；过滤步骤包括：选取候选框序列中的一个候选框为选取框，剩余的多个候选框均为未选框；根据超参数序列，计算选取框和各未选框之间的相似度；过滤掉相似度小于相似度阈值的未选框，并更新候选框序列。

在一种实施方式中，过滤子模块包括：

第一计算单元，用于根据选取框的坐标和未选框的坐标，计算第一相似度；

第二计算单元，用于根据选取框在检测任务中的关键点和未选框在检测任务中的关键点，计算第二相似度；

第三计算单元，用于超参数序列中包括第一超参数和第二超参数，计算第一超参数与第一相似度的乘积为第一乘积，第二超参数与第二相似度的乘积为第二乘积；

第四计算单元，用于第一乘积与第二乘积之和，得到相似度。

在一种实施方式中，过滤子模块还包括：

第五计算单元，用于根据选取框的可见关键点和不可见关键点，以及未选框的可见关键点和不可见关键点，计算第三相似度；

第六计算单元，用于超参数序列中还包括第三超参数，计算第三超参数与第三相似度的乘积为第三乘积；

第七计算单元，用于第一乘积、第二乘积以及第三乘积之和，得到相似度。

在一种实施方式中，检测评价信息计算模块包括：

第一计算子模块，用于根据保留的候选框计算超参数序列对应的召回率和准确率；

第二计算子模块，用于根据召回率和准确率的联合函数得到检测评价信息。

在一种实施方式中，过滤策略生成模型包括基于强化学习的过滤策略生成模型和基于进化算法的过滤策略生成模型中的一种。

上述申请中的一个实施例具有如下优点或有益效果：由于利用检测评价信息多次迭代更新过滤策略生成模型的方式，寻找最优的超参数序列，利用最优的超参数序列对待检测图片中的全部候选框进行过滤，得到目标候选框，不仅实现了目标检测中的冗余候选框的自动过滤，而且同时提高了目标检测的准确率和召回率。

上述可选方式所具有的其他效果将在下文中结合具体实施例加以说明。

附图说明

附图用于更好地理解本方案，不构成对本申请的限定。其中：

图1是根据本申请实施例提供的一种候选框过滤方法流程图；

图2是根据本申请实施例提供的一种对待检测图片中的全部候选框进行过滤方法流程示意图；

图3根据本申请实施例提供的一种计算选取框和各未选框之间的相似度方法流程示意图；

图4根据本申请实施例提供的另一种候选框过滤方法流程图；

图5根据本申请实施例提供的一种候选框过滤装置框图；

图6根据本申请实施例提供的候选框过滤模块结构框图；

图7根据本申请实施例提供的过滤子模块结构框图；

图8根据本申请实施例提供的另一种候选框过滤装置框图；

图9是用来实现本申请实施例的一种候选框过滤方法的电子设备的框图。

具体实施方式

以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

实施例一

在一种具体实施方式中，提供了一种候选框过滤方法，如图1所示，包括：

步骤S10：将超参数的个数和超参数范围输入至过滤策略生成模型，得到超参数序列；

步骤S20：根据超参数序列，从待检测图片中的全部候选框中过滤掉冗余的候选框；

步骤S30：根据保留的候选框计算超参数序列对应的检测评价信息；

步骤S40：利用检测评价信息更新过滤策略生成模型，直至收敛，得到目标候选框。

在本实施方式中，目标检测模型能够识别一张图片的多个目标物体，例如行人、人脸、车辆等。目标检测模型可以是区域候选网络、卷积神经网络等。目标检测模型从图像中提取可能包含目标物体的潜在区域，进而定位出各个目标物体。其中，包含目标物体的潜在区域称为候选框，候选框通常为矩形框。目标检测模型可以对图片中的每个目标物体预测出多个候选框。通过过滤冗余的候选框，有效检测出目标物体。通常利用检测评价信息来反应目标物体的检测效果。检测评价信息可以包括评价指标的联合函数。评价指标包括准确率和召回率等。准确率的含义是各个目标物体是否能够被全部检测出来的概率。召回率的含义是检测出目标物体的类别的概率。例如，待检测的目标物体是10个不同类别的物体，目标检测模型预测了20个候选框，有9个候选框被检测到，则准确率为9/20＝45％，召回率为9/10＝90％。为了解决基于人工设置非极大抑制阈值方法不能同时保证检测框准确率和召回率的技术问题，本实施方式提出一种目标检测的候选框过滤方法。主要是利用NAS技术(Neural Architecture Search，神经网络架构搜索)，将目标检测模型输出的多个候选框作为搜索空间，在搜索空间中自动搜索出最佳的子网络，就是目标候选框。为了能又快速又准确的过滤掉冗余的候选框，进而搜索到最佳的目标候选框，还要保证召回率和准确率，需要找到最优的一组超参数(超参数序列)作为最优的过滤策略，利用最优的过滤策略对全部候选框进行过滤，得到目标候选框。

在一种示例中，首先，预先设置过滤策略生成模型生成超参数序列的超参数的个数和超参数范围。然后，将设置好的超参数的个数和超参数的范围输入至过滤策略生成模型中，得到可以构建解空间的超参数序列。然后，按照超参数序列将冗余的候选框过滤掉，利用保留的候选框计算检测评价信息。最后，利用检测评价信息更新过滤策略生成模型，当更新迭代次数达到一个阈值，或者误差小于另一阈值时，模型收敛。收敛时得到超参数序列达到最优。利用最优的超参数序列，对前面多次过滤之后保留的候选框进行过滤，保留的候选框为目标候选框。

本实施方式，由于利用检测评价信息多次迭代更新过滤策略生成模型的方式，寻找最优的超参数序列，利用最优的超参数序列对待检测图片中的全部候选框进行过滤，得到目标候选框，不仅实现了目标检测中的冗余候选框的自动过滤，而且同时提高了目标检测的准确率和召回率。在硬件方面，提升了硬件设备的性能，例如人脸识别装置的性能。这是因为找准了候选框，依赖于候选框的后续任务执行时会更加顺利，速度也会相应变快，提升了产品的整体性能。而且，不需要处理过多的冗余框，产品的依赖候选框的目标追踪任务的追踪能力也会相应提升。

在一种实施方式中，如图2所示，步骤S20，包括：

步骤S201：按照各候选框对应的置信度由高到低的顺序，对待检测图片中的全部候选框进行排序，形成候选框序列；

步骤S202：对于候选框序列中的每个候选框，按照排序依次执行过滤步骤。

步骤S202的过滤步骤包括：步骤S2021：选取候选框序列中的一个候选框为选取框，剩余的多个候选框均为未选框；步骤S2022：根据超参数序列，计算选取框和各未选框之间的相似度；步骤S2023：过滤掉相似度小于相似度阈值的未选框，并更新候选框序列。

在本实施方式中，在利用目标检测模型提取候选框的过程中，可以获得这些候选框的预测准确信息，即关于提取的候选框是不是图像中目标物体的真实框的预测准确度的信息，例如置信度或预测概率。置信度通常小于等于1。候选框对应的置信度按照分数由高到低进行排序，得到候选框序列。依次选取候选框序列中的候选框为选取框，剩余的多个候选框均为未选取框。例如，预测了1号至10号的10个候选框，1号候选框置信度最高，则1号候选框被选中，是选取框。剩余的候选框为未选框。

然后，根据超参数序列计算选取框和各个未选框之间的相似度。给定一组超参数就会唯一决定任意两个候选框之间的相似度。超参数序列中超参数的个数不做具体限定，在一种示例中，以三个超参数是为例，两个超参数作为计算相似度的权重，另一个超参数作为相似度阈值。过滤掉相似度小于相似度阈值的候选框。例如，第一轮依次计算选取框为1号候选框与其它各个未选框的相似度，并利用相似度阈值过滤。如果过滤掉的未选框为2号候选框，保留剩余的未选框。将剩余的候选框重新排序，进行第二轮计算。第二轮计算同第一轮类似。以此类推，不再赘述，最终确定保留的至少一个候选框。本实施方式中，根据超参数序列计算候选框之间的相似度，进而利用相似度对候选框进行过滤，提高了过滤的便捷性和准确性。

在一种实施方式中，如图3所示，步骤S203包括：

步骤S2031：根据选取框的坐标和未选框的坐标，计算第一相似度；

步骤S2032：根据选取框在检测任务中的关键点和未选框在检测任务中的关键点，计算第二相似度；

步骤S2033：超参数序列中包括第一超参数和第二超参数，计算第一超参数与第一相似度的乘积为第一乘积，第二超参数与第二相似度的乘积为第二乘积；

步骤S2034：第一乘积与第二乘积之和，得到相似度。

在本实施方式中，首先，为了评估定位精度，需要计算IoU(交并比IoU，Intersection over Union，介于0到1之间)，其表示候选框之间的重叠程度。IoU越高，候选框的位置越准确。所以，根据选取框的坐标和未选框的坐标，计算IoU，即第一相似度。在一种示例中，人体关键点检测任务时，候选框为人体框。可以利用人体框的坐标计算两个人体框之间的交并比，即第一相似度。后续的检测任务可以是人脸检测，计算选取人体框在人脸检测任务中的人脸关键点和未选人体框在人脸检测任务中的人脸关键点之间的欧式距离(distance1)，得到第二相似度。

在一种示例中，超参数序列中可以包括第一超参数、第二超参数以及作为相似度阈值的阈值超参数。第一超参数和第二超参数可以分别作为第一相似度的权重a1，第二相似度的权重a2。之后，计算a1*IoU+a2*distance，得到两个候选框(例如，人体框)之间的相似性。同理，可以得到任意两个候选框之间的相似度。

本实施方式中，利用超参数序列中的两个超参数作为第一相似度和第二相似度的权重，得到选取框和各个未选框之间的相似度，利用超参数序列中的超参数作为相似度阈值，通过相似度阈值来过滤候选框，使得保留的候选框接近真实框，能够将目标物体准确定位。

在一种实施方式中，在上述实施方式的基础上，如图3所示，步骤S203还包括：

步骤S2035：根据选取框的可见关键点和不可见关键点，以及未选框的可见关键点和不可见关键点，计算第三相似度；

步骤S2036：超参数序列中还包括第三超参数，计算第三超参数与第三相似度的乘积为第三乘积；

步骤S2037：第一乘积、第二乘积以及第三乘积之和，得到相似度。

在本实施方式中，关键点是否可见，受穿着、姿态、视角、遮挡、光照、雾等环境的影响。提取选取框的可见关键点和不可见关键点，以及未选框的可见关键点和不可见关键点。计算选取框的可见关键点和未选框的可见关键点之间的可见关键点相似度，选取框的不可见关键点和未选框的不可见关键点之间的不可见关键点相似度，可见关键点相似度和不可见关键点相似度之和，得到第三相似度。超参数序列中可以还包括第三超参数。第一超参数和第二超参数以及第三超参数可以分别作为第一相似度的权重a1，第二相似度的权重a2以及第三相似度的权重a3。之后，计算a1*IoU+a2*distance1+a3*distance2，得到两个候选框(例如，人体框)之间的相似性。同理，可以得到任意两个候选框之间的相似度。

本实施方式中，保留的候选框更进一步的接近真实框，更准确的定位目标物体，提高了过滤效率和准确率。

在一种实施方式中，如图4所示，步骤S30，包括：

步骤S301：根据保留的候选框计算超参数序列对应的召回率和准确率；

步骤S302：根据召回率和准确率的联合函数得到检测评价信息。

在一种示例中，利用F-meature(综合检测评价信息)或ROC曲线(受试者工作特征曲线，Receiver Operating Characteristic Curve)的面积等计算召回率和准确率。将召回率和准确率的联合函数作为检测评价信息。利用召回率和准确率的联合函数更新过滤策略生成模型，能够保证同时提高召回率和准确率。

在一种实施方式中，过滤策略生成模型包括基于强化学习的过滤策略生成模型和基于进化算法的过滤策略生成模型中的一种。

在本实施方式中，基于强化学习的过滤策略生成模型能够有效利用检测评价信息，不断更新过滤策略生成模型，进而得到最优解。基于进化算法的过滤策略生成模型适合于网络结构及权值的同时进化，有利于减少评价噪声。当然，还可以包括去除模拟退火和进化算法，例如遗传算法等，均在本实施方式的保护范围内。

实施例二

在另一种具体实施方式中，如图5所示，提供了一种候选框过滤装置100，包括：

超参数生成模块110，用于将超参数的个数和超参数范围输入至过滤策略生成模型，得到超参数序列；

候选框过滤模块120，用于根据超参数序列，从待检测图片中的全部候选框中过滤掉冗余的候选框；

检测评价信息计算模块130，用于根据保留的候选框计算超参数序列对应的检测评价信息；

目标候选框生成模块140，用于利用检测评价信息更新过滤策略生成模型，直至收敛，得到目标候选框。

在一种实施方式中，如图6所示，候选框过滤模块120包括：

排序子模块121，用于按照各候选框对应的置信度由高到低的顺序，对待检测图片中的全部候选框进行排序，形成候选框序列；

过滤子模块122，用于对于候选框序列中的每个候选框，按照排序依次执行过滤步骤；过滤步骤包括：选取候选框序列中的一个候选框为选取框，剩余的多个候选框均为未选框；根据超参数序列，计算选取框和各未选框之间的相似度；过滤掉相似度小于相似度阈值的未选框，并更新候选框序列。

在一种实施方式中，如图7所示，过滤子模块122包括：

第一计算单元1231，用于根据选取框的坐标和未选框的坐标，计算第一相似度；

第二计算单元1232，用于根据选取框在检测任务中的关键点和未取框在检测任务中的关键点，计算第二相似度；

第三计算单元1233，用于超参数序列中包括第一超参数和第二超参数，计算第一超参数与第一相似度的乘积为第一乘积，第二超参数与第二相似度的乘积为第二乘积；

第四计算单元1234，用于第一乘积与第二乘积之和，得到相似度。

在一种实施方式中，如图7所示，过滤子模块123还包括：

第五计算单元1235，用于根据选取框的可见关键点和不可见关键点，以及未选框的可见关键点和不可见关键点，计算第三相似度；

第六计算单元1236，用于超参数序列中还包括第三超参数，计算第三超参数与第三相似度的乘积为第三乘积；

第七计算单元1237，用于第一乘积、第二乘积以及第三乘积之和，得到相似度。

在一种实施方式中，如图8所示，候选框过滤装置200，检测评价信息计算模块130包括：

第一计算子模块131，用于根据保留的候选框计算超参数序列对应的召回率和准确率；

第二计算子模块132，用于根据召回率和准确率的联合函数得到检测评价信息。

在一种实施方式中，过滤策略生成模型包括基于强化学习的过滤策略生成模型和基于进化算法的过滤策略生成模型中的一种。

本发明实施例各装置中的各模块的功能可以参见上述方法中的对应描述，在此不再赘述。

根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。

如图9所示，是根据本申请实施例的一种候选框过滤方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。

如图9所示，该电子设备包括：一个或多个处理器901、存储器902，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示图形用户界面(Graphical User Interface，GUI)的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器***)。图9中以一个处理器901为例。

存储器902即为本申请所提供的非瞬时计算机可读存储介质。其中，存储器存储有可由至少一个处理器执行的指令，以使至少一个处理器执行本申请所提供的一种目标检测的候选框过滤方法的方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的一种目标检测的候选框过滤方法的方法。

存储器902作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的一种目标检测的候选框过滤方法的方法对应的程序指令/模块(例如，附图5所示的超参数生成模块110、候选框过滤模块120、检测评价信息计算模块130以及目标候选框生成模块140)。处理器901通过运行存储在存储器902中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的一种目标检测的候选框过滤方法的方法。

存储器902可以包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需要的应用程序；存储数据区可存储根据一种候选框过滤方法的电子设备的使用所创建的数据等。此外，存储器902可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器902可选包括相对于处理器901远程设置的存储器，这些远程存储器可以通过网络连接至一种候选框过滤方法的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

一种候选框过滤方法的电子设备还可以包括：输入装置903和输出装置904。处理器901、存储器902、输入装置903和输出装置904可以通过总线或者其他方式连接，图9中以通过总线连接为例。

输入装置903可接收输入的数字或字符信息，以及产生与一种候选框过滤方法的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置904可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(Liquid Cr9stal Displa9，LCD)、发光二极管(LightEmitting Diode，LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。

此处描述的***和技术的各种实施方式可以在数字电子电路***、集成电路***、专用集成电路(Application Specific Integrated Circuits，ASIC)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程***上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储***、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储***、该至少一个输入装置、和该至少一个输出装置。

这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(programmable logic device，PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。

为了提供与用户的交互，可以在计算机上实施此处描述的***和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(Cathode Ra9Tube，阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的***和技术实施在包括后台部件的计算***(例如，作为数据服务器)、或者包括中间件部件的计算***(例如，应用服务器)、或者包括前端部件的计算***(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的***和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算***中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将***的部件相互连接。通信网络的示例包括：局域网(Local Area Network，LAN)、广域网(Wide Area Network，WAN)和互联网。

计算机***可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。

根据本申请实施例的技术方案，由于利用检测评价信息多次迭代更新过滤策略生成模型的方式，寻找最优的超参数序列，利用最优的超参数序列对待检测图片中的全部候选框进行过滤，得到目标候选框，不仅实现了目标检测中的冗余候选框的自动过滤，而且同时提高了目标检测的准确率和召回率。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims (8)

1.一种候选框过滤方法，其特征在于，包括：

将超参数的个数和超参数范围输入至过滤策略生成模型，得到超参数序列；

根据所述超参数序列，从待检测图片中的全部候选框中过滤掉冗余的候选框；

根据保留的候选框计算所述超参数序列对应的召回率和准确率；

根据所述召回率和所述准确率的联合函数得到检测评价信息；

利用所述检测评价信息更新所述过滤策略生成模型，直至收敛，得到目标候选框；

其中，根据所述超参数序列，从待检测图片中的全部候选框中过滤掉冗余的候选框，包括：

按照各所述候选框对应的置信度由高到低的顺序，对所述待检测图片中的全部候选框进行排序，形成候选框序列；

对于所述候选框序列中的每个候选框，按照排序依次执行过滤步骤；

所述过滤步骤包括：选取所述候选框序列中置信度最高的一个候选框为选取框，剩余的多个候选框均为未选框；根据所述超参数序列，计算所述选取框和各所述未选框之间的相似度；过滤掉所述相似度小于相似度阈值的未选框，并更新所述候选框序列；

其中，根据所述超参数序列，计算所述选取框和各所述未选框之间的相似度，包括：

根据所述选取框的坐标和所述未选框的坐标，计算第一相似度；

根据所述选取框在检测任务中的关键点和所述未选框在所述检测任务中的关键点，计算第二相似度；

所述超参数序列中包括第一超参数和第二超参数，计算所述第一超参数与所述第一相似度的乘积为第一乘积，所述第二超参数与所述第二相似度的乘积为第二乘积；

所述第一乘积与所述第二乘积之和，得到所述相似度。

2.根据权利要求1所述的方法，其特征在于，根据所述超参数序列，计算所述选取框和各所述未选框之间的相似度，还包括：

根据所述选取框的可见关键点和不可见关键点，以及所述未选框的可见关键点和不可见关键点，计算第三相似度；

所述超参数序列中还包括第三超参数，计算所述第三超参数与所述第三相似度的乘积为第三乘积；

所述第一乘积、所述第二乘积以及所述第三乘积之和，得到相似度。

3.根据权利要求1所述的方法，其特征在于，所述过滤策略生成模型包括基于强化学习的过滤策略生成模型和基于进化算法的过滤策略生成模型中的一种。

4.一种候选框过滤装置，其特征在于，包括：

超参数生成模块，用于将超参数的个数和超参数范围输入至过滤策略生成模型，得到超参数序列；

候选框过滤模块，用于根据所述超参数序列，从待检测图片中的全部候选框中过滤掉冗余的候选框；

检测评价信息计算模块，用于根据保留的候选框计算所述超参数序列对应的召回率和准确率，根据所述召回率和所述准确率的联合函数得到检测评价信息；

目标候选框生成模块，用于利用所述检测评价信息更新所述过滤策略生成模型，直至收敛，得到目标候选框；

其中，所述候选框过滤模块包括：

排序子模块，用于按照各所述候选框对应的置信度由高到低的顺序，对所述待检测图片中的全部候选框进行排序，形成候选框序列；

过滤子模块，用于对于所述候选框序列中的每个候选框，按照排序依次执行过滤步骤；所述过滤步骤包括：选取所述候选框序列中置信度最高的一个候选框为选取框，剩余的多个候选框均为未选框；根据所述超参数序列，计算所述选取框和各所述未选框之间的相似度；过滤掉所述相似度小于相似度阈值的未选框，并更新所述候选框序列；

其中，所述过滤子模块包括：

第一计算单元，用于根据所述选取框的坐标和所述未选框的坐标，计算第一相似度；

第二计算单元，用于根据所述选取框在检测任务中的关键点和所述未选框在所述检测任务中的关键点，计算第二相似度；

第三计算单元，用于所述超参数序列中包括第一超参数和第二超参数，计算所述第一超参数与所述第一相似度的乘积为第一乘积，所述第二超参数与所述第二相似度的乘积为第二乘积；

第四计算单元，用于所述第一乘积与所述第二乘积之和，得到所述相似度。

5.根据权利要求4所述的装置，其特征在于，所述过滤子模块还包括：

第五计算单元，用于根据所述选取框的可见关键点和不可见关键点，以及所述未选框的可见关键点和不可见关键点，计算第三相似度；

第六计算单元，用于所述超参数序列中还包括第三超参数，计算所述第三超参数与所述第三相似度的乘积为第三乘积；

第七计算单元，用于所述第一乘积、所述第二乘积以及所述第三乘积之和，得到所述相似度。

6.根据权利要求4所述的装置，其特征在于，所述过滤策略生成模型包括基于强化学习的过滤策略生成模型和基于进化算法的过滤策略生成模型中的一种。

7.一种电子设备，其特征在于，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-3中任一项所述的方法。

8.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求1-3中任一项所述的方法。

Images