CN113420840B - 基于低分辨率图像的目标检测方法和*** - Google Patents

Abstract

本发明提供了一种基于低分辨率图像的目标检测方法和***，涉及目标检测技术领域，其中，所述方法包括以下步骤：获取待检测目标的低分辨率图像；对低分辨率图像进行特征提取得到相应的特征图；对特征图进行处理得到相应的检测框；对检测框进行处理得到检测框的坐标和分类概率分数；根据检测框的坐标和分类概率分数对待检测目标进行检测分类。本发明能够在不对低分辨率图像进行放大的情况下，提取出具有深层语义的特征图，从而能够在不损失检测精度的前提下，有效降低检测时间。

Description

基于低分辨率图像的目标检测方法和***

技术领域

本发明涉及目标检测技术领域，具体涉及一种基于低分辨率图像的目标检测方法和一种基于低分辨率图像的目标检测***。

背景技术

近年来，基于深度学习的低分辨率目标识别技术持续受到学术界和工业界的广泛关注。以手写数字串识别举例来说，直观的理解这项任务的做法是先将一张图片中的数字找到，然后进行识别，这与目标检测极为相似。但是这些基于目标检测的方法是通过放大图片到一定尺寸再进行检测的，会存在一些问题：其一、通过放大低分辨率图像后，再从中提取特征会导致不必要的时间消耗；其二、如果不放大低分辨率图像直接将图像送入网络，在提取图像特征的过程中会产生很小的特征图，从而不能产生正确的检测框。

发明内容

本发明旨在至少在一定程度上解决上述技术中的技术问题之一。为此，本发明的一个目的在于提出一种基于低分辨率图像的目标检测方法，能够在不对低分辨率图像进行放大的情况下，提取出具有深层语义的特征图，从而能够在不损失检测精度的前提下，有效降低检测时间。

本发明的第二个目的在于提出一种基于低分辨率图像的目标检测***。

为达到上述目的，本发明第一方面实施例提出了一种基于低分辨率图像的目标检测方法，包括以下步骤：获取待检测目标的低分辨率图像；对所述低分辨率图像进行特征提取得到相应的特征图；对所述特征图进行处理得到相应的检测框；对所述检测框进行处理得到所述检测框的坐标和分类概率分数；根据所述检测框的坐标和分类概率分数对所述待检测目标进行检测分类。

根据本发明实施例提出的基于低分辨率图像的目标检测方法，对低分辨率图像进行特征提取得到相应的特征图，并对特征图进行处理得到相应的检测框，以及对检测框进行处理得到检测框的坐标和分类概率分数，最终根据检测框的坐标和分类概率分数对待检测目标进行检测分类，由此，能够在不对低分辨率图像进行放大的情况下，提取出具有深层语义的特征图，从而能够在不损失检测精度的前提下，有效降低检测时间。

另外，根据本发明上述实施例提出的基于低分辨率图像的目标检测方法还可以具有如下附加的技术特征：

根据本发明的一个实施例，对所述低分辨率图像进行特征提取得到相应的特征图，包括以下步骤：采用低分辨率适用卷积神经网络对所述低分辨率图像进行特征提取得到相应的特征图。

根据本发明的一个实施例，所述低分辨率适用卷积神经网络包括残差网络的第一阶段、第二阶段、第三阶段，此外，所述低分辨率适用卷积神经网络还包括：第一上采样，所述第一上采样与所述残差网络的第一阶段相连；第一卷积层，所述第一卷积层与所述第一上采样相连；第二上采样，所述第二上采样与所述残差网络的第二阶段相连；第二卷积层，所述第二卷积层与第二上采样相连；第三上采样，所述第三上采样与所述残差网络的第三阶段相连。

根据本发明的一个实施例，所述特征图由所述第一卷积层、所述第二卷积层和所述第三上采样的输出量逐元素相加而成，并且所述特征图的长和宽分别为所述低分辨率图像的长和宽的一半。

根据本发明的一个实施例，对所述特征图进行处理得到相应的检测框，包括以下步骤：采用区域候选网络对所述特征图进行处理得到不同类别候选框；采用感兴趣区域池化层对所述特征图和所述不同类别候选框进行处理得到相应的检测框。

根据本发明的一个实施例，所述感兴趣区域池化层内设有第一非极大值抑制算法和第二非极大值抑制算法，其中，所述第一非极大值抑制算法为NC-NMS非极大值抑制算法（Non-classified Non-Maximum Suppression，非分类非极大值抑制算法），所述NC-NMS非极大值抑制算法用于将所述待检测目标的不同类别候选框当做同一类别进行抑制，以保留所述不同类别候选框中预测分数最大的候选框；所述第二非极大值抑制算法为top-N分数选择非极大值抑制算法（N个分数最高选择的非极大值抑制算法），所述top-N分数选择非极大值抑制算法用于根据所述待检测目标的长度对所述不同类别候选框进行抑制。

根据本发明的一个实施例，对所述检测框进行处理得到所述检测框的坐标和分类概率分数，包括以下步骤：采用第一全连接层对所述检测框进行处理得到所述检测框的坐标；采用第二全连接层对所述检测框进行处理得到所述检测框的分类概率分数；其中，所述第一全连接层和所述第二全连接层并列设置。

为达到上述目的，本发明第二方面实施例提出了一种基于低分辨率图像的目标检测***，包括：获取模块，所述获取模块用于获取待检测目标的低分辨率图像；特征提取模块，所述特征提取模块用于对所述低分辨率图像进行特征提取得到相应的特征图；第一处理模块，所述第一处理模块用于对所述特征图进行处理得到相应的检测框；第二处理模块，所述第二处理模块用于对所述检测框进行处理得到所述检测框的坐标和分类概率分数；检测模块，所述检测模块用于根据所述检测框的坐标和分类概率分数对所述待检测目标进行检测分类。

根据本发明实施例提出的基于低分辨率图像的目标检测***，通过特征提取模块对低分辨率图像进行特征提取得到相应的特征图，并通过第一处理模块对特征图进行处理得到相应的检测框，以及通过第二处理模块对检测框进行处理得到检测框的坐标和分类概率分数，最终通过检测模块根据检测框的坐标和分类概率分数对待检测目标进行检测分类，由此，能够在不对低分辨率图像进行放大的情况下，提取出具有深层语义的特征图，从而能够在不损失检测精度的前提下，有效降低检测时间。

为达到上述目的，本发明第三方面实施例提出了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现根据第一方面实施例中任一项所述的基于低分辨率图像的目标检测方法。

根据本发明实施例提出的计算机设备，通过处理器执行计算机程序时，实现第一方面实施例中任一项的基于低分辨率图像的目标检测方法，由此，能够在不对低分辨率图像进行放大的情况下，提取出具有深层语义的特征图，从而能够在不损失检测精度的前提下，有效降低检测时间。

为达到上述目的，本发明第四方面实施例提出了一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现根据第一方面实施例中任一项所述的基于低分辨率图像的目标检测方法。

根据本发明实施例提出的非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时，实现第一方面实施例中任一项的基于低分辨率图像的目标检测方法，由此，能够在不对低分辨率图像进行放大的情况下，提取出具有深层语义的特征图，从而能够在不损失检测精度的前提下，有效降低检测时间。

附图说明

图1为本发明实施例的基于低分辨率图像的目标检测方法的流程图；

图2为本发明一个实施例的低分辨率适用卷积神经网络的结构图；

图3为本发明一个实施例的第一非极大值抑制算法的流程图；

图4为本发明一个实施例的第二非极大值抑制算法的流程图；

图5（a）本发明一个实施例的数字串“2154”的低分辨率图；

图5（b）本发明一个实施例的现有技术中的非极大值抑制算法对数字串“2154”的低分辨率图的处理结果图；

图5（c）本发明一个实施例的第一非极大值抑制算法对数字串“2154”的低分辨率图的处理结果图；

图6（a）本发明一个实施例的数字串“70889”的低分辨率图；

图6（b）本发明一个实施例的现有技术中的非极大值抑制算法对数字串“70889”的低分辨率图的处理结果图；

图6（c）本发明一个实施例的第二非极大值抑制算法对数字串“70889”的低分辨率图的处理结果图；

图7本发明一个具体实施例的基于低分辨率图像的目标检测方法的流程图；

图8本发明实施例的基于低分辨率图像的目标检测***的方框示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为本发明实施例的基于低分辨率图像的目标检测方法的流程图。

如图1所示，本发明实施例的基于低分辨率图像的目标检测方法，包括以下步骤：

S1，获取待检测目标的低分辨率图像。

具体地，可采用相机获取待检测目标的图像信息，并且该图像信息中可包括待检测目标的低分辨率图像。

S2，对低分辨率图像进行特征提取得到相应的特征图。

具体地，可采用低分辨率适用卷积神经网络对低分辨率图像进行特征提取得到相应的特征图。其中，如图2所示，低分辨率适用卷积神经网络包括残差网络的第一阶段、第二阶段、第三阶段，例如可选用ResNet-50残差网络，并可将ResNet-50残差网络中的第四阶段和第五阶段，即stage 4和stage 5去除，保留第一阶段s1、第二阶段s2、第三阶段s3，即stage 1、stage 2、stage 3作为低分辨率适用卷积神经网络的网络主体。通过去除残差网络中的第四阶段和第五阶段，能够在保证检测精度的基础上提高检测速度。

此外，如图2所示，低分辨率适用卷积神经网络还包括：第一上采样u1，即up-Sampling 1，第一上采样u1，即up-Sampling 1与残差网络的第一阶段s1，即stage 1相连；第一卷积层c1，即conv 1，第一卷积层c1，即conv 1与第一上采样u1，即up-Sampling 1相连；第二上采样u2，即up-Sampling 2，第二上采样u2，即up-Sampling 2与残差网络的第二阶段s2，即stage 2相连；第二卷积层c2，即conv 2，第二卷积层c2，即conv 2与第二上采样u2，即up-Sampling 2相连；第三上采样u3，即up-Sampling 3，第三上采样u3，即up-Sampling 3与残差网络的第三阶段s3，即stage 3相连。其中，特征图p4由第一卷积层c1，即conv 1、第二卷积层c2，即conv 2和第三上采样u3，即up-Sampling 3的输出量逐元素相加而成，具体地，可采用highway机制将第一卷积层c1，即conv 1、第二卷积层c2，即conv 2的输出量逐元素相加后，加入第三上采样u3，即up-Sampling 3的输出量，最终得到的特征图的长和宽分别为原低分辨率图像的长和宽的一半。通过上采样和highway机制，能够在不放大低分辨率图像的情况下，获取具有深层语义的特征图。

基于上述结构可构成本发明实施例的低分辨率适用卷积神经网络，下面将结合图2具体说明本发明实施例的低分辨率适用卷积神经网络的工作过程。

如图2所示，输入的低分辨率图像，例如160×32×1的低分辨率图像可先经过第一阶段s1，即stage 1处理得到40×8×64的图像，进而该40×8×64图像可输入第一上采样u1，即up-Sampling 1，例如2×2的上采样得到80×16×64的图像（x1），进一步地，该80×16×64图像（x1）可输入第一卷积层c1，即conv 1，例如3×3的卷积层得到80×16×512的第一特征图p1；此外，该80×16×64图像（x1）还可输入第二阶段s2，即stage 2处理得到40×8×256的图像，进而该40×8×256图像可输入第二上采样u2，即up-Sampling 2，例如2×2的上采样得到80×16×256的图像（x2），进一步地，该80×16×256图像（x2）可输入第二卷积层c2，即conv 2，例如3×3的卷积层得到80×16×512的第二特征图p2；此外，该80×16×256图像（x2）还可输入第三阶段s3，即stage 3处理得到40×8×512的图像，进而该40×8×512图像可输入第三上采样u3，即up-Sampling 3，例如2×2的上采样得到80×16×512的图像（x3）。

进一步地，如图2所示，可采用highway机制将第一卷积层的输出量，即80×16×512的第一特征图p1，和第二卷积层的输出量，即80×16×512的第二特征图p2逐元素相加形成80×16×512的逐元素相加图p3，并且该80×16×512的逐元素相加图p3还可与第三上采样的输出量，即80×16×512的图像（x3）逐元素相加得到80×16×512的特征图p4，由此，最终得到的特征图的长和宽分别为输入的低分辨率图像的长和宽的一半，从而能够在不对低分辨率图像进行放大的情况下，提取出具有深层语义的特征图。

S3，对特征图进行处理得到相应的检测框。

具体地，可采用区域候选网络对特征图进行处理得到不同类别候选框，并可采用感兴趣区域池化层对特征图和不同类别候选框进行处理得到相应的检测框。其中，感兴趣区域池化层内可设有第一非极大值抑制算法和第二非极大值抑制算法。

具体地，如图3所示，第一非极大值抑制算法可为NC-NMS非极大值抑制算法（Non- classified Non-Maximum Suppression，非分类非极大值抑制算法），NC-NMS非极大值抑制 算法可用于将待检测目标的不同类别候选框当做同一类别进行抑制，例如可将待检测目标 所属类别集合C中的每一个类别候选框

当做同一类别进行抑制，以保留不同类别候选框 中预测分数最大的候选框。

具体地，如图4所示，第二非极大值抑制算法可为top-N分数选择非极大值抑制算法（N个分数最高选择的非极大值抑制算法），top-N分数选择非极大值抑制算法用于根据待检测目标的长度对不同类别候选框进行抑制，例如可根据待检测目标的已知文本长度N对不同类别候选框进行抑制。

下面将以图5（a）和图6（a）所示的低分辨率手写体图像为例，说明本发明实施例的第一非极大值抑制算法，即NC-NMS非极大值抑制算法和第二非极大值抑制算法，即top-N分数选择非极大值抑制算法的突出效果。

在实际应用中，不同人的书写风格导致的笔画连接，例如5（a）所示的数字串“2154”，其中，数字“4”中存在数字“1”，当采用现有技术中的非极大值抑制算法对其进行处理时，可得到图5（b）所示的结果，出现多余的检测框，例如出现“2、1、5、4、1”检测框，其中，最后出现的“1”为多余的检测框；当采用本发明实施例的第一非极大值抑制算法，即NC-NMS非极大值抑制算法对其进行处理时，可得到图5（c）所示的结果，能够准确得到相应数字的检测框，即“2、1、5、4”的检测框。通过图5（b）和图5（c）的结果，可以看出本发明实施例的第一非极大值抑制算法，即NC-NMS非极大值抑制算法有效的抑制了类别为“1”的检测框，能够为后续检测提供准确的检测框，从而能够提高检测精度。

此外，在实际应用中，通常可以确定待检测目标，例如手写数字串的长度，因此可以在第二非极大值抑制算法，即top-N分数选择非极大值抑制算法中引入待检测目标的长度，来避免过检情况。如图6（a）所示的数字串“70889”，当采用现有技术中的非极大值抑制算法对其进行处理时，可得到图6（b）所示的结果，检测出来3个数字“8”的检测框，其中有1个是多余的；当采用本发明实施例的第二非极大值抑制算法，即top-N分数选择非极大值抑制算法对其进行处理时，可得到图6（c）所示的结果。通过图6（b）和图6（c）的结果，可以看出本发明实施例的第二非极大值抑制算法，即top-N分数选择非极大值抑制算法能够在挑选到已知的N个且分数最高的检测框时，跳出遍历过程，从而能够防止过检情况的发生。

S4，对检测框进行处理得到检测框的坐标和分类概率分数。

具体地，可采用第一全连接层对检测框进行处理得到检测框的坐标，并可采用第二全连接层对检测框进行处理得到检测框的分类概率分数。

更具体地，如图7所示，第一全连接层和第二全连接层并列设置，并且对应第二全连接层还设有Softmax函数，以对检测框进行处理得到相应的分类概率分数。

S5，根据检测框的坐标和分类概率分数对待检测目标进行检测分类。

下面将以手写体数字串的低分辨率图像为例，具体阐述本发明实施例的基于低分辨率图像的目标检测方法的流程。

如图7所示，可将待检测目标的低分辨率图像，例如“46982”图像输入低分辨率目标检测模型，即低分辨率适用卷积神经网络，得到该低分辨率图像，例如“46982”图像的卷积特征图（该卷积特征图为该低分辨率图像，例如“46982”图像尺寸大小的一半），进而该卷积特征图可输入区域候选网络得到该卷积特征图任意形状的数字候选框，进一步地，该卷积特征图、以及该特征图的数字候选框可输入感兴趣区域池化层，将该卷积特征图的数字候选框转为固定长度的检测框，例如可为7×7固定长度的检测框，最后该检测框可通过并列的第一全连接层和第二全连接层得到检测框的坐标和分类概率分数，以对待检测目标进行检测分类。

根据本发明实施例提出的基于低分辨率图像的目标检测方法，对低分辨率图像进行特征提取得到相应的特征图，并对特征图进行处理得到相应的检测框，以及对检测框进行处理得到检测框的坐标和分类概率分数，最终根据检测框的坐标和分类概率分数对待检测目标进行检测分类，由此，能够在不对低分辨率图像进行放大的情况下，提取出具有深层语义的特征图，从而能够在不损失检测精度的前提下，有效降低检测时间。

对应上述实施例，本发明还提出一种基于低分辨率图像的目标检测***。

如图8所示，本发明实施例的基于低分辨率图像的目标检测***，包括获取模块10、特征提取模块20、第一处理模块30、第二处理模块40和检测模块50。其中，获取模块10用于获取待检测目标的低分辨率图像；特征提取模块20对低分辨率图像进行特征提取得到相应的特征图；第一处理模块30用于对特征图进行处理得到相应的检测框；第二处理模块40用于对检测框进行处理得到检测框的坐标和分类概率分数；检测模块50用于根据检测框的坐标和分类概率分数对待检测目标进行检测分类。

在本发明的一个实施例中，获取模块10可为相机，可用于获取待检测目标的图像信息，并且该图像信息中可包括待检测目标的低分辨率图像。

在本发明的一个实施例中，特征提取模块20可为低分辨率适用卷积神经网络。具体地，如图2所示，特征提取模块20，即低分辨率适用卷积神经网络可包括残差网络的第一阶段、第二阶段、第三阶段，例如可选用ResNet-50残差网络，并可将ResNet-50残差网络中的第四阶段和第五阶段，即stage 4和stage 5去除，保留第一阶段s1、第二阶段s2、第三阶段s3，即stage 1、stage 2、stage 3作为低分辨率适用卷积神经网络的网络主体。通过去除残差网络中的第四阶段和第五阶段，能够在保证检测精度的基础上提高检测速度。

此外，如图2所示，特征提取模块20，即低分辨率适用卷积神经网络还包括：第一上采样u1，即up-Sampling 1，第一上采样u1，即up-Sampling 1与残差网络的第一阶段s1，即stage 1相连；第一卷积层c1，即conv 1，第一卷积层c1，即conv 1与第一上采样u1，即up-Sampling 1相连；第二上采样u2，即up-Sampling 2，第二上采样u2，即up-Sampling 2与残差网络的第二阶段s2，即stage 2相连；第二卷积层c2，即conv 2，第二卷积层c2，即conv 2与第二上采样u2，即up-Sampling 2相连；第三上采样u3，即up-Sampling 3，第三上采样u3，即up-Sampling 3与残差网络的第三阶段s3，即stage 3相连。其中，特征图p4由第一卷积层c1，即conv 1、第二卷积层c2，即conv 2和第三上采样u3，即up-Sampling 3的输出量逐元素相加而成，具体地，可采用highway机制将第一卷积层c1，即conv 1、第二卷积层c2，即conv2的输出量逐元素相加后，加入第三上采样u3，即up-Sampling 3的输出量，最终得到的特征图的长和宽分别为原低分辨率图像的长和宽的一半。通过上采样和highway机制，能够在不放大低分辨率图像的情况下，获取具有深层语义的特征图。

基于上述结构可构成本发明实施例的低分辨率适用卷积神经网络，下面将结合图2具体说明本发明实施例的低分辨率适用卷积神经网络的工作过程。

如图2所示，输入的低分辨率图像，例如160×32×1的低分辨率图像可先经过第一阶段s1，即stage 1处理得到40×8×64的图像，进而该40×8×64图像可输入第一上采样u1，即up-Sampling 1，例如2×2的上采样得到80×16×64的图像（x1），进一步地，该80×16×64图像（x1）可输入第一卷积层c1，即conv 1，例如3×3的卷积层得到80×16×512的第一特征图p1；此外，该80×16×64图像（x1）还可输入第二阶段s2，即stage 2处理得到40×8×256的图像，进而该40×8×256图像可输入第二上采样u2，即up-Sampling 2，例如2×2的上采样得到80×16×256的图像（x2），进一步地，该80×16×256图像（x2）可输入第二卷积层c2，即conv 2，例如3×3的卷积层得到80×16×512的第二特征图p2；此外，该80×16×256图像（x2）还可输入第三阶段s3，即stage 3处理得到40×8×512的图像，进而该40×8×512图像可输入第三上采样u3，即up-Sampling 3，例如2×2的上采样得到80×16×512的图像（x3）。

进一步地，如图2所示，可采用highway机制将第一卷积层的输出量，即80×16×512的第一特征图p1，和第二卷积层的输出量，即80×16×512的第二特征图p2逐元素相加形成80×16×512的逐元素相加图p3，并且该80×16×512的逐元素相加图p3还可与第三上采样的输出量，即80×16×512的图像（x3）逐元素相加得到80×16×512的特征图p4，由此，最终得到的特征图的长和宽分别为输入的低分辨率图像的长和宽的一半，从而能够在不对低分辨率图像进行放大的情况下，提取出具有深层语义的特征图。

在本发明的一个实施例中，第一处理模块30可包括区域候选网络和感兴趣区域池化层。具体地，第一处理模块30可采用区域候选网络对特征图进行处理得到不同类别候选框，并可采用感兴趣区域池化层对特征图和不同类别候选框进行处理得到相应的检测框。其中，感兴趣区域池化层内可设有第一非极大值抑制算法和第二非极大值抑制算法。

具体地，如图3所示，第一非极大值抑制算法为NC-NMS非极大值抑制算法（Non- classified Non-Maximum Suppression，非分类非极大值抑制算法），NC-NMS非极大值抑制 算法可用于将待检测目标的不同类别候选框当做同一类别进行抑制，例如可将待检测目标 所属类别集合C中的每一个类别候选框

当做同一类别进行抑制，以保留不同类别候选框 中预测分数最大的候选框。

具体地，如图4所示，第二非极大值抑制算法为top-N分数选择非极大值抑制算法（N个分数最高选择的非极大值抑制算法），top-N分数选择非极大值抑制算法用于根据待检测目标的长度对不同类别候选框进行抑制，例如可根据待检测目标的已知文本长度N对不同类别候选框进行抑制。

下面将以图5（a）和图6（a）所示的低分辨率手写体图像为例，说明本发明实施例的第一非极大值抑制算法，即NC-NMS非极大值抑制算法和第二非极大值抑制算法，即top-N分数选择非极大值抑制算法的突出效果。

在实际应用中，不同人的书写风格导致的笔画连接，例如5（a）所示的数字串“2154”，其中，数字“4”中存在数字“1”，当采用现有技术中的非极大值抑制算法对其进行处理时，可得到图5（b）所示的结果，出现多余的检测框，例如出现“2、1、5、4、1”检测框，其中，最后出现的“1”为多余的检测框；当采用本发明实施例的第一非极大值抑制算法，即NC-NMS非极大值抑制算法对其进行处理时，可得到图5（c）所示的结果，能够准确得到相应数字的检测框，即“2、1、5、4”的检测框。通过图5（b）和图5（c）的结果，可以看出本发明实施例的第一非极大值抑制算法，即NC-NMS非极大值抑制算法有效的抑制了类别为“1”的检测框，能够为后续检测提供准确的检测框，从而能够提高检测精度。

此外，在实际应用中，通常可以确定待检测目标，例如手写数字串的长度，因此可以在第二非极大值抑制算法，即top-N分数选择非极大值抑制算法中引入待检测目标的长度，来避免过检情况。如图6（a）所示的数字串“70889”，当采用现有技术中的非极大值抑制算法对其进行处理时，可得到图6（b）所示的结果，检测出来3个数字“8”的检测框，其中有1个是多余的；当采用本发明实施例的第二非极大值抑制算法，即top-N分数选择非极大值抑制算法对其进行处理时，可得到图6（c）所示的结果。通过图6（b）和图6（c）的结果，可以看出本发明实施例的第二非极大值抑制算法，即top-N分数选择非极大值抑制算法能够在挑选到已知的N个且分数最高的检测框时，跳出遍历过程，从而能够防止过检情况的发生。

在本发明的一个实施例中，第二处理模块40可包括第一全连接层和第二全连接层。具体地，第二处理模块40可采用第一全连接层对检测框进行处理得到检测框的坐标，并可采用第二全连接层对检测框进行处理得到检测框的分类概率分数。

更具体地，如图7所示，第一全连接层和第二全连接层可并列设置，并且对应第二全连接层还设有Softmax函数，以对检测框进行处理得到相应的分类概率分数。

下面将以手写体数字串的低分辨率图像为例，结合图7具体阐述本发明实施例的基于低分辨率图像的目标检测***的工作过程。

如图7所示，可将待检测目标的低分辨率图像，例如“46982”图像输入低分辨率目标检测模型，即低分辨率适用卷积神经网络，得到该低分辨率图像，例如“46982”图像的卷积特征图（该卷积特征图为该低分辨率图像，例如“46982”图像尺寸大小的一半），进而该卷积特征图可输入区域候选网络得到该卷积特征图任意形状的数字候选框，进一步地，该卷积特征图、以及该特征图的数字候选框可输入感兴趣区域池化层，将该卷积特征图的数字候选框转为固定长度的检测框，例如可为7×7固定长度的检测框，最后该检测框可通过并列的第一全连接层和第二全连接层得到检测框的坐标和分类概率分数，以对待检测目标进行检测分类。

根据本发明实施例提出的基于低分辨率图像的目标检测***，通过特征提取模块对低分辨率图像进行特征提取得到相应的特征图，并通过第一处理模块对特征图进行处理得到相应的检测框，以及通过第二处理模块对检测框进行处理得到检测框的坐标和分类概率分数，最终通过检测模块根据检测框的坐标和分类概率分数对待检测目标进行检测分类，由此，能够在不对低分辨率图像进行放大的情况下，提取出具有深层语义的特征图，从而能够在不损失检测精度的前提下，有效降低检测时间。

对应上述实施例，本发明还提出一种计算机设备。

本发明实施例的计算机设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时，实现根据上述实施例中任一项的基于低分辨率图像的目标检测方法。

根据本发明实施例提出的计算机设备，通过处理器执行计算机程序时，实现上述实施例中任一项的基于低分辨率图像的目标检测方法，由此，能够在不对低分辨率图像进行放大的情况下，提取出具有深层语义的特征图，从而能够在不损失检测精度的前提下，有效降低检测时间。

对应上述实施例，本发明还提出一种非临时性计算机可读存储介质。

本发明实施例的非临时性计算机可读存储介质上存储有计算机程序，该程序被处理器执行时实现根据上述实施例中任一项的基于低分辨率图像的目标检测方法。

根据本发明实施例提出的非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时，实现上述实施例中任一项的基于低分辨率图像的目标检测方法，由此，能够在不对低分辨率图像进行放大的情况下，提取出具有深层语义的特征图，从而能够在不损失检测精度的前提下，有效降低检测时间。

在本发明的描述中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。“多个”的含义是两个或两个以上，除非另有明确具体的限定。

在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必针对相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行***、装置或设备（如基于计算机的***、包括处理器的***或其他可以从指令执行***、装置或设备取指令并执行指令的***）使用，或结合这些指令执行***、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行***、装置或设备或结合这些指令执行***、装置或设备而使用的装置。计算机可读介质的更具体的示例（非穷尽性列表）包括以下：具有一个或多个布线的电连接部（电子装置），便携式计算机盘盒（磁装置），随机存取存储器（RAM），只读存储器（ROM），可擦除可编辑只读存储器（EPROM或闪速存储器），光纤装置，以及便携式光盘只读存储器（CDROM）。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行***执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（PGA），现场可编程门阵列（FPGA）等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (7)

1.一种基于低分辨率图像的目标检测方法，其特征在于，包括以下步骤：

获取待检测目标的低分辨率图像；

对所述低分辨率图像进行特征提取得到相应的特征图，具体采用低分辨率适用卷积神经网络对所述低分辨率图像进行特征提取得到相应的特征图，其中，所述低分辨率适用卷积神经网络包括残差网络的第一阶段、第二阶段、第三阶段，此外，所述低分辨率适用卷积神经网络还包括：

第一上采样，所述第一上采样的图像输入端与所述残差网络的第一阶段的图像输出端相连，并且所述第一上采样的图像输出端与所述残差网络的第二阶段的图像输入端相连；第一卷积层，所述第一卷积层的图像输入端与所述第一上采样的图像输出端相连；第二上采样，所述第二上采样的图像输入端与所述残差网络的第二阶段的图像输出端相连，并且所述第二上采样的图像输出端与所述残差网络的第三阶段的图像输入端相连；第二卷积层，所述第二卷积层的图像输入端与第二上采样的图像输出端相连；第三上采样，所述第三上采样的图像输入端与所述残差网络的第三阶段的图像输出端相连；

其中，所述特征图由所述第一卷积层、所述第二卷积层和所述第三上采样的输出量逐元素相加而成，并且所述特征图的长和宽分别为所述低分辨率图像的长和宽的一半；

对所述特征图进行处理得到相应的检测框；

对所述检测框进行处理得到所述检测框的坐标和分类概率分数；

根据所述检测框的坐标和分类概率分数对所述待检测目标进行检测分类。

2.根据权利要求1所述的基于低分辨率图像的目标检测方法，其特征在于，对所述特征图进行处理得到相应的检测框，包括以下步骤：

采用区域候选网络对所述特征图进行处理得到不同类别候选框；

采用感兴趣区域池化层对所述特征图和所述不同类别候选框进行处理得到相应的检测框。

3.根据权利要求2所述的基于低分辨率图像的目标检测方法，其特征在于，所述感兴趣区域池化层内设有第一非极大值抑制算法和第二非极大值抑制算法，其中，

所述第一非极大值抑制算法为NC-NMS非极大值抑制算法，所述NC-NMS非极大值抑制算法用于将所述待检测目标的不同类别候选框当做同一类别进行抑制，以保留所述不同类别候选框中预测分数最大的候选框；

所述第二非极大值抑制算法为top-N分数选择非极大值抑制算法，所述top-N分数选择非极大值抑制算法用于根据所述待检测目标的长度对所述不同类别候选框进行抑制。

4.根据权利要求3所述的基于低分辨率图像的目标检测方法，其特征在于，对所述检测框进行处理得到所述检测框的坐标和分类概率分数，包括以下步骤：

采用第一全连接层对所述检测框进行处理得到所述检测框的坐标；

采用第二全连接层对所述检测框进行处理得到所述检测框的分类概率分数；

其中，所述第一全连接层和所述第二全连接层并列设置。

5.一种基于低分辨率图像的目标检测***，其特征在于，包括：

获取模块，所述获取模块用于获取待检测目标的低分辨率图像；

特征提取模块，所述特征提取模块用于对所述低分辨率图像进行特征提取得到相应的特征图，所述特征提取模块具体采用低分辨率适用卷积神经网络对所述低分辨率图像进行特征提取得到相应的特征图，其中，所述低分辨率适用卷积神经网络包括残差网络的第一阶段、第二阶段、第三阶段，此外，所述低分辨率适用卷积神经网络还包括：

第一上采样，所述第一上采样的图像输入端与所述残差网络的第一阶段的图像输出端相连，并且所述第一上采样的图像输出端与所述残差网络的第二阶段的图像输入端相连；第一卷积层，所述第一卷积层的图像输入端与所述第一上采样的图像输出端相连；第二上采样，所述第二上采样的图像输入端与所述残差网络的第二阶段的图像输出端相连，并且所述第二上采样的图像输出端与所述残差网络的第三阶段的图像输入端相连；第二卷积层，所述第二卷积层的图像输入端与第二上采样的图像输出端相连；第三上采样，所述第三上采样的图像输入端与所述残差网络的第三阶段的图像输出端相连；

其中，所述特征图由所述第一卷积层、所述第二卷积层和所述第三上采样的输出量逐元素相加而成，并且所述特征图的长和宽分别为所述低分辨率图像的长和宽的一半；

第一处理模块，所述第一处理模块用于对所述特征图进行处理得到相应的检测框；

第二处理模块，所述第二处理模块用于对所述检测框进行处理得到所述检测框的坐标和分类概率分数；

检测模块，所述检测模块用于根据所述检测框的坐标和分类概率分数对所述待检测目标进行检测分类。

6.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时，实现根据权利要求1-4中任一项所述的基于低分辨率图像的目标检测方法。

7.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现根据权利要求1-4中任一项所述的基于低分辨率图像的目标检测方法。

Images