CN109816671B - 一种目标检测方法、装置及存储介质 - Google Patents
一种目标检测方法、装置及存储介质 Download PDFInfo
- Publication number
- CN109816671B CN109816671B CN201910100096.1A CN201910100096A CN109816671B CN 109816671 B CN109816671 B CN 109816671B CN 201910100096 A CN201910100096 A CN 201910100096A CN 109816671 B CN109816671 B CN 109816671B
- Authority
- CN
- China
- Prior art keywords
- feature map
- layer
- convolutional layer
- feature
- convolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 71
- 238000003860 storage Methods 0.000 title abstract description 20
- 238000013507 mapping Methods 0.000 claims abstract description 26
- 238000000034 method Methods 0.000 claims abstract description 24
- 230000004927 fusion Effects 0.000 claims description 71
- 238000005070 sampling Methods 0.000 claims description 47
- 238000012545 processing Methods 0.000 claims description 41
- 230000009467 reduction Effects 0.000 claims description 31
- 238000010586 diagram Methods 0.000 claims description 26
- 238000003475 lamination Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 238000012986 modification Methods 0.000 description 6
- 230000004048 modification Effects 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 4
- 230000006872 improvement Effects 0.000 description 3
- 238000000605 extraction Methods 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000004804 winding Methods 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
本申请公开了一种目标检测方法、装置及存储介质,涉及目标检测领域,用以解决现有技术中,使用faster rcnn模型进行目标检测时的准确性不能满足检测要求的问题。该方法包括:通过改变faster rcnn模型中FPN层的结构,使得在FPN层中的自上向下结构中,在获取某一层的融合后的特征图时,将该层的特征图、该层的下一层的特征图以及该层的上一层的特征图相加得到该层融合后的特征图。这样,使得获取的特征映射包含更多的图像信息以及语义信息,从而提升使用faster rcnn模型进行目标检测时的准确性。
Description
技术领域
本申请涉及目标检测领域,尤其涉及一种目标检测方法、装置及存储介质。
背景技术
目标检测,也叫目标提取,是一种基于目标几何和统计特征的图像分割,它将目标的分割和识别合二为一,其准确性和实时性是整个***的一项重要能力。尤其是在复杂场景中,需要对多个目标进行实时处理时,目标自动提取和识别就显得特别重要。
为了实现目标检测,可采用faster rcnn模型(faster Regions withConvolutional Neural Network,更快的区域提名卷积网络)对待检测图像进行目标检测。然而现有技术中,使用faster rcnn模型进行目标检测时的准确性不能满足检测要求。
发明内容
申请实施例提供一种目标检测方法、装置及存储介质,用以解决现有技术中,使用faster rcnn模型进行目标检测时的准确性不能满足检测要求的问题。
第一方面,本申请实施例提供一种目标检测方法,该方法包括:
将待检测图像输入给层叠的多层卷积层进行处理,得到各卷积层对应的特征图;
针对每个卷积层,将该卷积层的特征图与其指定相邻卷积层的特征图进行特征融合,得到该卷积层的融合后的特征图,其中,至少一个卷积层的指定相邻卷积层为2个;
针对每个融合后的特征图,将该融合后的特征图根据预设的卷积核进行卷积处理,得到该融合后的特征图的特征映射;
根据得到各特征映射对待检测图像进行目标检测。
第二方面,本申请实施例提供一种目标检测装置,该装置包括:
第一处理模块,用于将待检测图像输入给层叠的多层卷积层进行处理,得到各卷积层对应的特征图;
融合模块,用于针对每个卷积层,将该卷积层的特征图与其指定相邻卷积层的特征图进行特征融合,得到该卷积层的融合后的特征图,其中,至少一个卷积层的指定相邻卷积层为2个;
第二处理模块,用于针对每个融合后的特征图,将该融合后的特征图根据预设的卷积核进行卷积处理,得到该融合后的特征图的特征映射;
检测模块,用于根据得到各特征映射对待检测图像进行目标检测。
第三方面,本申请另一实施例还提供了一种计算装置,包括至少一个处理器;以及;
与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行本申请实施例提供的一种目标检测方法。
第四方面,本申请另一实施例还提供了一种计算机存储介质,其中,所述计算机存储介质存储有计算机可执行指令,所述计算机可执行指令用于使计算机执行本申请实施例中的一种目标检测方法。
本申请实施例提供的一种目标检测方法、装置及存储介质,通过改变faster rcnn模型中FPN(feature pyramid networks,功能金字塔网络)层的结构,使得在FPN层中的top-down(自上向下)结构中,在获取某一层的融合后的特征图时,将该层的特征图、该层的下一层的特征图以及该层的上一层的特征图相加得到该层融合后的特征图。这样,使得获取的特征映射包含更多的图像信息以及语义信息,从而提升使用faster rcnn模型进行目标检测时的准确性。
本申请的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本申请而了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1为本申请实施例中现有技术FPN层结构示意图;
图2为本申请实施例中改进的FPN层结构流程示意图一;
图3为本申请实施例中改进的FPN层结构流程示意图二;
图4为本申请实施例中目标检测方法的流程示意图一;
图5为本申请实施例中目标检测方法的流程示意图二;
图6为本申请实施例中输出结果的改进方法的流程示意图;
图7为本申请实施例中目标检测结构示意图;
图8为根据本申请实施方式的计算装置的结构示意图。
具体实施方式
为了解决现有技术中,使用faster rcnn模型进行目标检测时的准确性不能满足检测要求的问题,本申请实施例中提供一种目标检测方法、装置及存储介质。为了更好的理解本申请实施例提供的技术方案,这里对该方案的基本原理做一下简单说明:
通过改变faster rcnn模型中FPN层的结构,使得在FPN层中的top-down结构中,在获取某一层的融合后的特征图时,将该层的特征图、该层的下一层的特征图以及该层的上一层的特征图相加得到该层融合后的特征图。这样,使得获取的特征映射包含更多的图像信息以及语义信息,从而提升使用faster rcnn模型进行目标检测时的准确性。
在现有技术中,faster rcnn模型可分为三层,分别为FPN层、RPN(RegionProposal Network,区域提名网络)层以及ROI pooling(感兴趣区域池化)层。其中,FPN层的结构如图1所示。FPN层分为三个部分,分别为自底向上部分、自顶向下部分以及横向连接部分。其中:
自底向上部分是对图像进行特征提取,得到该图像的特征图。而特征图的大小在经过多层卷积层后会变小,这样就能构成特征金字塔。
自顶向下部分是对之前获取的各层特征图进行上采样,使上采样后的特征图与上一层的特征图的大小相同。
横向连接部分则是将上采样的结果和自底向上的线路部分生成的相同大小的特征图进行融合。
如图1所示,其中第1层为图像,第2、3、4层为特征图,第2’、3’、4’层为融合后的特征图。其中,第4’层的融合后的特征图为第4层的特征图通过降维处理得到的;第3’层的融合后的特征图是对第4’层融合后的特征图进行上采样得到的特征图与第3层特征图通过降维处理得到的特征图相加得到的;第2’层的融合后的特征图是对第3’层融合后的特征图进行上采样得到的特征图与第2层特征图通过降维处理得到的特征图相加得到的。
在融合之后再采用3*3的卷积核(具体实施时卷积核大小可根据实际情况确定)对每个融合结果进行卷积,目的是消除上采样的混叠效应。这样,最后获取各层融合后的特征图的特征映射如P4、P3、P2,用以对待检测图像进行目标检测。
而在本申请实施例中,对FPN层的结构进行了修改,如图2所示。其中,具体对自顶向下的线路部分以及横向连接部分进行了修改。
在自顶向下的线路部分中,对获取的各层特征图进行上采样以及下采样,使上采样后的特征图与前一层的特征图的大小相同,以及使下采样后的特征图与后一层的特征图的大小相同。
而在横向连接部分中,是将某一层由自底向上的线路部分生成的特征图、该层的上一层下采样后的结果以及该层的下一层上采样后的结果进行融合。
如图2所示,其中第1层为图像,第2、3、4层为特征图,第2’、3’、4’层为融合后的特征图。其中,第4’层的融合后的特征图为第4层的特征图通过降维处理得到的特征图,与第3层的特征图通过下采样以及降维得到的特征图相加得到的;第3’层的融合后的特征图是对第4’层融合后的特征图进行上采样得到的特征图、第3层特征图通过降维处理得到的特征图以及第2层的特征图通过下采样以及降维得到的特征图相加得到的;第2’层的融合后的特征图是对第3’层融合后的特征图进行上采样得到的特征图与第2层特征图通过降维处理得到的特征图相加得到的。
这样,最终获取的特征映射与现有技术中的特征映射相比,包含了更多的图像信息以及语义信息,从而提升目标检测的准确性。
为了进一步的提高目标检测的准确性,在本申请实施例中,对FPN层的结构进行了修改,如图3所示。其中第1层为图像,第2、3、4层为特征图,第2’、3’、4’层为融合后的特征图。
第4’层的融合后的特征图为第4层的特征图通过降维处理得到的特征图,与第3层的特征图通过下采样以及降维得到的特征图相加得到的;第3’层的融合后的特征图是对第4层的特征图通过上采样以及降维得到的特征图、第3层特征图通过降维处理得到的特征图以及第2层的特征图通过下采样以及降维得到的特征图相加得到的;第2’层的融合后的特征图是对第3层特征图通过上采样以及降维得到的特征图与第2层特征图通过降维处理得到的特征图相加得到的。与图2相比,通过图3获取的特征映射包含了更多的图像信息以及语义信息,从而提升目标检测的准确性。
下面通过具体实施例对目标检测进行详细的说明。图4为目标检测方法的流程示意图,包括以下步骤:
步骤401:将待检测图像输入给层叠的多层卷积层进行处理,得到各卷积层对应的特征图。
步骤402:针对每个卷积层,将该卷积层的特征图与其指定相邻卷积层的特征图进行特征融合,得到该卷积层的融合后的特征图,其中,至少一个卷积层的指定相邻卷积层为2个。
在本申请实施例中,可以只对某上层的特征图与该层的上一层下采样后的特征图融合,其余层仍按照现有技术进行融合;也可以对每一层都采用本申请所使用的方案,本申请对此不做限定。
步骤403:针对每个融合后的特征图,将该融合后的特征图根据预设的卷积核进行卷积处理,得到该融合后的特征图的特征映射。
步骤404:根据得到各特征映射对待检测图像进行目标检测。
这样,使得获取的特征映射包含更多的图像信息以及语义信息,从而提升使用faster rcnn模型进行目标检测时的准确性。
而在本申请实施例中,针对步骤402可分为三种情况:
情况一:按照处理数据先后的顺序,卷积层为第2卷积层,如图3中的第2层。
当卷积层为第2卷积层时,则将该卷积层的特征图与第3卷积层的特征图进行特征融合,得到该卷积层的融合后的特征图。
因为第2卷积层为最下层,所以第2卷积层对应的特征图为最后一层特征图,因此只需要跟第3卷积层的特征图进行特征融合,无需再与上一层特征图融合。
情况二:卷积层为最后一个卷积层,如图3中的第4层。
当卷积层为最后一个卷积层时,则将该卷积层的特征图与上一卷积层的特征图进行特征融合,得到该卷积层的融合后的特征图。
因为最后一个卷积层为最上层,所以最后一个卷积层对应的特征图为最上层的特征图,因此只需要与上一卷积层的特征图进行特征融合,无需再与下一层融合后的特征图进行特征融合。
在本申请实施例中,当卷积层为最后一个卷积层时,该层特征图进行融合具体可实施为步骤A1-A3:
步骤A1:对上一卷积层的特征图进行下采样,得到下采样后的特征图;其中,下采样后的特征图与该卷积层的特征图的大小相同。
步骤A2:将该卷积层的特征图与上一卷积层下采样后的特征图进行降维处理。
步骤A3:将降维处理后的该卷积层的特征图与上一卷积层下采样后的特征图相加,得到该卷积层的融合后的特征图。
这样,最上层融合后的特征图为该层特征图与该层的上一层特征图融合得到的,因此具有更多的图像信息以及语义信息。
情况三:卷积层为除第2和最后一个卷积层之外的卷积层,如图3中的第3层。
当该卷积层为除第2和最后一个卷积层之外的卷积层时,则将该卷积层的特征图、上一卷积层的特征图以及下一卷积层的特征图进行特征融合,得到该卷积层的融合后的特征图。
在本申请实施例中,当卷积层为除第2和最后一个卷积层之外的卷积层时,该层特征图进行融合具体可实施为步骤B1-B3:
步骤B1:对上一卷积层的特征图进行下采样,得到下采样后的特征图;以及,对下一卷积层的特征图进行上采样,得到上采样后的融合后的特征图;其中,下采样后的特征图和上采样后的特征图与该卷积层的特征图的大小相同。
步骤B2:将该卷积层的特征图、上一卷积层下采样后的特征图以及下一卷积层上采样后的特征图进行降维处理。
步骤B3:将降维处理后的该卷积层的特征图、上一卷积层下采样后的特征图以及下一卷积层上采样后的特征图相加,得到该卷积层的融合后的特征图。
这样,当卷积层为除第2和最后一个卷积层之外的卷积层时,该层融合后的特征图为该层特征图、该层的上一层特征图以及该层的下一层融合后的特征图融合得到的,因此具有更多的图像信息以及语义信息。
这样,通过对各层特征图进行融合时的情况进行了限定,使得各层的特征映射包含了更多的图像信息以及语义信息,从而提升使用faster rcnn模型进行目标检测时的准确性。
在本申请实施例中,通过本申请的方案得到各层融合后的特征图后,还可以再次进行融合,具体可实施为步骤C1-C4:
步骤C1:将融合次数增加指定值。
步骤C2:判断增加后的融合次数是否达到预期值。
步骤C3:若没有达到预期值,则针对各层融合后的特征图执行:针对每个卷积层,将该卷积层融合后的特征图与其指定相邻卷积层的融合后的特征图进行特征融合,得到该卷积层的再次融合后的特征图,其中,至少一个卷积层的指定相邻卷积层为2个。
步骤C4:返回执行将融合次数增加指定值的步骤。
在本申请实施例中,可设指定值以及预期值为4次,进行一次融合操作时记录一次,若记录次数没有达到4次,则再次进行融合操作,若达到4次,则确定输出特征映射。
这样,对各层融合后的特征图再次进行融合操作,可以使各层最终获取的特征映射比单次融合操作具有更多的图像信息以及语义信息,从而提升使用faster rcnn模型进行目标检测时的准确性。
在介绍完对FPN层的改动后,下面对RPN层的改进进行介绍。在现有技术中,通过FPN层生成待检测图像的特征映射后,会将特征映射输入到RPN层,得到待检测目标的多个候选框,再将得到的多个候选框输入到ROI pooling层进行ensemble(集合)操作,得到输出结果。
而在本申请实施例中,针对待检测图像,输入到多个faster rcnn模型中,得到各模型在RPN层输出的多个候选框,对各模型的多个候选框进行ensemble操作,并将剩余的候选框输入到各模型的ROI pooling层再次进行ensemble操作,得到输出结果。图5为对RPN层的改进方法的流程示意图,包括以下步骤:
步骤501:将待检测图像的特征映射通过多个网络模型的区域提名网络层,得到各网络模型的多个候选框。
其中,多个网络模型为不同初始状态的faster rcnn模型。
在一个实施例中,多个网络模型也可以是其他具有RPN层的网络模型。
步骤502:对所述各网络模型的多个候选框进行集合操作,得到集合后的候选框。
步骤503:将所述集合后的候选框及其对应的图像内容输入给各网络模型中的感兴趣区域池化层,确定各网络模型的输出框。
步骤504:对各网络模型的输出框进行集合操作,得到待检测的目标在待检测图像中候选框。
这样,通过对RPN层以及ROI pooling层分别进行集合操作,可以获取更多的候选框以及输出框,从而提升了使用faster rcnn模型进行目标检测时的准确性。
在本申请实施例中,在执行步骤502时,具体可实施为步骤D1-D2:
步骤D1:将各网络模型的多个候选框俩俩进行比较。
其中比较的俩候选框可以来自同一个模型,也可以来自不同网络模型。
步骤D2:若进行比较的俩候选框的重叠面积大于预设阈值,则俩候选框中置信度高的候选框确定为集合后的候选框中的一员。
在一个实施例中,若两个网络模型生成的候选框各有4个,即模型1的候选框为1、2、3、4;模型2的候选框为5、6、7、8。将获取的这8个候选框俩俩比较。检测时,比较俩候选框的重叠面积是否大于预设阈值。具体实施时,可以根据候选框所在的坐标位置进行检测,即,将两个模型中候选框坐标位置大致相同的候选框进行比较;还可以使模型中的候选框随机比较。
在一个实施例中,当所有候选框都俩俩比较完之后,将剩余的候选框分别输出给模型1和模型2的ROI pooling层。如比较完之后,模型1的候选框2与模型2的候选框5的重叠面积大于预设阈值,且模型1中的置信度高,则将模型2中的候选框5剔除。这样,将候选框1、2、3、4、6、7、8这7个候选框分别输入给模型1和模型2的ROI pooling层。这样,模型1和模型2获得了更多的候选框,从而提升了准确性。
这样通过对多个模型中的候选框进行集合和剔除,可以使每个模型获取更多的候选框,从而提升准确性。
上面介绍了对FPN层以及RPN层的改进,下面对输出结果的改进做进一步说明。图6为输出结果的改进方法的流程示意图,包括以下步骤:
步骤601:根据获取的所述特征映射对待检测图像进行目标检测,得到检测的目标在待检测图像中候选框。
步骤602:剔除包含在另一个候选框中的候选框。
步骤603:将剩余的候选框确定为检测的目标所在的候选框。
这样,通过采用NMS(Non-Maximum Suppression,非极大值抑制)操作,将输出结果中包含在大候选框中的小候选框剔除,过滤掉目标重复检出情况,从而提升了faster rcnn模型进行目标检测时的准确性。
在本申请实施例中,在得到候选框时,每个候选框对应一个得分。在剔除完全包含在另一个候选框中的候选框时,首先需要确定得分最高的候选框;针对低于最高得分的每个候选框执行:计算该候选框与得分最高的候选框的重叠区域与该候选框面积的比值是否大于预设比值;若大于预设比值,则剔除该候选框;若不大于预设比值,则保留该候选框。这样,剔除了在最高得分对应的候选框包含的小候选框。
然后,在剩下的候选框中,再次选取一个得分最高的候选框,并继续执行上述操作。当选完候选框后,输出选择的候选框。
在本申请实施例中,可以将预设比值设置为0.9-1之间,这样,可以剔除完全包含在大候选框中的小候选框,以及大部分面积包含在大候选框中的小候选框。这样,实现了将包含在大候选框中的小候选框剔除的操作,从而提升了faster rcnn模型进行目标检测时的准确性。
基于相同的发明构思,本申请实施例还提供了一种目标检测装置。如图7所示,该装置包括:
第一处理模块701,用于将待检测图像输入给层叠的多层卷积层进行处理,得到各卷积层对应的特征图;
融合模块702,用于针对每个卷积层,将该卷积层的特征图与其指定相邻卷积层的特征图进行特征融合,得到该卷积层的融合后的特征图,其中,至少一个卷积层的指定相邻卷积层为2个;
第二处理模块703,用于针对每个融合后的特征图,将该融合后的特征图根据预设的卷积核进行卷积处理,得到该融合后的特征图的特征映射;
检测模块704,用于根据得到各特征映射对待检测图像进行目标检测。
进一步的,融合模块702包括:
第一融合单元,用于针对除第1层卷积层之外的每个卷积层执行:若该卷积层为第2卷积层,则将该卷积层的特征图与第3卷积层的特征图进行特征融合,得到该卷积层的融合后的特征图;
第二融合单元,用于若该卷积层为最后一个卷积层,则将该卷积层的特征图与上一卷积层的特征图进行特征融合,得到该卷积层的融合后的特征图;
第三融合单元,用于若该卷积层为除第2和最后一个卷积层之外的卷积层,则将该卷积层的特征图、上一卷积层的特征图以及下一卷积层的特征图进行特征融合,得到该卷积层的融合后的特征图。
进一步的,第二融合单元包括:
第一采样子单元,用于对上一卷积层的特征图进行下采样,得到下采样后的特征图;其中,下采样后的特征图与该卷积层的特征图的大小相同;
第一降维子单元,用于将该卷积层的特征图与上一卷积层下采样后的特征图进行降维处理;
第一融合子单元,用于将降维处理后的该卷积层的特征图与上一卷积层下采样后的特征图相加,得到该卷积层的融合后的特征图。
进一步的,第三融合单元包括:
第二采样子单元,用于对上一卷积层的特征图进行下采样,得到下采样后的特征图;以及,对下一卷积层的特征图进行上采样,得到上采样后的融合后的特征图;其中,下采样后的特征图和上采样后的特征图与该卷积层的特征图的大小相同;
第二降维子单元,用于将该卷积层的特征图、上一卷积层下采样后的特征图以及下一卷积层上采样后的特征图进行降维处理;
第二融合子单元,用于将降维处理后的该卷积层的特征图、上一卷积层下采样后的特征图以及下一卷积层上采样后的特征图相加,得到该卷积层的融合后的特征图。
进一步的,所述装置还包括:
增加模块,用于第二处理模块703得到该融合后的特征图的特征映射之前,将融合次数增加指定值;
判断模块,用于判断增加后的融合次数是否达到预期值;
再次融合模块,用于若没有达到预期值,则针对各层融合后的特征图执行:针对每个卷积层,将该卷积层融合后的特征图与其指定相邻卷积层的融合后的特征图进行特征融合,得到该卷积层的再次融合后的特征图,其中,至少一个卷积层的指定相邻卷积层为2个;
返回模块,用于返回执行将融合次数增加指定值的步骤。
进一步的,所述装置还包括:
获取模块,用于根据获取的所述特征映射对待检测图像进行目标检测,得到检测的目标在待检测图像中候选框;
剔除模块,用于剔除包含在另一个候选框中的候选框;
确定模块,用于将剩余的候选框确定为检测的目标所在的候选框。
进一步的,得到候选框时每个候选框对应一个得分,剔除模块包括:
确定单元,用于确定得分最高的候选框;
计算单元,用于针对低于最高得分的每个候选框执行:计算该候选框与得分最高的候选框的重叠区域与该候选框面积的比值是否大于预设比值;
剔除单元,用于若大于预设比值,则剔除该候选框;
保留单元,用于若不大于预设比值,则保留该候选框;
返回单元,用于若保留的候选框大于1个,则由保留的候选框构成一个待处理集合,针对该待处理集合返回执行确定得分最高的候选框的步骤。
在介绍了本申请示例性实施方式的目标检测的方法及装置之后,接下来,介绍根据本申请的另一示例性实施方式的计算装置。
所属技术领域的技术人员能够理解,本申请的各个方面可以实现为***、方法或程序产品。因此,本申请的各个方面可以具体实现为以下形式,即:完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等),或硬件和软件方面结合的实施方式,这里可以统称为“电路”、“模块”或“***”。
在一些可能的实施方式中,根据本申请的实施例,计算装置可以至少包括至少一个处理器、以及至少一个存储器。其中,存储器存储有程序代码,当程序代码被处理器执行时,使得处理器执行本说明书上述描述的根据本申请各种示例性实施方式的目标检测方法中的步骤401-404。
下面参照图8来描述根据本申请的这种实施方式的计算装置80。图8显示的计算装置80仅仅是一个示例,不应对本申请实施例的功能和使用范围带来任何限制。该计算装置例如可以是手机、平板电脑等。
如图8所示,计算装置80以通用计算装置的形式表现。计算装置80的组件可以包括但不限于:上述至少一个处理器81、上述至少一个存储器82、连接不同***组件(包括存储器82和处理器81)的总线83。
总线811表示几类总线结构中的一种或多种,包括存储器总线或者存储器控制器、***总线、处理器或者使用多种总线结构中的任意总线结构的局域总线。
存储器82可以包括易失性存储器形式的可读介质,例如随机存取存储器(RAM)821和/或高速缓存存储器822,还可以进一步包括只读存储器(ROM)823。
存储器82还可以包括具有一组(至少一个)程序模块824的程序/实用工具825,这样的程序模块824包括但不限于:操作***、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。
计算装置80也可以与一个或多个外部设备84(例如指向设备等)通信,还可与一个或者多个使得用户能与计算装置80交互的设备通信,和/或与使得该计算装置80能与一个或多个其它计算装置进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口85进行。并且,计算装置80还可以通过网络适配器86与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。如图所示,网络适配器86通过总线83与用于计算装置80的其它模块通信。应当理解,尽管图中未示出,可以结合计算装置80使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID***、磁带驱动器以及数据备份存储***等。
在一些可能的实施方式中,本申请提供的目标检测方法的各个方面还可以实现为一种程序产品的形式,其包括程序代码,当程序产品在计算机设备上运行时,程序代码用于使计算机设备执行本说明书上述描述的根据本申请各种示例性实施方式的目标检测的方法中的步骤,执行如图4中所示的步骤401-404。
程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
本申请实施方式的目标检测方法可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码,并可以在计算装置上运行。然而,本申请的程序产品不限于此,在本文件中,可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行***、装置或者器件使用或者与其结合使用。
可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了可读程序代码。这种传播的数据信号可以采用多种形式,包括——但不限于——电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质,该可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输,包括——但不限于——无线、有线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本申请操作的程序代码,程序设计语言包括面向对象的程序设计语言—诸如Java、C++等,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算装置上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算装置上部分在远程计算装置上执行、或者完全在远程计算装置或服务器上执行。在涉及远程计算装置的情形中,远程计算装置可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算装置,或者,可以连接到外部计算装置(例如利用因特网服务提供商来通过因特网连接)。
应当注意,尽管在上文详细描述中提及了装置的若干单元或子单元,但是这种划分仅仅是示例性的并非强制性的。实际上,根据本申请的实施方式,上文描述的两个或更多单元的特征和功能可以在一个单元中具体化。反之,上文描述的一个单元的特征和功能可以进一步划分为由多个单元来具体化。
此外,尽管在附图中以顺序描述了本申请方法的操作,但是,这并非要求或者暗示必须按照该顺序来执行这些操作,或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地,可以省略某些步骤,将多个步骤合并为一个步骤执行,和/或将一个步骤分解为多个步骤执行。
本领域内的技术人员应明白,本申请的实施例可提供为方法、***、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例做出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然,本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样,倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包含这些改动和变型在内。
Claims (8)
1.一种目标检测方法,其特征在于,所述方法包括:
将待检测图像输入给层叠的多层卷积层进行处理,得到各卷积层对应的特征图;
针对每个卷积层,将该卷积层的特征图与其指定相邻卷积层的特征图进行特征融合,得到该卷积层的融合后的特征图,其中,至少一个卷积层的指定相邻卷积层为2个;
针对每个融合后的特征图,将该融合后的特征图根据预设的卷积核进行卷积处理,得到该融合后的特征图的特征映射;
根据得到各特征映射对待检测图像进行目标检测;
其中,所述针对每个卷积层,将该卷积层的特征图与其指定相邻卷积层的特征图进行特征融合,得到该卷积层的融合后的特征图,具体包括:
针对除第1层卷积层之外的每个卷积层执行:
若该卷积层为第2卷积层,则将该卷积层的特征图与第3卷积层的特征图进行特征融合,得到该卷积层的融合后的特征图;
若该卷积层为最后一个卷积层,则将该卷积层的特征图与上一卷积层的特征图进行特征融合,得到该卷积层的融合后的特征图;
若该卷积层为除第2和最后一个卷积层之外的卷积层,则将该卷积层的特征图、上一卷积层的特征图以及下一卷积层的特征图进行特征融合,得到该卷积层的融合后的特征图;
其中,将该卷积层的特征图与上一卷积层的特征图进行特征融合,得到该卷积层的融合后的特征图,具体包括:
对上一卷积层的特征图进行下采样,得到下采样后的特征图;其中,下采样后的特征图与该卷积层的特征图的大小相同;
将该卷积层的特征图与上一卷积层下采样后的特征图进行降维处理;
将降维处理后的该卷积层的特征图与上一卷积层下采样后的特征图相加,得到该卷积层的融合后的特征图。
2.根据权利要求1所述的方法,其特征在于,将该卷积层的特征图、上一卷积层的特征图以及下一卷积层的特征图进行特征融合,得到该卷积层的融合后的特征图,具体包括:
对上一卷积层的特征图进行下采样,得到下采样后的特征图;以及,对下一卷积层的特征图进行上采样,得到上采样后的特征图;其中,下采样后的特征图和上采样后的特征图与该卷积层的特征图的大小相同;
将该卷积层的特征图、上一卷积层下采样后的特征图以及下一卷积层上采样后的特征图进行降维处理;
将降维处理后的该卷积层的特征图、上一卷积层下采样后的特征图以及下一卷积层上采样后的特征图相加,得到该卷积层的融合后的特征图。
3.根据权利要求1所述的方法,其特征在于,得到该融合后的特征图的特征映射之前,所述方法还包括:
将融合次数增加指定值;
判断增加后的融合次数是否达到预期值;
若没有达到预期值,则针对各层融合后的特征图执行:
针对每个卷积层,将该卷积层融合后的特征图与其指定相邻卷积层的融合后的特征图进行特征融合,得到该卷积层的再次融合后的特征图,其中,至少一个卷积层的指定相邻卷积层为2个;
返回执行将融合次数增加指定值的步骤。
4.根据权利要求1所述的方法,其特征在于,所述根据获取的所述特征映射对待检测图像进行目标检测,具体包括:
根据获取的所述特征映射对待检测图像进行目标检测,得到检测的目标在待检测图像中候选框;
剔除包含在另一个候选框中的候选框;
将剩余的候选框确定为检测的目标所在的候选框。
5.根据权利要求4所述的方法,其特征在于,得到候选框时每个候选框对应一个得分,所述剔除包含在另一个候选框中的候选框,具体包括:
确定得分最高的候选框;
针对低于最高得分的每个候选框执行:
计算该候选框与得分最高的候选框的重叠区域与该候选框面积的比值是否大于预设比值;
若大于预设比值,则剔除该候选框;
若不大于预设比值,则保留该候选框;
若保留的候选框大于1个,则由保留的候选框构成一个待处理集合,针对该待处理集合返回执行确定得分最高的候选框的步骤。
6.一种目标检测装置,其特征在于,所述装置包括:
第一处理模块,用于将待检测图像输入给层叠的多层卷积层进行处理,得到各卷积层对应的特征图;
融合模块,用于针对每个卷积层,将该卷积层的特征图与其指定相邻卷积层的特征图进行特征融合,得到该卷积层的融合后的特征图,其中,至少一个卷积层的指定相邻卷积层为2个;其中,所述针对每个卷积层,将该卷积层的特征图与其指定相邻卷积层的特征图进行特征融合,得到该卷积层的融合后的特征图,具体包括:针对除第1层卷积层之外的每个卷积层执行:若该卷积层为第2卷积层,则将该卷积层的特征图与第3卷积层的特征图进行特征融合,得到该卷积层的融合后的特征图;
若该卷积层为最后一个卷积层,则将该卷积层的特征图与上一卷积层的特征图进行特征融合,得到该卷积层的融合后的特征图;若该卷积层为除第2和最后一个卷积层之外的卷积层,则将该卷积层的特征图、上一卷积层的特征图以及下一卷积层的特征图进行特征融合,得到该卷积层的融合后的特征图;其中,将该卷积层的特征图与上一卷积层的特征图进行特征融合,得到该卷积层的融合后的特征图,具体包括:对上一卷积层的特征图进行下采样,得到下采样后的特征图;其中,下采样后的特征图与该卷积层的特征图的大小相同;将该卷积层的特征图与上一卷积层下采样后的特征图进行降维处理;将降维处理后的该卷积层的特征图与上一卷积层下采样后的特征图相加,得到该卷积层的融合后的特征图;
第二处理模块,用于针对每个融合后的特征图,将该融合后的特征图根据预设的卷积核进行卷积处理,得到该融合后的特征图的特征映射;
检测模块,用于根据得到各特征映射对待检测图像进行目标检测。
7.一种计算机可读介质,存储有计算机可执行指令,其特征在于,所述计算机可执行指令用于执行如权利要求1-5中任一权利要求所述的方法。
8.一种计算装置,其特征在于,包括:
至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行如权利要求1-5中任一权利要求所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910100096.1A CN109816671B (zh) | 2019-01-31 | 2019-01-31 | 一种目标检测方法、装置及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910100096.1A CN109816671B (zh) | 2019-01-31 | 2019-01-31 | 一种目标检测方法、装置及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109816671A CN109816671A (zh) | 2019-05-28 |
CN109816671B true CN109816671B (zh) | 2021-09-24 |
Family
ID=66606275
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910100096.1A Active CN109816671B (zh) | 2019-01-31 | 2019-01-31 | 一种目标检测方法、装置及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109816671B (zh) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110245697B (zh) * | 2019-05-31 | 2021-10-26 | 厦门大学 | 一种表面脏污检测方法、终端设备及存储介质 |
CN110309823B (zh) * | 2019-06-26 | 2022-10-18 | 浙江大华技术股份有限公司 | 一种安全检查的方法及装置 |
CN112308105B (zh) * | 2019-08-02 | 2024-04-12 | 北京图森智途科技有限公司 | 目标检测方法、目标检测器及相关设备 |
CN111144484B (zh) * | 2019-12-26 | 2020-10-23 | 深圳集智数字科技有限公司 | 一种图像识别方法及装置 |
CN111507408B (zh) * | 2020-04-17 | 2022-11-04 | 深圳市商汤科技有限公司 | 图像处理方法及装置、电子设备和存储介质 |
CN111709415B (zh) * | 2020-04-29 | 2023-10-27 | 北京迈格威科技有限公司 | 目标检测方法、装置、计算机设备和存储介质 |
CN113658230B (zh) * | 2020-05-12 | 2024-05-28 | 武汉Tcl集团工业研究院有限公司 | 一种光流估计方法、终端以及存储介质 |
CN112766087A (zh) * | 2021-01-04 | 2021-05-07 | 武汉大学 | 一种基于知识蒸馏的光学遥感图像舰船检测方法 |
CN113570608B (zh) * | 2021-06-30 | 2023-07-21 | 北京百度网讯科技有限公司 | 目标分割的方法、装置及电子设备 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108154105A (zh) * | 2017-12-21 | 2018-06-12 | 深圳先进技术研究院 | 水下生物检测与识别方法、装置、服务器及终端设备 |
CN108460403A (zh) * | 2018-01-23 | 2018-08-28 | 上海交通大学 | 一种图像中多尺度特征融合的目标检测方法与*** |
CN108509978A (zh) * | 2018-02-28 | 2018-09-07 | 中南大学 | 基于cnn的多级特征融合的多类目标检测方法及模型 |
CN108830280A (zh) * | 2018-05-14 | 2018-11-16 | 华南理工大学 | 一种基于区域提名的小目标检测方法 |
CN109034245A (zh) * | 2018-07-27 | 2018-12-18 | 燕山大学 | 一种利用特征图融合的目标检测方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10147019B2 (en) * | 2017-03-20 | 2018-12-04 | Sap Se | Small object detection |
CN108764063B (zh) * | 2018-05-07 | 2020-05-19 | 华中科技大学 | 一种基于特征金字塔的遥感影像时敏目标识别***及方法 |
-
2019
- 2019-01-31 CN CN201910100096.1A patent/CN109816671B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108154105A (zh) * | 2017-12-21 | 2018-06-12 | 深圳先进技术研究院 | 水下生物检测与识别方法、装置、服务器及终端设备 |
CN108460403A (zh) * | 2018-01-23 | 2018-08-28 | 上海交通大学 | 一种图像中多尺度特征融合的目标检测方法与*** |
CN108509978A (zh) * | 2018-02-28 | 2018-09-07 | 中南大学 | 基于cnn的多级特征融合的多类目标检测方法及模型 |
CN108830280A (zh) * | 2018-05-14 | 2018-11-16 | 华南理工大学 | 一种基于区域提名的小目标检测方法 |
CN109034245A (zh) * | 2018-07-27 | 2018-12-18 | 燕山大学 | 一种利用特征图融合的目标检测方法 |
Also Published As
Publication number | Publication date |
---|---|
CN109816671A (zh) | 2019-05-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109816671B (zh) | 一种目标检测方法、装置及存储介质 | |
US20210158533A1 (en) | Image processing method and apparatus, and storage medium | |
CN109829909B (zh) | 一种目标检测方法、装置及存储介质 | |
CN110555847B (zh) | 一种基于卷积神经网络的图像处理方法及装置 | |
CN113139543B (zh) | 目标对象检测模型的训练方法、目标对象检测方法和设备 | |
CN114238904B (zh) | 身份识别方法、双通道超分模型的训练方法及装置 | |
CN110991560A (zh) | 一种结合上下文信息的目标检测方法及*** | |
JP2022549728A (ja) | 目標検出方法及び装置、電子機器、並びに記憶媒体 | |
CN114913325B (zh) | 语义分割方法、装置及计算机程序产品 | |
CN111144484B (zh) | 一种图像识别方法及装置 | |
CN112598673A (zh) | 全景分割方法、装置、电子设备和计算机可读介质 | |
CN106027854A (zh) | 一种应用于相机中适于fpga实现的联合滤波降噪方法 | |
CN117541963A (zh) | 包含文本风险的关键视频帧提取方法及装置 | |
CN113963167B (zh) | 应用于目标检测的方法、装置及计算机程序产品 | |
CN114842482A (zh) | 一种图像分类方法、装置、设备和存储介质 | |
CN112686267A (zh) | 图像语义分割方法及装置 | |
CN112990327A (zh) | 特征融合方法、装置、设备、存储介质以及程序产品 | |
CN112052863A (zh) | 一种图像检测方法及装置、计算机存储介质、电子设备 | |
CN115049895B (zh) | 一种图像属性识别方法、属性识别模型训练方法及装置 | |
CN115545938B (zh) | 一种执行风险识别业务的方法、装置、存储介质及设备 | |
US11295543B2 (en) | Object detection in an image | |
CN115359460B (zh) | 用于车辆的图像识别方法、装置、车辆和存储介质 | |
CN115661449B (zh) | 图像分割与图像分割模型的训练方法、装置 | |
CN117237666A (zh) | 多尺度边缘检测方法、装置、设备和可读存储介质 | |
CN115713749A (zh) | 自动驾驶模型的训练方法、装置、电子设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right | ||
TR01 | Transfer of patent right |
Effective date of registration: 20240508 Address after: Room 6227, No. 999, Changning District, Shanghai 200050 Patentee after: Shenlan robot (Shanghai) Co.,Ltd. Country or region after: China Address before: Unit 1001, 369 Weining Road, Changning District, Shanghai, 200336 (9th floor of actual floor) Patentee before: DEEPBLUE TECHNOLOGY (SHANGHAI) Co.,Ltd. Country or region before: China |