CN109472298A - 用于小尺度目标检测的深度双向特征金字塔增强网络 - Google Patents

用于小尺度目标检测的深度双向特征金字塔增强网络 Download PDF

Info

Publication number
CN109472298A
CN109472298A CN201811219005.8A CN201811219005A CN109472298A CN 109472298 A CN109472298 A CN 109472298A CN 201811219005 A CN201811219005 A CN 201811219005A CN 109472298 A CN109472298 A CN 109472298A
Authority
CN
China
Prior art keywords
target
output
network
scale
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811219005.8A
Other languages
English (en)
Other versions
CN109472298B (zh
Inventor
庞彦伟
朱海龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN201811219005.8A priority Critical patent/CN109472298B/zh
Publication of CN109472298A publication Critical patent/CN109472298A/zh
Application granted granted Critical
Publication of CN109472298B publication Critical patent/CN109472298B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种用于小尺度目标检测的深度双向特征金字塔增强网络，包括：确定网络编码端的主干网络；设计Bottom‑up特征金字塔；设计Top‑down特征金字塔；目标检测子网络：采用faster‑rcnn中两阶段检测的策略，分别为候选框提取阶段和目标分类阶段，RPN阶段在top‑down特征金字塔的每个尺度的输出特征图上采用卷积核为3x3的卷积进行目标框的回归和是否是目标的概率的预测，经过筛选后的候选目标框再与对应尺度top‑down特征金字塔的输出特征图做ROI‑pooling，最后使用两个全连接层进行框的调整和目标具体类别的分类；输出物体检测结果。

Description

用于小尺度目标检测的深度双向特征金字塔增强网络
技术领域
本发明属于计算机视觉、模式识别、深度学习和人工智能等领域中的目标检测技术，具体而言，特别是涉及在图像或视频中使用深度卷积神经网络对场景中的目标进行检测的技术。
背景技术
在深度物体检测领域，随着物体检测性能的不断提高，小尺度物体检测的性能成为新的瓶颈，一些新的网络结构被提出用于改善小尺度物体检测的问题。特征金字塔网络(featurepyramidnetwork[1]，简称FPN)是其中的代表。FPN将在传统图像处理领域广泛应用的金字塔思想引入到深度物体检测架构中，在大尺度范围的物体检测中取得了很大的提升，特别是小尺度物体的检测性能。FPN中的特征金字塔是以自顶向下(top-down)的形式构造的，与主干网络融为一体，可以用在单阶段或双阶段物体检测方法中。在DSSD[2]中的特征金字塔结构与FPN类似，构造方式复杂一些，用在单阶段物体检测中。在Blitznet[3]的作者尝试使用特征金字塔的结构来同时解决物体检测和语义分割的多任务问题，用于单阶段物体检测。在DSOD[4]中，作者提出了一个自底向上(bottom-up)的基于密集连接的网络结构在前向融合更多的浅层网络特征。尽管这些方法使得小物体检测性能取得了一定的提升，但是离实际场景的要求还有一定距离。
现有的方法大都是采用将前一个尺度的主干网络特征经过一个跳连接模块与金字塔网络当前尺度的特征进行融合，有的是自顶向下的特征金字塔结构，有的是自底向上的结构，对不同尺度和不同语义层级特征的利用都不充分。
识别大尺度范围的物体时计算机视觉领域面对的一个挑战。目前，基于深度神经网络的物体检测方法在物体检测领域取得了压倒性的性能优势。但是大多数现存的物体检测方法对大尺度物体的检测效果较好，对小尺度物体检测的效果并不能令人满意。一个常见的小尺度物体检测问题如图1所示。原因在于随着网络的不断加深，特征图的分辨率相应的下降，小尺度物体的信息在特征提取过程中被逐渐的淹没在上下文的背景中。然而，在诸如自动驾驶等场景中，对小尺度物体的性能要求又非常严苛。
参考文献：
[1]Lin,T.Y.,Dollár,P.,Girshick,R.,He,K.,Hariharan,B.,&Belongie,S.(2017,July).Featurepyramidnetworks for object detection.In CVPR(Vol.1,No.2,p.4).
[2]Fu,C.Y.,Liu,W.,Ranga,A.,Tyagi,A.,&Berg,A.C.(2017).DSSD:Deconvolutional single shotdetector.arXivpreprint arXiv:1701.06659.
[3]Dvornik,N.,Shmelkov,K.,Mairal,J.,&Schmid,C.(2017,October).BlitzNet:A real-time deep network for scene understanding.In ICCV 2017-International Conference on ComputerVision(p.11).
[4]Shen,Z.,Liu,Z.,Li,J.,Jiang,Y.G.,Chen,Y.,&Xue,X.(2017,October).Dsod:Learning deeply supervised object detectors from scratch.In The IEEEInternational Conference on ComputerVision(ICCV)(Vol.3,No.6,p.7).
发明内容
为了改善小尺度物体信息随着网络加深而逐渐被背景淹没的问题，本发明提出了用于小尺度目标检测的深度双向特征金字塔增强网络，以改善物体检测算法的尺度鲁棒性。技术方案如下：
一种用于小尺度目标检测的深度双向特征金字塔增强网络，包括：
(1)确定网络编码端的主干网络：以残差网络作为主干网络，残差网络包含5个卷积模块，每个卷积模块以一个池化层(pooling)或者步长为二的卷积(strideconvolution)开始。
(2)设计Bottom-up特征金字塔：在bottom-up特征金字塔的构造过程中，每次特征融合操作将两路特征用对应元素相加的操作完成，一路由当前尺度的主干网络的pooling层或步长为二卷积层的输出经过一个卷积核为1x1的卷积层进行通道特征融合和通道方向维度调整，调整后的通道为统一的256，另一路为bottom-up金字塔结构中前一次特征融合后经过一个卷积核为3x3，步长为二，输出通道数为256的卷积层之后的输出，从主干网络的第三个卷积模块开始连续做三个尺度的融合；
(3)设计Top-down特征金字塔：在top-down特征金字塔的构造过程中，每次特征融合操作将三路特征用对应元素相加的操作融合，第一路为与当前融合模块输出尺度相同的主干网络的卷积模块最后一层的输出经过一个卷积核为1的卷积层融合通道特征并调整通道方向维度为统一的256之后的输出，第二路为bottom-up金字塔上与当前融合模块输出尺度的1/2尺度对应的特征融合模块的输出经过一个卷积核为3x3，输出通道数为256的卷积层，再经过一个倍数为2的上采样的输出，第三路为top-down金字塔上与当前融合模块输出尺度的1/2尺度对应的特征融合模块的输出经过一个卷积核为3x3，输出通道数为256的卷积层，再经过倍数为2的上采样的输出，在top-down特征金字塔中从主干网络的最后一个卷积模块的输出开始连续做三个尺度的融合；
(4)目标检测子网络：采用faster-rcnn中两阶段检测的策略，分别为候选框提取阶段和目标分类阶段，RPN阶段在top-down特征金字塔的每个尺度的输出特征图上采用卷积核为3x3的卷积进行目标框的回归和是否是目标的概率的预测，经过筛选后的候选目标框再与对应尺度top-down特征金字塔的输出特征图做ROI-pooling，最后使用两个全连接层进行框的调整和目标具体类别的分类；
(5)输出物体检测结果：给定输入图像，经过主干网络的特征提取，和bottom-up特征金字塔与top-down特征金字塔的特征融合，在top-down特征金字塔融合后的特征图上进行候选目标框的提取和分类，输出目标的位置和尺度由RPN阶段输出的候选目标框的位置信息经过目标分类阶段对位置信息回归的调整之后输出最终的位置和尺度，目标的类别由目标分类阶段的输出确定；由解码端多尺度特征空间与语义空间的融合，得到高分辨率的预测图，预测图经过上采样到与图像一致的尺度，进而得到输入图像的像素级语义分割图。
相比于FPN，本发明所提网络结构同时融合自顶向下和自底向上的双向金字塔，能够从细节更丰富的浅层网络保留更多小尺度物体信息。鉴于自底向上的金字塔结构使用了较小的通道数，只增加了很小的额外计算量。自底向上的金字塔在主干网络的前向部分进行了特征的融合，为信息的传递增加了更多的通道，从而能够改善信息传递过程中的小物体信息损失。在自顶向下的特征金字塔中的特征融合模块，利用了三路信息来源，且每路特征的语义级别都不同，增加了信息的多样性，有利于保留小尺度物体的信息。
附图说明
图1展示了小尺度目标检测问题。在左图中，穿黑衣服蹲坐的人漏检了，在右图中，最里面的两个孩子漏检了
图2描绘了本发明所提出的用于小尺度目标检测的深度双向特征金字塔增强网络
图3描述了在bottom-up特征金字塔以及top-down特征金字塔中的特征融合操作
图4展示了总体的目标检测网络架构
图5展示了Resnet50-FPN与本发明提出的PEN的一些实验结果对比。
图6展示了本发明的总体实施方案
具体实施方式
本发明提出了一个用于小尺度目标检测的深度双向特征金字塔增强网络，网络结构如图2所示，它能够增强特征的前向传递，特别是小尺度目标信息的保持。所提网络包含一个主干卷积神经网络和一个语义上自底向上(bottom-up)的特征金字塔以及一个语义上自顶向下(top-down)的特征金字塔。Top-down特征金字塔包含三个融合输入来源，分别是主干网络前一个尺度，top-down特征金字塔的当前尺度以及bottom-up特征金字塔的当前尺度。金字塔结构的特征融合模块如图3所示。在top-down特征金字塔中的特征融合模块包括上采样、卷积和对应元素相加的操作。在bottom-up特征金字塔中的特征融合模块包含下采样、卷积和对应元素相加的操作。在本发明中，使用自底向上的特征金字塔来增强类似FPN的自顶向下的特征金字塔从而在网络前向过程中保持更丰富的小尺度目标信息。增强后的双向特征金字塔网络作为主体网络可以与目标检测子网络(比如fast-rcnn)结合组成总体的目标检测网络如图4所示。无论是自底向上的特征金字塔和自顶向下的特征金字塔结构都有利于改善小尺度目标在深度网络前向过程中的信息损失，从而提高小尺度目标检测的性能。
本发明主要包括总体网络构造，网络的参数的学习两方面。下面分别就这两方面进行详细的说明。
首先是总体网络的构造，这方面可以分为主干网络，bottom-up特征金字塔，top-down特征金字塔以及目标检测子网络四个部分。
主干网络：在我们的实施中，以经典的残差网络作为主干网络。具体的实现可以结合应用场景和设备的要求来选择合适的主干网络，比如速度要求高和设备计算性能受限的场景，需要选择轻量级的主干网络，可以使用Resnet18等。当设备和效率要求不高但对性能要求严格的场景，可以采用更复杂的主干网络。在这里我们以Resnet50为例，50层的残差网络包含5个卷积模块，每个卷积模块以一个池化层(pooling)或者步长为二的卷积(strideconvolution)开始。
Bottom-up特征金字塔：bottom-up金字塔的构造操作由图3中的左图的操作完成，在bottom-up特征金字塔的构造过程中，每次特征融合操作将两路特征用对应元素相加的操作完成，一路由当前尺度的主干网络的pooling层或步长为二卷积层的输出经过一个卷积核为1x1的卷积层进行通道特征融合和通道方向维度调整，调整后的通道为统一的256，另一路为bottom-up金字塔结构中前一次特征融合后经过一个卷积核为3x3，步长为2，输出通道数为256的卷积层之后的输出。这样从主干网络的第三个卷积模块开始连续做三个尺度的融合。
Top-down特征金字塔：top-down特征金字塔的构造由图3中的右图的操作完成，在top-down特征金字塔的构造过程中，每次特征融合操作将三路特征用对应元素相加的操作融合。第一路为与当前融合模块输出尺度相同的主干网络的卷积模块最后一层的输出经过一个卷积核为1的卷积层融合通道特征并调整通道方向维度为统一的256之后的输出，第二路为bottom-up金字塔上与当前融合模块输出尺度的1/2尺度对应的特征融合模块的输出经过一个卷积核为3x3，输出通道数为256的卷积层，再经过一个倍数为2的上采样的输出，第三路为top-down金字塔上与当前融合模块输出尺度的1/2尺度对应的特征融合模块的输出经过一个卷积核为3x3，输出通道数为256的卷积层，再经过倍数为2的上采样的输出。在top-down特征金字塔中从主干网络的最后一个卷积模块的输出开始连续做三个尺度的融合。
目标检测子网络：与FPN类似，采用faster-rcnn中两阶段检测的策略，分别为候选框提取阶段和目标分类阶段。RPN(regionproposal network)阶段在top-down特征金字塔的每个尺度的输出特征图上采用卷积核为3x3的卷积进行目标框的回归和是否是目标的概率的预测。经过筛选后的候选目标框再与对应尺度top-down特征金字塔的输出特征图做ROI-pooling，最后使用两个全连接层进行框的调整和目标具体类别的分类。但此处与FPN有些差别，FPN中金字塔每个尺度融合后的特征用一个卷积核为3x3的卷积层引出后做检测。而所提网络在每次融合后紧跟一个3x3卷积层并在卷积层的输出特征图上做检测。
其次是网络参数的学习，这方面可以分为以下三部分。
训练和测试数据准备：为了证明所提网络的效果，需要选定一个数据库，将其分成训练机和测试集，训练集用于学***。鉴于我们关注的是小尺度目标检测，微软公开的COCO数据集是一个比较好的选择，上面已经分好了训练和测试集而且提供较为客观的评价标准，我们所做的只需要把数据集处理成我们的网络输入需要的形式和一些数据增强操作，这依赖于我们所选择深度学习开发框架，比如caffe，tensorflow，caffe2，mxnet，pytorch等。我们的实验都是基于此数据集展开。
网络初始化和训练超参数设置：我们使用在图像识别数据库Imagenet上训练好的resnet50模型作为主干网络参数的初始值，剩下的采用随机初始化。我们的训练在单个NVIDIATITANX GPU进行，训练的超参数包括数据集循环次数设为20个，学习率初始值设为1e-2，在第12和第18个循环结束后将为原来的1/10，批处理大小设为2。
训练策略的选择：我们采用两阶段训练策略，在第一阶段固定主干网络的值，调整bottom-up和top-down特征金字塔的参数以及检测子网络的参数直到收敛，在第二阶段整个网络一起进行微调。
实施方案的效果：在主干网络都选用resnet50时，我们所提网络(简称PEN)与FPN在coco数据集上的综合性能对比如表格1，可以看出本发明所提的PEN增加了检测的尺度鲁棒性，尤其是小尺度目标的检测性能有了明显的提升。
图5展示了一些本发明所提网络(pyramid enhancement network，简称为PEN)与FPN的对比结果，在采用相同的主干网络的情况下(比如Resnet50),所提PEN在小尺度目标(比如铁路人和小汽车)的检测上相比FPN具有很大优势。
表格1在COCO Minival数据集上测试性能的对比

Claims (1)

1.一种用于小尺度目标检测的深度双向特征金字塔增强网络，包括：
(1)确定网络编码端的主干网络：以残差网络作为主干网络，残差网络包含5个卷积模块，每个卷积模块以一个池化层(pooling)或者步长为二的卷积(stride convolution)开始。
(2)设计Bottom-up特征金字塔：在bottom-up特征金字塔的构造过程中，每次特征融合操作将两路特征用对应元素相加的操作完成，一路由当前尺度的主干网络的pooling层或步长为二卷积层的输出经过一个卷积核为1x1的卷积层进行通道特征融合和通道方向维度调整，调整后的通道为统一的256，另一路为bottom-up金字塔结构中前一次特征融合后经过一个卷积核为3x3，步长为二，输出通道数为256的卷积层之后的输出，从主干网络的第三个卷积模块开始连续做三个尺度的融合；
(3)设计Top-down特征金字塔：在top-down特征金字塔的构造过程中，每次特征融合操作将三路特征用对应元素相加的操作融合，第一路为与当前融合模块输出尺度相同的主干网络的卷积模块最后一层的输出经过一个卷积核为1的卷积层融合通道特征并调整通道方向维度为统一的256之后的输出，第二路为bottom-up金字塔上与当前融合模块输出尺度的1/2尺度对应的特征融合模块的输出经过一个卷积核为3x3，输出通道数为256的卷积层，再经过一个倍数为2的上采样的输出，第三路为top-down金字塔上与当前融合模块输出尺度的1/2尺度对应的特征融合模块的输出经过一个卷积核为3x3，输出通道数为256的卷积层，再经过倍数为2的上采样的输出，在top-down特征金字塔中从主干网络的最后一个卷积模块的输出开始连续做三个尺度的融合；
(4)目标检测子网络：采用faster-rcnn中两阶段检测的策略，分别为候选框提取阶段和目标分类阶段，RPN阶段在top-down特征金字塔的每个尺度的输出特征图上采用卷积核为3x3的卷积进行目标框的回归和是否是目标的概率的预测，经过筛选后的候选目标框再与对应尺度top-down特征金字塔的输出特征图做ROI-pooling，最后使用两个全连接层进行框的调整和目标具体类别的分类；
(5)输出物体检测结果：给定输入图像，经过主干网络的特征提取，和bottom-up特征金字塔与top-down特征金字塔的特征融合，在top-down特征金字塔融合后的特征图上进行候选目标框的提取和分类，输出目标的位置和尺度由RPN阶段输出的候选目标框的位置信息经过目标分类阶段对位置信息回归的调整之后输出最终的位置和尺度，目标的类别由目标分类阶段的输出确定；由解码端多尺度特征空间与语义空间的融合，得到高分辨率的预测图，预测图经过上采样到与图像一致的尺度，进而得到输入图像的像素级语义分割图。
CN201811219005.8A 2018-10-19 2018-10-19 用于小尺度目标检测的深度双向特征金字塔增强网络 Expired - Fee Related CN109472298B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811219005.8A CN109472298B (zh) 2018-10-19 2018-10-19 用于小尺度目标检测的深度双向特征金字塔增强网络

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811219005.8A CN109472298B (zh) 2018-10-19 2018-10-19 用于小尺度目标检测的深度双向特征金字塔增强网络

Publications (2)

Publication Number Publication Date
CN109472298A true CN109472298A (zh) 2019-03-15
CN109472298B CN109472298B (zh) 2021-06-01

Family

ID=65664134

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811219005.8A Expired - Fee Related CN109472298B (zh) 2018-10-19 2018-10-19 用于小尺度目标检测的深度双向特征金字塔增强网络

Country Status (1)

Country Link
CN (1) CN109472298B (zh)

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109858539A (zh) * 2019-01-24 2019-06-07 武汉精立电子技术有限公司 一种基于深度学习图像语义分割模型的roi区域提取方法
CN109903339A (zh) * 2019-03-26 2019-06-18 南京邮电大学 一种基于多维融合特征的视频群体人物定位检测方法
CN110084124A (zh) * 2019-03-28 2019-08-02 北京大学 基于特征金字塔网络的特征增强目标检测方法
CN110084816A (zh) * 2019-03-21 2019-08-02 深圳大学 物体分割方法、装置、计算机可读存储介质和计算机设备
CN110334622A (zh) * 2019-06-24 2019-10-15 电子科技大学 基于自适应特征金字塔的行人检索方法
CN110348384A (zh) * 2019-07-12 2019-10-18 沈阳理工大学 一种基于特征融合的小目标车辆属性识别方法
CN110378297A (zh) * 2019-07-23 2019-10-25 河北师范大学 一种基于深度学习的遥感图像目标检测方法
CN110580699A (zh) * 2019-05-15 2019-12-17 徐州医科大学 基于改进Faster RCNN算法的病理图像细胞核检测方法
CN111104962A (zh) * 2019-11-05 2020-05-05 北京航空航天大学青岛研究院 图像的语义分割方法、装置、电子设备及可读存储介质
CN111242122A (zh) * 2020-01-07 2020-06-05 浙江大学 一种轻量级深度神经网络旋转目标检测方法和***
CN111460926A (zh) * 2020-03-16 2020-07-28 华中科技大学 一种融合多目标跟踪线索的视频行人检测方法
CN111539435A (zh) * 2020-04-15 2020-08-14 创新奇智(合肥)科技有限公司 语义分割模型构建方法及图像分割方法、设备、存储介质
CN111695398A (zh) * 2019-12-24 2020-09-22 珠海大横琴科技发展有限公司 一种小目标船只识别方法、装置及电子设备
CN111898615A (zh) * 2020-06-16 2020-11-06 济南浪潮高新科技投资发展有限公司 一种物体检测模型的特征提取方法、装置、设备及介质
CN112528976A (zh) * 2021-02-09 2021-03-19 北京世纪好未来教育科技有限公司 文本检测模型的生成方法和文本检测方法
CN112634273A (zh) * 2021-03-10 2021-04-09 四川大学 一种基于深度神经网络的脑转移瘤分割***及其构建方法
CN113011442A (zh) * 2021-03-26 2021-06-22 山东大学 一种基于双向自适应特征金字塔的目标检测方法及***
CN113111736A (zh) * 2021-03-26 2021-07-13 浙江理工大学 基于深度可分离卷积及融合pan的多级特征金字塔目标检测方法
CN113378815A (zh) * 2021-06-16 2021-09-10 南京信息工程大学 一种场景文本定位识别的模型及其训练和识别的方法
CN113591872A (zh) * 2020-04-30 2021-11-02 华为技术有限公司 一种数据处理***、物体检测方法及其装置
WO2022246720A1 (zh) * 2021-05-24 2022-12-01 中国科学院深圳先进技术研究院 手术动作识别模型的训练方法、介质和设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102063623A (zh) * 2010-12-28 2011-05-18 中南大学 一种结合自底向上和自顶向下的图像感兴趣区域提取方法
CN106845351A (zh) * 2016-05-13 2017-06-13 苏州大学 一种用于视频的基于双向长短时记忆单元的行为识别方法
CN107391609A (zh) * 2017-07-01 2017-11-24 南京理工大学 一种双向多模态递归网络的图像描述方法
CN107798691A (zh) * 2017-08-30 2018-03-13 西北工业大学 一种基于视觉的无人机自主着陆地标实时检测跟踪方法
CN108171752A (zh) * 2017-12-28 2018-06-15 成都阿普奇科技股份有限公司 一种基于深度学习的海面船只视频检测与跟踪方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102063623A (zh) * 2010-12-28 2011-05-18 中南大学 一种结合自底向上和自顶向下的图像感兴趣区域提取方法
CN106845351A (zh) * 2016-05-13 2017-06-13 苏州大学 一种用于视频的基于双向长短时记忆单元的行为识别方法
CN107391609A (zh) * 2017-07-01 2017-11-24 南京理工大学 一种双向多模态递归网络的图像描述方法
CN107798691A (zh) * 2017-08-30 2018-03-13 西北工业大学 一种基于视觉的无人机自主着陆地标实时检测跟踪方法
CN108171752A (zh) * 2017-12-28 2018-06-15 成都阿普奇科技股份有限公司 一种基于深度学习的海面船只视频检测与跟踪方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
LEI ZHU 等: "Bidirectional Feature Pyramid Network with Recurrent Attention Residual Modules for Shadow Detection", 《COMPUTER VISION ECCV 2018》 *
NIKITA DVORNIK 等: "BlitzNet: A Real-Time Deep Network for Scene Understanding", 《ARXIV:1708.02813V1 [CS.CV]》 *
TSUNG-YI LIN 等: "Feature Pyramid Networks for Object Detection", 《ARXIV:1612.03144V2 [CS.CV]》 *
韦燕凤 等: "用边缘金字塔结构实现Hausdorff距离匹配", 《计算机辅助设计与图形学学报》 *

Cited By (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109858539A (zh) * 2019-01-24 2019-06-07 武汉精立电子技术有限公司 一种基于深度学习图像语义分割模型的roi区域提取方法
WO2020186563A1 (zh) * 2019-03-21 2020-09-24 深圳大学 物体分割方法、装置、计算机可读存储介质和计算机设备
CN110084816A (zh) * 2019-03-21 2019-08-02 深圳大学 物体分割方法、装置、计算机可读存储介质和计算机设备
CN109903339A (zh) * 2019-03-26 2019-06-18 南京邮电大学 一种基于多维融合特征的视频群体人物定位检测方法
CN109903339B (zh) * 2019-03-26 2021-03-05 南京邮电大学 一种基于多维融合特征的视频群体人物定位检测方法
CN110084124A (zh) * 2019-03-28 2019-08-02 北京大学 基于特征金字塔网络的特征增强目标检测方法
CN110580699A (zh) * 2019-05-15 2019-12-17 徐州医科大学 基于改进Faster RCNN算法的病理图像细胞核检测方法
CN110334622A (zh) * 2019-06-24 2019-10-15 电子科技大学 基于自适应特征金字塔的行人检索方法
CN110334622B (zh) * 2019-06-24 2022-04-19 电子科技大学 基于自适应特征金字塔的行人检索方法
CN110348384A (zh) * 2019-07-12 2019-10-18 沈阳理工大学 一种基于特征融合的小目标车辆属性识别方法
CN110348384B (zh) * 2019-07-12 2022-06-17 沈阳理工大学 一种基于特征融合的小目标车辆属性识别方法
CN110378297A (zh) * 2019-07-23 2019-10-25 河北师范大学 一种基于深度学习的遥感图像目标检测方法
CN110378297B (zh) * 2019-07-23 2022-02-11 河北师范大学 基于深度学习的遥感图像目标检测方法、装置、及存储介质
CN111104962A (zh) * 2019-11-05 2020-05-05 北京航空航天大学青岛研究院 图像的语义分割方法、装置、电子设备及可读存储介质
CN111104962B (zh) * 2019-11-05 2023-04-18 北京航空航天大学青岛研究院 图像的语义分割方法、装置、电子设备及可读存储介质
CN111695398A (zh) * 2019-12-24 2020-09-22 珠海大横琴科技发展有限公司 一种小目标船只识别方法、装置及电子设备
CN111242122A (zh) * 2020-01-07 2020-06-05 浙江大学 一种轻量级深度神经网络旋转目标检测方法和***
CN111242122B (zh) * 2020-01-07 2023-09-08 浙江大学 一种轻量级深度神经网络旋转目标检测方法和***
CN111460926A (zh) * 2020-03-16 2020-07-28 华中科技大学 一种融合多目标跟踪线索的视频行人检测方法
CN111460926B (zh) * 2020-03-16 2022-10-14 华中科技大学 一种融合多目标跟踪线索的视频行人检测方法
CN111539435A (zh) * 2020-04-15 2020-08-14 创新奇智(合肥)科技有限公司 语义分割模型构建方法及图像分割方法、设备、存储介质
CN113591872A (zh) * 2020-04-30 2021-11-02 华为技术有限公司 一种数据处理***、物体检测方法及其装置
WO2021218786A1 (zh) * 2020-04-30 2021-11-04 华为技术有限公司 一种数据处理***、物体检测方法及其装置
CN111898615A (zh) * 2020-06-16 2020-11-06 济南浪潮高新科技投资发展有限公司 一种物体检测模型的特征提取方法、装置、设备及介质
CN112528976A (zh) * 2021-02-09 2021-03-19 北京世纪好未来教育科技有限公司 文本检测模型的生成方法和文本检测方法
CN112634273A (zh) * 2021-03-10 2021-04-09 四川大学 一种基于深度神经网络的脑转移瘤分割***及其构建方法
CN113111736A (zh) * 2021-03-26 2021-07-13 浙江理工大学 基于深度可分离卷积及融合pan的多级特征金字塔目标检测方法
CN113011442A (zh) * 2021-03-26 2021-06-22 山东大学 一种基于双向自适应特征金字塔的目标检测方法及***
WO2022246720A1 (zh) * 2021-05-24 2022-12-01 中国科学院深圳先进技术研究院 手术动作识别模型的训练方法、介质和设备
CN113378815A (zh) * 2021-06-16 2021-09-10 南京信息工程大学 一种场景文本定位识别的模型及其训练和识别的方法
CN113378815B (zh) * 2021-06-16 2023-11-24 南京信息工程大学 一种场景文本定位识别的***及其训练和识别的方法

Also Published As

Publication number Publication date
CN109472298B (zh) 2021-06-01

Similar Documents

Publication Publication Date Title
CN109472298A (zh) 用于小尺度目标检测的深度双向特征金字塔增强网络
CN109902806B (zh) 基于卷积神经网络的噪声图像目标边界框确定方法
Tao et al. An object detection system based on YOLO in traffic scene
CN110147797B (zh) 一种基于生成式对抗网络的草图补全与识别方法和装置
CN110837778A (zh) 一种基于骨架关节点序列的交警指挥手势识别方法
CN112163498B (zh) 前景引导和纹理聚焦的行人重识别模型建立方法及其应用
CN112084866A (zh) 一种基于改进YOLO v4算法的目标检测方法
CN110309723B (zh) 一种基于人体特征细分类的驾驶员行为识别方法
CN109543632A (zh) 一种基于浅层特征融合引导的深层网络行人检测方法
CN107085723A (zh) 一种基于深度学习模型的车牌字符整体识别方法
CN112800937A (zh) 一种智能人脸识别方法
CN107038442A (zh) 一种基于深度学习的车牌检测和整体识别方法
CN115810157A (zh) 一种基于轻量级特征融合的无人机目标检测方法
WO2023030182A1 (zh) 图像生成方法及装置
CN111680739A (zh) 一种目标检测和语义分割的多任务并行方法及***
Song et al. A joint siamese attention-aware network for vehicle object tracking in satellite videos
Xu et al. BANet: A balanced atrous net improved from SSD for autonomous driving in smart transportation
CN116596966A (zh) 一种基于注意力和特征融合的分割与跟踪方法
CN115410078A (zh) 一种低质量水下图像鱼类目标检测方法
CN109543519B (zh) 一种用于物体检测的深度分割引导网络
CN118015490A (zh) 一种无人机航拍图像小目标检测方法、***及电子设备
CN117593794A (zh) 改进的YOLOv7-tiny模型及基于该模型的人手脸检测方法及***
CN116503602A (zh) 基于多层级边缘增强的非结构化环境三维点云语义分割方法
Zhao et al. Object detector based on enhanced multi-scale feature fusion pyramid network
CN116402761A (zh) 一种基于双通道多尺度注意力机制的光伏板裂缝检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20210601

Termination date: 20211019