CN113111877A - 一种特征金字塔及其特征图像的提取方法 - Google Patents

一种特征金字塔及其特征图像的提取方法 Download PDF

Info

Publication number
CN113111877A
CN113111877A CN202110468907.0A CN202110468907A CN113111877A CN 113111877 A CN113111877 A CN 113111877A CN 202110468907 A CN202110468907 A CN 202110468907A CN 113111877 A CN113111877 A CN 113111877A
Authority
CN
China
Prior art keywords
layer
feature map
characteristic diagram
feature
weight
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110468907.0A
Other languages
English (en)
Inventor
唐得志
石先让
肖飞
韦圣兵
王磊
秦玉林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chery Automobile Co Ltd
Original Assignee
Chery Automobile Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chery Automobile Co Ltd filed Critical Chery Automobile Co Ltd
Priority to CN202110468907.0A priority Critical patent/CN113111877A/zh
Publication of CN113111877A publication Critical patent/CN113111877A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/253Fusion techniques of extracted features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及车辆环境感知技术领域,提供了一种特征金字塔,P2 in,P3 in,P4 in,P5 in为特征金字塔各层的输入特征图,P2 td,P3 td,P4 td表示各层自上向下的特征金字塔中间层融合特征图,P2 out,P3 out,P4 out,P5 out表示经过特征金字塔网络融合后的各层输出特征图,本发明除了增加自上向下的结构维度以外,还将底层的输出特征图自下向上进行特征融合,增强融合后高层特征图的分辨率信息,提高深度学习后续模块检测小目标的准确率。

Description

一种特征金字塔及其特征图像的提取方法
技术领域
本发明涉及到车辆环境感知技术领域,提供了一种特征金字塔及其特征图像的提取方法。
背景技术
目标检测是计算机视觉领域中一个重要的研究课题,目标检测被广泛应用于智能视频监控、自动驾驶、智能机器人等领域。目标检测的目的是在一张图像或者一段视频帧中,检测出目标的类型,位置等信息,对各类目标检测准确性和实时性是目标检测算法的一项重要评价指标。深度学习是目前目标检测领域的主流方法,深度学习通过卷积生成的特征图是影响目标检测结果是否准确的重要输入,传统的深度学习算法都是利用最后一层的特征图完成目标检测,很容易造成图片特征的丢失,尤其是小目标的检测准确度比较低,因此学术界提出了特征金字塔的多尺度特征融合结构,该结构利用底层特征图分辨率高的优点和高层特征图语义信息丰富的优点,将底层特征图和高层特征图都利用起来,通过算法输出分辨率和语义信息均较高的融合特征图。
现有特征金字塔网络结构有两点缺陷:(1)结构上只考虑自上往下,信息融合的维度有限,特征提取效果有待进一步提升;(2)传统特征金字塔网络在融合时是以相同的方式进行融合,而没有考虑到各级特征对融合结果贡献度的差异性,所以对小目标的检测效果不好。
发明内容
本发明提供了一种特征金字塔,旨在改善上述问题。
本发明是这样是实现的,一种特征金字塔,用于深度学习,所述特征金字塔包括:
第一层输入特征图P2 in与第一层中间特征图P2 td、第一层输出特征图P2 out连接,第一层中间特征图P2 td与第一层输出特征图P2 out连接;
第二层输入特征图P3 in与第二层中间特征图P3 td、第二层输出特征图P3 out及第一层中间特征图P2 td连接,第二层中间特征图P3 td与第二层输出特征图P3 out、第一层输出特征图P2 out连接;
第三层输入特征图P4 in与第三层中间特征图P4 td、第三层输出特征图P4 out连接,第三层中间特征图P4 td与第二层中间特征图P3 td、第三层输出特征图P4 out连接,
第四层输入特征图P5 in与第三层中间特征图P4 td、第四层输出特征图P5 out连接,
第一层输出特征图P2 out、第二层输出特征图P3 out、第三层输出特征图P4 out及第四层输出特征图P5 out依次连接。
另一方面,本发明还提供了一种特征图像的提取方法,所述方法具体包括如下步骤:
S1、对输入帧图片利用3×3的卷积核和池化层进行下采样操作,下采样的倍数分别是22,23,24,25,获取四个特征图;
S2、将四个特征图分别输入权利要求1所述的特征金字塔,作为第一层输入特征图P2 in、第二层输入特征图P3 in、第三层输入特征图P4 in、第四层输入特征图P5 in
S3、所述特征金字塔输出第一层输出特征图P2 out、第二层输出特征图P3 out、第三层输出特征图P4 out及第四层输出特征图P5 out
进一步的,第一层中间特征图P2 td和输出特征图P2 out的计算公式具体如下:
Figure BDA0003044565130000031
Figure BDA0003044565130000032
w21是第一层输入特征图P2 in到第一层中间特征图P2 td的权重,w22是第二层输入特征图P3 in到第一层中间特征图P2 td的权重,w21'是第一层输入特征图P2 in到第一层输出特征图P2 out的权重,w22'是第一层中间特征图P2 td到第一层输出特征图P2 out的权重,w23'是第二层中间特征图P3 td到第一层输出特征图P2 out的权重,ε=0.001,Conv是对结果特征图利用通用的3×3卷积核做卷积运算,Resize表示对特征图P3 in和P3 td进行上采样操作。
进一步的,第二层中间特征图P3 td和输出特征图P3 out采用如下公式进行计算:
Figure BDA0003044565130000033
Figure BDA0003044565130000034
w31是第二层输入特征图P3 in到第二层中间特征图P3 td的权重,w32是第三层中间特征图P4 td到第二层中间特征图P3 td的权重,w31'是第二层输入特征图P3 in到第二层输出特征图P3 out的权重,w32'是第二层中间特征图P3 td到第二层输出特征图P3 out的权重,w33'是第一层输出特征图P2 out到第二层输出特征图P3 out的权重,ε=0.001,Conv是对结果特征图利用通用的3×3卷积核做卷积运算,Resize表示对特征图P4 td进行上采样操作和对特征图P2 out进行下采样操作。
进一步的,第三层中间特征图P4 td和输出特征图P4 out如式(5)和(6)所示:
Figure BDA0003044565130000041
Figure BDA0003044565130000042
w41是第三层输入特征图P4 in到第三层中间特征图P4 td的权重,w42是第四层输入特征图P5 in到第三层中间特征图P4 td的权重,w41'是第三层输入特征图P4 in到第三层输出特征图P4 out的权重,w42'是第三层中间特征图P4 td到第三层输出特征图P4 out的权重,w43'是第二层输出特征图P3 out到第三层输出特征图P4 out的权重,ε=0.001,Conv是对结果特征图利用通用的3×3卷积核做卷积运算,Resize表示对特征图P5 in进行上采样操作和对特征图P3 out进行下采样操作。
进一步的,第四层输出特征图P5 out采用如下公式进行计算:
Figure BDA0003044565130000043
w51是第四层输入特征图P5 in到第四层输出特征图P5 out的权重,w52是第三层输出特征图P4 out到第四层输出特征图P5 out的权重,ε=0.001,Conv是对结果特征图利用通用的3×3卷积核做卷积运算,Resize表示对特征图P4 out进行下采样操作。
另一方面,本发明还提供了一种计算机可读存储介质,所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行时实现上述特征图像的提取方法步骤。
本发明除了增加自上向下的结构维度以外,还将底层的输出特征图自下向上进行特征融合,增强融合后高层特征图的分辨率信息,提高深度学习后续模块检测小目标的准确率。
附图说明
图1为深度学习的流程图;
图2为本发明实施例提供的特征金字塔的结构示意图;
图3为本发明实施例提供的基于特征金字塔的特征图像提取方法流程图。
具体实施方式
下面对照附图,通过对最优实施例的描述,对本发明的具体实施方式作进一步详细的说明。
输入学***均池化层降低数据维度后,送入全连接层进行处理后得到一系列目标框坐标和属性数据,并与图片目标框标注的真实数据进行损失函数的计算,并根据损失函数的负梯度方向(即损失函数减少的方向)调整卷积层的参数及特征金字塔中的权重值,循环学习后,当损失函数的阙值小于设定值时,深度学习结束,网络参数即可固定,此时已完成训练的深度学习网络就可以进行测试图片的目标检测,如图1所示;
图2为本发明实施例提供的特征金字塔的结构示意图,为了便于说明,仅示出与发明实施例相关的部分。
该特征金字塔包括:
第一层输入特征图P2 in与第一层中间特征图P2 td、第一层输出特征图P2 out连接,第一层中间特征图P2 td与第一层输出特征图P2 out连接;
第二层输入特征图P3 in与第二层中间特征图P3 td、第二层输出特征图P3 out及第一层中间特征图P2 td连接,第二层中间特征图P3 td与第二层输出特征图P3 out、第一层输出特征图P2 out连接;
第三层输入特征图P4 in与第三层中间特征图P4 td、第三层输出特征图P4 out连接,第三层中间特征图P4 td与第二层中间特征图P3 td、第三层输出特征图P4 out连接,
第四层输入特征图P5 in与第三层中间特征图P4 td、第四层输出特征图P5 out连接,
第一层输出特征图P2 out、第二层输出特征图P3 out、第三层输出特征图P4 out及第四层输出特征图P5 out依次连接。
具体结构介绍:第一层中间特征图P2 td是第二层输入特征图P3 in自上向下和第一层输入特征图P2 in的权重融合特征图,第一层输出特征图P2 out是第一层中间特征图P2 td、第二层中间特征图P3 td和第一层输入特征图P2 in的权重融合特征图;第二层中间特征图P3 td是第二层输入特征图P3 in和第三层中间特征图P4 td的权重融合特征图,第二层输出特征图P3 out是第二层中间特征图P3 td、第一层输出特征图P2 out和第二层输入特征图P3 in的权重融合特征图;第三层中间特征图P4 td是第三层输入特征图P3 in和第四层输入特征图P5 in的权重融合特征图,第三层输出特征图P4 out是第三层中间特征图P4 td、第二层输出特征图P3 out和第三层输入特征图P4 in的权重融合特征图;第四层的输出特征图P5 out是第四层的输入特征图P5 in和第三层的输出特征图P4 out的权重融合特征图。
对输入的不同分辨率的特征图
Figure BDA0003044565130000061
采用如图1的结构,P2 in,P3 in,P4 in,P5 in表示特征金字塔各层的输入特征图,P2 td,P3 td,P4 td表示各层自上向下的特征金字塔中间层融合特征图,P2 out,P3 out,P4 out,P5 out表示经过特征金字塔网络融合后的各层输出特征图,本发明除了增加自上向下的结构维度以外,还将底层的输出特征图自下向上进行特征融合,增强融合后高层特征图的分辨率信息,提高深度学习后续模块检测小目标的准确率。
图3为本发明实施例提供的基于特征金字塔的特征图像提取方法流程图,该方法具体包括如下步骤:
S1、对输入帧图片利用3×3的卷积核和池化层进行下采样操作,下采样的倍数分别是22,23,24,25,获取四个特征图P2 in,P3 in,P4 in,P5 in,这里的下标2、3、4、5表示输出特征图的长宽是原输入图像的
Figure BDA0003044565130000071
倍数;
S2、将四个特征图分别输入特征金字塔,作为第一层输入特征图P2 in、第二层输入特征图P3 in、第三层输入特征图P4 in、第四层输入特征图P5 in
S3、所述特征金字塔输出第一层输出特征图P2 out、第二层输出特征图P3 out、第三层输出特征图P4 out及第四层输出特征图P5 out
(1)第一层中间特征图P2 td和输出特征图P2 out如式(1)和(2)所示:
Figure BDA0003044565130000072
Figure BDA0003044565130000073
w21是第一层输入特征图P2 in到第一层中间特征图P2 td的权重,w22是第二层输入特征图P3 in到第一层中间特征图P2 td的权重,w21'是第一层输入特征图P2 in到第一层输出特征图P2 out的权重,w22'是第一层中间特征图P2 td到第一层输出特征图P2 out的权重,w23'是第二层中间特征图P3 td到第一层输出特征图P2 out的权重。
两组权重值w22、w21及w21'、w22'、w23'都采用常用的均方差损失函数梯度下降法来迭代更新,设置ε=0.001,避免分母为零的数值不稳定情况,Conv是对结果特征图利用通用的3×3卷积核做卷积运算,Resize表示对特征图P3 in和P3 td进行上采样操作保证其与第一层输入特征图P2 in、第一层中间特征图P2 td及第一层输出特征图P2 out的分辨率相同,便于特征图求和操作。
(2)第二层中间特征图P3 td和输出特征图P3 out如式(3)和(4)所示
Figure BDA0003044565130000081
Figure BDA0003044565130000082
w31是第二层输入特征图P3 in到第二层中间特征图P3 td的权重,w32是第三层中间特征图P4 td到第二层中间特征图P3 td的权重,w31'是第二层输入特征图P3 in到第二层输出特征图P3 out的权重,w32'是第二层中间特征图P3 td到第二层输出特征图P3 out的权重,w33'是第一层输出特征图P2 out到第二层输出特征图P3 out的权重。
两组权重值w31、w32和w31'、w32'、w33'都采用常用的均方差损失函数梯度下降法来迭代更新,设置ε=0.001,避免分母为零的数值不稳定情况,Conv是对结果特征图利用通用的3×3卷积核做卷积运算,Resize表示对特征图P4 td进行上采样操作和对特征图P2 out进行下采样操作保证其与第二层输入特征图P3 in、第二层中间特征图P3 td及第二层输出特征图P3 out的分辨率相同,便于特征图求和操作。
(3)第三层中间特征图P4 td和输出特征图P4 out如式(5)和(6)所示:
Figure BDA0003044565130000083
Figure BDA0003044565130000091
w41是第三层输入特征图P4 in到第三层中间特征图P4 td的权重,w42是第四层输入特征图P5 in到第三层中间特征图P4 td的权重,w41'是第三层输入特征图P4 in到第三层输出特征图P4 out的权重,w42'是第三层中间特征图P4 td到第三层输出特征图P4 out的权重,w43'是第二层输出特征图P3 out到第三层输出特征图P4 out的权重。
这两组权重值w41、w42及w41'、w42'、w43'都采用常用的均方差损失函数梯度下降法来迭代更新,设置ε=0.001,避免分母为零的数值不稳定情况,Conv是对结果特征图利用通用的3×3卷积核做卷积运算,Resize表示对特征图P5 in进行上采样操作和对特征图P3 out进行下采样操作保证其第三层输入特征图P4 in、第三层中间特征图P4 td及第三层输出特征图P4 out的分辨率相同,便于特征图求和操作。
(4)第四层输出特征图P5 out如式(7)所示:
Figure BDA0003044565130000092
w51是第四层输入特征图P5 in到第四层输出特征图P5 out的权重,w52是第三层输出特征图P4 out到第四层输出特征图P5 out的权重;
w51和w52采用常用的均方差损失函数梯度下降法来迭代更新,设置ε=0.001,避免分母为零的数值不稳定情况,Conv是对结果特征图利用通用的3×3卷积核做卷积运算,Resize表示对特征图P4 out进行下采样操作保证其与第四层输入特征图P5 in及第四层输出特征图P5 out的辨率相同,便于特征图求和操作。
相应的,本发明提供一种计算机可读存储介质,所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行时实现前述所述的基于特征金字塔的特征图像提取方法步骤。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参加即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于硬件+程序类实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参加方法实施例的部分说明即可。
本说明书实施例并不局限于必须是符合行业通信标准、标准计算机数据处理和数据存储规则或本说明书一个或多个实施例所描述的情况。某些行业标准或者使用自定义方式或实施例描述的实施基础上略加修改后的实施方案也可以实现上述实施例相同、等同或相近、或变形后可预料的实施效果。应用这些修改或变形后的数据获取、存储、判断、处理方式等获取的实施例,仍然可以属于本说明书实施例的可选实施方案范围之内。另外,在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤.
而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应所述以权利要求的保护范围为准。

Claims (7)

1.一种特征金字塔,用于深度学习,其特征在于,所述特征金字塔包括:
第一层输入特征图P2 in与第一层中间特征图P2 td、第一层输出特征图P2 out连接,第一层中间特征图P2 td与第一层输出特征图P2 out连接;
第二层输入特征图P3 in与第二层中间特征图P3 td、第二层输出特征图P3 out及第一层中间特征图P2 td连接,第二层中间特征图P3 td与第二层输出特征图P3 out、第一层输出特征图P2 out连接;
第三层输入特征图P4 in与第三层中间特征图P4 td、第三层输出特征图P4 out连接,第三层中间特征图P4 td与第二层中间特征图P3 td、第三层输出特征图P4 out连接,
第四层输入特征图P5 in与第三层中间特征图P4 td、第四层输出特征图P5 out连接,
第一层输出特征图P2 out、第二层输出特征图P3 out、第三层输出特征图P4 out及第四层输出特征图P5 out依次连接。
2.一种特征图像的提取方法,其特征在于,所述方法具体包括如下步骤:
S1、对输入帧图片利用3×3的卷积核和池化层进行下采样操作,下采样的倍数分别是22,23,24,25,获取四个特征图;
S2、将四个特征图分别输入权利要求1所述的特征金字塔,作为第一层输入特征图P2 in、第二层输入特征图P3 in、第三层输入特征图P4 in、第四层输入特征图P5 in
S3、所述特征金字塔输出第一层输出特征图P2 out、第二层输出特征图P3 out、第三层输出特征图P4 out及第四层输出特征图P5 out
3.如权利要求2所述特征图像的提取方法,其特征在于,第一层中间特征图P2 td和输出特征图P2 out的计算公式具体如下:
Figure FDA0003044565120000021
Figure FDA0003044565120000022
w21是第一层输入特征图
Figure FDA0003044565120000023
到第一层中间特征图
Figure FDA0003044565120000024
的权重,w22是第二层输入特征图
Figure FDA0003044565120000025
到第一层中间特征图
Figure FDA0003044565120000026
的权重,w21'是第一层输入特征图
Figure FDA0003044565120000027
到第一层输出特征图
Figure FDA0003044565120000028
的权重,w22'是第一层中间特征图P2 td到第一层输出特征图
Figure FDA0003044565120000029
的权重,w23'是第二层中间特征图
Figure FDA00030445651200000210
到第一层输出特征图
Figure FDA00030445651200000211
的权重,ε=0.001,Conv是对结果特征图利用通用的3×3卷积核做卷积运算,Resize表示对特征图P3 in和P3 td进行上采样操作。
4.如权利要求2所述特征图像的提取方法,其特征在于,第二层中间特征图P3 td和输出特征图P3 out采用如下公式进行计算:
Figure FDA00030445651200000212
Figure FDA00030445651200000213
w31是第二层输入特征图P3 in到第二层中间特征图P3 td的权重,w32是第三层中间特征图
Figure FDA00030445651200000214
到第二层中间特征图P3 td的权重,w31'是第二层输入特征图P3 in到第二层输出特征图P3 out的权重,w32'是第二层中间特征图P3 td到第二层输出特征图P3 out的权重,w33'是第一层输出特征图
Figure FDA00030445651200000215
到第二层输出特征图P3 out的权重,ε=0.001,Conv是对结果特征图利用通用的3×3卷积核做卷积运算,Resize表示对特征图P4 td进行上采样操作和对特征图P2 out进行下采样操作。
5.如权利要求2所述特征图像的提取方法,其特征在于,第三层中间特征图P4 td和输出特征图P4 out如式(5)和(6)所示:
Figure FDA0003044565120000031
Figure FDA0003044565120000032
w41是第三层输入特征图
Figure FDA0003044565120000033
到第三层中间特征图
Figure FDA0003044565120000034
的权重,w42是第四层输入特征图
Figure FDA0003044565120000035
到第三层中间特征图
Figure FDA0003044565120000036
的权重,w41'是第三层输入特征图
Figure FDA0003044565120000037
到第三层输出特征图
Figure FDA0003044565120000038
的权重,w42'是第三层中间特征图
Figure FDA0003044565120000039
到第三层输出特征图
Figure FDA00030445651200000310
的权重,w43'是第二层输出特征图P3 out到第三层输出特征图
Figure FDA00030445651200000311
的权重,ε=0.001,Conv是对结果特征图利用通用的3×3卷积核做卷积运算,Resize表示对特征图P5 in进行上采样操作和对特征图P3 out进行下采样操作。
6.如权利要求2所述特征图像的提取方法,其特征在于,第四层输出特征图P5 out采用如下公式进行计算:
Figure FDA00030445651200000312
w51是第四层输入特征图
Figure FDA00030445651200000313
到第四层输出特征图
Figure FDA00030445651200000314
的权重,w52是第三层输出特征图
Figure FDA00030445651200000315
到第四层输出特征图
Figure FDA00030445651200000316
的权重,ε=0.001,Conv是对结果特征图利用通用的3×3卷积核做卷积运算,Resize表示对特征图P4 out进行下采样操作。
7.一种计算机可读存储介质,其特征在于,所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行时实现权利要求2至权利要求6所述的特征图像的提取方法步骤。
CN202110468907.0A 2021-04-28 2021-04-28 一种特征金字塔及其特征图像的提取方法 Pending CN113111877A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110468907.0A CN113111877A (zh) 2021-04-28 2021-04-28 一种特征金字塔及其特征图像的提取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110468907.0A CN113111877A (zh) 2021-04-28 2021-04-28 一种特征金字塔及其特征图像的提取方法

Publications (1)

Publication Number Publication Date
CN113111877A true CN113111877A (zh) 2021-07-13

Family

ID=76720283

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110468907.0A Pending CN113111877A (zh) 2021-04-28 2021-04-28 一种特征金字塔及其特征图像的提取方法

Country Status (1)

Country Link
CN (1) CN113111877A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113537070A (zh) * 2021-07-19 2021-10-22 中国第一汽车股份有限公司 一种检测方法、装置、电子设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109410219A (zh) * 2018-10-09 2019-03-01 山东大学 一种基于金字塔融合学习的图像分割方法、装置和计算机可读存储介质
CN110543890A (zh) * 2019-07-22 2019-12-06 杭州电子科技大学 一种基于特征金字塔的深度神经网络图像匹配方法
CN111461217A (zh) * 2020-03-31 2020-07-28 华南理工大学 一种基于特征融合和上采样的航拍图像小目标检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109410219A (zh) * 2018-10-09 2019-03-01 山东大学 一种基于金字塔融合学习的图像分割方法、装置和计算机可读存储介质
CN110543890A (zh) * 2019-07-22 2019-12-06 杭州电子科技大学 一种基于特征金字塔的深度神经网络图像匹配方法
CN111461217A (zh) * 2020-03-31 2020-07-28 华南理工大学 一种基于特征融合和上采样的航拍图像小目标检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
石先让等: "一种新颖的单目视觉深度学习算法:H_SFPN", 《计算机科学》, 5 November 2020 (2020-11-05), pages 2 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113537070A (zh) * 2021-07-19 2021-10-22 中国第一汽车股份有限公司 一种检测方法、装置、电子设备及存储介质
CN113537070B (zh) * 2021-07-19 2022-11-22 中国第一汽车股份有限公司 一种检测方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN110533084B (zh) 一种基于自注意力机制的多尺度目标检测方法
CN108304820B (zh) 一种人脸检测方法、装置及终端设备
CN108052911B (zh) 基于深度学习的多模态遥感影像高层特征融合分类方法
CN107748895B (zh) 基于dct-cnn模型的无人机着陆地貌图像分类方法
CN112364931B (zh) 一种基于元特征和权重调整的少样本目标检测方法及网络***
JP6960722B2 (ja) 生成装置、生成方法、及び生成プログラム
CN111260688A (zh) 一种孪生双路目标跟踪方法
CN108764247B (zh) 基于稠密连接的深度学习物体检测方法及装置
CN110059728B (zh) 基于注意力模型的rgb-d图像视觉显著性检测方法
CN107239733A (zh) 连续手写字识别方法及***
CN112800964A (zh) 基于多模块融合的遥感影像目标检测方法及***
CN111160229B (zh) 基于ssd网络的视频目标检测方法及装置
CN109711466B (zh) 一种基于边缘保留滤波的cnn高光谱图像分类方法
CN114821102A (zh) 密集柑橘数量检测方法、设备、存储介质及装置
WO2020228536A1 (zh) 图标生成方法及装置、获取图标的方法、电子设备以及存储介质
CN113705655A (zh) 三维点云全自动分类方法及深度神经网络模型
EP3671635B1 (en) Curvilinear object segmentation with noise priors
CN113111877A (zh) 一种特征金字塔及其特征图像的提取方法
CN111860637A (zh) 一种单发多框红外目标检测方法
CN113743521B (zh) 一种基于多尺度上下文感知的目标检测方法
WO2015176502A1 (zh) 一种图像特征的估计方法和设备
CN110827327B (zh) 一种基于融合的长期目标跟踪方法
CN108876776B (zh) 一种分类模型生成方法、眼底图像分类方法及装置
CN113963272A (zh) 一种基于改进yolov3的无人机图像目标检测方法
CN109800424A (zh) 一种基于改进矩阵分解与跨通道卷积神经网络的推荐方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210713