CN114092760A - 卷积神经网络中自适应特征融合方法及*** - Google Patents
卷积神经网络中自适应特征融合方法及*** Download PDFInfo
- Publication number
- CN114092760A CN114092760A CN202111310425.9A CN202111310425A CN114092760A CN 114092760 A CN114092760 A CN 114092760A CN 202111310425 A CN202111310425 A CN 202111310425A CN 114092760 A CN114092760 A CN 114092760A
- Authority
- CN
- China
- Prior art keywords
- features
- feature
- feature fusion
- scale
- scales
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 34
- 238000007500 overflow downdraw method Methods 0.000 title description 8
- 230000004927 fusion Effects 0.000 claims abstract description 209
- 238000000034 method Methods 0.000 claims abstract description 42
- 238000001514 detection method Methods 0.000 claims abstract description 34
- 230000003213 activating effect Effects 0.000 claims abstract description 10
- 238000000605 extraction Methods 0.000 claims description 31
- 230000004913 activation Effects 0.000 claims description 27
- 238000010606 normalization Methods 0.000 claims description 18
- 230000003044 adaptive effect Effects 0.000 claims description 10
- 238000005070 sampling Methods 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000007526 fusion splicing Methods 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 6
- 238000010586 diagram Methods 0.000 claims description 4
- 238000012549 training Methods 0.000 abstract description 18
- 238000013135 deep learning Methods 0.000 abstract description 11
- 230000011218 segmentation Effects 0.000 abstract description 5
- 238000013473 artificial intelligence Methods 0.000 abstract description 3
- 239000000463 material Substances 0.000 abstract description 2
- 230000008569 process Effects 0.000 description 10
- 230000006870 function Effects 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000007689 inspection Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000010355 oscillation Effects 0.000 description 2
- 230000002441 reversible effect Effects 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种卷积神经网络中自适应特征融合方法及***，其包括：获取当前特征融合层的各个尺度的特征的权重系数；对所述当前特征融合层的各个尺度的所述特征的所述权重系数进行激活和归一化；在所述当前特征融合层对各个尺度的所述特征进行加权融合，并将加权融合后的结果进行拼接，得到自适应特征融合结果，完成卷积神经网络中自适应特征融合，提高检测精度。本发明在提高了特征融合的对于不同训练目标的适应和收敛性，以及深度学习算法的整体精度的同时，能有效节省人力、物力和时间成本。本发明可以广泛在目标检测、跟踪、语义分割等人工智能技术领域中。
Description
技术领域
本发明涉及人工智能技术领域，特别是关于一种用于深度学习的卷积神经网络中自适应特征融合方法及***。
背景技术
近年来，随着基于卷积神经网络(convolutional neural networks，简称CNN)的深度学习的应用，计算机视觉领域内的图像分类、目标检测、语义分割等方向的研究都取得了显著的进展。与基于手工特征的算法相比，卷积神经网络能够非常鲁棒的学习到具有表达能力的特征，因此被广泛使用在目标检测流程中用来提取目标特征。
目标检测的解决方案已经逐渐汇聚在两种主流框架下：一种是以R-CNN,Fast-RCNN,Faster-RCNN和R-FCN等为代表的双阶段检测框架(two-stage detectionframeworks)，另一种是以YOLO、SSD、Retina-Net等为代表的单阶段检测框架(one-stagedetection frameworks)。特别是单阶段检测框架由于具有速度上的巨大优势，从而在工业中得到了更为广泛的应用。在单阶段检测框架中，为了提高检测精度，SSD创造性地尝试了分别从由低到高的多个不同卷积层，平行地提取不同尺度的特征，来分别应对不同大小的目标的检测的方法，从而取得了显著优于此前以YOLO为代表的只从末尾的单个卷积层提取特征的单阶段框架的成绩。然而单阶段检测框架因为自身网络结构和工作原理限制，难以做到类似Faster RCNN一样利用级联的多次检测机会，在卷积图中通过初步检测切割出可能存在目标的感兴趣的区域(RoI)，再把该区域的卷积图归一化到指定大小后作为后续检测的初始输入，从而以逐步递进的方式精确的将检测器的感受野与目标特征的尺度进行匹配，最终导致其在对不同大小的目标的适应性上弱于双阶段检测框架。近期随着以Retina-Net为代表的使用基于FPN等结构的特征金字塔分多层提取不同尺度的特征信息，利用下采样和上采样通路(top-down pathway)将不同尺度的特征信息对应的卷积图调整到相同大小，最终将其中的深层语义信息和浅层位置信息进行融合方法，逐渐成为单阶段检测框架的常用配置，单阶段检测框架对目标尺度的适应能力有了显著的提高。在特征金字塔结构中，典型的特征融合方法包括对来自网络中不同卷积层各个尺度的特征的卷积图进行以像素为单位的对位相加(element-wise)的模式，或将来自网络中不同卷积层各个尺度的特征的卷积图进行向量拼接(concat)的模式等。
然而带有特征金字塔的单阶段检测框架也并非绝对完美，其将检测不同大小的目标的检测器分别连接在相应特征尺度的特征提取卷积层(以下简称相应尺度的特征提取层)后面的做法会带来一个新的缺陷：即在训练过程中因为强制将目标样本按照目标标定框大小对应到相应尺度的特征提取层后面的检测器，因而尽管与之相邻尺度的特征提取层在原始图像的目标位置处也可提取出一部分目标特征，但是该类算法强制的让这些相邻尺度的特征提取层后面的检测器将目标及其类别的特征判断为不存在，最终对检测器对于目标种类的判断和位置的回归都起到了负面作用，不仅影响检测的精度，这种赋予相邻特征提取层之间相互矛盾的训练目标的做法还会进一步导致算法的训练难以收敛。为了解决上述问题，已经有研究者针对各层特征融合时将不同尺度特征对应的卷积图像素对位相加的element-wise模式，提出了由数据驱动的能够灵活改变不同尺度的特征的权重的特征融合策略，即自适应空间特征融合(ASFF)。ASFF策略通过一系列可学习的参数，自适应的学习和调整卷积图上每个位置处来自各个特征提取层的不同尺度的特征在卷积神经网络的正向特征融合中的权重，有效地缓解了在反向误差传播阶段相邻特征提取层对应的检测器的训练目标之间的矛盾，采用这种方法的YOLOv3等经典算法在MS COCO数据集上实现了比标准版本更好的速度与精度的折中。
在自适应空间特征融合(ASFF)方法中，对于特征融合层l的卷积图上的每一个像素(i,j),自适应地学习来自各个特征提取层的不同尺度的特征(该方法一共使用了3个尺度的特征)在该像素位置处的权重。假设
代表深度学习网络中从第n层到第l层的特征向量在第l层卷积图的像素(i,j)位置处的数值，则在特征融合层l的卷积图处融合后的结果在像素(i,j)位置处的数值
可以用以下公式计算：
其中，
分别代表来自3个特征提取层的不同尺度的特征在特征融合层l卷积图的像素(i,j)位置处进行自适应融合时候的归一化权重系数。
该方法通过在3个特征提取层后面各自增加一个额外的卷积分支，分别获得3个卷积图，并将3个卷积图中像素(i,j)位置处的数值
作为3个尺度的特征的权重系数，再利用softmax公式进行归一化，将各个权重系数自身的取值归一化到[0,1]区间，并将各个权重系数相加的和归一化到1，最终获得3个尺度的特征进行特征融合时的归一化的权重系数
通过上述操作，来自不同尺度的特征就可以在任意一个特征融合层l进行自适应的融合，而融合后的结果
可以被用作后续的检测器的初始输入，来进一步提高检测精度。
2020年后，随着特征融合技术的发展，在以YOLOV4为代表的越来越多的新一代目标检测算法逐渐证明，将来自网络中来自不同特征提取层的各个尺度的特征进行向量拼接的concat模式由于更完整地保留了各个尺度特征的细节信息，从而基于向量拼接模式的特征融合对提高后续目标检测等任务的精度的效果，显著优于传统的对各个尺度的特征进行以像素为单位的对位相加(element-wise)的模式。然而，现有的自适应空间特征融合(ASFF)方法，只能应用于传统的基于以像素为单位的对位相加(element-wise)的特征融合模式，无法用于上述基于向量拼接(concat)的模式。目前针对上述基于向量拼接(concat)的特征融合模式，还没有能自适应调整不同尺度特征的权重的特征融合方法，其结果是，人为强制各个尺度的特征以均等的权重进行拼接并参与特征融合，这种做法无法避免相邻特征提取层对应的检测器的训练目标之间产生矛盾，显然不利于提高含有特征融合结构的卷积神经网络对于不同训练目标的适应性和收敛性，最终影响目标检测整体的精度。
综上所述，在以目标检测、跟踪、语义分割等为目标的深度学***的自适应特征融合方法已经成为一个亟待解决的问题。
发明内容
针对卷积神经网络的基于向量拼接(concat)的特征融合模式中，人为强制各个尺度的特征以均等的权重参与特征融合，无法避免相邻特征提取层对应的检测器的训练目标之间产生矛盾，从而不利于提高含有特征融合的卷积神经网络对于不同训练目标的适应性和收敛性，最终影响深度学习整体精度的问题，本发明的目的是提供一种卷积神经网络中自适应特征融合方法及***，在提高了特征融合的对于不同训练目标的适应和收敛性，以及深度学习算法的整体精度的同时，能有效节省人力、物力和时间成本。
为实现上述目的，本发明采取以下技术方案：一种卷积神经网络中自适应特征融合方法，其包括：获取当前特征融合层的各个尺度的特征的权重系数；对所述当前特征融合层的各个尺度的所述特征的所述权重系数进行激活和归一化；在所述当前特征融合层对各个尺度的所述特征进行加权融合，并将加权融合后的结果进行拼接，得到自适应特征融合结果，完成卷积神经网络中自适应特征融合，提高检测精度。
进一步，所述获取当前特征融合层的各个尺度的特征的权重系数，包括：
在当前的特征融合层处，对来自不同特征提取层的不同尺度的特征进行融合，将所有尺度的特征对应的卷积图通过下采样或上采样操作缩放到相同大小；
将来自各个特征提取层的不同尺度的特征的卷积图分别送往一个轻量级卷积分支；
将不同卷积分支的结果在任意像素位置处的数值，作为当前特征融合层的卷积图像素位置处各个尺度的特征的权重系数。
进一步，所述对所述当前特征融合层的各个尺度的所述特征的所述权重系数进行激活和归一化，包括：
对当前特征融合层的卷积图上任意像素位置处的各个尺度的特征的权重系数进行非线性激活；
对非线性激活后的特征的权重系数进行线性归一化，得到每个尺度的特征的归一化权重系数；
获取当前特征融合层卷积图上全部像素位置处的归一化权重系数。
进一步，所述在所述当前特征融合层对各个尺度的所述特征进行加权融合，包括：
在当前特征融合层的卷积图上任意像素位置处分别将每个尺度的特征与其他尺度的特征进行加权融合；
获取当前取特征融合层卷积图上全部像素位置处，每个尺度的特征与其他尺度的特征进行加权融合的结果。
进一步，所述在当前特征融合层的卷积图上任意像素位置处分别将每个尺度的特征与其他尺度的特征进行加权融合，包括：
如果第m个尺度的特征在特征融合层l的卷积图像素(i,j)位置处的归一化权重系数αl,m,ij大于或等于全部M个不同尺度的特征的归一化权重系数的均值1/M，则在(i,j)位置处的该尺度的特征与其他尺度的特征加权融合后的结果
等于其自身。
进一步，所述在当前特征融合层的卷积图上任意像素位置处分别将每个尺度的特征与其他尺度的特征进行加权融合，包括：
如果第m个尺度的特征在特征融合层l的卷积图像素(i,j)位置处的归一化权重系数αl,m,ij小于全部M个不同尺度的特征的归一化权重系数的均值1/M，则在(i,j)位置处的该尺度的特征xl,m,ij与其他尺度的特征加权融合后的结果
为：
其中，
代表在特征融合层l的卷积图像素(i,j)位置处的其他尺度的特征中，所有归一化权重系数大于1/M的特征的加权均值。
进一步，所述加权均值
的计算方法为：
其中，Max[*,*]表示在括号中的两者之间取较大的一个的数值。
进一步，所述如果第m个尺度的特征在特征融合层l的卷积图像素(i,j)位置处的归一化权重系数αl,m,ij小于全部M个不同尺度的特征的归一化权重系数的均值1/M，且M等于2时，则在(i,j)位置处的该尺度的特征xl,m,ij与其他尺度的特征加权融合后的结果
为：
其中，xl,n≠m,ij表示在特征融合层l的卷积图像素(i,j)位置处的2个尺度的特征中，与第m个不一致的那1个。
进一步，所述将加权融合后的结果进行拼接，包括：
将特征融合层l的卷积图上来自M个特征提取层的各个尺度的特征与其他尺度的特征的加权融合结果，按照1,…,M的顺序，在预先设定的维度上进行拼接，获得各个尺度的特征的自适应融合结果Yl：
Yl＝(Xl,1,Xl,2,…,Xl,M)
其中，Xl,1,Xl,2,…,Xl,M分别是特征融合层l处，每个尺度的特征在自身卷积图中所有像素位置处与其他尺度的特征进行加权融合的结果的数值组成的向量矩阵，将各个向量矩阵在预先设定的维度上进行concat模式的拼接，形成的新向量矩阵Yl即为特征融合层l的各个尺度的特征的自适应特征融合结果。
一种卷积神经网络中自适应特征融合***，其包括：权重系数获取模块、权重系数激活和归一化模块以及特征加权融合拼接模块；
所述权重系数获取模块，用于获取当前特征融合层的各个尺度的特征的权重系数；
所述权重系数激活和归一化模块，用于对所述当前特征融合层的各个尺度的所述特征的所述权重系数进行激活和归一化；
所述特征加权融合拼接模块，在所述当前特征融合层对各个尺度的所述特征进行加权融合，并将加权融合后的结果进行拼接，得到自适应特征融合结果，完成卷积神经网络中自适应特征融合，提高检测精度。
本发明由于采取以上技术方案，其具有以下优点：
1、本发明与此前以ASFF为代表在传统的基于以像素为单位的对位相加(element-wise)的特征融合模式下进行自适应空间特征融合方法不同，其依靠轻量级的卷积分支以及简单的计算过程，实现了在更先进的基于向量拼接(concat)的特征融合模式下的自适应特征融合，以此提高卷积神经网络对于不同训练目标的适应和收敛性，以及深度学习算法的整体精度。
2、本发明通过非线性激活和线性归一化操作，保证各个尺度的特征的权重系数的数值均位于0到1之间且相加之和等于1，特别是利用非线性激活函数的饱和区，避免了数值较大的那些权重系数之间的差距被过快地进一步放大在训练中引发的剧烈震荡，再利用线性归一化降低运算量，提高了权重系数计算的稳定性和效率。
3、本发明通过其轻量级的卷积分支将生成各个尺度特征的权重系数的损失与整个卷积神经网络整合到一起，参与端到端训练，在训练过程中无需根据中间结果进行复杂的样本标定或参数调整等额外的人工操作。
4、本发明可以方便的嵌套在目标检测、跟踪、语义分割等含有特征融合结构的算法的卷积神经网络中，其对相关算法精度的提升并未以大幅度牺牲运行速度为代价，轻量级的卷积分支结构和简单高效的特征加权融合计算保证了加入本发明后的算法的运行速度接近于相应的原始算法。
综上，本发明可以广泛在目标检测、跟踪、语义分割等人工智能技术领域中。
附图说明
图1是本发明一实施例中的融合方法整体流程示意图；
图2是本发明一实施例中在特征融合层对各个尺度的特征进行加权融合和拼接的原理的示意图(以3个特征提取层和3个特征融合层的场景为例)。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例的附图，对本发明实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于所描述的本发明的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
本发明提供的卷积神经网络中自适应特征融合方法及***，用于深度学习的卷积神经网络中的依靠自适应的权重来进行特征融合，其主要步骤包括：获取当前特征融合层的各个尺度的特征的权重系数；对当前特征融合层的各个尺度的特征的权重系数进行激活和归一化；在当前特征融合层对各个尺度的特征进行加权融合；在当前特征融合层对各个尺度的特征加权融合后的结果进行拼接；获取卷积神经网络中全部特征融合层的自适应特征融合结果。本发明利用轻量级的卷积分支的结果，结合激活和归一化等操作，为来自各个特征提取层的不同尺度的特征生成归一化权重系数，再利用归一化权重系数对各个尺度的特征进行自适应的加权融合和拼接，从而解决了向量拼接模式下的自适应特征融合问题，在提高卷积神经网络对于不同训练目标的适应性和收敛性，以及深度学习算法的整体精度的同时，能有效节省人力、物力和时间成本。
在本发明的一个实施例中，提供一种卷积神经网络中自适应特征融合方法，本实施例以该方法应用于终端进行举例说明，可以理解的是，该方法也可以应用于服务器，还可以应用于包括终端和服务器的***，并通过终端和服务器的交互实现。本实施例利用轻量级的卷积分支，在卷积神经网络的特征融合层处，为来自各个特征提取层的不同尺度的特征生成权重系数，并通过非线性激活和归一化操作，保证各个权重系数的数值均位于0到1之间且相加之和等于1，再利用上述权重系数分别将每个尺度的特征与其他尺度的特征进行加权融合，最后对各个尺度的特征加权融合后的结果进行拼接，获得自适应特征融合结果。上述方法解决了卷积神经网络中基于向量拼接(concat)模式的特征融合操作中的自适应特征融合问题，在不显著增加运算复杂度的前提下提高了特征融合的精度，并以此提升深度学习算法的整体性能。
具体的，如图1所示，本实施例中，该方法包括以下步骤：
步骤1：获取当前特征融合层的各个尺度的特征的权重系数；
在本实施例中，该权重系数的获取包括以下步骤：
步骤1.1：在当前的特征融合层处，对来自不同特征提取层的不同尺度的特征进行融合，将所有尺度的特征对应的卷积图通过下采样或上采样操作缩放到相同大小；
步骤1.2：将来自各个特征提取层的不同尺度的特征的卷积图分别送往一个轻量级卷积分支；
步骤1.3：将不同卷积分支的结果在任意像素位置处的数值，作为当前特征融合层的卷积图像素位置处各个尺度的特征的权重系数。
具体为：假设在卷积神经网络中当前的特征融合层l处，需要对来自M个不同特征提取层的M个尺度的特征进行融合，将所有尺度的特征对应的卷积图通过下采样或上采样操作缩放(resize)到相同大小，然后将来自各个特征提取层的不同尺度的特征的卷积图分别送往一个卷积核大小为1*1的轻量级卷积分支，并将上述M个卷积分支的结果在任意像素(i,j)位置处的数值，作为特征融合层l的卷积图像素(i,j)位置处各个尺度的特征的权重系数λl,1,ij,λl,2,ij,…,λl,M,ij。
上述轻量级卷积分支通过由其结果计算出的权重系数，经过步骤2中的激活和归一化操作后，以影响特征融合层对来自各个特征提取层的特征的加权融合结果的方式，参与深度学习基础网络训练过程中的反向误差传播，整个训练过程为端到端模式，不需要额外的人工干预(例如额外标注样本或指定超参数等)。
步骤2：对当前特征融合层的各个尺度的特征的权重系数进行激活和归一化；
步骤2.1：对当前特征融合层的卷积图上任意像素位置处的各个尺度的特征的权重系数进行非线性激活：
首先，为了避免各个尺度的特征的权重系数中那些数值较大的之间的差距被过快地进一步放大，从而导致训练过程出现不稳定的震荡，同时也为了保证各个尺度的特征的权重系数均大于0，使用非线性激活函数Sigmoid对每个尺度的特征的权重系数进行非线性激活，使得激活后的权重系数在取值范围中心点附近的变化呈现较为迅速的线性趋势；而在远离中心点的区域，呈现较为缓慢的非线性饱和趋势。以第m(m∈[1,…,M])个尺度的特征在特征融合层l的卷积图像素(i,j)位置处的权重系数λl,m,ij为例，使用下列公式获得其激活权重系数
重复上述过程，获得特征融合层l的卷积图像素(i,j)位置处，每个尺度的特征的激活权重系数
步骤2.2：对非线性激活后的特征的权重系数进行线性归一化，得到每个尺度的特征的归一化权重系数：
由于在步骤2.1中，已经通过非线性激活函数的饱和区，避免了数值较大的权重系数之间的差距被过快地进一步放大在训练中引发的剧烈震荡，并且保证了各个尺度的特征的非线性激活权重系数的数值均大于零，因此本步骤直接采用线性归一化来保证在卷积图像素(i,j)位置处来自不同尺度的特征的权重系数相加之和等于1。本发明不使用以ASFF等算法的SoftMax为代表的非线性归一化函数的原因包括降低运算量，并且避免对非线性激活函数的饱和区发挥作用产生负面影响。以第m(m∈[1,…,M])个尺度的特征在特征融合层l的卷积图像素(i,j)位置处的激活权重系数
为例，使用下列公式获得其归一化权重系数αl,m,ij：
由于各个尺度的特征的激活权重系数的数值均大于零，因此不存在令上述公式的分母等于0的情况。
重复上述过程，获得特征融合层l的卷积图像素(i,j)位置处，每个尺度的特征的归一化权重系数αl,1,ij,αl,2,ij,…,αl,M,ij。
步骤2.3：获取当前特征融合层卷积图上全部像素位置处的归一化权重系数；
在特征融合层l的卷积图的每个像素位置处重复步骤2.1与步骤2.2中的操作，直到获得全部像素位置处的归一化权重系数。
步骤3：在当前特征融合层对各个尺度的特征进行加权融合(如图2所示)，并将加权融合后的结果进行拼接，得到自适应特征融合结果，完成卷积神经网络中自适应特征融合，提高检测精度。
其中，加权融合包括以下步骤：
步骤3.1.1：在当前特征融合层的卷积图上任意像素位置处分别将每个尺度的特征与其他尺度的特征进行加权融合：
本步骤利用特征融合层l的卷积图像素(i,j)位置处的M个尺度的特征的归一化权重系数αl,1,ij,αl,2,ij,…,αl,M,ij，对每个尺度的特征xl,1,ij,xl,2,ij,…,xl,M,ij进行加权融合。对于上述任意第m(m∈[1,…,M])个尺度的特征在特征融合层l的卷积图像素(i,j)位置处的数值xl,m,ij，加权融合的具体方法如下：
如果第m个尺度的特征在特征融合层l的卷积图像素(i,j)位置处的归一化权重系数αl,m,ij大于或等于全部M个尺度的特征的归一化权重系数的均值1/M，则在(i,j)位置处的该尺度的特征与其他尺度的特征加权融合后的结果
等于其自身。
反之，如果第m个尺度的特征在特征融合层l的卷积图像素(i,j)位置处的归一化权重系数αl,m,ij小于全部M个尺度的特征的归一化权重系数的均值1/M，则在(i,j)位置处的该尺度的特征xl,m,ij与其他尺度的特征加权融合后的结果
可以使用下列公式计算。
其中，
代表在特征融合层l的卷积图像素(i,j)位置处的其他尺度的特征中，所有归一化权重系数大于1/M的特征的加权均值，其可以通过下列公式计算。
其中，Max[*,*]表示在括号中的两者之间取较大的一个的数值。因为该公式被执行的前提条件就是第m个尺度的特征的非线性激活归一化权重系数αl,m,ij小于1/M，所以全部尺度的特征中至少有一个的非线性激活归一化权重系数αl,m,ij大于1/M，即不存在令上述公式的分母等于0的情况。
特别的，当不同尺度的特征的个数M等于2时，公式6可以进一步简化为下列形式：
其中，xl,n≠m,ij表示在特征融合层l的卷积图像素(i,j)位置处的2个尺度的特征中，与第m个不一致的那1个，此时不需要使用公式7进一步计算所有归一化权重系数大于1/M的特征的加权均值。
在特征融合层l卷积图像素(i,j)位置处，对于每个尺度的特征重复上述操作，直到获得每个尺度的特征与其他尺度的特征进行加权融合的结果。
步骤3.1.2：获取当前取特征融合层卷积图上全部像素位置处，每个尺度的特征与其他尺度的特征进行加权融合的结果：
在特征融合层l的卷积图的每个像素位置处重复步骤3.1.1中的操作，直到获得全部像素位置处的每个尺度的特征与其他尺度的特征进行加权融合的结果。
在本实施例中，在当前特征融合层对各个尺度的特征加权融合后的结果进行拼接(如图2所示)，包括：
将特征融合层l的卷积图上来自M个特征提取层的各个尺度的特征与其他尺度的特征的加权融合结果，按照1,…,M的顺序，在预先设定的维度上进行拼接，获得各个尺度的特征的自适应融合结果Yl。
Yl＝(Xl,1,Xl,2,…,Xl,M) (9)
其中，Xl,1,Xl,2,…,Xl,M分别是特征融合层l处，每个尺度的特征在自身卷积图中所有像素位置处与其他尺度的特征进行加权融合的结果的数值组成的向量矩阵，将上述各个向量矩阵在预先设定的维度上进行concat模式的拼接，形成的新向量矩阵Yl即为特征融合层l的各个尺度的特征的自适应特征融合结果。
重复步骤1至步骤3，在卷积神经网络中每个需要进行特征融合的特征融合层，直到获得全部特征融合层处的自适应特征融合结果。
在本发明的一个实施例中，提供一种卷积神经网络中自适应特征融合***，其包括：权重系数获取模块、权重系数激活和归一化模块以及特征加权融合拼接模块；
权重系数获取模块，用于获取当前特征融合层的各个尺度的特征的权重系数；
权重系数激活和归一化模块，用于对当前特征融合层的各个尺度的特征的权重系数进行激活和归一化；
特征加权融合拼接模块，在当前特征融合层对各个尺度的特征进行加权融合，并将加权融合后的结果进行拼接，得到自适应特征融合结果，完成卷积神经网络中自适应特征融合，提高检测精度。
本实施例提供的***是用于执行上述各方法实施例的，具体流程和详细内容请参照上述实施例，此处不再赘述。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种卷积神经网络中自适应特征融合方法，其特征在于，包括：
获取当前特征融合层的各个尺度的特征的权重系数；
对所述当前特征融合层的各个尺度的所述特征的所述权重系数进行激活和归一化；
在所述当前特征融合层对各个尺度的所述特征进行加权融合，并将加权融合后的结果进行拼接，得到自适应特征融合结果，完成卷积神经网络中自适应特征融合，提高检测精度。
2.如权利要求1所述方法，其特征在于，所述获取当前特征融合层的各个尺度的特征的权重系数，包括：
在当前的特征融合层处，对来自不同特征提取层的不同尺度的特征进行融合，将所有尺度的特征对应的卷积图通过下采样或上采样操作缩放到相同大小；
将来自各个特征提取层的不同尺度的特征的卷积图分别送往一个轻量级卷积分支；
将不同卷积分支的结果在任意像素位置处的数值，作为当前特征融合层的卷积图像素位置处各个尺度的特征的权重系数。
3.如权利要求1所述方法，其特征在于：所述对所述当前特征融合层的各个尺度的所述特征的所述权重系数进行激活和归一化，包括：
对当前特征融合层的卷积图上任意像素位置处的各个尺度的特征的权重系数进行非线性激活；
对非线性激活后的特征的权重系数进行线性归一化，得到每个尺度的特征的归一化权重系数；
获取当前特征融合层卷积图上全部像素位置处的归一化权重系数。
4.如权利要求1所述方法，其特征在于：所述在所述当前特征融合层对各个尺度的所述特征进行加权融合，包括：
在当前特征融合层的卷积图上任意像素位置处分别将每个尺度的特征与其他尺度的特征进行加权融合；
获取当前取特征融合层卷积图上全部像素位置处，每个尺度的特征与其他尺度的特征进行加权融合的结果。
5.如权利要求4所述方法，其特征在于：所述在当前特征融合层的卷积图上任意像素位置处分别将每个尺度的特征与其他尺度的特征进行加权融合，包括：
如果第m个尺度的特征在特征融合层l的卷积图像素(i,j)位置处的归一化权重系数αl，m，ij大于或等于全部M个不同尺度的特征的归一化权重系数的均值1/M，则在(i，j)位置处的该尺度的特征与其他尺度的特征加权融合后的结果
等于其自身。
6.如权利要求4所述方法，其特征在于：所述在当前特征融合层的卷积图上任意像素位置处分别将每个尺度的特征与其他尺度的特征进行加权融合，包括：
如果第m个尺度的特征在特征融合层l的卷积图像素(i，j)位置处的归一化权重系数αl，m，ij小于全部M个不同尺度的特征的归一化权重系数的均值1/M，则在(i，j)位置处的该尺度的特征xl，m，ij与其他尺度的特征加权融合后的结果
为：
其中，
代表在特征融合层l的卷积图像素(i，j)位置处的其他尺度的特征中，所有归一化权重系数大于1/M的特征的加权均值。
7.如权利要求6所述方法，其特征在于：所述加权均值
的计算方法为：
其中，Max[*，*]表示在括号中的两者之间取较大的一个的数值。
8.如权利要求6所述方法，其特征在于：所述如果第m个尺度的特征在特征融合层l的卷积图像素(i，j)位置处的归一化权重系数αl，m，ij小于全部M个不同尺度的特征的归一化权重系数的均值1/M，且M等于2时，则在(i，j)位置处的该尺度的特征xl，m，ij与其他尺度的特征加权融合后的结果
为：
其中，xl，n≠m，ij表示在特征融合层l的卷积图像素(i，j)位置处的2个尺度的特征中，与第m个不一致的那1个。
9.如权利要求1所述方法，其特征在于：所述将加权融合后的结果进行拼接，包括：
将特征融合层l的卷积图上来自M个特征提取层的各个尺度的特征与其他尺度的特征的加权融合结果，按照1，...，M的顺序，在预先设定的维度上进行拼接，获得各个尺度的特征的自适应融合结果Yl：
Yl＝(Xl，1，Xl，2，...，XL，M)
其中，Xl，1，Xl，2，...，Xl，M分别是特征融合层l处，每个尺度的特征在自身卷积图中所有像素位置处与其他尺度的特征进行加权融合的结果的数值组成的向量矩阵，将各个向量矩阵在预先设定的维度上进行concat模式的拼接，形成的新向量矩阵Yl即为特征融合层l的各个尺度的特征的自适应特征融合结果。
10.一种卷积神经网络中自适应特征融合***，其特征在于，包括：权重系数获取模块、权重系数激活和归一化模块以及特征加权融合拼接模块；
所述权重系数获取模块，用于获取当前特征融合层的各个尺度的特征的权重系数；
所述权重系数激活和归一化模块，用于对所述当前特征融合层的各个尺度的所述特征的所述权重系数进行激活和归一化；
所述特征加权融合拼接模块，在所述当前特征融合层对各个尺度的所述特征进行加权融合，并将加权融合后的结果进行拼接，得到自适应特征融合结果，完成卷积神经网络中自适应特征融合，提高检测精度。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111310425.9A CN114092760A (zh) | 2021-11-05 | 2021-11-05 | 卷积神经网络中自适应特征融合方法及*** |
| PCT/CN2022/121730 WO2023077998A1 (zh) | 2021-11-05 | 2022-09-27 | 卷积神经网络中自适应特征融合方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111310425.9A CN114092760A (zh) | 2021-11-05 | 2021-11-05 | 卷积神经网络中自适应特征融合方法及*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114092760A true CN114092760A (zh) | 2022-02-25 |
Family
ID=80299088
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111310425.9A Pending CN114092760A (zh) | 2021-11-05 | 2021-11-05 | 卷积神经网络中自适应特征融合方法及*** |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN114092760A (zh) |
| WO (1) | WO2023077998A1 (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115316982A (zh) * | 2022-09-02 | 2022-11-11 | 中国科学院沈阳自动化研究所 | 一种基于多模态传感的肌肉形变智能检测***及方法 |
| WO2023077998A1 (zh) * | 2021-11-05 | 2023-05-11 | 通号通信信息集团有限公司 | 卷积神经网络中自适应特征融合方法及*** |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116958774B (zh) * | 2023-09-21 | 2023-12-01 | 北京航空航天大学合肥创新研究院 | 一种基于自适应空间特征融合的目标检测方法 |
| CN117690128B (zh) * | 2024-02-04 | 2024-05-03 | 武汉互创联合科技有限公司 | 胚胎细胞多核目标检测***、方法和计算机可读存储介质 |
| CN117933309B (zh) * | 2024-03-13 | 2024-06-18 | 西安理工大学 | 一种用于双时相遥感图像变化发现的三路神经网络及方法 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018052586A1 (en) * | 2016-09-14 | 2018-03-22 | Konica Minolta Laboratory U.S.A., Inc. | Method and system for multi-scale cell image segmentation using multiple parallel convolutional neural networks |
| CN111753752B (zh) * | 2020-06-28 | 2022-07-01 | 重庆邮电大学 | 基于卷积神经网络多层特征融合的机器人闭环检测方法 |
| CN111797779A (zh) * | 2020-07-08 | 2020-10-20 | 兰州交通大学 | 基于区域注意力多尺度特征融合的遥感图像语义分割方法 |
| CN112183295A (zh) * | 2020-09-23 | 2021-01-05 | 上海眼控科技股份有限公司 | 行人重识别方法、装置、计算机设备及存储介质 |
| CN113111975A (zh) * | 2021-05-12 | 2021-07-13 | 合肥工业大学 | 基于多核尺度卷积神经网络的sar图像目标分类方法 |
| CN114092760A (zh) * | 2021-11-05 | 2022-02-25 | 通号通信信息集团有限公司 | 卷积神经网络中自适应特征融合方法及*** |
-
2021
- 2021-11-05 CN CN202111310425.9A patent/CN114092760A/zh active Pending
-
2022
- 2022-09-27 WO PCT/CN2022/121730 patent/WO2023077998A1/zh unknown
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023077998A1 (zh) * | 2021-11-05 | 2023-05-11 | 通号通信信息集团有限公司 | 卷积神经网络中自适应特征融合方法及*** |
| CN115316982A (zh) * | 2022-09-02 | 2022-11-11 | 中国科学院沈阳自动化研究所 | 一种基于多模态传感的肌肉形变智能检测***及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2023077998A1 (zh) | 2023-05-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114092760A (zh) | 卷积神经网络中自适应特征融合方法及*** | |
| CN108764292B (zh) | 基于弱监督信息的深度学习图像目标映射及定位方法 | |
| WO2021244079A1 (zh) | 智能家居环境中图像目标检测方法 | |
| US20220012533A1 (en) | Object Recognition Method and Apparatus | |
| CN111583263A (zh) | 一种基于联合动态图卷积的点云分割方法 | |
| US20190228268A1 (en) | Method and system for cell image segmentation using multi-stage convolutional neural networks | |
| CN112150493B (zh) | 一种基于语义指导的自然场景下屏幕区域检测方法 | |
| US20230267730A1 (en) | Image abnormality detection model training | |
| CN112364931B (zh) | 一种基于元特征和权重调整的少样本目标检测方法及网络*** | |
| CN111914727B (zh) | 基于平衡采样与非线性特征融合的小目标人体检测方法 | |
| CN110852393A (zh) | 一种遥感图像的分割方法及*** | |
| CN113592060A (zh) | 一种神经网络优化方法以及装置 | |
| CN113420794B (zh) | 一种基于深度学习的二值化Faster R-CNN柑橘病虫害识别方法 | |
| CN114373094A (zh) | 一种基于弱监督学习的门控特征注意力等变分割方法 | |
| CN116993975A (zh) | 基于深度学习无监督领域适应的全景相机语义分割方法 | |
| US20240249508A1 (en) | Method and system for processing image, device and medium | |
| CN116258990A (zh) | 一种基于跨模态亲和力的小样本参考视频目标分割方法 | |
| CN116523897A (zh) | 一种基于互导学习的半监督浒苔检测方法及*** | |
| CN113609904B (zh) | 一种基于动态全局信息建模和孪生网络的单目标跟踪算法 | |
| CN112270370A (zh) | 一种车辆表观毁伤评估方法 | |
| CN117011640A (zh) | 基于伪标签滤波的模型蒸馏实时目标检测方法及装置 | |
| CN116433980A (zh) | 脉冲神经网络结构的图像分类方法、装置、设备及介质 | |
| CN116524296A (zh) | 设备缺陷检测模型的训练方法、装置和设备缺陷检测方法 | |
| CN113655341B (zh) | 一种配电网故障定位方法及*** | |
| CN114693997A (zh) | 基于迁移学习的图像描述生成方法、装置、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |