CN111340059A - 图像特征提取方法、装置、电子设备及存储介质 - Google Patents
图像特征提取方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN111340059A CN111340059A CN201811561327.0A CN201811561327A CN111340059A CN 111340059 A CN111340059 A CN 111340059A CN 201811561327 A CN201811561327 A CN 201811561327A CN 111340059 A CN111340059 A CN 111340059A
- Authority
- CN
- China
- Prior art keywords
- features
- feature
- level
- layer
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000605 extraction Methods 0.000 title claims abstract description 56
- 230000011218 segmentation Effects 0.000 claims abstract description 82
- 238000000034 method Methods 0.000 claims abstract description 60
- 238000012545 processing Methods 0.000 claims description 91
- 238000013528 artificial neural network Methods 0.000 claims description 64
- 230000008569 process Effects 0.000 claims description 24
- 238000003709 image segmentation Methods 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 5
- 238000005070 sampling Methods 0.000 claims description 4
- 230000009286 beneficial effect Effects 0.000 abstract description 5
- 230000004927 fusion Effects 0.000 description 35
- 238000010586 diagram Methods 0.000 description 15
- 230000000694 effects Effects 0.000 description 12
- 238000004891 communication Methods 0.000 description 6
- 238000013527 convolutional neural network Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
本申请实施例提供一种图像特征提取方法、装置、电子设备及存储介质，属于图像技术领域。该方法通过对待处理图像提取的M个不同层级特征进行两次处理后，获得M层第一中间特征和M层第二中间特征，然后再将这M层第一中间特征和M层第二中间特征进行融合，获得的M层图像特征，通过该方式获得的每层图像特征中可以包含信息较为均衡的M个不同层级特征，即每层图像特征中包括信息比较均衡的高层信息和低层信息，由于低层信息对于某些细节信息比较敏感，能够提供对定位和分割较为有益的信息，通过上述对特征的多次处理，让高层网络更容易、更全面地获取低层信息，从而可以使得高层信息与低层信息更为均衡，实现对大小物体均衡的分割效果。
Description
技术领域
本申请涉及图像技术领域，具体而言，涉及一种图像特征提取方法、装置、电子设备及存储介质。
背景技术
实例分割是计算机视觉领域非常重要的方向，其在无人驾驶、家居机器人等领域有着非常广阔的应用。此任务结合了语义分割和物体检测的特点，而对于输入图像的每一个物体，都会为每一个物体生成一个独立的像素级别的掩膜，并且预测其对应的类别，所以，为了对输入图像中的每个物体进行更好的预测，现有技术中通过对输入的图像进行特征提取，然后利用现有的掩膜区域卷积神经网络(Mask Region-Convolutional NeuralNetwork，Mask R-CNN)的特征金字塔网络(feature pyramid networks，FPN)结构对提取的特征进行融合，最后获得的特征中包括的高层信息较多，而由于高层信息对大物体的识别效果较好，但是低层信息对小物体的识别效果较好，所以，通过上述方式最后获得的特征包含的高层信息与低层信息不均衡，使得后续利用该最后获得的特征进行实例分割时对大小物体的识别效果相差较大。
发明内容
本申请实施例的目的在于提供一种图像特征提取方法、装置、电子设备及存储介质，以使高层网络更容易、更全面地获取低层信息，从而可以使得高层信息与低层信息更为均衡，实现对大小物体均衡的分割效果。
第一方面，本申请实施例提供了一种图像特征提取方法，所述方法包括：获取待处理图像，对所述待处理图像进行特征提取，获得M个不同层级特征，M为大于等于2的整数；将所述M个不同层级特征按照第一层级方向进行处理，获得M层第一中间特征，以及将所述M个不同层级特征按照与所述第一层级方向相反的第二层级方向进行处理，获得M层第二中间特征；将所述M层第一中间特征及所述M层第二中间特征进行处理，获得M层图像特征。
在上述实现过程中，通过对待处理图像提取的M个不同层级特征进行两次处理后，获得M层第一中间特征和M层第二中间特征，然后再将这M层第一中间特征和M层第二中间特征进行融合，获得的M层图像特征，通过该方式获得的每层图像特征中可以包含信息较为均衡的M个不同层级特征，即每层图像特征中包括信息比较均衡的高层信息和低层信息，由于低层信息对于某些细节信息比较敏感，能够提供对定位和分割较为有益的信息，通过上述对特征的多次处理，让高层网络更容易、更全面地获取低层信息，从而可以使得高层信息与低层信息更为均衡，实现对大小物体均衡的分割效果。
可选地，所述M个不同层级特征中第i个层级特征的级别小于第i+1层级特征的级别，将所述M层第一中间特征及所述M层第二中间特征进行处理，获得M层图像特征，包括：将第1层第一中间特征确定为所述M层图像特征中的第1层图像特征；依次取i为2至M，将第i层第一中间特征与第i-1层第二中间特征进行融合，获得第i层图像特征，在i为M时，共获得M-1层图像特征。
在上述实现过程中，对M层第一中间特征和M层第二中间特征进行上述处理后获得的M层图像特征，使得M层图像特征中包括第1层第一中间特征以及每次对M层第一中间特征和M层第二中间特征进行融合后的融合特征，通过上述对特征的多次处理，让高层网络更容易、更全面地获取低层信息，从而可以使得高层信息与低层信息更为均衡，实现对大小物体均衡的分割效果。
可选地，对所述待处理图像进行特征提取，获得M个不同层级特征，包括：通过神经网络对所述待处理图像进行特征提取，经所述神经网络中M个不同网络深度的网络层输出M个不同层级特征。
在上述实现过程中，通过神经网络对待处理图像进行特征提取，从而获得不同网络深度的网络层输出的M个不同层级特征，即可以获得待处理图像中的高层信息和低层信息的特征，使得该特征后续用于实例分割时，可以使得分割结果更为准确。
可选地，将所述M个不同层级特征按照第一层级方向进行处理，获得M层第一中间特征，以及将所述M个不同层级特征按照与所述第一层级方向相反的第二层级方向进行处理，获得M层第二中间特征，包括：将所述M个不同层级特征按照从高层级特征到低层级特征的方向进行处理，获得M层第一中间特征；以及将所述M个不同层级特征按照从低层级特征到高层级特征的方向进行处理，获得M层第二中间特征。
在上述实现过程中，将M层级特征分别按照两个不同层级方向进行处理，从而获得M层第一中间特征和M层第二中间特征，进而M层中间第一中间特征和M层第二中间特征中均包括了M层级特征，即M层级特征在进行处理后，使得高层网络更容易、更全面地获取低层信息。
可选地，所述M个不同层级特征中第i个层级特征的级别高于第i-1层级特征的级别，i为小于等于M且大于等于2的整数，所述将所述M个不同层级特征按照从高层级特征到低层级特征的方向进行处理，获得M层第一中间特征，包括：将第M层级特征确定为所述M层第一中间特征中的第M层第一中间特征；依次取i为M-1至1，将所述第M层级特征到第i层级特征之间的M-i+1个层级特征进行融合，获得第i层第一中间特征，在i为1时，共获得M-1层第一中间特征。
在上述实现过程中，对M层级特征进行上述处理后获得的M层第一中间特征，使得M层第一中间特征中包括第M层级特征以及每次对M层级特征进行融合后的融合特征，即M层级特征在进行处理后，使得高层网络更容易、更全面地获取低层信息。
可选地，依次取i为M-1至1，将所述第M层级特征到第i层级特征进行融合，获得第i层第一中间特征，在i为1时，共获得M-1个第一中间特征，包括：依次取i为M-1至1，沿神经网络中网络深度从深到浅的方向，依次将所述神经网络中，经第M层网络层输出的第M层级特征上采样后，与到经第i层网络层输出的第i层级特征之间的M-i+1个层级特征进行融合，获得第i层第一中间特征，在i为1时，共获得M-1层第一中间特征。
在上述实现过程中，通过神经网络对第M层级特征进行上采样后再与第i层级特征进行融合，使得第M层级特征可以转换为与第i层级特征大小相同后再进行融合，可以便于特征的融合。
可选地，所述M个不同层级特征中第i个层级特征的级别小于第i+1层级特征的级别，i为小于等于M且大于等于1的整数，将所述M个不同层级特征按照从低层级特征到高层级特征的方向进行处理，获得M层第二中间特征，包括：将第1层级特征确定为所述M层第二中间特征中的第1层第二中间特征；依次取i为2至M，将所述第1层级特征到第i层级特征之间的i个层级特征进行融合，获得第i层第二中间特征，在i为M时，共获得M-1层第二中间特征。
在上述实现过程中，对M层级特征进行上述处理后获得的M层第二中间特征，使得M层第二中间特征中包括第1层级特征以及每次对M层级特征进行融合后的融合特征，即M层级特征在进行处理后，使得高层网络更容易、更全面地获取低层信息。
可选地，依次取i为2至M，将所述第1层级特征到第i层级特征进行融合，获得第i层第二中间特征，在i为M时，共获得M-1个第二中间特征，包括：依次取i为2至M，沿神经网络中网络深度从浅到深的方向，依次将所述神经网络中，经第1层网络层输出的第1层级特征下采样后，与到经第i层网络层输出的第i层级特征之间的i个层级特征进行融合，获得第i层第二中间特征，在i为M时，共获得M-1层第二中间特征。
在上述实现过程中，通过神经网络对第1层级特征进行下采样后再与第i层级特征进行融合，使得第1层级特征可以转换为与第i层级特征大小相同后再进行融合，可以便于特征的融合。
可选地，将所述M层第一中间特征及所述M层第二中间特征进行处理，获得M层图像特征之后，还包括：基于所述M层图像特征对所述待处理图像的至少部分区域进行分割，获得分割结果。
可选地，基于所述M层图像特征对所述待处理图像的至少部分区域进行分割，获得分割结果，包括：基于所述M层图像特征对所述待处理图像的至少部分区域进行语义分割，获得语义分割结果。
可选地，基于所述M层图像特征对所述待处理图像的至少部分区域进行分割，获得分割结果，包括：基于所述M层图像特征对所述待处理图像的至少部分区域进行实例分割，获得实例分割结果。
上述实现过程中，基于最后获得的M层图像特征对待处理图像进行实例分割或语义分割，由于每层图像特征中包含均衡的高层信息和低层信息，所以可以实现对大小物体均衡的语义分割效果或实例分割效果。
第二方面，本申请实施例提供了一种图像特征提取装置，所述装置包括：
图像特征提取模块，用于获取待处理图像，对所述待处理图像进行特征提取，获得M个不同层级特征，M为大于等于2的整数；
第一特征处理模块，用于将所述M个不同层级特征按照第一层级方向进行处理，获得M层第一中间特征；以及
第二特征处理模块，用于将所述M个不同层级特征按照与所述第一层级方向相反的第二层级方向进行处理，获得M层第二中间特征；
第三特征处理模块，用于将所述M层第一中间特征及所述M层第二中间特征进行处理，获得M层图像特征。
可选地，所述M个不同层级特征中第i个层级特征的级别小于第i+1层级特征的级别，所述第三特征处理模块，用于将第1层第一中间特征确定为所述M层图像特征中的第1层图像特征；依次取i为2至M，将第i层第一中间特征与第i-1层第二中间特征进行融合，获得第i层图像特征，在i为M时，共获得M-1层图像特征。
可选地，所述图像特征提取模块，用于通过神经网络对所述待处理图像进行特征提取，经所述神经网络中M个不同网络深度的网络层输出M个不同层级特征。
可选地，所述第一特征处理模块，用于将所述M个不同层级特征按照从高层级特征到低层级特征的方向进行处理，获得M层第一中间特征；
所述第二特征处理模块，用于将所述M个不同层级特征按照从低层级特征到高层级特征的方向进行处理，获得M层第二中间特征。
可选地，所述M个不同层级特征中第i个层级特征的级别高于第i-1层级特征的级别，i为小于等于M且大于等于2的整数，所述第一特征处理模块，用于将第M层级特征确定为所述M层第一中间特征中的第M层第一中间特征；依次取i为M-1至1，将所述第M层级特征到第i层级特征之间的M-i+1个层级特征进行融合，获得第i层第一中间特征，在i为1时，共获得M-1层第一中间特征。
可选地，所述第一特征处理模块，还用于依次取i为M-1至1，沿神经网络中网络深度从深到浅的方向，依次将所述神经网络中，经第M层网络层输出的第M层级特征上采样后，与到经第i层网络层输出的第i层级特征之间的M-i+1个层级特征进行融合，获得第i层第一中间特征，在i为1时，共获得M-1层第一中间特征。
可选地，所述M个不同层级特征中第i个层级特征的级别小于第i+1层级特征的级别，i为小于等于M且大于等于1的整数，所述第二特征处理模块，用于将第1层级特征确定为所述M层第二中间特征中的第1层第二中间特征；依次取i为2至M，将所述第1层级特征到第i层级特征之间的i个层级特征进行融合，获得第i层第二中间特征，在i为M时，共获得M-1层第二中间特征。
可选地，所述第二特征处理模块，还用于依次取i为2至M，沿神经网络中网络深度从浅到深的方向，依次将所述神经网络中，经第1层网络层输出的第1层级特征下采样后，与到经第i层网络层输出的第i层级特征之间的i个层级特征进行融合，获得第i层第二中间特征，在i为M时，共获得M-1层第二中间特征。
可选地，所述装置还包括：
图像分割模块，用于基于所述M层图像特征对所述待处理图像的至少部分区域进行分割，获得分割结果。
可选地，所述图像分割模块，具体用于基于所述M层图像特征对所述待处理图像的至少部分区域进行语义分割，获得语义分割结果。
可选地，所述图像分割模块，具体用于基于所述M层图像特征对所述待处理图像的至少部分区域进行实例分割，获得实例分割结果。
第三方面，本申请实施例提供一种电子设备，包括处理器以及存储器，所述存储器存储有计算机可读取指令，当所述计算机可读取指令由所述处理器执行时，运行如上述第一方面提供的所述方法中的步骤。
第四方面，本申请实施例提供一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时运行如上述第一方面提供的所述方法中的步骤。
本申请的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请实施例了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的一种图像特征提取方法的流程图；
图2为本申请实施例中示出的一个特征融合示意图；
图3为本申请实施例中对特征提取的应用示意图；
图4为本申请实施例中进行双路掩膜预测的一个网络结果示意图；
图5为本申请图像特征提取方法的一个应用实施例的流程图；
图6为图5所示应用实施例的过程示意图；
图7为本申请实施例提供的一种图像特征提取装置的结构框图；
图8为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
请参照图1，图1为本申请实施例提供的一种图像特征提取方法的流程图，所述方法包括如下步骤：
步骤S110：获取待处理图像，对所述待处理图像进行特征提取，获得M个不同层级特征。
其中，M为大于等于2的整数，即获得至少两个不同层级特征。
本申请各实施例中的特征的表现形式例如可以包括但不限于：特征图、特征向量或者特征矩阵等等。
所述不同层级是指位于神经网络不同深度的多个网络层，该神经网络的多个网络层可对输入的待处理图像进行特征提取，待处理图像经过多个网络层后获得M个不同层级特征，即一个网络层输出一个层级特征。
所述待处理图像例如包括但不限于：静态图像、视频中的帧图像等等。
步骤S120：将所述M个不同层级特征按照第一层级方向进行处理，获得M层第一中间特征，以及将所述M个不同层级特征按照与所述第一层级方向相反的第二层级方向进行处理，获得M层第二中间特征。
步骤S130：将所述M层第一中间特征及所述M层第二中间特征进行处理，获得M层图像特征。
上述的不同的层级方向可以包括：从高层级特征到低层级特征的方向、和从低层级特征到高层级特征的方向，如第一层级方向为从高层级特征到低层级特征的方向，第二层级方向为从低层级特征到高层级特征的方向，或者第一层级方向为从低层级到高层级的方向，第二层级方向为从高层级到低层级的方向。
在将M层第一中间特征和M层第二中间特征进行处理时，可以按照从低层级到高层级的方向进行M，获得M层图像特征，从而获得的每层图像特征中包含均衡的M个不同层级特征，即每层图像特征中包括比较均衡的高层信息和低层信息。
所以，本实施例中经过三次处理，获得的M层图像特征中每层图像特征包含的M个不同层级特征比较均衡，即每层图像特征包含信息相对均衡的高层信息和低层信息，且由于低层信息对于某些细节信息比较敏感，能够提供对定位和分割较为有益的信息，通过上述对特征的多次处理，可以让高层网络更容易、更全面地获取低层信息，从而可以利用上下文信息提升待处理图像分割结果的准确性，且可以使得高层信息与低层信息更为均衡，可以实现对大小物体均衡的分割效果。
另外，在上述实施例中，对待处理图像进行特征提取，获得M个不同层级特征，可以包括：通过神经网络对待处理图像进行特征提取，经该神经网络中M个不同网络深度的网络层输出上述M个不同层级特征。
应理解，神经网络包括两个以上网络深度不同的网络层，神经网络包括的网络层中，用于进行特征提取的网络层可以称为特征层，神经网络接收到一个待处理图像后，通过第一个网络层对输入的待处理图像进行特征提取，并将提取的特征输入至第二个网络层，从第二个网络层起，每个网络层依次对输入的特征进行特征提取，将提取到的特征输入至下一个网络层进行特权提取。神经网络中各网络层的网络深度依据输入输出的顺序或者特征提取的顺序由浅至深，各网络层依次进行特征提取输出的特征的层级由低到高，分辨率由高至低。相对于同一神经网络中网络深度较浅的网络层，网络深度较深的网络层视野域较大，较多的关注空间结构信息，提取到的特征用于实例分割时，可以使得分割结果更准确。在神经网络中，网络层通常可以包括：至少一个用于进行特征提取的卷积层，和对卷积层提取的特征(例如特征图)进行上采样的上采样层，通过对特征进行上采样，可以减小卷积层提取的特征(例如特征图)的大小。
另外，作为一种实施方式，在上述实施例中将M个不同层级特征按照第一层级方向进行处理，获得M层第一中间特征，包括：将所述M个不同层级特征按照从高层级特征到低层级特征的方向进行处理，获得M层第一中间特征；将所述M个不同层级特征按照与所述第一层级方向相反的第二层级方向进行处理，获得M层第二中间特征，包括：将所述M个不同层级特征按照从低层级特征到高层级特征的方向进行处理，获得M层第二中间特征。
或者，将M个不同层级特征按照第一层级方向进行处理，获得M层第一中间特征，包括：将所述M个不同层级特征按照从低层级特征到高层级特征的方向进行处理，获得M层第一中间特征；将所述M个不同层级特征按照与所述第一层级方向相反的第二层级方向进行处理，获得M层第二中间特征，包括：将所述M个不同层级特征按照从高层级特征到低层级特征的方向进行处理，获得M层第二中间特征。
为了便于对本申请实施例的描述，本申请实施例以第一层级方向为从高层级特征到低层级特征的方向，第二层级方向为从低层级特征到高层级特征的方向为例进行描述。
其中，所述M个不同层级特征中第i个层级特征的级别高于第i-1层级特征的级别，i为小于等于M且大于等于2的整数，将所述M个不同层级特征按照从高层级特征到低层级特征的方向进行处理，获得M层第一中间特征，包括：将第M层级特征确定为所述M层第一中间特征中的第M层第一中间特征；依次取i为M-1至1，将所述第M层级特征到第i层级特征之间的M-i+1个层级特征进行融合，获得第i层第一中间特征，在i为1时，共获得M-1层第一中间特征。
例如，若M为4时，将第4层级特征确定为4层第一中间特征中的第4层第一中间特征，然后依次取i为3到1，将第4层级特征到第i层级特征进行融合，获得第i层第一中间特征，在i为1时，共获得3层第一中间特征，如i为3时，将第4层级特征到第3层级特征进行融合，获得第3层第一中间特征，如i为2时，将第4层级特征到第2层级特征进行融合，获得第2层第一中间特征，如i为1时，将第4层级特征到第1层级特征进行融合，获得第1层第一中间特征，所以按此方式，共可获得4层第一中间特征。
而在神经网络中，依次取i为M-1至1，沿神经网络中网络深度从深到浅的方向，依次将所述神经网络中，经第M层网络层输出的第M层级特征上采样后，与到经第i层网络层输出的第i层级特征之间的M-i+1个层级特征进行融合，获得第i层第一中间特征，在i为1时，共获得M-1层第一中间特征。例如，将第M层级特征上采样后与第M-1层级特征相加，获得第M-1层第一中间特征，然后可将该第M-1层第一中间特征与下一经网络深第M-1层网络层输出的第M-1层级特征进行融合，获得第M-2层第一中间特征，再将第M-2层第一中间特征继续与下一经第M-2层网络层输出的第M-2层级特征进行融合，获得第M-3层第一中间特征，依此方式，可获得第1层第一中间特征，共获得M-1层第一中间特征。
其中，第M层级特征，可以包括：经神经网络中第M层网络层输出的特征、或者对该第M层网络层输出的特征进行至少一次特征提取得到的特征。例如，参与融合的特征中，最高层级的特征可以是上述M个不同层级特征中最高层级的特征，即第M层级特征，或者也可以是对该最高层级的特征进行一次或多次特征提取得到的特征，M层第一中间特征中可以包括上述最高层级的特征和每次融合得到的融合特征。
类似地，所述M个不同层级特征中第i个层级特征的级别小于第i+1层级特征的级别，i为小于等于M且大于等于1的整数，将所述M个不同层级特征按照从低层级特征到高层级特征的方向进行处理，获得M层第二中间特征，包括：将第1层级特征确定为所述M层第二中间特征中的第1层第二中间特征；依次取i为2至M，将所述第1层级特征到第i层级特征之间的i个层级特征进行融合，获得第i层第二中间特征，在i为M时，共获得M-1层第二中间特征。
例如，若M为4时，将第1层级特征确定为4层第二中间特征中的第1层第二中间特征，然后依次取i为2到4，将第1层级特征到第i层级特征进行融合，获得第i层第二中间特征，在i为4时，共获得3层第二中间特征，如i为2时，将第1层级特征到第2层级特征进行融合，获得第2层第二中间特征，如i为3时，将第1层级特征到第3层级特征进行融合，获得第3层第二中间特征，如i为4时，将第1层级特征到第4层级特征进行融合，获得第4层第二中间特征，所以按此方式，共可获得4层第二中间特征。
而在神经网络中，依次取i为2至M，沿神经网络中网络深度从浅到深的方向，依次将所述神经网络中，经第1层网络层输出的第1层级特征下采样后，与到经第i层网络层输出的第i层级特征之间的i个层级特征进行融合，获得第i层第二中间特征，在i为M时，共获得M-1层第二中间特征。
例如，将第1层级特征下采样后与第2层级特征进行融合，获得第二层第二中间特征，然后可将该第二层第二中间特征与下一经第3层网络层输出的第3层级特征进行融合，获得第三层第二中间特征，再将第三层第二中间特征继续与下一经第4层网络层输出的第4层级特征进行融合，获得第4层第二中间特征，以此方式，可获得4层第二中间特征。
其中，第1层级特征，可以包括：经神经网络中第1层网络层输出的特征、或者对该第1层网络层输出的特征进行至少一次特征提取得到的特征。例如，参与融合的特征中，最低层级的特征可以是上述M个不同层级特征中最低层级的特征，或者也可以是对该最低层级的特征进行一次或多次特征提取得到的特征，M层第二中间特征中可以包括上述最低层级的特征和每次融合得到的融合特征。
图2为本申请实施例中示出的一个特征融合示意图，如图2所示，示出了将一个较低层级特征Ni下采样后与相邻的、较高层级特征Pi+1融合，得到相应的融合特征Ni+1的一个示意图，其中，i为取值大于0的整数。
基于该实施例，对M个不同层级特征按照自上而下的顺序(即神经网络中网络深度从深至浅、从高层级特征到低层级特征的顺序)，逐渐将高层级低分辨率的特征和低层级高分辨率的特征融合，得到一批新的特征，即M层第一中间特征，且对M个不同层级特征按照从下而上的顺序(即低层级特征到高层级特征的顺序)，依次将较低层级特征下采样后与相邻的、较高层级特征进行处理，逐渐将低层级高分辨率的特征和高层级低分辨率的特征融合，得到另一批新的特征，即M层第二中间特征。
其中，所述M个不同层级特征中第i个层级特征的级别小于第i+1层级特征的级别，将所述M层第一中间特征及所述M层第二中间特征进行处理，获得M层图像特征，包括：将第1层第一中间特征确定为所述M层图像特征中的第1层图像特征；依次取i为2至M，将第i层第一中间特征与第i-1层第二中间特征进行融合，获得第i层图像特征，在i为M时，共获得M-1层图像特征。
例如，若M为4，将第1层第一中间特征确定为M层图像特征中的第1层图像特征，若i为2时，将第2层第一中间特征到第1层第二中间特征进行融合，获得第2层图像特征，若i为3时，将第3层第一中间特征到第2层第二中间特征进行融合，获得第3层图像特征，若i为4时，将第4层第一中间特征到第3层第二中间特征进行融合，获得第4层图像特征，以此方式，可以获得4层图像特征。
而在神经网络中，将M层第一中间特征与M层第二中间特征沿神经网络中网络深度从浅到深的方向进行融合，例如，对第一中间特征中低层级特征和第二中间特征中低层级特征进行特征融合，获得第一层图像特征，每层图像特征包括最低层级的第一中间特征以及每次第一中间特征和第二中间特征融合后的特征，也就是说，最后获得的每层图像特征包括M个不同层级特征，且该不同层级特征所占的比例相同。
所以，本实施例中进行三次特征处理，能够帮助低层信息更容易地传播到高层网络(即网络深度较深的网络层)，使得最后获得的图像特征中包含的各个层级特征的权重相同，即高层级特征与低层级特征的权重相同，降低信息传播的损失，使得信息在神经网络内部能够更加顺畅的传递，可以让高层网络更容易、全面地获取低层信息，由于低层信息对某些细节比较敏感，能够提供对定位和分割非常有益的信息，而高层信息对大物体的信息比较敏感，本方案中获得的低层信息与高层信息的比重相同，使得对大小物体的实例分割效果较为均衡，且对中大型的物体的实例分割效果较好。
为了便于对本实施例的理解，下面可参照图3所示，图3为本申请实施例中对特征提取的应用示意图。本申请实施例是Mask R-CNN的特征金字塔网络FPN结构，在残差网络结构(residualnetwork，ResNet)另一侧加入了和FPN成镜像操作的金字塔结构，并将得到的各层级特征(N1,N2，N3，N4)(即M层第二中间特征)与FPN相应层级特征(P1,P2,P3,P4)(即M层第一中间特征)进行处理，最终得到信息均衡的各层级特征(O1,O2,O3,O4)(即M层图像特征)。
具体地，(C1,C2,C3,C4)特征为通过神经网络对待处理图像进行特征提取获得的M个不同层级特征，该实施例中，M为4，即获得4个不同层级特征，将该(C1,C2,C3,C4)特征按照从高层级特征从低层级特征的方向进行处理，获得4层第一中间特征，即第一中间特征为特征(P1,P2,P3,P4)，其融合的方式可以简单表示如下：P4＝C4，P3＝C3+C4，P2＝C2+C3+C4，P1＝C1+C2+C3+C4。将该(C1,C2,C3,C4)特征按照从低层级特征从高层级特征的方向进行进行，获得4层第二中间特征，即第二中间特征为特征(N1,N2，N3，N4)，其融合的方式可以简单表示如下：N1＝C1，N2＝N1+C2＝C1+C2，N3＝N2+C3＝C1+C2+C3，N4＝N3+C4＝C1+C2+C3+C4。然后再将特征(P1,P2,P3,P4)与特征(M1,M2,M3,M4)按照从低层级特征到高层级特征的方向进行处理，获得4层图像特征，即特征(O1,O2,O3,O4)，其融合的方式可以简单表示如下：O1＝P1＝C1+C2+C3+C4，O2＝N1+P2＝C1+C2+C3+C4，O3＝N2+P3＝C1+C2+C3+C4，O4＝N3+P4＝C1+C2+C3+C4，可见获得的O层特征中每层特征包括比重相同的C层特征，即每层图像特征中的高层级特征信息与低层级特征信息所占比重相同，所以在后续对物体进行实例分割时，由于高层级特征信息对大物体比较敏感，低层级特征信息对小物体比较敏感，所以获得的O层特征信息对大小物体都具有较好的实例分割效果。
另外，在获得上述的M层图像特征后，还可以基于该M层图像特征对待处理图像的至少部分区域进行分割，获得分割结果。例如，本申请各实施例中，待处理图像的至少部分区域可以是图像的全部区域或者局部区域(例如候选区域)，即可以对整个待处理图像进行分割，得到图像的分割结果，也可以对待处理图像的局部区域(例如候选区域)进行分割，得到局部区域的分割结果。
另外，上述对待处理图像进行分割可以是对待处理图像进行语义分割或者实例分割，例如，在对待处理图像进行分割时，可以基于M层图像特征对待处理图像的至少部分区域进行语义分割，获得语义分割结果，其中，该语义分割结果例如可以包括：该待处理图像的至少部分区域中各像素所属的类别。
再如，还可以基于M层图像特征对待处理图像的至少部分区域进行实例分割，获得实例分割结果。实例分割结果可以包括：该待处理图像中的至少部分区域中属于某实例的像素以及该实例所属的类别，例如，该至少部分区域中属于某男孩的像素以及该男孩所属的类别为人。实例分割可采用上述的Mask R-CNN算法。
实例，例如可以包括但不限于某一个具体对象，如某一具体的人、某一具体的物等等。通过神经网络对待处理图像进行检测可获得一个或多个实例候选区域，实例候选区域表示图像中可能出现上述实例的区域。
另外，为了更好地对待处理图像进行实例分割，还可以对M层图像特征中不同层级的图像特征进行像素级别的融合，得到最终融合特征，进而还可以基于最终融合特征对待处理图像的至少部分区域进行分割。
在其中一个可选示例中，对M层图像特征进行像素级别的融合，包括：M层图像特征基于各像素取最大值，即将M层图像特征中，各像素位置的特征取最大值；或者对M层图像特征基于各像素取平均值，即将M层图像特征中各像素位置的特征求取平均值；或者对M层图像特征基于各像素求和，即将M层图像特征中，各像素位置的特征求和。
其中，在上述实施例中，对M层图像特征基于各像素取最大值时，将M层图像特征基于各像素取最大值的方式，相对于其他方式而言，使得获得的特征更明显，从而使得分割结果更准确，以提升分割结果的准确性。
在上述实施例中，还可以基于M层图像特征中待处理图像的至少部分区域对应的融合特征，进行像素级别的实例预测，获得待处理图像的至少部分区域的实例类别预测结果；基于待处理图像的至少部分区域对应的融合特征进行像素级别的前背景预测，获得待处理图像的至少部分区域的前背景预测结果。
基于实例类别预测结果和前背景预测结果，获取待处理图像的至少部分区域的实例分割结果，该实例分割结果包括：当前实例候选区域中属于某实例的像素以及该实例所属的类别信息。
本实施例中，基于上述的M层图像特征，同时进行像素级别的实例类别预测和前背景预测，通过像素级别的实例类别预测可以对该M层图像特征的精细分类和多分类，通过前背景预测可以获得较好的全局信息，并且由于无需关注多实例类别之间的细节信息，提高了预测速度，同时基于上述实例类别预测结果和前背景预测结果获取实例物体候选区域的实例分割结果，可以提高实例候选区域或者待处理图像的实例分割结果。
在其中一个可选示例中，基于M层图像特征中待处理图像的至少部分区域对应的融合特征，进行像素级别的实例类别预测，可以包括：
通过第一卷积网络对图像的至少部分区域对应的融合特征进行特征提取，该第一卷积网络包括至少一个全卷积层；
通过第一全卷积层，基于第一卷积网络输出的特征进行像素级别的物体类别预测。
在其中一个可选示例中，基于待处理图像的至少部分区域对应的融合特征进行像素级别的前背景预测，包括：
基于待处理图像的至少部分区域对应的融合特征，预测待处理图像的至少部分区域中属于前景的像素和/或属于背景的像素。
其中，背景与前景可以根据需求设定，例如，前景可以包括所有实例类别对应部分，背景可以包括所有实例类别对应部分以外的部分，或者，背景可以包括所有实例类别对应部分，前景可以包括所有实例类别对应部分以外的部分。
在另一个可选示例中，基于M层图像特征进行像素级别的前背景预测，可以包括：
通过第二卷积网络对待处理图像的至少部分区域对应的融合特征进行特征提取，第二全卷积网络包括至少一个全卷积层；
通过全连接层，基于第二卷积网络输出的特征进行像素级别的前背景预测。
本申请各图像特征提取方法实施例的一个实施方式中，基于实例类别预测结果和前背景预测结果，获取待处理图像的至少部分区域的实例分割结果，可以包括：
将待处理图像的至少部分区域的物体类别预测结果与前背景预测结果进行像素级的相加处理，获得待处理图像的至少部分区域的实例分割结果。
在另一个实施方式中，获得图像的至少部分区域的前背景预测结果之后，还可以包括：将上述前背景预测结果转换为与上述实例类别预测结果的维度一致的前背景预测结果。例如，将前背景预测结果由向量转换为与物体类别预测的维度一致的矩阵。相应地，将待处理图像的至少部分区域的物体类别预测结果与前背景预测结果进行像素级的相加处理，可以包括：将待处理图像的至少部分区域的实例类别预测结果与转换得到的前背景预测结果进行像素级的相加处理。
其中，上述分别基于M层图像特征进行实例分割时，获得实例分割结果时，由于同时基于该M层图像特征进行像素级别的实例类别预测和前背景预测，该部分方案可以称为双路掩膜预测，如图4所示，图4为本申请实施例中进行双路掩膜预测的一个网络结果示意图。
图4中，局部区域(ROI)的融合特征，分别经过两个分支进行实例类别预测和前背景预测。其中，第一个分支包括：四个全卷积层(conv1-conv4)，即上述第一卷积网络；和一个解卷积层(deconv)即上述第一全卷积层组成。另一个分支包：从第一个分支的全卷积层(conv1-conv3)、以及两个全卷积层(conv4-fc和conv5-fc)，即上述第二卷积网络、以及全连接层(fc)、以及转换层(reshape)，用于将前背景预测结果转换为与实例类别预测结果的维度一致的前背景预测结果。第一个分支对每个潜在的实例类别都会进行像素级别的掩膜预测，而全连接层则进行一个与实例类别无关的掩膜预测(即进行像素级别的前背景预测)，最终这两个分支的掩膜预测相加得到最终的实例分割结果。
图5为本申请图像特征提取方法的一个应用实施例的流程图，该实施例以对待处理图像的局部区域进行实例分割为例进行说明，对整个待处理图像进行实例分割或者语义分割时，直接以整个待处理图像的M层图像特征进行相应的实例分割或语义分割，本领域技术人员基于本申请实施例的记载，可以知悉对整个待处理图像进行分割的实现，此外不再赘述。图6为图5所示应用实施例的过程示意图。请同时参照图5和图6，该应用实施例的图像特征提取方法包括：
步骤S210：通过神经网络对待处理图像进行特征提取，经神经网络中M个不同网络深度的网络层输出M个层级特征。
以M为4为例进行说明，即经神经网络中4个不同网络深度的网络层输出M个层级特征C1-C4。
步骤S220：将上述M个层级特征中，按照从高层级特征到低层级特征的顺序，依次将较高层级的特征上采样后与较低层级的特征进行处理，获得M层第一中间特征。
即将上述M个层级特征中，按照从高层级特征C4到低层级特征C1的顺序，依次将较高层级的特征Ci上采样后与较低层级的特征Ci-1进行处理，获得4层第一中间特征P1-P4。
其中，i的取值依次为4-1中的整数。参与融合的特征和第一中间特征中，最高层级的第一中间特征P4为上述四个不同层级特征中最高层级的特征C4或者通过全卷积层对该特征C4进行特征提取得到的特征，即P4＝C4，第一中间特征P3为特征P4和特征C3之和或者通过卷积层对特征P4和特征C3进行卷积得到的特征，即P3＝P4+C3＝C4+C3，按照此方式，特征P2＝P3+C2＝C4+C3+C2，特征P1＝P2+C1＝C4+C3+C2+C1。
步骤S230：将M个层级特征中，按照从低层级特征到高层级特征的顺序，依次将较低层级的特征上采样后与较高层级的特征进行处理，获得M层第二中间特征。
即将上述四个层级特征中，按照从低层级特征C1到高层级特征C4的顺序，依次将较低层级的特征Ci上采样后与较高层级的特征Ci+1进行处理，获得4层第二中间特征N1-N4。
其中，i的取值依次为1-4中的整数。参与融合的特征和第二中间特征中，最低层级的第二中间特征N1为上述四个不同层级特征中最低层级的特征C1或者通过全卷积层对该特征C1进行特征提取得到的特征，即N1＝C1，第二中间特征N2为特征N1和特征C2之和或者通过卷积层对特征N1和特征C2进行卷积得到的特征，即N2＝N1+C2＝C1+C2，按照此方式，特征N3＝N2+C3＝C1+C2+C3，特征N4＝N3+C4＝C1+C2+C3+C4。
需要说明的是，步骤S220和步骤S230在执行时间上不存在先后顺序，二者可以同时执行，也可以以任意时间顺序执行，本实施例中所列举的实现步骤并不构成对本申请的限制。
步骤S240：将M层第一中间特征与M层第二中间特征按照低层级特征到高层级特征的顺序进行处理，获得M层图像特征。
即将4层第一中间特征P1-P4与4层第二中间特征N1-N4按照低层级特征到高层级特征的顺序进行处理，获得4层图像特征O1-O4。
其中，参与融合的特征中，最低层级的图像特征O1为第一中间特征中最低层级的特征P1或者通过全卷积层对该特征P1进行特征提取得到的特征，即O1＝P1＝C1+C2+C3+C4，图像特征O2为特征N1和特征P2之和或者通过卷积层对特征N1和特征P2进行卷积得到的特征，即O2＝N1+P2＝C1+C2+C3+C4，按照此方式，特征O3＝N2+P3＝C1+C2+C3+C4，特征O4＝N3+P4＝C1+C2+C3+C4。
本申请各实施例中，例如，可以采用但不限于区域推荐网络(Region ProposalNetwork，RPN)生成图像感兴趣区域(region of interest，ROI)对齐(ROIAlign)的方法，从M层图像特征中对抽取该局部区域对应的区域特征。
步骤S250：对从M层图像特征中抽取的该局部区域对应的四个区域特征进行像素级别的融合，得到最终融合特征。
步骤S260：基于该最终融合特征进行实例识别，获得实例识别结果。
该实例识别结果包括各实例的物体框(box)或者位置和该实例所属的实例类别(class)。该步骤之后，可不执行本应用实施例的后续流程。
步骤S270：基于最终融合特征进行像素级别的实例类别预测，获得实例类别预测结果，以及基于最终融合特征进行像素级别的前背景预测，获得前背景预测结果。
步骤S280：将物体类别预测结果与前背景预测结果进行像素级的相加处理，获得上述局部区域的实例分割结果。
其中，该实例分割结果包括：该局部区域中属于某一实例的像素以及该实例所属的实例类别，其中，实例类别可以为背景或某一实例类别。
其中，步骤S260与步骤S270-S280之间在执行时间上不存在先后顺序，二者可以同时执行，也可以以任意时间顺序执行。
请参照图7，图7为本申请实施例提供的一种图像特征提取装置200的结构框图，所述装置包括：
图像特征提取模块210，用于获取待处理图像，对所述待处理图像进行特征提取，获得M个不同层级特征，M为大于等于2的整数；
第一特征处理模块220，用于将所述M个不同层级特征按照第一层级方向进行处理，获得M层第一中间特征；以及
第二特征处理模块230，用于将所述M个不同层级特征按照与所述第一层级方向相反的第二层级方向进行处理，获得M层第二中间特征；
第三特征处理模块，用于将所述M层第一中间特征及所述M层第二中间特征进行处理，获得M层图像特征。
可选地，所述图像特征提取模块210，用于通过神经网络对所述待处理图像进行特征提取，经所述神经网络中M个不同网络深度的网络层输出M个不同层级特征。
可选地，所述第一特征处理模块220，用于将所述M个不同层级特征按照从高层级特征到低层级特征的方向进行处理，获得M层第一中间特征；
所述第二特征处理模块230，用于将所述M个不同层级特征按照从低层级特征到高层级特征的方向进行处理，获得M层第二中间特征。
可选地，所述M个不同层级特征中第i个层级特征的级别高于第i-1层级特征的级别，i为小于等于M且大于等于2的整数，所述第一特征处理模块220，用于将第M层级特征确定为所述M层第一中间特征中的第M层第一中间特征；依次取i为M-1至1，将所述第M层级特征到第i层级特征之间的M-i+1个层级特征进行融合，获得第i层第一中间特征，在i为1时，共获得M-1层第一中间特征。
可选地，所述第一特征处理模块220，还用于依次取i为M-1至1，沿神经网络中网络深度从深到浅的方向，依次将所述神经网络中，经第M层网络层输出的第M层级特征上采样后，与到经第i层网络层输出的第i层级特征之间的M-i+1个层级特征进行融合，获得第i层第一中间特征，在i为1时，共获得M-1层第一中间特征。
可选地，所述M个不同层级特征中第i个层级特征的级别小于第i+1层级特征的级别，i为小于等于M且大于等于1的整数，所述第二特征处理模块230，用于将第1层级特征确定为所述M层第二中间特征中的第1层第二中间特征；依次取i为2至M，将所述第1层级特征到第i层级特征之间的i个层级特征进行融合，获得第i层第二中间特征，在i为M时，共获得M-1层第二中间特征。
可选地，所述第二特征处理模块230，还用于依次取i为2至M，沿神经网络中网络深度从浅到深的方向，依次将所述神经网络中，经第1层网络层输出的第1层级特征下采样后，与到经第i层网络层输出的第i层级特征之间的i个层级特征进行融合，获得第i层第二中间特征，在i为M时，共获得M-1层第二中间特征。
可选地，所述M个不同层级特征中第i个层级特征的级别小于第i+1层级特征的级别，所述第三特征处理模块，用于将第1层第一中间特征确定为所述M层图像特征中的第1层图像特征；依次取i为2至M，将第i层第一中间特征与第i-1层第二中间特征进行融合，获得第i层图像特征，在i为M时，共获得M-1层图像特征。
可选地，所述装置还包括：
图像分割模块，用于基于所述M层图像特征对所述待处理图像的至少部分区域进行分割，获得分割结果。
可选地，所述图像分割模块，具体用于基于所述M层图像特征对所述待处理图像的至少部分区域进行语义分割，获得语义分割结果。
可选地，所述图像分割模块，具体用于基于所述M层图像特征对所述待处理图像的至少部分区域进行实例分割，获得实例分割结果。
请参照图8，图8为本申请实施例提供的一种电子设备的结构示意图，所述电子设备可以包括：至少一个处理器110，例如CPU，至少一个通信接口120，至少一个存储器130和至少一个通信总线140。其中，通信总线140用于实现这些组件直接的连接通信。其中，本申请实施例中设备的通信接口120用于与其他节点设备进行信令或数据的通信。存储器130可以是高速RAM存储器，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。存储器130可选的还可以是至少一个位于远离前述处理器的存储装置。存储器130中存储有计算机可读取指令，当所述计算机可读取指令由所述处理器110执行时，电子设备执行上述图1所示方法过程。
本申请实施例提供一种可读存储介质，所述计算机程序被处理器执行时，执行如图1所示方法实施例中电子设备所执行的方法过程。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置的具体工作过程，可以参考前述方法中的对应过程，在此不再过多赘述。
综上所述，本申请实施例提供一种图像特征提取方法、装置、电子设备及存储介质，该方法通过对待处理图像提取的M个不同层级特征进行两次处理后，获得M层第一中间特征和M层第二中间特征，然后再将这M层第一中间特征和M层第二中间特征进行融合，获得的M层图像特征，通过该方式获得的每层图像特征中可以包含信息较为均衡的M个不同层级特征，即每层图像特征中包括信息比较均衡的高层信息和低层信息，由于低层信息对于某些细节信息比较敏感，能够提供对定位和分割较为有益的信息，通过上述对特征的多次处理，让高层网络更容易、更全面地获取低层信息，从而可以使得高层信息与低层信息更为均衡，实现对大小物体均衡的分割效果。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
Claims (24)
1.一种图像特征提取方法，其特征在于，所述方法包括：
获取待处理图像，对所述待处理图像进行特征提取，获得M个不同层级特征，M为大于等于2的整数；
将所述M个不同层级特征按照第一层级方向进行处理，获得M层第一中间特征，以及将所述M个不同层级特征按照与所述第一层级方向相反的第二层级方向进行处理，获得M层第二中间特征；
将所述M层第一中间特征及所述M层第二中间特征进行处理，获得M层图像特征。
2.根据权利要求1所述的方法，其特征在于，所述M个不同层级特征中第i个层级特征的级别小于第i+1层级特征的级别，将所述M层第一中间特征及所述M层第二中间特征进行处理，获得M层图像特征，包括：
将第1层第一中间特征确定为所述M层图像特征中的第1层图像特征；
依次取i为2至M，将第i层第一中间特征与第i-1层第二中间特征进行融合，获得第i层图像特征，在i为M时，共获得M-1层图像特征。
3.根据权利要求1所述的方法，其特征在于，对所述待处理图像进行特征提取，获得M个不同层级特征，包括：
通过神经网络对所述待处理图像进行特征提取，经所述神经网络中M个不同网络深度的网络层输出M个不同层级特征。
4.根据权利要求1所述的方法，其特征在于，将所述M个不同层级特征按照第一层级方向进行处理，获得M层第一中间特征，以及将所述M个不同层级特征按照与所述第一层级方向相反的第二层级方向进行处理，获得M层第二中间特征，包括：
将所述M个不同层级特征按照从高层级特征到低层级特征的方向进行处理，获得M层第一中间特征；以及
将所述M个不同层级特征按照从低层级特征到高层级特征的方向进行处理，获得M层第二中间特征。
5.根据权利要求4所述的方法，其特征在于，所述M个不同层级特征中第i个层级特征的级别高于第i-1层级特征的级别，i为小于等于M且大于等于2的整数，所述将所述M个不同层级特征按照从高层级特征到低层级特征的方向进行处理，获得M层第一中间特征，包括：
将第M层级特征确定为所述M层第一中间特征中的第M层第一中间特征；
依次取i为M-1至1，将所述第M层级特征到第i层级特征之间的M-i+1个层级特征进行融合，获得第i层第一中间特征，在i为1时，共获得M-1层第一中间特征。
6.根据权利要求5所述的方法，其特征在于，依次取i为M-1至1，将所述第M层级特征到第i层级特征进行融合，获得第i层第一中间特征，在i为1时，共获得M-1个第一中间特征，包括：
依次取i为M-1至1，沿神经网络中网络深度从深到浅的方向，依次将所述神经网络中，经第M层网络层输出的第M层级特征上采样后，与到经第i层网络层输出的第i层级特征之间的M-i+1个层级特征进行融合，获得第i层第一中间特征，在i为1时，共获得M-1层第一中间特征。
7.根据权利要求4所述的方法，其特征在于，所述M个不同层级特征中第i个层级特征的级别小于第i+1层级特征的级别，i为小于等于M且大于等于1的整数，将所述M个不同层级特征按照从低层级特征到高层级特征的方向进行处理，获得M层第二中间特征，包括：
将第1层级特征确定为所述M层第二中间特征中的第1层第二中间特征；
依次取i为2至M，将所述第1层级特征到第i层级特征之间的i个层级特征进行融合，获得第i层第二中间特征，在i为M时，共获得M-1层第二中间特征。
8.根据权利要求7所述的方法，其特征在于，依次取i为2至M，将所述第1层级特征到第i层级特征进行融合，获得第i层第二中间特征，在i为M时，共获得M-1个第二中间特征，包括：
依次取i为2至M，沿神经网络中网络深度从浅到深的方向，依次将所述神经网络中，经第1层网络层输出的第1层级特征下采样后，与到经第i层网络层输出的第i层级特征之间的i个层级特征进行融合，获得第i层第二中间特征，在i为M时，共获得M-1层第二中间特征。
9.根据权利要求1-8任一所述的方法，其特征在于，将所述M层第一中间特征及所述M层第二中间特征进行处理，获得M层图像特征之后，还包括：
基于所述M层图像特征对所述待处理图像的至少部分区域进行分割，获得分割结果。
10.根据权利要求9所述的方法，其特征在于，基于所述M层图像特征对所述待处理图像的至少部分区域进行分割，获得分割结果，包括：
基于所述M层图像特征对所述待处理图像的至少部分区域进行语义分割，获得语义分割结果。
11.根据权利要求9所述的方法，其特征在于，基于所述M层图像特征对所述待处理图像的至少部分区域进行分割，获得分割结果，包括：
基于所述M层图像特征对所述待处理图像的至少部分区域进行实例分割，获得实例分割结果。
12.一种图像特征提取装置，其特征在于，所述装置包括：
图像特征提取模块，用于获取待处理图像，对所述待处理图像进行特征提取，获得M个不同层级特征，M为大于等于2的整数；
第一特征处理模块，用于将所述M个不同层级特征按照第一层级方向进行处理，获得M层第一中间特征；以及
第二特征处理模块，用于将所述M个不同层级特征按照与所述第一层级方向相反的第二层级方向进行处理，获得M层第二中间特征；
第三特征处理模块，用于将所述M层第一中间特征及所述M层第二中间特征进行处理，获得M层图像特征。
13.根据权利要求12所述的装置，其特征在于，所述M个不同层级特征中第i个层级特征的级别小于第i+1层级特征的级别，所述第三特征处理模块，用于将第1层第一中间特征确定为所述M层图像特征中的第1层图像特征；依次取i为2至M，将第i层第一中间特征与第i-1层第二中间特征进行融合，获得第i层图像特征，在i为M时，共获得M-1层图像特征。
14.根据权利要求12所述的装置，其特征在于，所述图像特征提取模块，用于通过神经网络对所述待处理图像进行特征提取，经所述神经网络中M个不同网络深度的网络层输出M个不同层级特征。
15.根据权利要求12所述的装置，其特征在于，所述第一特征处理模块，用于将所述M个不同层级特征按照从高层级特征到低层级特征的方向进行处理，获得M层第一中间特征；
所述第二特征处理模块，用于将所述M个不同层级特征按照从低层级特征到高层级特征的方向进行处理，获得M层第二中间特征。
16.根据权利要求15所述的装置，其特征在于，所述M个不同层级特征中第i个层级特征的级别高于第i-1层级特征的级别，i为小于等于M且大于等于2的整数，所述第一特征处理模块，用于将第M层级特征确定为所述M层第一中间特征中的第M层第一中间特征；依次取i为M-1至1，将所述第M层级特征到第i层级特征之间的M-i+1个层级特征进行融合，获得第i层第一中间特征，在i为1时，共获得M-1层第一中间特征。
17.根据权利要求16所述的装置，其特征在于，所述第一特征处理模块，还用于依次取i为M-1至1，沿神经网络中网络深度从深到浅的方向，依次将所述神经网络中，经第M层网络层输出的第M层级特征上采样后，与到经第i层网络层输出的第i层级特征之间的M-i+1个层级特征进行融合，获得第i层第一中间特征，在i为1时，共获得M-1层第一中间特征。
18.根据权利要求15所述的装置，其特征在于，所述M个不同层级特征中第i个层级特征的级别小于第i+1层级特征的级别，i为小于等于M且大于等于1的整数，所述第二特征处理模块，用于将第1层级特征确定为所述M层第二中间特征中的第1层第二中间特征；依次取i为2至M，将所述第1层级特征到第i层级特征之间的i个层级特征进行融合，获得第i层第二中间特征，在i为M时，共获得M-1层第二中间特征。
19.根据权利要求18所述的装置，其特征在于，所述第二特征处理模块，还用于依次取i为2至M，沿神经网络中网络深度从浅到深的方向，依次将所述神经网络中，经第1层网络层输出的第1层级特征下采样后，与到经第i层网络层输出的第i层级特征之间的i个层级特征进行融合，获得第i层第二中间特征，在i为M时，共获得M-1层第二中间特征。
20.根据权利要求12-19任一所述的装置，其特征在于，所述装置还包括：
图像分割模块，用于基于所述M层图像特征对所述待处理图像的至少部分区域进行分割，获得分割结果。
21.根据权利要求20所述的装置，其特征在于，所述图像分割模块，具体用于基于所述M层图像特征对所述待处理图像的至少部分区域进行语义分割，获得语义分割结果。
22.根据权利要求20所述的装置，其特征在于，所述图像分割模块，具体用于基于所述M层图像特征对所述待处理图像的至少部分区域进行实例分割，获得实例分割结果。
23.一种电子设备，其特征在于，包括处理器以及存储器，所述存储器存储有计算机可读取指令，当所述计算机可读取指令由所述处理器执行时，运行如权利要求1-11任一所述方法中的步骤。
24.一种可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时运行如权利要求1-11任一所述方法中的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811561327.0A CN111340059A (zh) | 2018-12-19 | 2018-12-19 | 图像特征提取方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811561327.0A CN111340059A (zh) | 2018-12-19 | 2018-12-19 | 图像特征提取方法、装置、电子设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111340059A true CN111340059A (zh) | 2020-06-26 |
Family
ID=71186881
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811561327.0A Pending CN111340059A (zh) | 2018-12-19 | 2018-12-19 | 图像特征提取方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111340059A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111914894A (zh) * | 2020-06-28 | 2020-11-10 | 中国建设银行股份有限公司 | 特征提取方法、装置、电子设备及计算机可读存储介质 |
| CN112580721A (zh) * | 2020-12-19 | 2021-03-30 | 北京联合大学 | 一种基于多分辨率特征融合的目标关键点检测方法 |
| WO2021139447A1 (zh) * | 2020-09-30 | 2021-07-15 | 平安科技（深圳）有限公司 | 一种宫颈异常细胞检测装置及方法 |
| CN115018059A (zh) * | 2022-08-09 | 2022-09-06 | 北京灵汐科技有限公司 | 数据处理方法及装置、神经网络模型、设备、介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101231748A (zh) * | 2007-12-18 | 2008-07-30 | 西安电子科技大学 | 基于奇异值分解的图像融合方法 |
| KR20160072768A (ko) * | 2014-12-15 | 2016-06-23 | 삼성전자주식회사 | 영상 인식 방법, 영상 검증 방법, 장치, 및 영상 인식 및 검증에 대한 학습 방법 및 장치 |
| CN105740351A (zh) * | 2016-01-26 | 2016-07-06 | 云南电网有限责任公司电力科学研究院 | 一种输电运维设备的数据融合方法和*** |
| CN107563412A (zh) * | 2017-08-09 | 2018-01-09 | 浙江大学 | 一种基于深度学习的红外图像电力设备实时检测方法 |
| CN108335305A (zh) * | 2018-02-09 | 2018-07-27 | 北京市商汤科技开发有限公司 | 图像分割方法和装置、电子设备、程序和介质 |
| CN108460411A (zh) * | 2018-02-09 | 2018-08-28 | 北京市商汤科技开发有限公司 | 实例分割方法和装置、电子设备、程序和介质 |
-
2018
- 2018-12-19 CN CN201811561327.0A patent/CN111340059A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101231748A (zh) * | 2007-12-18 | 2008-07-30 | 西安电子科技大学 | 基于奇异值分解的图像融合方法 |
| KR20160072768A (ko) * | 2014-12-15 | 2016-06-23 | 삼성전자주식회사 | 영상 인식 방법, 영상 검증 방법, 장치, 및 영상 인식 및 검증에 대한 학습 방법 및 장치 |
| CN105740351A (zh) * | 2016-01-26 | 2016-07-06 | 云南电网有限责任公司电力科学研究院 | 一种输电运维设备的数据融合方法和*** |
| CN107563412A (zh) * | 2017-08-09 | 2018-01-09 | 浙江大学 | 一种基于深度学习的红外图像电力设备实时检测方法 |
| CN108335305A (zh) * | 2018-02-09 | 2018-07-27 | 北京市商汤科技开发有限公司 | 图像分割方法和装置、电子设备、程序和介质 |
| CN108460411A (zh) * | 2018-02-09 | 2018-08-28 | 北京市商汤科技开发有限公司 | 实例分割方法和装置、电子设备、程序和介质 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111914894A (zh) * | 2020-06-28 | 2020-11-10 | 中国建设银行股份有限公司 | 特征提取方法、装置、电子设备及计算机可读存储介质 |
| WO2021139447A1 (zh) * | 2020-09-30 | 2021-07-15 | 平安科技（深圳）有限公司 | 一种宫颈异常细胞检测装置及方法 |
| CN112580721A (zh) * | 2020-12-19 | 2021-03-30 | 北京联合大学 | 一种基于多分辨率特征融合的目标关键点检测方法 |
| CN112580721B (zh) * | 2020-12-19 | 2023-10-24 | 北京联合大学 | 一种基于多分辨率特征融合的目标关键点检测方法 |
| CN115018059A (zh) * | 2022-08-09 | 2022-09-06 | 北京灵汐科技有限公司 | 数据处理方法及装置、神经网络模型、设备、介质 |
| CN115018059B (zh) * | 2022-08-09 | 2022-11-18 | 北京灵汐科技有限公司 | 数据处理方法及装置、神经网络模型、设备、介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108460411B (zh) | 实例分割方法和装置、电子设备、程序和介质 | |
| CN108335305B (zh) | 图像分割方法和装置、电子设备、程序和介质 | |
| Guizilini et al. | Semantically-guided representation learning for self-supervised monocular depth | |
| KR102438095B1 (ko) | 인스턴스 분할 방법 및 장치, 전자 기기, 프로그램 및 매체 | |
| CN110111366B (zh) | 一种基于多级损失量的端到端光流估计方法 | |
| CN111340059A (zh) | 图像特征提取方法、装置、电子设备及存储介质 | |
| US10339421B2 (en) | RGB-D scene labeling with multimodal recurrent neural networks | |
| CN108805889B (zh) | 边缘引导的精细化显著性物体分割方法与***、设备 | |
| CN111583097A (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
| US20180114071A1 (en) | Method for analysing media content | |
| CN110909642A (zh) | 一种基于多尺度语义特征融合的遥感图像目标检测方法 | |
| CN113936256A (zh) | 一种图像目标检测方法、装置、设备以及存储介质 | |
| CN113096140B (zh) | 实例分割方法及装置、电子设备及存储介质 | |
| JP2016062588A (ja) | 階層グラフに基づく画像マッティングおよび前景推定の方法およびシステム | |
| CN113313810A (zh) | 一种透明物体的6d姿态参数计算方法 | |
| CN113936235A (zh) | 一种基于质量评估的视频显著性目标检测方法 | |
| CN112926667B (zh) | 深度融合边缘与高层特征的显著性目标检测方法及装置 | |
| Wang et al. | Object counting in video surveillance using multi-scale density map regression | |
| CN111340044A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| Chen et al. | A video processing algorithm using temporal intuitionistic fuzzy sets | |
| CN111339808A (zh) | 车辆碰撞概率预测方法、装置、电子设备及存储介质 | |
| CN112365451A (zh) | 图像质量等级的确定方法、装置、设备及计算机可读介质 | |
| CN109492579B (zh) | 一种基于st-sin的视频物体检测方法及*** | |
| CN116721322A (zh) | 一种基于多模态的人物交互关系检测方法及其检测*** | |
| CN116704203A (zh) | 目标检测方法、装置、电子设备、计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200626 |