CN110334716B - 特征图处理方法、图像处理方法及装置 - Google Patents

Abstract

本公开提供了特征图处理方法、图像处理方法及装置。其中特征提取方法包括：获取特征图步骤，获取次级特征图；参数生成步骤，基于次级特征图，通过池化得到个性参数；参数调整步骤，通过对个性参数进行点卷积，得到个性指导参数；权重调整步骤，根据个性指导参数，对权重的进行调整，得到个性权重；特征提取步骤，基于次级特征图以及个性权重，得到高级特征图。本公开提供的特征提取方法通过针对输入的不同特征图，生成不同的个性权重，每个特征同通过根据各自特点生成的个性权重进行特征提取，从而提高了结果的精度。

Description

特征图处理方法、图像处理方法及装置

技术领域

本发明一般地涉及图像识别领域，具体涉及一种特征图处理方法、图像处理方法及装置。

背景技术

随着计算机技术的发展，越来越多的场景需要通过计算机技术来进行如目标检测、目标识别等图像处理工作。其中卷积神经网络(CNN)模型是现代深度视觉识别***的核心。卷积神经网络的形式一般是Y＝conv(X,W)，其中X是输入特征，Y是输出特征，W是权重。通过神经网络反向传播、梯度更新等算法，更新权重的值，神经网络的训练也即对权重的更新。

而通过完成对一个神经网络的训练，所有的数据将这个训练好的网络的权重，也即所有数据共享这套权重；然而，所有数据虽然都有共性，可以公用一个权重，但数据还有各自的特点，仅用一个权重会导致输出特征的不准确。

发明内容

为了解决现有技术中存在的上述问题，本发明的第一方面特征图处理方法，其中，方法包括：获取特征图步骤，获取次级特征图；参数生成步骤，基于次级特征图，通过池化得到个性参数；参数调整步骤，通过对个性参数进行点卷积，得到个性指导参数；权重调整步骤，根据个性指导参数，对权重的进行调整，得到个性权重；特征提取步骤，基于次级特征图以及个性权重，得到高级特征图。

在一例中，个性参数包括：卷积核参数和/或通道参数。

在一例中，卷积核参数通过对次级特征图进行所述池化得到。

在一例中，通道参数通过对卷积核参数进行池化得到。

在一例中，通道参数通过对次级特征图进行池化得到。

在一例中，池化为平均池化。

在一例中，参数调整步骤包括：通过对个性参数进行多层点卷积，得到个性指导参数。

在一例中，参数调整步骤还包括：在通过对个性参数进行点卷积后，经激活函数进行非线性变换，得到个性指导参数。

本发明的第二方面提供一种图像处理方法，包括：图像获取步骤，获取图像；特征提取步骤，根据如第一方面的特征图处理方法，提取图像的图像特征；图像识别步骤，根据图像特征进行图像识别。

本发明的第三方面提供一种特征图处理装置，装置包括：获取特征图模块，用于获取次级特征图；参数生成模块，用于基于次级特征图，通过池化得到个性参数；参数调整模块，用于通过对个性参数进行点卷积，得到个性指导参数；权重调整模块，用于根据个性指导参数，对权重的进行调整，得到个性权重；特征提取模块，用于基于次级特征图以及个性权重，得到高级特征图。

本发明的第四方面提供一种图像处理装置，图像处理装置包括：图像获取模块，用于获取图像；特征提取模块，用于根据如第一方面的特征图处理方法，提取图像的图像特征；图像识别模块，用于根据图像特征进行图像识别。

本发明的第五方面提供一种电子设备，包括：存储器，用于存储指令；以及处理器，用于调用存储器存储的指令执行第一方面的特征图处理方法或第二方面的图像处理方法。

本发明的第六方面提供一种计算机可读存储介质，其中存储有指令，指令被处理器执行时，执行如第一方面的特征图处理方法或如第二方面的图像处理方法。

本发明提供的特征图处理方法、图像处理方法及装置通过在卷积神经网络卷积层中，通过针对输入的不同特征图，生成不同的个性权重，每个特征同通过根据各自特点生成的个性权重进行特征提取，从而提高了结果的精度。

附图说明

通过参考附图阅读下文的详细描述，本发明实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本发明的若干实施方式，其中：

图1示出了根据本发明一实施例特征图处理方法的流程示意图；

图2示出了根据本发明一实施例特征图处理装置的示意图；

图3是本发明实施例提供的一种电子设备示意图。

在附图中，相同或对应的标号表示相同或对应的部分。

具体实施方式

下面将参考若干示例性实施方式来描述本发明的原理和精神。应当理解，给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本发明，而并非以任何方式限制本发明的范围。

需要注意，虽然本文中使用“第一”、“第二”等表述来描述本发明的实施方式的不同模块、步骤和数据等，但是“第一”、“第二”等表述仅是为了在不同的模块、步骤和数据等之间进行区分，而并不表示特定的顺序或者重要程度。实际上，“第一”、“第二”等表述完全可以互换使用。

随着计算机技术的发展和计算机视觉原理的广泛应用，利用计算机图像处理技术对图像中的目标进行检测、追踪、识别越来越热门，对目标进行动态实时跟踪定位在智能化交通***、智能监控***、军事目标检测及医学导航手术中手术器械定位等方面具有广泛的应用价值；而对目标的识别在公安、反恐等安全保障领域也起到了举足轻重的作用。卷积神经网络是上述技术的核心，其对特征提取的运行效率很大程度上决定了图像处理工作的效率。

为了提高卷积神经网络输出结果的准确性，图1示出了本发明实施例提供的一种特征图处理方法100，包括：获取特征图步骤110，参数生成步骤120，参数调整步骤130，权重调整步骤140以及特征提取步骤150。特征图处理方法100可以应用于卷积神经网络的某一卷积层，也可以应用于多层或全部卷积层中。下面对上述步骤进行详细说明。

获取特征图步骤110，获取次级特征图。

其中，次级特征图具有的参数可以包括特征图批次数量、特征图通道数量、特征图高度以及特征图宽度。

其中，获取的次级特征图可以是原始图，也可以是经过其他卷积层操作的特征图。此处将特征图输入特征以X标识，其可以具有四维张量(tensor)，尺寸为(n，c，h，w)，其中n为批次数量，c为通道数量，h为特征图的高度，w为特征图的宽度。

在一例中，在应用神经网络模型进行特征提取时，每次仅有一张图片被送入模型，因此n＝1；在另一例中，在对神经网络模型进行训练时，n为输入的特征图数量，为大于等于1的正整数。

参数生成步骤120，基于次级特征图，通过池化得到个性参数。

通过对特征图进行池化，得到具有特征图特点的个性参数。在一例中，池化为平均池化(Average Pooling)。

在一例中，个性参数可以包括：卷积核参数和/或通道参数。

在一例中，卷积核参数可以通过次级特征图直接进行池化得到，例如，将滑动窗口尺寸(window size)设置为h*w，边沿填充尺寸(padding)设置为(k-1)/2，其中k为卷积核大小，一般取3，通过池化，生成得到卷积核参数，其张量为(n，c，k，k)。

在另一例中，通道参数可以通过对卷积核参数进行池化得到。对得到的卷积核参数(n，c，k，k)做进一步池化得到通道参数，即，在得到卷积核参数(n，c，k，k)基础上，进一步通过池化层，将滑动窗口尺寸设置为k*k，边沿填充尺寸设置为0，得到通道参数，其张量为(n，c，1，1)。

在又一例中，通道参数也可以通过对次级特征图进行池化得到。例如，将滑动窗口尺寸(window size)设置为h*w，边沿填充尺寸设置为0，直接得到通道参数，其张量为(n，c，1，1)。

参数调整步骤130，通过对个性参数进行点卷积，得到个性指导参数。

在一例中，可以对个性参数，即卷积核参数和/或通道参数，进行多层的1×1的点卷积，得到个性指导参数。经过多层的点卷积，能够使得到的个性指导参数具有更多的特征。

在一例中，在经过点卷积后，经激活函数进行非线性变换，得到所述个性指导参数。其中激活函数可以是sigmoid非线性函数。

通过上述方式，可以对卷积核参数和/或通道参数进行调整得到卷积核指导参数和/或通道指导参数，能够分别对权重的不同维度进行指导。其中，得到的卷积核指导参数的张量可以是(n，c，k，k)，通道指导参数的张量可以是(n，0，1，1)。

权重调整步骤140，根据个性指导参数，对权重的进行调整，得到个性权重。

通过得到的个性指导参数，对原本共享的权重进行调整，从而得到针对不同输入的特征图个性化的权重。

在一例中，个性指导参数包括卷积核指导参数和/或通道指导参数，分别对权重的相应的维度进行调整，具体而言，卷积核指导参数对权重的卷积核维度进行调整，通道指导参数对权重的通道维度进行调整。其中调整可以通过变换(reshape)后相乘的方式进行，例如，原始权重W的张量为(0，c，k，k)，经过变换为(1，0，c，k，k)，将卷积核指导参数张量(n，c，k，k)变换为(n，1，c，k，k)，将通道指导参数的张量(n，0，1，1)变换为(n，0，1，1，1)，通过上述五维张量相乘，得到调整后的个性权重，张量为(n，0，c，k，k)。

特征提取步骤150，基于次级特征图以及个性权重，得到高级特征图。

基于输入的次级特征图，以及根据该次级特征图生成的对应的个性权重，提取得到高级特征图。例如，次级特征图的输入域特征X的张量(n，c，h，w)，经过变化为(1，n*c，h，w)，再通过个性权重(n，0，c，k，k)进行分组卷积(groupwise conv)，得到张量为(1，n，0，h，w)的结果，在通过变换得到张量(n，0，h，w)的输出特征Y。

通过本公开提供的上述任一实施例，根据每个特征图各自的特点，生成指导参数，再通过指导参数对权重进行调整，使权重加入每个特征图各自的特征，在此基础上再进行特征提取时，能够提高特征提取的精度。

本发明实施例还提供的一种图像处理方法，包括：图像获取步骤，获取图像；特征提取步骤，根据前述任一实施例的特征图处理方法100，提取图像的图像特征；图像识别步骤，根据图像特征进行图像识别。其中，在特征提取步骤中，可以在某一卷积层中应用前述任一实施例的特征图处理方法100，也可以在多个或全部卷积层中应用前述任一实施例的特征图处理方法100。每在一个卷积层应用时，均能够根据当前层输入的次级特征图进行个性化调整其参数，因此能够使得当前层输出的高级特征图更加准确。

图2示出了本发明实施例提供的一种特征图处理装置200，如图2所示，特征图处理装置200包括：获取特征图模块210，用于获取特征图；参数生成模块220，用于基于特征图，通过池化得到个性参数；参数调整模块230，用于通过对个性参数进行点卷积，得到个性指导参数；权重调整模块240，用于根据个性指导参数，对权重的进行调整，得到个性权重；特征提取模块250，用于基于特征图以及个性权重，得到特征图的特征。

在一例中，个性参数包括：卷积核参数和/或通道参数。

在一例中，通道参数通过对特征图进行池化得到，或通过对卷积核参数进行池化得到。

在一例中，池化为平均池化。

在一例中，参数调整模块230用于：通过对个性参数进行多层点卷积，得到个性指导参数。

在一例中，参数调整模块230还用于：在通过对个性参数进行点卷积后，经激活函数进行非线性变换，得到个性指导参数。

本发明实施例还提供的一种图像处理装置，包括：图像获取模块，用于获取图像；特征提取模块，用于根据如前述任一实施例的特征图处理方法，提取图像的图像特征；图像识别模块，用于根据图像特征进行图像识别。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

如图3所示，本发明的一个实施方式提供了一种电子设备300。其中，该电子设备300包括存储器301、处理器302、输入/输出(Input/Output，I/O)接口303。其中，存储器301，用于存储指令。处理器302，用于调用存储器301存储的指令执行本发明实施例的特征图处理方法。其中，处理器302分别与存储器301、I/O接口303连接，例如可通过总线***和/或其他形式的连接机构(未示出)进行连接。存储器301可用于存储程序和数据，包括本发明实施例中涉及的特征图处理方法的程序，处理器302通过运行存储在存储器301的程序从而执行电子设备300的各种功能应用以及数据处理。

本发明实施例中处理器302可以采用数字信号处理器(Digital SignalProcessing，DSP)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable Logic Array，PLA)中的至少一种硬件形式来实现，所述处理器302可以是中央处理单元(Central Processing Unit，CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元中的一种或几种的组合。

本发明实施例中的存储器301可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(Random Access Memory，RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(Read-OnlyMemory，ROM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，HDD)或固态硬盘(Solid-State Drive，SSD)等。

本发明实施例中，I/O接口303可用于接收输入的指令(例如数字或字符信息，以及产生与电子设备300的用户设置以及功能控制有关的键信号输入等)，也可向外部输出各种信息(例如，图像或声音等)。本发明实施例中I/O接口303可包括物理键盘、功能按键(比如音量控制按键、开关按键等)、鼠标、操作杆、轨迹球、麦克风、扬声器、和触控面板等中的一个或多个。

可以理解的是，本发明实施例中尽管在附图中以特定的顺序描述操作，但是不应将其理解为要求按照所示的特定顺序或是串行顺序来执行这些操作，或是要求执行全部所示的操作以得到期望的结果。在特定环境中，多任务和并行处理可能是有利的。

本发明实施例涉及的方法和装置能够利用标准编程技术来完成，利用基于规则的逻辑或者其他逻辑来实现各种方法步骤。还应当注意的是，此处以及权利要求书中使用的词语“装置”和“模块”意在包括使用一行或者多行软件代码的实现和/或硬件实现和/或用于接收输入的设备。

此处描述的任何步骤、操作或程序可以使用单独的或与其他设备组合的一个或多个硬件或软件模块来执行或实现。在一个实施方式中，软件模块使用包括包含计算机程序代码的计算机可读介质的计算机程序产品实现，其能够由计算机处理器执行用于执行任何或全部的所描述的步骤、操作或程序。

出于示例和描述的目的，已经给出了本发明实施的前述说明。前述说明并非是穷举性的也并非要将本发明限制到所公开的确切形式，根据上述教导还可能存在各种变形和修改，或者是可能从本发明的实践中得到各种变形和修改。选择和描述这些实施例是为了说明本发明的原理及其实际应用，以使得本领域的技术人员能够以适合于构思的特定用途来以各种实施方式和各种修改而利用本发明。

Claims (10)

1.一种特征图处理方法，其中，所述特征图处理方法用于图像处理，所述方法包括：

获取特征图步骤，获取次级特征图；

参数生成步骤，基于所述次级特征图，通过池化得到个性参数，其中，所述个性参数包括：卷积核参数和/或通道参数；

参数调整步骤，通过对所述个性参数进行点卷积，经激活函数进行非线性变换，得到个性指导参数；其中，所述个性指导参数包括：卷积核指导参数和/或通道指导参数；

权重调整步骤，根据所述个性指导参数，对权重进行调整，得到个性权重，其中，所述卷积核指导参数对权重的卷积核维度进行调整，所述通道指导参数对权重的通道维度进行调整，其中所述调整通过变换后相乘的方式进行；

特征提取步骤，基于所述次级特征图以及所述个性权重，得到高级特征图；

所述参数调整步骤包括：通过对所述个性参数进行多层所述点卷积，得到所述个性指导参数。

2.根据权利要求1所述的方法，其中，所述卷积核参数通过对所述次级特征图进行所述池化得到。

3.根据权利要求2所述的方法，其中，所述通道参数通过对所述卷积核参数进行所述池化得到。

4.根据权利要求1所述的方法，其中，所述通道参数通过对所述次级特征图进行所述池化得到。

5.根据权利要求1-4任一项所述的方法，其中，所述池化为平均池化。

6.一种图像处理方法，包括：

图像获取步骤，获取图像；

特征提取步骤，根据权利要求1-5任一项所述的特征图处理方法，提取所述图像的图像特征；

图像识别步骤，根据所述图像特征进行图像识别。

7.一种特征图处理装置，其中，所述装置包括：

获取特征图模块，用于获取次级特征图；

参数生成模块，用于基于所述次级特征图，通过池化得到个性参数，其中，所述个性参数包括：卷积核参数和/或通道参数；

参数调整模块，用于通过对所述个性参数进行点卷积，经激活函数进行非线性变换，得到个性指导参数；其中，所述个性指导参数包括：卷积核指导参数和/或通道指导参数；

权重调整模块，用于根据所述个性指导参数，对权重进行调整，得到个性权重，其中，所述卷积核指导参数对权重的卷积核维度进行调整，所述通道指导参数对权重的通道维度进行调整，其中所述调整通过变换后相乘的方式进行；

特征提取模块，用于基于所述次级特征图以及所述个性权重高级特征图；

所述参数调整模块，还用于通过对所述个性参数进行多层所述点卷积，得到所述个性指导参数。

8.一种图像处理装置，其中，所述图像处理装置包括：

图像获取模块，用于获取图像；

特征提取模块，用于根据权利要求1-5任一项所述的特征图处理方法，提取所述图像的图像特征；

图像识别模块，用于根据所述图像特征进行图像识别。

9.一种电子设备，其中，所述电子设备包括：

存储器，用于存储指令；以及

处理器，用于调用所述存储器存储的指令执行如权利要求1 至 5 中任一项所述的特征图处理方法或如权利要求6 所述的图像处理方法。

10.一种计算机可读存储介质，其中存储有指令，所述指令被处理器执行时，执行如权利要求1至5中任一项所述的特征图处理方法或如权利要求6所述的图像处理方法。

Images