CN108304921B

CN108304921B - 卷积神经网络的训练方法及图像处理方法、装置

Info

Publication number: CN108304921B
Application number: CN201810136118.5A
Authority: CN
Inventors: 程光亮; 石建萍
Original assignee: Beijing Sensetime Technology Development Co Ltd
Current assignee: Beijing Sensetime Technology Development Co Ltd
Priority date: 2018-02-09
Filing date: 2018-02-09
Publication date: 2021-02-02
Anticipated expiration: 2038-02-09
Also published as: CN108304921A

Abstract

本发明公开了一种卷积神经网络的训练方法及图像处理方法、装置、计算机存储介质、计算机可读存储介质、计算机程序，所述卷积神经网络的训练方法包括：在第一卷积神经网络中删除至少一个设在线性结构层后的非线性修正层，得到第二卷积神经网络；基于训练图像和所述训练图像的标注信息，对所述第二卷积神经网络进行监督训练。所述图像处理方法包括：将训练完成的第二卷积神经网络中的至少一串行分支和/或至少一并行分支进行合并处理，得到第三卷积神经网络；其中，所述第二卷积神经网络中至少一个设在线性结构层后的非线性修正层被删除；将图像输入所述第三卷积神经网络；经所述第三卷积神经网络对所述图像进行处理，得到所述图像的处理结果。

Description

卷积神经网络的训练方法及图像处理方法、装置

技术领域

本发明涉及深度学习技术领域，尤其涉及一种卷积神经网络的训练方法及图像处理方法、装置、计算机设备、计算机可读存储介质、计算机程序。

背景技术

随着深度卷积神经网络的发展，更深或更宽的网络结构不断刷新着各个计算机视觉数据集的准确率。然而，网络的加深或加宽势必会增加网络在训练及测试过程中的运行时间。近年来，为了能够在低功耗、低计算资源的平台上运行深度卷积神经网络，越来越多的研究人员开始关注轻量级且训练及测试过程所需时间较短的网络。

如何设计一些轻量级的卷积神经网络以实现更短的训练时间或更短的测试时间成为了深度学习研究的一个重要方向。

发明内容

本发明实施例提供了一种卷积神经网络的训练方法及图像处理方法、装置、计算机设备、计算机可读存储介质、计算机程序。

本发明实施例提供一种卷积神经网络的训练方法，所述方法包括：

在第一卷积神经网络中删除至少一个设在线性结构层后的非线性修正层，得到第二卷积神经网络；

基于训练图像和所述训练图像的标注信息，对所述第二卷积神经网络进行监督训练。

上述方案中，所述第一卷积神经网络包括残差单元；

所述在第一卷积神经网络中删除至少一个设在线性结构层后的非线性修正层，得到第二卷积神经网络，包括：

在所述第一卷积神经网络中删除残差单元中部分或全部设在线性结构层后的非线性修正层，得到第二卷积神经网络。

上述方案中，所述线性结构层包括：卷积层或者批归一化层。

上述方案中，所述基于训练图像和所述训练图像的标注信息，对所述第二卷积神经网络进行监督训练，包括：

初始化所述第二卷积神经网络的训练参数，并迭代执行如下步骤：将训练图像输入所述第二卷积神经网络，基于所述训练参数，计算所述训练样本的处理结果，更新所述训练参数；直至所述训练图像的处理结果收敛；其中，所述训练图像的处理结果收敛是指所述训练图像的处理结果与所述训练图像的标注信息的差值小于等于目标门限值。

本发明实施例提供一种图像处理方法，所述方法包括：

将训练完成的第二卷积神经网络中的至少一串行分支和/或至少一并行分支进行合并处理，得到第三卷积神经网络；其中，所述第二卷积神经网络中至少一个设在线性结构层后的非线性修正层被删除；

将图像输入所述第三卷积神经网络；

经所述第三卷积神经网络对所述图像进行处理，得到所述图像的处理结果。

上述方案中，所述串行分支包括至少二个串接的线性结构层；

对所述串行分支进行合并处理，包括：将所述串行分支中的一线性结构层并入另一线性结构层。

上述方案中，所述至少二个串接的线性结构层，包括：二个串接的卷积核大小不同的卷积层；

对所述串行分支进行合并处理，包括：删除一卷积层、并将删除的卷积层的参数合并到另一卷积层中。

上述方案中，所述至少二个串接的线性结构层，包括：串接的卷积层和批归一化层；

对所述串行分支进行合并处理，包括：删除批归一化层、并将批归一化的尺度和偏移参数合并到卷积层的卷积核参数中。

上述方案中，所述并行分支包括：并行的线性结构分支和跳转分支；

对所述并行分支进行合并处理，包括：删除跳转分支、并在线性结构分支中卷积层的卷积核的中心位置加1。

上述方案中，所述并行分支包括：并行的二个线性结构分支；

对所述并行分支进行合并处理，包括：删除并行分支中的一线性结构分支、并将删除的一线性结构分支的卷积核中的权重向量加到另一线性结构的卷积核的中心位置。

上述方案中，所述经所述第三卷积神经网络对所述训练图像进行处理，包括：

经所述第三卷积神经网络对图像进行对象识别、分类处理、图像分割处理或对象检测/跟踪处理。

上述方案中，所述第二卷积神经网络的残差单元中部分或全部设在线性结构层后的非线性修正层被删除。

本发明实施例提供一种卷积神经网络的训练装置，所述装置包括：

删除单元，用于在第一卷积神经网络中删除至少一个设在线性结构层后的非线性修正层，得到第二卷积神经网络；

训练单元，用于基于训练图像和所述训练图像的标注信息，对所述第二卷积神经网络进行监督训练。

上述方案中，所述第一卷积神经网络包括残差单元；

所述删除单元，用于在所述第一卷积神经网络中删除残差单元中部分或全部设在线性结构层后的非线性修正层，得到第二卷积神经网络。

上述方案中，所述训练单元，用于初始化所述第二卷积神经网络的训练参数，并迭代执行如下步骤：将训练图像输入所述第二卷积神经网络，基于所述训练参数，计算所述训练样本的处理结果，更新所述训练参数；直至所述训练图像的处理结果收敛；其中，所述训练图像的处理结果收敛是指所述训练图像的处理结果与所述训练图像的标注信息的差值小于等于目标门限值。

本发明实施例提供一种图像处理装置，所述装置包括：

合并单元，用于将训练完成的第二卷积神经网络中的至少一串行分支和/或至少一并行分支进行合并处理，得到第三卷积神经网络；其中，所述第二卷积神经网络中至少一个设在线性结构层后的非线性修正层被删除；

图像处理单元，用于将图像输入所述第三卷积神经网络；经所述第三卷积神经网络对所述图像进行处理，得到所述图像的处理结果。

所述合并单元，用于将所述串行分支中的一线性结构层并入另一线性结构层。

所述合并单元，用于删除一卷积层、并将删除的卷积层的参数合并到另一卷积层中。

所述合并单元，用于删除批归一化层、并将批归一化的尺度和偏移参数合并到卷积层的卷积核参数中。

所述合并单元，用于对所述并行分支进行合并处理，包括：删除跳转分支、并在线性结构分支中卷积层的卷积核的中心位置加1。

所述合并单元，用于删除并行分支中的一线性结构分支、并将删除的一线性结构分支的卷积核中的权重向量加到另一线性结构的卷积核的中心位置。

上述方案中，所述图像处理单元，用于经所述第三卷积神经网络对图像进行对象识别、分类处理、图像分割处理或对象检测/跟踪处理。

本发明实施例提供一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器上存储有计算机可执行指令，所述处理器运行所述存储器上的计算机可执行指令时，实现本发明实施例提供的卷积神经网络的训练方法或者图像处理方法。

本发明实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，实现本发明实施例提供的卷积神经网络的训练方法或者图像处理方法。

本发明实施例提供一种计算机程序，包括计算机指令，当所述计算机指令在设备的处理器中运行时，实现本发明实施例提供的卷积神经网络的训练方法或者图像处理方法。

本发明实施例的技术方案中，可将训练完成的第二卷积神经网络中的至少一串行分支和/或至少一并行分支进行合并处理，得到第三卷积神经网络；其中，所述第二卷积神经网络中至少一个设在线性结构层后的非线性修正层被删除；将图像输入所述第三卷积神经网络；经所述第三卷积神经网络对所述图像进行处理，得到所述图像的处理结果。这样，第三卷积神经网络相比第二卷积神经网络而言，合并了串行分支和/或并行分支，在尽可能不影响测试精度的前提下，大大缩短了卷积神经网络的测试时长。

采用本发明实施例的技术方案，可以实现卷积神经网络的压缩和加速，可以极大地降低网络的运行时间和所需显存。

附图说明

构成说明书的一部分的附图描述了本申请的实施方式，并且连同描述一起用于解释本申请的原理。

参照附图，根据下面的详细描述，可以更加清楚地理解本申请，其中：

图1为本发明实施例的卷积神经网络的训练方法的流程示意图；

图2(a)为第一种残差单元精简前的示意图；

图2(b)为第一种残差单元精简后的示意图；

图2(c)为第二种残差单元精简前的示意图；

图2(d)为第二种残差单元精简后的示意图；

图3为本发明实施例的图像处理方法的流程示意图；

图4(a)为跳转模块精简前的示意图；

图4(b)为投影模块精简前的示意图；

图4(c)为跳转模块和投影模块精简前的示意图；

图5(a)为第二卷积神经网络的结构示意图；

图5(b)为第三卷积神经网络的结构示意图；

图6为本发明实施例的卷积神经网络的训练装置的结构组成示意图；

图7为本发明实施例的图像处理装置的结构组成示意图；

图8为本发明实施例的计算机设备的结构组成示意图。

具体实施方式

为了能够更加详尽地了解本发明实施例的特点与技术内容，下面结合附图对本发明实施例的实现进行详细阐述，所附附图仅供参考说明之用，并非用来限定本发明实施例。

同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。

以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本申请及其应用或使用的任何限制。

对于相关领域普通技术人员已知的技术、方法以及设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。

应当注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

本申请实施例可以应用于终端设备、计算机***及服务器等电子设备，其可与众多其它通用或者专用的计算***环境或者配置一起操作。适于与终端设备、计算机***以及服务器等电子设备一起使用的众所周知的终端设备、计算***、环境和/或配置的例子，包括但不限于：个人计算机***、服务器计算机***、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的***、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机***﹑大型计算机***和包括上述任何***的分布式云计算技术环境，等等。

终端设备、计算机***以及服务器等电子设备可以在由计算机***执行的计算机***可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括例程、程序、目标程序、组件、逻辑以及数据结构等等，它们执行特定的任务或者实现特定的抽象数据类型。计算机***/服务器可以在分布式云计算环境中实施，分布式云计算环境中，任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算***存储介质上。

图1为本发明实施例的卷积神经网络的训练方法的流程示意图，如图1所示，所述方法包括以下步骤：

步骤101：在第一卷积神经网络中删除至少一个设在线性结构层后的非线性修正层，得到第二卷积神经网络。

本发明实施例中，第一卷积神经网络可以是任意一种残差网络，所述第一卷积神经网络包括残差单元，在所述第一卷积神经网络中删除残差单元中部分或全部设在线性结构层后的非线性修正层，得到第二卷积神经网络。

本发明实施例中，所述线性结构层包括：卷积层或者批归一化层。

参照图2(a)、图2(b)、图2(c)以及图2(d)，其中，图2(a)和图2(c)为两种经典的残差单元，经典的残差单元包括两种类型的结构，分别为：由1*1卷积，3*3卷积和1*1卷积促成的瓶颈(bottleneck)结构(如图2(a)所示)，以及由两个3*3卷积串接所组成的结构(如图2(c)所示)。图2(b)相对于图2(a)而言，删除了BN层(也即批归一化层)后面的ReLU层(也即非线性修正层)，同样，图2(d)相对于图2(c)而言，删除了BN层(也即批归一化层)后面的ReLU层(也即非线性修正层)。应注意，本发明实施例不对求和(sum)层后面的ReLU层进行删除，可见，本发明实施例删除的是残差单元中的部分ReLU层，也即删除设在线性结构层后的ReLU层。

步骤102：基于训练图像和所述训练图像的标注信息，对所述第二卷积神经网络进行监督训练。

可选地，初始化所述第二卷积神经网络的训练参数，并迭代执行如下步骤：将训练图像输入所述第二卷积神经网络，基于所述训练参数，计算所述训练样本的处理结果，更新所述训练参数；直至所述训练图像的处理结果收敛；其中，所述训练图像的处理结果收敛是指所述训练图像的处理结果与所述训练图像的标注信息的差值小于等于目标门限值。

本发明实施例的技术方案中，在第一卷积神经网络中删除至少一个设在线性结构层后的非线性修正层，得到第二卷积神经网络；基于训练图像和所述训练图像的标注信息，对所述第二卷积神经网络进行监督训练。这样，第二卷积神经网络相比第一卷积神经网络而言，删除了非线性修正层，在不影响训练精度的前提下，大大缩短了卷积神经网络的训练时长。

在比较经典的深度卷积神经网络中，每个卷积层(Convolution)后都会串接一个批归一化(BN，Batch Normalization)层和非线性修正(ReLU，Rectified Linear Units)，其中，BN层的主要作用是为了解决“内部协方差偏斜”现象，而ReLU层作为一种非线性修正层，其主要作用是将输入中的正值保留，负值置为0。

残差网络(ResNet)是一种深度卷积神经网络，残差网络由残差单元组成，本申请人通过实验发现，将残差单元中的ReLU层去掉，不仅不会影响网络的分类性能，反而会使网络的处理性能有所增加。

基于上述实验观察，本发明实施例提出了一种新型的卷积神经网络(也即第二卷积神经网络)，该新型的卷积神经网络是对旧有的卷积神经网络(也即第一卷积神经网络)在结构上删除设在线性结构层后的非线性修正层(即ReLU层)来实现的。这种新型的卷积神经网络可以简化网络训练，此外可以获得与残差网络类似甚至更好的目标任务处理效果。

在网络训练的过程中，训练参数是在训练的过程中不断优化的，也即训练参数是一个动态变化值，网络测试的过程相对于网络训练的过程而言，训练参数已经得到优化，也即训练参数是一个固定的优化值，因此，可以将上述训练完成的卷积神经网络进一步精简，例如，将上述训练完成的卷积神经网络中的串行分支和/或并行分支进行合并，最终合并为仅有3*3卷积层和ReLU层组成的网络结构，从而缩短了网络运行的时间，且可以大大降低所需显存。通过实验发现，本发明实施例所提出的卷积神经网络可以获得2-4倍的测试加速，此外所需内存仅为原来残差网络的1/4，因而本发明实施例所提出的卷积神经网络可以在低功耗、低计算资源的平台上运行，且可以保持与旧有网络完全一致的处理精度。

通过大量的实验验证，将残差单元中的一些ReLU层去掉后，不仅不会引起任务处理精度的降低，反而任务处理精度还会有所增加，这也就证明了传统的残差网络中“每个卷积层或者批归一化层后边串接一个ReLU层”是没有必要的。因此，本发明实施例适当地减少网络中ReLU层的使用，从而获得任务处理精度相似或更好的网络结构，例如分类任务、图像语义分割任务、目标检测等任务。

图3为本发明实施例的图像处理方法的流程示意图，如图3所示，所述方法包括以下步骤：

步骤301：将训练完成的第二卷积神经网络中的至少一串行分支和/或至少一并行分支进行合并处理，得到第三卷积神经网络；其中，所述第二卷积神经网络中至少一个设在线性结构层后的非线性修正层被删除。

本发明实施例中，训练完成的第二卷积神经网络可以采用但不局限于图1所示的方法训练得到，其可基于监督或非监督方式记性为网络训练。

在一实施方式中，所述第二卷积神经网络的残差单元中部分或全部设在线性结构层后的非线性修正层被删除。

在一实施方式中，所述线性结构层为具有线性处理功能的网络层，例如可以包括但不限于：卷积层或者批归一化层，卷积层可包括但不限于Convolution层、池化层。

本发明实施例中，将训练完成的第二卷积神经网络中的至少一串行分支和/或至少一并行分支进行合并处理，用于将被处理的分支等效处理为传统的基本网络层，例如，通过合并处理将串行分支处理为具有与串行分支等效处理能力的一线性结构层；又例如，通过合并处理将并行分支处理为具有与并行分支等效处理能力的一线性结构层；等等。通过这样的合并处理方式，将第二卷积神经网络的较为复杂的部分转为具有等效处理能力传统的网络层，在尽可能不影响测试精度的前提下，提高测试运行速度，缩短测试时长，减少了卷积神经网络运行所需的内存等资源。

可选的，合并处理包括以下处理方式中的一种或多种：

方式一：所述串行分支包括至少二个串接的线性结构层的情况下，将所述串行分支中的一线性结构层并入另一线性结构层。

这里，这两个串接的线性结构层可以具有相同的结构(如均为卷积层，不同卷积层的卷积核大小可以相同或不同)，也可以具有不同的结构(如一个是卷积层，另一个是BN层)。

例如：所述至少二个串接的线性结构层，包括：二个串接的卷积核大小不同的卷积层，这种情况，删除一卷积层、并将删除的卷积层的参数合并到另一卷积层中。可选地，在另一卷积层的中心合并删除的一卷积层的卷积核参数(如采用参数矩阵相乘等方式进行合并)。

例如：所述至少二个串接的线性结构层，包括：串接的卷积层和批归一化层，这种情况，删除批归一化层、并将批归一化的尺度和偏移参数合并到卷积层的卷积核参数中，假设卷积层的卷积核参数为z，z＝W*x+b，其中，W和b分别是卷积层的权重矩阵和偏移，将批归一化的尺度和偏移参数合并到卷积层的卷积核参数中后得到

其中，c与批归一化的尺度相关，d与批归一化的偏移参数相关。

方式二：所述并行分支包括并行的线性结构分支和跳转分支的情况下，删除跳转分支、并在线性结构分支中卷积层的卷积核的中心位置加1。

假设线性结构分支中卷积层的权重矩阵为

在线性结构分支中卷积层的卷积核的中心位置加1得到

其中，i代表第i个权重滤波，j代表第i个权重滤波的第j个通道，(k,s)代表权重位置。

方式三：所述并行分支包括并行的二个线性结构分支的情况下，删除并行分支中的一线性结构分支、并将删除的一线性结构分支的卷积核中的权重向量加到另一线性结构的卷积核的中心位置。

假设线性结构分支中卷积层的权重矩阵为

在该线性结构分支中卷积层的卷积核的中心位置加另一个线性结构分支的卷积核中的权重向量得到

其中，i代表第i个权重滤波，j代表第i个权重滤波的第j个通道，(k,s)代表权重位置，

代表另一个线性结构分支的卷积层的权重矩阵。

一种可选的实现方式中，第二卷积神经网络包括的平行分支可包括以下两种基本结构单元中的至少之一，投影模块(projection-module)和跳转模块(skip-module)，如图4(a)为跳转模块，图4(b)为投影模块。其中，跳转模块包括一个3*3的卷积层，并通过一个跳转层将输入和输出直接进行相连；投影模块分别通过一个3*3的卷积层和1*1的卷积层对输入特征图进行卷积操作，并将两者所得结果进行融合作为该模块的输出。图4(a)和图4(b)所示的模块都可以通过本发明实施例的方案进行网络合并，从而均可以得到如图4(c)所示的网络结构模块，该网络结构模块与传统的网络结构类似，即不包括任何的分支和残差结构，可以极大地节省网络测试时间和所需显存。

步骤302：将图像输入所述第三卷积神经网络；经所述第三卷积神经网络对所述图像进行处理，得到所述图像的处理结果。

在一实施方式中，经所述第三卷积神经网络对图像进行对象识别、分类处理、图像分割处理或对象检测/跟踪处理。这里，对图像进行对象识别可以是对人、物等任意类型的对象进行识别。

图5(a)为第二卷积神经网络的结构示意图，如图5(a)所示，所述第二卷积神经网络是将第一卷积神经网络中的卷积层或BN层后面的ReLU层删除得到，所述第二卷积神经网络包括多个残差单元，在每个残差单元中，仅保留sum层后面的ReLU层。

图5(b)为第三卷积神经网络的结构示意图，如图5(b)所示，所述第三卷积神经网络是对第二卷积神经网络种的串行分支和并行分支进行合并得到，得到的第三卷积神经网络具有精简的结构。

应理解，本发明实施例中所描述的各个层结构的个数均不做限制，以下结合图4(a)、图4(b)以及图4(c)对本发明实施例的技术方案做进一步详细描述。

(1)将BN层合并到在其之前的卷积层中

一般来说，BN层包括两个步骤，即归一化操作和尺度化/平移操作。在训练过程中，通过对每个迭代过程中的训练数据计算均值和方差进行参数更新。在预测过程中，上述因子不会因数据的变化而发生变化，即这些因子是固定的。此时的BN层的操作可以视为一个线性结构。此外，已知卷积层的操作也可以视为线性操作。应理解，两个线性操作可以合并为一个线性操作，即在测试阶段，可以将BN层合并到卷积层一并进行处理。这样可以节省网络进行BN操作时所需的运行时间和所需显存。对于图4(a)所示的跳转模块和图4(b)所示的投影模块而言，可以将其BN层删掉。

(2)对平行分支进行合并

1)跳转模块的平行分支合并

在将BN层合并到卷积层后，跳转模块转化为一个跳转操作和一个3*3的卷积操作，该跳转操作和3*3的卷积操作为两个并行的操作，对应的网络结构为平行分支结构，可以将跳转操作合并到3*3的卷积操作中。其基本操作为：将i个卷积核的第i个通道的中心加上1。如图4(c)所示，该跳转模块可以合并为传统网络所需的基本单元，省掉了其中的一个分支以及不同分支之间的信息融合操作，极大地降低了网络运行时间和所需显存。

2)投影模块的平行分支合并

在将BN层合并到卷积层后，投影模块转化为两个卷积操作，即1*1的卷积操作和3*3的卷积操作，该1*1的卷积操作和3*3的卷积操作为两个并行的操作，对应的网络结构为平行分支结构，同样可以将1*1的卷积操作合并到3*3的卷积操作中。其基本操作为：将第i个1*1的卷积核中的权重向量加到第i个3*3的卷积核的中心位置。如图4(c)所示，该投影模块同样可以合并为传统网络所需的基本单元，省掉了其中的一个分支以及不同分支之间的信息融合操作，极大地降低了网络运行时间和所需显存。

通过上述操作，本发明实施例的技术方案存在以下两方面的优点：(1)本发明实施例的网络结构包括类似残差网络的跳转模块和投影模块，这些模块的引入可以克服传统神经网络在网络训练过程中存在的梯度消失现象，可以对网络进行有效的梯度反传和网络训练；(2)本发明实施例的网络结构在训练时采用类似残差的网络结构，而在网络测试时采用类似于传统网络的网络结构，节省了BN层以及多分支结构所需的运行时间和显存，可以明显地加快网络运行速度。

本发明实施例的技术方案，1)可以用于进行网络加速和内存节省方面的研究。2)可以在一些低功耗和低运算资源的平台(如可编程门阵列(FPGA，Field－ProgrammableGate Array)，PX2和TX1)上运行深度卷积神经网络。3)不限于图像分类任务，也可以扩展到图像语义分割和目标检测任务中。4)可以利用网络合并思想进行进一步的网络加速和模型压缩方面的研究。

图6为本发明实施例的卷积神经网络的训练装置的结构组成示意图，如图6所示，所述卷积神经网络的训练装置包括：

删除单元601，用于在第一卷积神经网络中删除至少一个设在线性结构层后的非线性修正层，得到第二卷积神经网络；

训练单元602，用于基于训练图像和所述训练图像的标注信息，对所述第二卷积神经网络进行监督训练。

在一实施方式中，所述第一卷积神经网络包括残差单元；

所述删除单元601，用于在所述第一卷积神经网络中删除残差单元中部分或全部设在线性结构层后的非线性修正层，得到第二卷积神经网络。

在一实施方式中，所述线性结构层包括：卷积层或者批归一化层。

在一实施方式中，所述训练单元602，用于初始化所述第二卷积神经网络的训练参数，并迭代执行如下步骤：将训练图像输入所述第二卷积神经网络，基于所述训练参数，计算所述训练样本的处理结果，更新所述训练参数；直至所述训练图像的处理结果收敛；其中，所述训练图像的处理结果收敛是指所述训练图像的处理结果与所述训练图像的标注信息的差值小于等于目标门限值。

本领域技术人员应当理解，图6所示的卷积神经网络的训练装置中的各单元的实现功能可参照前述卷积神经网络的训练方法的相关描述而理解。图6所示的卷积神经网络的训练装置中的各单元的功能可通过运行于处理器上的程序而实现，也可通过具体的逻辑电路而实现。

图7为本发明实施例的图像处理装置的结构组成示意图，如图7所示，所述图像处理装置包括：

合并单元701，用于将训练完成的第二卷积神经网络中的至少一串行分支和/或至少一并行分支进行合并处理，得到第三卷积神经网络；其中，所述第二卷积神经网络中至少一个设在线性结构层后的非线性修正层被删除；

图像处理单元702，用于将图像输入所述第三卷积神经网络；经所述第三卷积神经网络对所述图像进行处理，得到所述图像的处理结果。

在一实施方式中，所述串行分支包括至少二个串接的线性结构层；

所述合并单元701，用于将所述串行分支中的一线性结构层并入另一线性结构层。

在一实施方式中，所述至少二个串接的线性结构层，包括：二个串接的卷积核大小不同的卷积层；

所述合并单元701，用于删除一卷积层、并将删除的卷积层的参数合并到另一卷积层中。

在一实施方式中，所述至少二个串接的线性结构层，包括：串接的卷积层和批归一化层；

所述合并单元701，用于删除批归一化层、并将批归一化的尺度和偏移参数合并到卷积层的卷积核参数中。

在一实施方式中，所述并行分支包括：并行的线性结构分支和跳转分支；

所述合并单元701，用于对所述并行分支进行合并处理，包括：删除跳转分支、并在线性结构分支中卷积层的卷积核的中心位置加1。

在一实施方式中，所述并行分支包括：并行的二个线性结构分支；

所述合并单元701，用于删除并行分支中的一线性结构分支、并将删除的一线性结构分支的卷积核中的权重向量加到另一线性结构的卷积核的中心位置。

在一实施方式中，所述图像处理单元702，用于经所述第三卷积神经网络对图像进行对象识别、分类处理、图像分割处理或对象检测/跟踪处理。

本领域技术人员应当理解，图7所示的图像处理装置中的各单元的实现功能可参照前述图像处理方法的相关描述而理解。图7所示的图像处理装置中的各单元的功能可通过运行于处理器上的程序而实现，也可通过具体的逻辑电路而实现。

本发明实施例上述装置如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read Only Memory)、磁碟或者光盘等各种可以存储程序代码的介质。这样，本发明实施例不限制于任何特定的硬件和软件结合。

相应地，本发明实施例还提供一种计算机存储介质，其中存储有计算机可执行指令，该计算机可执行指令被处理器执行时实现本发明实施例的上述的方法。

图8为本发明实施例的计算机设备的结构组成示意图，如图8所示，计算机设备100可以包括一个或多个(图中仅示出一个)处理器1002(处理器1002可以包括但不限于微处理器(MCU，Micro Controller Unit)或可编程逻辑器件(FPGA，Field Programmable GateArray)等的处理装置)、用于存储数据的存储器1004、以及用于通信功能的传输装置1006。本领域普通技术人员可以理解，图8所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，计算机设备100还可包括比图8中所示更多或者更少的组件，或者具有与图8所示不同的配置。

存储器1004可用于存储应用软件的软件程序以及模块，如本发明实施例中的方法对应的程序指令/模块，处理器1002通过运行存储在存储器1004内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器1004可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器1004可进一步包括相对于处理器1002远程设置的存储器，这些远程存储器可以通过网络连接至计算机设备100。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

传输装置1006用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机设备100的通信供应商提供的无线网络。在一个实例中，传输装置1006包括一个网络适配器(NIC，Network Interface Controller)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置1006可以为射频(RF，Radio Frequency)模块，其用于通过无线方式与互联网进行通讯。

本发明实施例所记载的技术方案之间，在不冲突的情况下，可以任意组合。

在本发明所提供的几个实施例中，应该理解到，所揭露的方法和智能设备，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个***，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。

上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。

另外，在本发明各实施例中的各功能单元可以全部集成在一个第二处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。

Claims

1.一种卷积神经网络的训练方法，其特征在于，所述方法包括：

将训练图像输入第二卷积神经网络，所述第二卷积神经网络由第一卷积神经网络经过如下处理得到：在第一卷积神经网络中删除至少一个设在线性结构层后的非线性修正层，且维持所述第一卷积神经网络中的其他结构不变；

通过所述第二卷积神经网络对所述训练图像进行预定任务的处理，得到处理结果；所述预定任务包括以下至少之一：图像分类、图像语义分割、目标检测；

基于所述处理结果和所述训练图像的标注信息对所述第二卷积神经网络的训练参数进行更新，直至所述训练图像的处理结果收敛；其中，所述训练图像的处理结果收敛是指所述训练图像的处理结果与所述训练图像的标注信息的差值小于等于目标门限值。

2.根据权利要求1所述的方法，其特征在于，所述第一卷积神经网络包括残差单元；

3.根据权利要求1或2所述的方法，其特征在于，所述线性结构层包括：卷积层或者批归一化层。

4.一种图像处理方法，其特征在于，所述方法包括：

将图像输入第三卷积神经网络，所述第三卷积神经网络由第二卷积神经网络经过如下处理得到：将训练完成的第二卷积神经网络中的至少一串行分支和/或至少一并行分支进行合并处理；其中，所述第二卷积神经网络中至少一个设在线性结构层后的非线性修正层被删除；

经所述第三卷积神经网络对所述图像进行预定任务的处理，得到所述图像的处理结果，所述预定任务包括以下至少之一：图像分类、图像语义分割、目标检测。

5.根据权利要求4所述的方法，其特征在于，所述串行分支包括至少二个串接的线性结构层；

6.根据权利要求5所述的方法，其特征在于，所述至少二个串接的线性结构层，包括：二个串接的卷积核大小不同的卷积层；

7.根据权利要求5所述的方法，其特征在于，所述至少二个串接的线性结构层，包括：串接的卷积层和批归一化层；

8.根据权利要求4至7任一所述的方法，其特征在于，所述并行分支包括：并行的线性结构分支和跳转分支；

9.根据权利要求4-7任一所述的方法，其特征在于，所述并行分支包括：并行的二个线性结构分支；

10.根据权利要求4-7任一所述的方法，其特征在于，所述经所述第三卷积神经网络对所述图像进行预定任务处理，包括：

11.根据权利要求4-7任一所述的方法，其特征在于，所述第二卷积神经网络的残差单元中部分或全部设在线性结构层后的非线性修正层被删除。

12.根据权利要求4-7任一所述的方法，其特征在于，所述线性结构层包括：卷积层或者批归一化层。

13.一种卷积神经网络的训练装置，其特征在于，所述装置包括：

训练单元，用于将训练图像输入第二卷积神经网络，所述第二卷积神经网络由第一卷积神经网络经过如下处理得到：在第一卷积神经网络中删除至少一个设在线性结构层后的非线性修正层，且维持所述第一卷积神经网络中的其他结构不变；通过所述第二卷积神经网络对所述训练图像进行预定任务的处理，得到处理结果；所述预定任务包括以下至少之一：图像分类、图像语义分割、目标检测；基于所述处理结果和所述训练图像的标注信息对所述第二卷积神经网络的训练参数进行更新，直至所述训练图像的处理结果收敛；其中，所述训练图像的处理结果收敛是指所述训练图像的处理结果与所述训练图像的标注信息的差值小于等于目标门限值。

14.根据权利要求13所述的装置，其特征在于，所述第一卷积神经网络包括残差单元；所述装置还包括：

删除单元，用于在所述第一卷积神经网络中删除残差单元中部分或全部设在线性结构层后的非线性修正层，得到第二卷积神经网络。

15.根据权利要求13或14所述的装置，其特征在于，所述线性结构层包括：卷积层或者批归一化层。

16.一种图像处理装置，其特征在于，所述装置包括：

图像处理单元，用于将图像输入第三卷积神经网络，所述第三卷积神经网络由第二卷积神经网络经过如下处理得到：将训练完成的第二卷积神经网络中的至少一串行分支和/或至少一并行分支进行合并处理；其中，所述第二卷积神经网络中至少一个设在线性结构层后的非线性修正层被删除；经所述第三卷积神经网络对所述图像进行预定任务的处理，得到所述图像的处理结果，所述预定任务包括以下至少之一：图像分类、图像语义分割、目标检测。

17.根据权利要求16所述的装置，其特征在于，所述串行分支包括至少二个串接的线性结构层；所述装置还包括：

合并单元，用于将所述串行分支中的一线性结构层并入另一线性结构层。

18.根据权利要求17所述的装置，其特征在于，所述至少二个串接的线性结构层，包括：二个串接的卷积核大小不同的卷积层；

19.根据权利要求17所述的装置，其特征在于，所述至少二个串接的线性结构层，包括：串接的卷积层和批归一化层；

20.根据权利要求16至19任一项所述的装置，其特征在于，所述并行分支包括：并行的线性结构分支和跳转分支；所述装置还包括：

合并单元，用于对所述并行分支进行合并处理，包括：删除跳转分支、并在线性结构分支中卷积层的卷积核的中心位置加1。

21.根据权利要求16至19任一项所述的装置，其特征在于，所述并行分支包括：并行的二个线性结构分支；所述装置还包括：

合并单元，用于删除并行分支中的一线性结构分支、并将删除的一线性结构分支的卷积核中的权重向量加到另一线性结构的卷积核的中心位置。

22.根据权利要求16至19任一项所述的装置，其特征在于，所述图像处理单元，用于经所述第三卷积神经网络对图像进行对象识别、分类处理、图像分割处理或对象检测/跟踪处理。

23.根据权利要求16至19任一项所述的装置，其特征在于，所述第二卷积神经网络的残差单元中部分或全部设在线性结构层后的非线性修正层被删除。

24.根据权利要求16至19任一项所述的装置，其特征在于，所述线性结构层包括：卷积层或者批归一化层。

25.一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器，所述存储器上存储有计算机可执行指令，所述处理器运行所述存储器上的计算机可执行指令时实现权利要求1至3任一项所述的方法步骤，或者权利要求4至12任一项所述的方法步骤。

26.一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，实现权利要求1至3任一项所述的方法，或者权利要求4至12任一项所述的方法。