CN110826694B - 一种基于卷积神经网络的图像处理方法及装置 - Google Patents

Abstract

本申请提供一种基于卷积神经网络的图像处理方法及装置，该技术可根据预设的卷积运算策略信息执行第一卷积层运算，并判断接下来要执行的第二卷积层运算信息是否满足条件：卷积运算尺寸为1*1且步进长度值s大于1；在满足前述条件的情况下，根据所述步进长度值在执行所述第二卷积层运算之前，筛选出所述第一卷积层运算结果中对应执行所述第二卷积层运算的有效值部分；按照步进长度值为1对所述有效值部分执行所述第二卷积层1*1卷积运算。从而使得执行卷积运算进行图像处理的过程中，在执行卷积运算尺寸为1*1且步进长度值s大于1的卷积前就将对应的有效值筛选出来，避免对无效值部分也做运算，提高了图像处理的效率，增强了图像处理芯片的整体性能。

Description

一种基于卷积神经网络的图像处理方法及装置

技术领域

本申请涉及图像处理领域，尤其涉及一种基于卷积神经网络的图像处理的技术。

背景技术

卷积神经网络(Convolutional Neural Network，CNN)作为人工神经网络的一种，已成为当前图像处理领域的研究热点。卷积神经网络是一个多层的神经网络，每层对三维张量数据和多个卷积核进行卷积运算用来提取图像特征，三维张量数据和每个卷积核生成的图像特征输出是二维张量数据，本层输出的多个二维张量组织在一起又构成下一层神经网络的三维张量数据输入。由于神经网络可以具有多个层，因此卷积神经网络的卷积运算量非常大。

目前，随着图像处理卷积运算复杂度的增加，图像处理卷积运算过程中，出现了卷积核尺寸为1*1，步进长度值大于1的卷积运算，每个神经网络层中对待处理图像执行前述卷积层运算时，均会产生大量数据，目前并未对所有卷积运算过程中的数据根据需要进行有效性的区分及筛选，从而对处理器内/外部存储器的带宽要求就非常高，影响卷积神经网络***的整体性能。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本申请的一个目的是针对卷积核尺寸1*1，步进长度值大于1的卷积运算，提供一种基于卷积神经网络的图像处理方法及装置，以解决图像处理过程中根据需要对神经网络中的卷积层运算数据结果进行有效性的区分及筛选，降低卷积神经网络处理器存储器的带宽，以及卷积神经网络处理器性能优化等问题。

根据本申请的一个方面，提供了一种基于卷积神经网络的图像处理方法，该方法包括：

根据预设的卷积运算策略信息，执行第一卷积层运算，并判断接下来要执行的第二卷积层运算信息是否满足如下条件：

卷积运算尺寸为1*1且步进长度值s大于1；

在满足上述条件的情况下，在执行所述第二卷积层运算之前，根据预设的所述第二卷积层运算对应的第一有效值位置信息及所述步进长度值，筛选出所述第一卷积层运算结果中对应执行所述第二卷积层运算的有效值部分；

按照步进长度值为1对所述有效值部分执行所述第二卷积层1*1卷积运算。

根据本申请的另一个方面，提供一种基于卷积神经网络的图像处理装置，所述装置包括：

卷积运算信息检测单元，用于根据预设的卷积运算策略信息，执行第一卷积层运算，并判断接下来要执行的第二卷积层运算信息是否满足如下条件：

卷积运算尺寸为1*1且步进长度值s大于1；

第一卷积运算结果筛选单元，用于在满足上述条件的情况下，在执行所述第二卷积层运算之前，根据预设的所述第二卷积层运算对应的第一有效值位置信息及所述步进长度值，筛选出所述第一卷积层运算结果中对应执行所述第二卷积层运算的有效值部分；

第二卷积运算执行单元，用于按照步进长度值为1对所述有效值部分执行所述第二卷积层1*1卷积运算。

与现有技术相比，本申请所述的方法及装置可以根据预设的卷积运算策略信息，执行第一卷积层运算，并判断接下来要执行的第二卷积层运算信息是否满足条件：卷积运算尺寸为1*1且步进长度值s大于1；在满足前述条件的情况下，根据所述步进长度值在执行所述第二卷积层运算之前，筛选出所述第一卷积层运算结果中对应执行所述第二卷积层运算的有效值部分；按照步进长度值为1对所述有效值部分执行所述第二卷积层1*1卷积运算。从而使得执行卷积运算进行图像处理的过程中，在执行卷积运算尺寸为1*1且步进长度值s大于1的卷积前就将对应的有效值筛选出来，避免对无效值部分也做运算，既提高了图像处理的效率，增强了图像处理芯片的整体性能，也减少了对无效数据的Load/Store操作，节省宝贵的存储器带宽。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1是根据本申请一个实施例的一种基于卷积神经网络的图像处理方法流程图；

图2是根据本申请一个实施例的一种对第一卷积运算结果中有效值筛选示意图；

图3是根据本申请另一个实施例的一种对第一卷积运算结果中有效值筛选示意图；

图4示出根据本申请另一个实施例的一种对第一卷积运算结果中有效值筛选示意图；

图5示出本申请的一个实施例的一种基于卷积神经网络的图像处理装置的原理框图。

附图中相同或相似的附图标记代表相同或相似的部件。

具体实施方式

为了使本技术领域的人员更好地理解本申请的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

本申请提供的基于卷积神经网络的图像处理技术，其中的图像处理包括但不限于图像识别、图像分割、图像归类、图像优化、图像增强等图像处理方式。具体地，图像处理过程为针对待处理图像以及识别目的等因素设置图像处理的卷积神经网络，也即针对待处理图像执行的卷积运算策略，通过执行相应的卷积神经网络，对图像进行识别、分割、归类、优化、增强等。随着卷积神经网络技术的发展，使用较小尺寸卷积核的操作会越来越多，特别是尺寸为1*1的卷积核运算在实际图像处理中会大量运用。本申请主要针对在执行卷积层尺寸为1*1步进长度大于1的运算时，也即执行该类卷积运算时，其前一卷积层的输出结果中，并不是所有值均是有效的，为了避免对无效值执行该卷积层运算，从而加大图像处理芯片的处理负担，本申请在执行该卷积运算前就将对应的有效值进行筛选，从而有效提高图像处理卷积神经网络的处理效率，并提高了图像处理芯片的整体性能。

根据本申请的一个方面，提供了一种基于卷积神经网络的图像处理方法。参考图1，该方法包括以下步骤：

S1根据预设的卷积运算策略信息，执行第一卷积层运算，并判断接下来要执行的第二卷积层运算信息是否满足如下条件：

卷积运算尺寸为1*1且步进长度值s大于1。

在该步骤中，卷积运算策略信息为对待处理图像执行的卷积神经网络信息，例如，包括但不限于卷积运算的层数，每一层卷积运算的尺寸及其步进长度值等信息，该信息为对待处理图像前预先设置的。其中的第一卷积层为当前执行过程中或执行完毕的预设的卷积神经网络中的卷积层，第二卷积层为执行完毕第一卷积层后对应继续执行的卷积层；其中卷积运算步进长度值为自然数，一般可以为1、2或4等。

具体地，在该实施例中，整个卷积神经网络中包括的卷积层数、每层卷积层的卷积尺寸、步进长度等均预先设置，并通过编译器进行指令的编译。编译器根据预设的卷积运算策略信息，判断执行完毕当前卷积层运算后的第二卷积层是否满足：卷积运算尺寸为1*1且步进长度值s大于1。若所述第二卷积层运算信息满足上述条件；则说明当前刚执行完毕的卷积层的运算结果中，存在所述第二卷积层运算不需要的无效值，此时，编译器应启动相应指令，根据预设的卷积策略信息将当前卷积运算结果中的有效值进行筛选，仅向所述第二卷积层输入有效值部分，从而提高了卷积运算的效率。

此处，所述第二卷积层运算信息中的卷积层尺寸、步进长度等信息均为预设信息，其判断方式并不做任何限制，例如，可以是与标准卷积尺寸、步进长度值信息进行比对，根据比对结果进行判断，也可以为编译器编译整个卷积运算神经网络时事先将满足上述条件的卷积层信息进行预先设置，编译器指示卷积神经网络运行过程中，执行至满足上述条件的卷积层之前，便启动相应的模块的方式进行判断。

S2在满足上述条件的情况下，在执行所述第二卷积层运算之前，根据预设的所述第二卷积层运算对应的第一有效值位置信息及所述步进长度值，筛选出所述第一卷积层运算结果中对应执行所述第二卷积层运算的有效值部分。

具体地，当所述第二卷积层的尺寸为1*1、步进长度值S大于1时，在执行第二卷积层运算时并不将第一卷积层运算执行完毕输出的运算结果中的所有内容作为其有效输入信息，即便第一卷积层的运算结果全部直接输入至第二卷积层作为其输入，第二卷积层运算会对输入的所有数据(含有效及无效部分)进行卷积运算，但后续仍然需要将第二卷积运算结果中无效的部分放弃掉。

在该步骤中，其中的第一有效值为第一卷积层运算结果中排在最左上角的那个有效值，参图2至4中所示，其中图2-1、图3-1、图4-1中“√”号表示第一有效值位置。在所述第二卷积层运算信息满足尺寸为1*1、步进长度值大于1的情况下，在执行所述第二卷积层运算之前，将即将作为第二卷积层运算输入的第一卷积层运算结果进行有效值的筛选，从而提高图像处理效率，节约运算资源。进一步地，根据预设的卷积运算策略信息中的所述第二卷积层的第一有效值在第一卷积层运算结果中的位置信息，可以确定出筛选的起始位置，再根据所述第二卷积层运算的步径长度信息，确定筛选的方式，例如，如果步进长度值为2，那么从起始位置开始，按照预设的顺序每隔1个位置筛选一个有效值，如果步进长度为4，那么从起始位子开始，按照预设的顺序每隔3个位置筛选出一个有效值。此处，在已知预设的所述第二卷积层运算对应的第一有效值位置信息及所述步进长度值的情况下，筛选出所述有效值的方式不做限制，可以通筛选电路硬件实现，也可以通过筛选软件模块实现等；其中，筛选电路硬件的具体实现方式不做限制，例如，可以为过滤电路；软件模块的具体实现方式亦不做限制，现在的以及未来的可以实现所述第一卷积运算结果中有效值筛选的可以与编译器配合的软件模块均在本申请的保护范围之内。相应地，具体启动筛选的方式也不做限制，例如，可以是编译器的一个提示信息或者是一个相关指令的发出，也或者是一个相应软件筛选模块的调用等。具体地，通过筛选电路硬件配合编译器实现筛选方式的工作效率更高些，通过编译器调用相关软件模块实现筛选的具体实施方式可能更加灵活些，但是处理效率可能与筛选电路硬件筛选相比偏低一些。

S3按照步进长度值为1对所述有效值部分执行所述第二卷积层1*1卷积运算。

在该步骤中，因筛选所述有效值时已经考虑了第二卷积层运算的步进长度值，此处，所述有效值为第二卷积层针对所述有效值的卷积运算直接按照预设的卷积尺寸1*1执行，以完成第二卷积层运算。

在一些实施例中，在执行所述第二卷积层运算之前包括如下其一：

(1)在执行第一卷积层运算之后将对应卷积运算结果输出给所述第二卷积层之前；此时，为第一卷积层运算执行完毕，但还未输出给所述第二卷积层，有效值的筛选可以在第一卷积层内部，也可以在第一卷积层外部，具体并不做限制。

(2)在获取所述第一卷积层输出结果后，执行所述第二卷积层运算前；此时，为第一卷积层运算执行完毕并将运算结果输出给所述第二卷积层，在第二卷积层执行运算之前，此时，应当在第二卷积层内完成有效值的筛选。

在一些实施例中，通过有效值筛选模块筛选出所述第一卷积层运算结果中对应执行所述第二卷积层运算的有效值部分。

具体地，有效值筛选模块需要根据预设的第二卷积层运算的第一有效值在第一卷积层运算结果中的位置以及第二卷积层的步进值S的大小进行有效值的筛选，具体的实现方式不做限制，可以通过软/硬件或者二者结合的方式实现，具体可以通过筛选电路硬件配合编译器的相应指令信息实现，也可以通过软件模块被编译器调用的启动筛选信号实现等。

在一些实施例中，所述S2包括：

S21(未示出)根据预设的所述第二卷积层的第一有效值在所述第一卷积层运算结果的位置信息，确定所述有效值筛选模块启动筛选的起始位置，也即所述第一有效值在所述第一卷积层运算结果中的位置。其中，所述筛选模块的尺寸值为所述步进长度s值，具体地，参图2所示，以通过筛选电路硬件进行有效值筛选为例，所述筛选模块根据所述步进长度值S从起始位置开始按照预设的顺序进行有效值筛选，图2-1中S＝2，第一有效值位置为第一行第一列位置，图2-2便为筛选模块筛选出的有效值。

在该步骤中，为了确保从第一卷积运算结果中筛选出第二卷积层运算需要的所有的有效值，还需要考虑将所述第一卷积层运算结果进行延展的情况，具体如图3、4所示的情况。具体地，所述第一卷积层运算结果是否需要延展以及需要延展的尺寸信息，需要根据所述第一有效值在所述第一卷积运算结果的位置信息、第二卷积层运算的步进长度信息等进行确定。

S22(未示出)所述有效值筛选模块从所述起始位置开始对所述第一卷积层运算结果进行非重叠式筛选；具体地，参图2所示，有效值筛选模块的筛选过程可通过筛选电路硬件实现、也可以软件模块实现，按照预设的顺序从左至右，从上之下进行筛选，此处的筛选为非重叠式、遍历式筛选，以确保筛选出所有的有效值，又不会重复筛选浪费运算资源。

S23(未示出)根据上述筛选结果，确定所述第一卷积层运算结果中对应所述第二卷积层运算所需要的有效值部分。具体地，参图2中2-3所示，有效值被筛选出后，会将有效值按照其原来的位置重新被集中在一起，作为所述第二卷积层运算的输入。

在一些实施例中，在所述S22之前所述S2还包括：

S24(未示出)根据所述第一卷积层运算结果的尺寸值、所述起始位置信息及有效值筛选尺寸大小，判断所述第一卷积层运算结果尺寸是否需要延展。

为了确保从第一卷积运算结果中筛选出第二卷积层运算需要的所有的有效值，以通过筛选电路硬件进行有效值筛选为例，还需要考虑将所述第一卷积层运算结果进行延展的情况，具体如图3、4所示的情况。具体地，根据所述第一卷积层运算结果及所述第一有效值位置信息(也即起始位置信息)确定所述第一卷积层运算结果进行筛选的实际区域信息，根据该实际区域信息及所述第二卷积层运算的步进长度信息确定所述第一卷积层运算结果是否需要延展，参图3所示，图3-2中第二卷积层运算的步进值为2，第一有效值在第一卷积层运算结果中的位置为图3-1中“√”所示，从而确定出加粗线条部分区域即为第一卷积层运算结果的实际筛选区域；进一步地，根据通过所述步进长度值在所述实际筛选区域内，筛选电路每一次操作是否可以得到确定性输入的原则，判断所述实际筛选区域是否需要延展。

在一些实施例中，在所述第一卷积层运算结果尺寸需要延展的情况下，所述S2还包括：

S25(未示出)根据所述第一卷积层运算结果的尺寸值及所述启动筛选的起始位置信息，确定所述有效值筛选模块对所述第一卷积运算结果的实际筛选区域尺寸信息。

S26(未示出)根据所述实际筛选区域尺寸信息及所述有效值筛选模块的筛选尺寸，确定所述第一卷积层运算结果需要延展的尺寸信息。

具体地，根据所述第一卷积层运算结果及所述第一有效值位置信息(也即起始位置信息)确定所述第一卷积层运算结果进行筛选的实际区域信息，根据该实际区域信息及所述第二卷积层运算的步进长度信息确定所述第一卷积层运算结果是否需要延展，参图3所示，图3-2中第二卷积层运算的步进值为2，第一有效值在第一卷积层运算结果中的位置为图3-1中“√”所示，从而确定出加粗线条部分区域即为第一卷积层运算结果的实际筛选区域；进一步地，根据通过所述步进长度值在所述实际筛选区域内，筛选电路每一次操作是否可以得到确定性输入的原则，判断所述实际筛选区域是否需要延展。

如果根据第二卷积层运算的步进长度作为筛选尺寸，对所述第一卷积运算结果的实际筛选区域进行筛选，若实际筛选区域中筛选电路每一次操作均可以得到确定性输入，便不需要延展，否则需要延展，参图2所示，第二卷积层运算的步进长度为2，实际筛选区域为4*4，可以遍历所有实际筛选区域，不需要延展参图2-2，参图3、图4，为根据第二卷积层运算的步进长度作为筛选尺寸，对所述第一卷积运算结果的实际筛选区域进行筛选，筛选电路按照步进长度值大小对实际筛选区域进行筛选时，若存在实际筛选区域的输入尺寸(长*宽)不符合筛选电路尺寸整数倍(即步进长度值)时，实际筛选区域便需要延展，以确保实际筛选区域内的所有值均被筛选，参图3-2、图4-2内的展示。

在一些实施例中，所述S2还包括：

S27(未示出)根据所述需要延展的尺寸信息确定所述第一卷积层运算结果尺寸的延展区域信息，其中，所述延展区域信息包括向右侧延展列数信息和/或向下侧延展行数信息。

在一些实施例中，所述向右侧延展列数值为所述实际筛选区域尺寸的列数与所述步进长度s相除的余数。

所述向下侧延展行数值为所述实际筛选区域尺寸的行数与所述步进长度s相除的余数。

在一些实施例中，所述S22包括：

有效值筛选模块在所述第一卷积层运算结果中的起始位置开始依次自左向右，自上向下对所述第一卷积层运算结果进行非重叠式筛选。

在一些实施例中，在所述延展区域中的数值设置为无效值，例如可以设置为0，也可以为预设为无效的其他值。

在一些实施例中，所述方法还包括：

S4(未示出)预设卷积网络中的卷积层运算策略信息，其中所述卷积层运算策略信息至少包括卷积层运算尺寸信息及其对应的步进长度值信息。

具体地，卷积神经网络中包含的卷积层数、每个卷积层的卷积尺寸、以及步进长度值、以及第一有效值等均需要在处理相应的图像前根据需要进行预设。

与现有技术相比，本申请所述的方法及装置可以根据预设的卷积运算策略信息，执行第一卷积层运算，并判断接下来要执行的第二卷积层运算信息是否满足条件：卷积运算尺寸为1*1且步进长度值s大于1；在满足前述条件的情况下，根据所述步进长度值在执行所述第二卷积层运算之前，筛选出所述第一卷积层运算结果中对应执行所述第二卷积层运算的有效值部分；按照步进长度值为1对所述有效值部分执行所述第二卷积层1*1卷积运算。从而使得执行卷积运算进行图像处理的过程中，在执行卷积运算尺寸为1*1且步进长度值s大于1的卷积前就将对应的有效值筛选出来，避免对无效值部分也做运算，既提高了图像处理的效率，增强了图像处理芯片的整体性能，也减少了对无效数据的Load/Store操作，节省宝贵的存储器带宽。

根据本申请的一个方面，提供了一种基于卷积神经网络的图像处理装置100，参图5所示，该装置包括：

卷积运算信息检测单元110，用于根据预设的卷积运算策略信息，执行第一卷积层运算，并判断接下来要执行的第二卷积层运算信息是否满足如下条件：

卷积运算尺寸为1*1且步进长度值s大于1。

具体地，卷积运算策略信息为对待处理图像执行的卷积神经网络信息，例如，包括但不限于卷积运算的层数，每一层卷积运算的尺寸及其步进长度值等信息，该信息为对待处理图像前预先设置的。其中的第一卷积层为当前执行过程中或执行完毕的预设的卷积神经网络中的卷积层，第二卷积层为执行完毕第一卷积层后对应继续执行的卷积层；其中卷积运算步进长度值为自然数，一般可以为1、2或4等。

具体地，在该实施例中，整个卷积神经网络中包括的卷积层数、每层卷积层的卷积尺寸、步进长度等均预先设置，并通过编译器进行指令的编译。编译器根据预设的卷积运算策略信息，判断执行完毕当前卷积层运算后的第二卷积层是否满足：卷积运算尺寸为1*1且步进长度值s大于1。若所述第二卷积层运算信息满足上述条件；则说明当前刚执行完毕的卷积层的运算结果中，存在所述第二卷积层运算不需要的无效值，此时，编译器应启动相应指令，根据预设的卷积策略信息将当前卷积运算结果中的有效值进行筛选，仅向所述第二卷积层输入有效值部分，从而提高了卷积运算的效率。

此处，所述第二卷积层运算信息中的卷积层尺寸、步进长度等信息均为预设信息，其判断方式并不做任何限制，例如，可以是与标准卷积尺寸、步进长度值信息进行比对，根据比对结果进行判断，也可以为编译器编译整个卷积运算神经网络时事先将满足上述条件的卷积层信息进行预先设置，编译器指示卷积神经网络运行过程中，执行至满足上述条件的卷积层之前，便启动相应的模块的方式进行判断。

第一卷积运算结果筛选单元120，用于在满足上述条件的情况下，在执行所述第二卷积层运算之前，根据预设的所述第二卷积层运算对应的第一有效值位置信息及所述步进长度值，筛选出所述第一卷积层运算结果中对应执行所述第二卷积层运算的有效值部分。

具体地，当所述第二卷积层的尺寸为1*1、步进长度值S大于1时，在执行第二卷积层运算时并不将第一卷积层运算执行完毕输出的运算结果中的所有内容作为其有效输入信息，即便第一卷积层的运算结果全部直接输入至第二卷积层作为其输入，第二卷积层运算会对输入的所有数据(含有效及无效部分)进行卷积运算，但后续仍然需要将第二卷积运算结果中无效的部分放弃掉。

具体地，其中的第一有效值为第一卷积层运算结果中排在最左上角的那个有效值，参图2至4中所示，其中图2-1、图3-1、图4-1中“√”号表示第一有效值位置。在所述第二卷积层运算信息满足尺寸为1*1、步进长度值大于1的情况下，在执行所述第二卷积层运算之前，将即将作为第二卷积层运算输入的第一卷积层运算结果进行有效值的筛选，从而提高图像处理效率，节约运算资源。进一步地，根据预设的卷积运算策略信息中的所述第二卷积层的第一有效值在第一卷积层运算结果中的位置信息，可以确定出筛选的起始位置，再根据所述第二卷积层运算的步径长度信息，确定筛选的方式，例如，如果步进长度值为2，那么从起始位置开始，按照预设的顺序每隔1个位置筛选一个有效值，如果步进长度为4，那么从起始位子开始，按照预设的顺序每隔3个位置筛选出一个有效值。此处，在已知预设的所述第二卷积层运算对应的第一有效值位置信息及所述步进长度值的情况下，筛选出所述有效值的方式不做限制，可以通过筛选电路硬件实现，也可以通过筛选软件模块实现等；其中，筛选电路硬件的具体实现方式不做限制，例如，可以为过滤电路；软件模块的具体实现方式亦不做限制，现在的以及未来的可以实现所述第一卷积运算结果中有效值筛选的可以与编译器配合的软件模块均在本申请的保护范围之内。相应地，具体启动筛选的方式也不做限制，例如，可以是编译器的一个提示信息或者是一个相关指令的发出，也或者是一个相应软件筛选模块的调用等。

具体地，通过筛选电路硬件配合编译器实现筛选方式的工作效率更高些，通过编译器调用相关软件模块实现筛选的具体实施方式可能更加灵活些，但是处理效率可能与筛选电路硬件筛选相比偏低一些。

第二卷积运算执行单元130，用于按照步进长度值为1对所述有效值部分执行所述第二卷积层1*1卷积运算。

具体地，因筛选所述有效值时已经考虑了第二卷积层运算的步进长度值，此处，所述有效值为第二卷积层针对所述有效值的卷积运算直接按照预设的卷积尺寸执行，以完成第二卷积层运算。

在一些实施例中，在执行所述第二卷积层运算之前包括如下其一：

在执行第一卷积层运算之后将对应卷积运算结果输出给所述第二卷积层之前；此时，为第一卷积层运算执行完毕，但还未输出给所述第二卷积层，有效值的筛选可以在第一卷积层内部，也可以在第一卷积层外部，具体并不做限制。

在获取所述第一卷积层输出结果后，执行所述第二卷积层运算前；此时，为第一卷积层运算执行完毕并将运算结果输出给所述第二卷积层，在第二卷积层执行运算之前，此时，应当在第二卷积层内完成有效值的筛选。

在一些实施例中，通过有效值筛选模块筛选出所述第一卷积层运算结果中对应执行所述第二卷积层运算的有效值部分。

具体地，有效值筛选模块需要根据预设的第二卷积层运算的第一有效值在第一卷积层运算结果中的位置以及第二卷积层的步进值S的大小进行有效值的筛选，具体的实现方式不做限制，可以通过软/硬件或者二者结合的方式实现，例如，具体可以通过筛选电路硬件配合编译器的相应指令信息实现，也可以通过软件模块被编译器调用的启动筛选信号实现等。

在一些实施例中，所述第一卷积运算结果筛选单元120包括：

筛选起始位置确定模块(未示出)，用于根据预设的所述第二卷积层的第一有效值在所述第一卷积层运算结果的位置，确定所述有效值筛选模块启动筛选的起始位置，其中，所述有效值筛选模块的筛选尺寸值为所述步进长度s值。

具体地，参图2所示，以通过筛选电路硬件进行有效值筛选为例，所述筛选模块根据所述步进长度值S从起始位置开始按照预设的顺序进行有效值筛选，图2-1中S＝2，第一有效值位置为第一行第一列位置，图2-2便为筛选模块筛选出的有效值。

具体地，为了确保从第一卷积运算结果中筛选出第二卷积层运算需要的所有的有效值，还需要考虑将所述第一卷积层运算结果进行延展的情况，具体如图3、4所示的情况。具体地，所述第一卷积层运算结果是否需要延展以及需要延展的尺寸信息，需要根据所述第一有效值在所述第一卷积运算结果的位置信息、第二卷积层运算的步进长度信息等进行确定。

有效值筛选模块(未示出)，用于从所述起始位置开始对所述第一卷积层运算结果进行非重叠式筛选。具体地，参图2所示，有效值筛选模块的筛选过程可通过筛选电路硬件实现、也可以软件模块实现，按照预设的顺序从左至右，从上之下进行筛选，此处的筛选为非重叠式、遍历式筛选，以确保筛选出所有的有效值，又不会重复筛选浪费运算资源。

有效值确定模块(未示出)，用于根据上述有效值筛选模块的筛选结果，确定所述第一卷积层运算结果中对应所述第二卷积层运算所需要的有效值部分。具体地，参图2中2-3所示，有效值被筛选出后，会将有效值按照其原来的位置重新被集中在一起，作为所述第二卷积层运算的输入。

在其中一些实施例中，所述第一卷积运算结果筛选单元120还包括：

延展判断模块，用于根据所述第二卷积层的第一有效值位置信息及其步进长度值大小，判断所述第一卷积层运算结果尺寸是否需要延展。

为了确保从第一卷积运算结果中筛选出第二卷积层运算需要的所有的有效值，以通过筛选电路硬件进行有效值筛选为例，还需要考虑将所述第一卷积层运算结果进行延展的情况，具体如图3、4所示的情况。具体地，根据所述第一卷积层运算结果及所述第一有效值位置信息(也即起始位置信息)确定所述第一卷积层运算结果进行筛选的实际区域信息，根据该实际区域信息及所述第二卷积层运算的步进长度信息确定所述第一卷积层运算结果是否需要延展，参图3所示，图3-2中第二卷积层运算的步进值为2，第一有效值在第一卷积层运算结果中的位置为图3-1中“√”所示，从而确定出加粗线条部分区域即为第一卷积层运算结果的实际筛选区域；进一步地，根据通过所述步进长度值在所述实际筛选区域内，筛选电路每一次操作是否可以得到确定性输入的原则，判断所述实际筛选区域是否需要延展。

在一些实施例中，在所述第一卷积层运算结果尺寸需要延展的情况下，所述第一卷积运算结果筛选单元还包括：

实际筛选区域尺寸确定模块，用于根据所述第二卷积层的第一有效值位置信息及其步进长度值大小，确定所述有效值筛选模块对所述第一卷积运算结果的实际筛选区域尺寸信息；

延展尺寸信息确定模块，用于根据所述实际筛选区域尺寸信息及所述筛选模块的筛选尺寸，确定所述第一卷积层运算结果需要延展的尺寸信息。

具体地，根据所述第一卷积层运算结果及所述第一有效值位置信息(也即起始位置信息)确定所述第一卷积层运算结果进行筛选的实际区域信息，根据该实际区域信息及所述第二卷积层运算的步进长度信息确定所述第一卷积层运算结果是否需要延展，参图3所示，图3-2中第二卷积层运算的步进值为2，第一有效值在第一卷积层运算结果中的位置为图3-1中“√”所示，从而确定出加粗线条部分区域即为第一卷积层运算结果的实际筛选区域；进一步地，根据通过所述步进长度值在所述实际筛选区域内，筛选电路每一次操作是否可以得到确定性输入的原则，判断所述实际筛选区域是否需要延展。

如果根据第二卷积层运算的步进长度作为筛选尺寸，对所述第一卷积运算结果的实际筛选区域进行筛选，若实际筛选区域中筛选电路每一次操作均可以得到确定性输入，便不需要延展，否则需要延展，参图2所示，第二卷积层运算的步进长度为2，实际筛选区域为4*4，可以遍历所有实际筛选区域，不需要延展参图2-2，参图3、图4，为根据第二卷积层运算的步进长度作为筛选尺寸，对所述第一卷积运算结果的实际筛选区域进行筛选，筛选电路按照步进长度值大小对实际筛选区域进行筛选时，若存在实际筛选区域的输入尺寸(长*宽)不符合筛选电路尺寸整数倍(即步进长度值)时，实际筛选区域便需要延展，以确保实际筛选区域内的所有值均被筛选，参图3-2、图4-2内的展示。

在一些实施例中，所述第一卷积运算结果筛选单元还包括：

延展区域信息确定模块，用于根据所述需要延展的尺寸信息确定所述第一卷积层运算结果尺寸的延展区域信息，其中，所述延展区域信息包括向右侧延展列数信息和/或向下侧延展行数信息。

在一些实施例中，所述向右侧延展列数值为所述实际筛选区域尺寸的列数与所述步进长度s相除的余数；

所述向下侧延展行数值为所述实际筛选区域尺寸的行数与所述步进长度s相除的余数。

在一些实施例中，所述第一卷积运算结果筛选单元用于：

所述有效值筛选模块在所述第一卷积层运算结果中的起始位置开始依次自左向右，自上向下对所述第一卷积层运算结果进行非重叠式筛选。

在一些实施例中，在所述延展区域中的数值设置为无效值，例如可以设置为0，也可以为预设为无效的其他值。

在一些实施例中，所述装置还包括：

卷积层运算策略信息单元，用于预设卷积网络中的卷积层运算策略信息，其中所述卷积层运算策略信息至少包括卷积层运算尺寸信息及其对应的步进长度值信息。

具体地，卷积神经网络中包含的卷积层数、每个卷积层的卷积尺寸、以及步进长度值、以及第一有效值等均需要在处理相应的图像前根据需要进行预设。

与现有技术相比，本申请所述的方法及装置可以根据预设的卷积运算策略信息，执行第一卷积层运算，并判断接下来要执行的第二卷积层运算信息是否满足条件：卷积运算尺寸为1*1且步进长度值s大于1；在满足前述条件的情况下，根据所述步进长度值在执行所述第二卷积层运算之前，筛选出所述第一卷积层运算结果中对应执行所述第二卷积层运算的有效值部分；按照步进长度值为1对所述有效值部分执行所述第二卷积层1*1卷积运算。从而使得执行卷积运算进行图像处理的过程中，在执行卷积运算尺寸为1*1且步进长度值s大于1的卷积前就将对应的有效值筛选出来，避免对无效值部分也做运算，既提高了图像处理的效率，增强了图像处理芯片的整体性能，也减少了对无效数据的Load/Store操作，节省宝贵的存储器带宽。

上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。

在本申请的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其他的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。

Claims (20)

1.一种基于卷积神经网络的图像处理方法，其中，该方法包括：

根据预设的卷积运算策略信息，执行第一卷积层运算，并判断接下来要执行的第二卷积层运算信息是否满足如下条件：

卷积运算尺寸为1*1且步进长度值s大于1；

满足上述条件的情况下，在执行所述第二卷积层运算之前，根据预设的所述第二卷积层运算对应的第一有效值位置信息及所述步进长度值，筛选出所述第一卷积层运算结果中对应执行所述第二卷积层运算的有效值部分；具体包括：

根据预设的所述第二卷积层的第一有效值在所述第一卷积层运算结果的位置信息，确定所述有效值筛选模块启动筛选的起始位置，其中，所述有效值筛选模块的筛选尺寸值为所述步进长度s值；

所述有效值筛选模块从所述起始位置开始对所述第一卷积层运算结果进行非重叠式筛选；

根据上述筛选结果，确定所述第一卷积层运算结果中对应所述第二卷积层运算所需要的有效值部分

按照步进长度值为1对所述有效值部分执行所述第二卷积层1*1卷积运算。

2.根据权利要求1所述的方法，其中，在执行所述第二卷积层运算之前包括如下其一：

在执行第一卷积层运算之后将对应卷积运算结果输出给所述第二卷积层之前；

在获取所述第一卷积层输出结果后，执行所述第二卷积层运算前。

3.根据权利要求1或2所述的方法，其中，通过有效值筛选模块筛选出所述第一卷积层运算结果中对应执行所述第二卷积层运算的有效值部分。

4.根据权利要求3所述的方法，其中，在所述有效值筛选模块从所述起始位置开始对所述第一卷积层运算结果进行非重叠式筛选前，所述满足上述条件的情况下，在执行所述第二卷积层运算之前，根据预设的所述第二卷积层运算对应的第一有效值位置信息及所述步进长度值，筛选出所述第一卷积层运算结果中对应执行所述第二卷积层运算的有效值部分还包括：

根据所述第二卷积层的第一有效值位置信息及其步进长度值大小，判断所述第一卷积层运算结果尺寸是否需要延展。

5.根据权利要求4所述的方法，其中，在所述第一卷积层运算结果尺寸需要延展的情况下，所述满足上述条件的情况下，在执行所述第二卷积层运算之前，根据预设的所述第二卷积层运算对应的第一有效值位置信息及所述步进长度值，筛选出所述第一卷积层运算结果中对应执行所述第二卷积层运算的有效值部分还包括：

根据所述第二卷积层的第一有效值位置信息及其步进长度值大小，确定所述有效值筛选模块对所述第一卷积运算结果的实际筛选区域尺寸信息；

根据所述实际筛选区域尺寸信息及所述筛选模块的筛选尺寸，确定所述第一卷积层运算结果需要延展的尺寸信息。

6.根据权利要求5所述的方法，其中，所述满足上述条件的情况下，在执行所述第二卷积层运算之前，根据预设的所述第二卷积层运算对应的第一有效值位置信息及所述步进长度值，筛选出所述第一卷积层运算结果中对应执行所述第二卷积层运算的有效值部分还包括：

根据所述需要延展的尺寸信息确定所述第一卷积层运算结果尺寸的延展区域信息，其中，所述延展区域信息包括向右侧延展列数信息和/或向下侧延展行数信息。

7.根据权利要求6所述的方法，其中，所述向右侧延展列数值为所述实际筛选区域尺寸的列数与所述步进长度s相除的余数；

所述向下侧延展行数值为所述实际筛选区域尺寸的行数与所述步进长度s相除的余数。

8.根据权利要求4至7中任一项所述的方法，其中，所述有效值筛选模块从所述起始位置开始对所述第一卷积层运算结果进行非重叠式筛选包括：

所述有效值筛选模块在所述第一卷积层运算结果中的起始位置开始依次自左向右，自上向下对所述第一卷积层运算结果进行非重叠式筛选。

9.根据权利要求6或7所述的方法，其中，在所述延展区域中的数值设置为无效值。

10.根据权利要求1、2及4至7中任一项所述的方法，其中，所述方法还包括：

预设卷积网络中的卷积层运算策略信息，其中所述卷积层运算策略信息至少包括卷积层运算尺寸信息及其对应的步进长度值信息。

11.一种基于卷积神经网络的图像处理装置，其中，该装置包括：

卷积运算信息检测单元，用于根据预设的卷积运算策略信息，执行第一卷积层运算，并判断接下来要执行的第二卷积层运算信息是否满足如下条件：

卷积运算尺寸为1*1且步进长度值s大于1；

第一卷积运算结果筛选单元，用于在满足上述条件的情况下，在执行所述第二卷积层运算之前，根据预设的所述第二卷积层运算对应的第一有效值位置信息及所述步进长度值，筛选出所述第一卷积层运算结果中对应执行所述第二卷积层运算的有效值部分；其中所述第一卷积运算结果筛选单元包括：

筛选起始位置确定模块，用于根据预设的所述第二卷积层的第一有效值在所述第一卷积层运算结果的位置，确定所述有效值筛选模块启动筛选的起始位置，其中，所述有效值筛选模块的筛选尺寸值为所述步进长度s值；

有效值筛选模块，用于从所述起始位置开始对所述第一卷积层运算结果进行非重叠式筛选；

有效值确定模块，用于根据上述筛选结果，确定所述第一卷积层运算结果中对应所述第二卷积层运算所需要的有效值部分；

第二卷积运算执行单元，用于按照步进长度值为1对所述有效值部分执行所述第二卷积层1*1卷积运算。

12.根据权利要求11所述的装置，其中，在执行所述第二卷积层运算之前包括如下其一：

在执行第一卷积层运算之后将对应卷积运算结果输出给所述第二卷积层之前；

在获取所述第一卷积层输出结果后，执行所述第二卷积层运算前。

13.根据权利要求11或12所述的装置，其中，通过有效值筛选模块筛选出所述第一卷积层运算结果中对应执行所述第二卷积层运算的有效值部分。

14.根据权利要求13所述的装置，其中，所述第一卷积运算结果筛选单元还包括：

延展判断模块，用于根据所述第二卷积层的第一有效值位置信息及其步进长度值大小，判断所述第一卷积层运算结果尺寸是否需要延展。

15.根据权利要求14所述的装置，其中，在所述第一卷积层运算结果尺寸需要延展的情况下，所述第一卷积运算结果筛选单元还包括：

实际筛选区域尺寸确定模块，用于根据所述第二卷积层的第一有效值位置信息及其步进长度值大小，确定所述有效值筛选模块对所述第一卷积运算结果的实际筛选区域尺寸信息；

延展尺寸信息确定模块，用于根据所述实际筛选区域尺寸信息及所述筛选模块的筛选尺寸，确定所述第一卷积层运算结果需要延展的尺寸信息。

16.根据权利要求15所述的装置，其中，所述第一卷积运算结果筛选单元还包括：

延展区域信息确定模块，用于根据所述需要延展的尺寸信息确定所述第一卷积层运算结果尺寸的延展区域信息，其中，所述延展区域信息包括向右侧延展列数信息和/或向下侧延展行数信息。

17.根据权利要求16所述的装置，其中，所述向右侧延展列数值为所述实际筛选区域尺寸的列数与所述步进长度s相除的余数；

所述向下侧延展行数值为所述实际筛选区域尺寸的行数与所述步进长度s相除的余数。

18.根据权利要求14至17中任一项所述的装置，其中，所述第一卷积运算结果筛选单元用于：

所述有效值筛选模块在所述第一卷积层运算结果中的起始位置开始依次自左向右，自上向下对所述第一卷积层运算结果进行非重叠式筛选。

19.根据权利要求16或17所述的装置，其中，在所述延展区域中的数值设置为无效值。

20.根据权利要求11、12及14至17中任一项所述的装置，其中，所述装置还包括：

卷积层运算策略信息单元，用于预设卷积网络中的卷积层运算策略信息，其中所述卷积层运算策略信息至少包括卷积层运算尺寸信息及其对应的步进长度值信息。

Images