CN107862316A - 卷积运算方法及装置 - Google Patents

Abstract

本发明公开了一种卷积运算方法及装置。其中，该方法包括：获取待处理图像；将所述待处理图像转化为至少一个子图像；根据所述至少一个子图像的尺寸，将卷积运算区块划分为多个子运算区块；通过对所述多个子运算区块进行卷积运算，得到多个子运算结果；根据所述多个子运算结果，得到所述待处理图像的卷积运算结果。本发明解决了由于在进行较大卷积运算区块规模运算时，需要额外增加硬件资源造成的运算成本较高的技术问题。

Description

卷积运算方法及装置

技术领域

本发明涉及图像处理领域，具体而言，涉及一种卷积运算方法及装置。

背景技术

对于大规模卷积运算而言，受硬件限制，要进行较大卷积运算区块规模运算时，需要通过软件辅助或者额外增加硬件资源，才可完成较大卷积运算区块规模的运算。因此，如何降低特定卷积运算区块规模的限制，也无需额外增加硬件资源即可进行卷积运算，成为了人们关注的焦点。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种卷积运算方法及装置，以至少解决由于在进行较大卷积运算区块规模运算时，需要额外增加硬件资源造成的运算成本较高的技术问题。

根据本发明实施例的一个方面，提供了一种卷积运算方法，包括：获取待处理图像；将上述待处理图像转化为至少一个子图像；根据上述至少一个子图像的尺寸，将卷积运算区块划分为多个子运算区块；通过对上述多个子运算区块进行卷积运算，得到多个子运算结果；根据上述多个子运算结果，得到上述待处理图像的卷积运算结果。

可选地，根据上述多个子运算结果，得到上述待处理图像的卷积运算结果包括：将上述多个子运算结果相加，得到上述卷积运算区块的运算结果；依据上述卷积运算区块的运算结果，得到上述待处理图像的卷积运算结果。

可选地，将上述待处理图像转化为至少一个子图像之后，上述方法还包括：根据上述至少一个子图像的尺寸，提取上述至少一个子图像的图像信息；对上述至少一个子图像的图像信息进行卷积运算，以输出至少一个卷积结果；将各个卷积结果加总处理，以输出加总结果。

可选地，上述根据上述至少一个子图像的尺寸，提取上述至少一个子图像的图像信息，包括：判断上述至少一个子图像的尺寸是否小于预设阈值；若上述至少一个子图像的尺寸小于上述预设阈值，提取上述至少一个子图像的轮廓信息；若上述至少一个子图像的尺寸大于等于上述预设阈值，提取上述至少一个子图像的细节信息；其中，上述图像信息包括上述轮廓信息和上述细节信息。

可选地，各个子运算区块的大小相同；上述多个子运算区块为利用至少一个卷积单元进行卷积运算以得到上述多个子运算结果。

根据本发明实施例的另一方面，还提供了一种卷积运算装置，包括：获取单元，用于获取待处理图像；转化单元，用于将上述待处理图像转化为至少一个子图像；划分单元，用于根据上述至少一个子图像的尺寸，将卷积运算区块划分为多个子运算区块；运算单元，用于通过对上述多个子运算区块进行卷积运算，得到多个子运算结果；处理单元，用于根据上述多个子运算结果，得到上述待处理图像的卷积运算结果。

可选地，上述处理单元用于执行以下步骤根据上述多个子运算结果，得到上述待处理图像的卷积运算结果包括：将上述多个子运算结果相加，得到上述卷积运算区块的运算结果；依据上述卷积运算区块的运算结果，得到上述待处理图像的卷积运算结果。

可选地，上述装置还包括：提取单元，用于根据上述至少一个子图像的尺寸，提取上述至少一个子图像的图像信息；上述运算单元，还用于对上述至少一个子图像的图像信息进行卷积运算，以输出至少一个卷积结果；将各个卷积结果加总处理，以输出加总结果。

可选地，上述提取单元用于执行以下步骤根据上述至少一个子图像的尺寸，提取上述至少一个子图像的图像信息：判断上述至少一个子图像的尺寸是否小于预设阈值；若上述至少一个子图像的尺寸小于上述预设阈值，提取上述至少一个子图像的轮廓信息；若上述至少一个子图像的尺寸大于等于上述预设阈值，提取上述至少一个子图像的细节信息；其中，上述图像信息包括上述轮廓信息和上述细节信息。

根据本发明实施例的另一方面，还提供了一种存储介质，上述存储介质包括存储的程序，其中，上述程序执行具有上述任意特征的卷积运算方法。

在本发明实施例中，采用获取待处理图像；将待处理图像转化为至少一个子图像；根据至少一个子图像的尺寸，将卷积运算区块划分为多个子运算区块；通过对多个子运算区块进行卷积运算，得到多个子运算结果；根据多个子运算结果，得到待处理图像的卷积运算结果的方式，通过根据至少一个子图像的尺寸，将卷积运算区块划分为多个子运算区块，并根据多个子运算结果得到最终的卷积运算结果，达到了无需额外增加硬件资源即可实现卷积运算的目的，从而实现了降低运算成本的技术效果，进而解决了由于在进行较大卷积运算区块规模运算时，需要额外增加硬件资源造成的运算成本较高的技术问题。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例的一种可选的卷积运算方法的流程示意图；

图2是根据本发明实施例的一种可选的卷积运算装置的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

实施例1

根据本发明实施例，提供了一种卷积运算方法的方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机***中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

图1是根据本发明实施例的卷积运算方法，如图1所示，该方法包括如下步骤：

步骤S102，获取待处理图像。

步骤S104，将待处理图像转化为至少一个子图像。

本申请上述步骤104中，对于一个给定尺寸为M1×M2大小的图像(即待处理图像)，将给定的M1×M2大小的图像进行N等级缩小成为不同尺寸的图像(即至少一个子图像)，即尺寸为M11×M12的子图像、M13×M31的子图像，……，M1n×Mn1的子图像。随着图像尺寸的缩小图像的轮廓将会比较清晰的显示出来，即尺寸为M1n×Mn1的子图像相较于尺寸为M11×M12的子图像的轮廓更加清楚，且更好提取，而尺寸为M11×M21的子图像相较于尺寸为M1n×Mn1的子图像而言，图像的细节会更多。

步骤S106，根据至少一个子图像的尺寸，将卷积运算区块划分为多个子运算区块。

本申请上述步骤106中，卷积运算区块包括像素及多个邻近像素，随着卷积运算区块不同，其所包含的像素也不同。在将待处理图像转化为至少一个子图像后，根据至少一个子图像的尺寸，将卷积运算区块划分为多个子运算区块。例如，对于一个5×5的子图像，可以将卷积运算区块划分为四个3×3的子运算区块。

可选地，各个子运算区块的大小相同。

步骤S108，通过对多个子运算区块进行卷积运算，得到多个子运算结果。

本申请上述步骤S108中，在将卷积运算区块划分为多个子运算区块之后，依据排列顺序，将多个子运算区块利用至少一个卷积单元进行卷积运算以得到多个子运算结果。

步骤S110，根据多个子运算结果，得到待处理图像的卷积运算结果。

本申请上述步骤S110中，根据多个子运算结果，得到待处理图像的卷积运算结果包括：将多个子运算结果相加，得到卷积运算区块的运算结果；依据卷积运算区块的运算结果，得到待处理图像的卷积运算结果。

其中，依据卷积运算区块的运算结果，得到待处理图像的卷积运算结果包括：对卷积运算区块的运算结果进行加总处理，得到待处理图像的卷积运算结果。

通过上述步骤，根据至少一个子图像的尺寸，将卷积运算区块划分为多个子运算区块，并根据多个子运算结果得到最终的卷积运算结果，达到了无需额外增加硬件资源即可实现卷积运算的目的，从而实现了降低运算成本的技术效果，进而解决了由于在进行较大卷积运算区块规模运算时，需要额外增加硬件资源造成的运算成本较高的技术问题。

作为一种可选地实现方式，将待处理图像转化为至少一个子图像之后，方法还包括：根据至少一个子图像的尺寸，提取至少一个子图像的图像信息；对至少一个子图像的图像信息进行卷积运算，以输出至少一个卷积结果；将各个卷积结果加总处理，以输出加总结果。

可选地，根据至少一个子图像的尺寸，提取至少一个子图像的图像信息，包括：判断至少一个子图像的尺寸是否小于预设阈值；若至少一个子图像的尺寸小于预设阈值，提取至少一个子图像的轮廓信息；若至少一个子图像的尺寸大于等于预设阈值，提取至少一个子图像的细节信息；其中，图像信息包括轮廓信息和细节信息。

可选地，提取至少一个子图像的细节信息包括：采用同类二维采样提取所述至少一个子图像的图像信息；从图像信息中剔除至少一个子图像的轮廓信息，以得到细节信息。其中，从图像信息中剔除至少一个子图像的轮廓信息包括：通过滤波器从图像信息中剔除至少一个子图像的轮廓信息，并且对剔除轮廓信息的至少一个子图像的各个像素点的位置与细节信息进行记录、映射。

通过将待处理图像经过N等级的金字塔变化，可以逐渐的变换成N个不同尺寸的子图像，然后对不同的子图像进行二维信息的采样提取(图像位置，图像信息)，由于对小尺寸的子图像进行了轮廓信息提取，在对于大尺寸的子图像中可以将图像的轮廓进行剔除，而对细节进行保留，对大尺寸的子图像进行同类二维采样提取。本实施例中，同类二维采样是指对当前像素点的位置与细节信息进行记录、映射的方法。

具体地，同类二维采样：一般不同分辨率的图像所包含的细节信息或轮廓信息是不同的，对于大尺寸的图像(即大分辨率的图像)细节信息比较多，而对于小尺寸的图像(即小分辨率的图像)一般轮廓信息比较全面，比如叶子，大分辨率的图像一般对于叶子的脉络细节比较清楚，而小分辨率的图像对叶子的轮廓含有的信息比较多。对于不同的分辨率的图像可以通过对图像细节采样来生成一个二维的函数f(x,y)进行存储，其中x,y代表图像位置，f(x,y)代表细节信息。

对于边缘环节的处理可以通过对整幅图像的边缘和细节关联函数进行判断，如果细节和轮廓的关联性非常高，可以判断图像与轮廓的关系，根据图像尺寸划分子运算区块。

金字塔神经网络卷积可以将图像分成不同的层次进行卷积，这样通过对不同部分进行卷积变换可以实现更快的变换速度，当硬件可以同步的处理不同等级的变换时，可以对图像的变换速度实现倍速的提升，同时由于对不同的轮廓使用不同的卷积模板可以更加精准的提取图像的特征。

实施例2

本发明实施例还提供了一种卷积运算装置。需要说明的是，该实施例的卷积运算装置可以用于执行本发明实施例的卷积运算方法。

图2是根据本发明实施例的一种卷积运算装置的示意图。如图2所示，该卷积运算装置包括：获取单元20、转化单元22、划分单元24、运算单元26和处理单元28。

获取单元20，用于获取待处理图像；

转化单元22，用于将待处理图像转化为至少一个子图像；

划分单元24，用于根据至少一个子图像的尺寸，将卷积运算区块划分为多个子运算区块；

运算单元26，用于通过对多个子运算区块进行卷积运算，得到多个子运算结果；

处理单元28，用于根据多个子运算结果，得到待处理图像的卷积运算结果。

可选地，处理单元28用于执行以下步骤根据多个子运算结果，得到待处理图像的卷积运算结果包括：将多个子运算结果相加，得到卷积运算区块的运算结果；依据卷积运算区块的运算结果，得到待处理图像的卷积运算结果。

可选地，本实施例的卷积运算装置还包括：提取单元，用于根据至少一个子图像的尺寸，提取至少一个子图像的图像信息；运算单元26，还用于对至少一个子图像的图像信息进行卷积运算，以输出至少一个卷积结果；将各个卷积结果加总处理，以输出加总结果。

可选地，提取单元用于执行以下步骤根据至少一个子图像的尺寸，提取至少一个子图像的图像信息：判断至少一个子图像的尺寸是否小于预设阈值；若至少一个子图像的尺寸小于预设阈值，提取至少一个子图像的轮廓信息；若至少一个子图像的尺寸大于等于预设阈值，提取至少一个子图像的细节信息；其中，图像信息包括轮廓信息和细节信息。

可选地，各个子运算区块的大小相同；多个子运算区块为利用至少一个卷积单元进行卷积运算以得到多个子运算结果。

在本发明实施例中，采用获取待处理图像；将待处理图像转化为至少一个子图像；根据至少一个子图像的尺寸，将卷积运算区块划分为多个子运算区块；通过对多个子运算区块进行卷积运算，得到多个子运算结果；根据多个子运算结果，得到待处理图像的卷积运算结果的方式，通过根据至少一个子图像的尺寸，将卷积运算区块划分为多个子运算区块，并根据多个子运算结果得到最终的卷积运算结果，达到了无需额外增加硬件资源即可实现卷积运算的目的，从而实现了降低运算成本的技术效果，进而解决了由于在进行较大卷积运算区块规模运算时，需要额外增加硬件资源造成的运算成本较高的技术问题。

本发明实施例还提供了一种存储介质，存储介质包括存储的程序，其中，程序执行具有上述任意特征的卷积运算方法。

本发明实施例还提供了一种处理器，处理器用于运行程序，其中，程序执行具有上述任意特征的卷积运算方法。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种卷积运算方法，其特征在于，包括：

获取待处理图像；

将所述待处理图像转化为至少一个子图像；

根据所述至少一个子图像的尺寸，将卷积运算区块划分为多个子运算区块；

通过对所述多个子运算区块进行卷积运算，得到多个子运算结果；

根据所述多个子运算结果，得到所述待处理图像的卷积运算结果。

2.根据权利要求1所述的方法，其特征在于，根据所述多个子运算结果，得到所述待处理图像的卷积运算结果包括：

将所述多个子运算结果相加，得到所述卷积运算区块的运算结果；

依据所述卷积运算区块的运算结果，得到所述待处理图像的卷积运算结果。

3.根据权利要求1所述的方法，其特征在于，将所述待处理图像转化为至少一个子图像之后，所述方法还包括：

根据所述至少一个子图像的尺寸，提取所述至少一个子图像的图像信息；

对所述至少一个子图像的图像信息进行卷积运算，以输出至少一个卷积结果；

将各个卷积结果加总处理，以输出加总结果。

4.根据权利要求3所述的方法，其特征在于，所述根据所述至少一个子图像的尺寸，提取所述至少一个子图像的图像信息，包括：

判断所述至少一个子图像的尺寸是否小于预设阈值；

若所述至少一个子图像的尺寸小于所述预设阈值，提取所述至少一个子图像的轮廓信息；

若所述至少一个子图像的尺寸大于等于所述预设阈值，提取所述至少一个子图像的细节信息；

其中，所述图像信息包括所述轮廓信息和所述细节信息。

5.根据权利要求1至4中任一项所述的方法，其特征在于，各个子运算区块的大小相同；所述多个子运算区块为利用至少一个卷积单元进行卷积运算以得到所述多个子运算结果。

6.一种卷积运算装置，其特征在于，包括：

获取单元，用于获取待处理图像；

转化单元，用于将所述待处理图像转化为至少一个子图像；

划分单元，用于根据所述至少一个子图像的尺寸，将卷积运算区块划分为多个子运算区块；

运算单元，用于通过对所述多个子运算区块进行卷积运算，得到多个子运算结果；

处理单元，用于根据所述多个子运算结果，得到所述待处理图像的卷积运算结果。

7.根据权利要求6所述的装置，其特征在于，所述处理单元用于执行以下步骤根据所述多个子运算结果，得到所述待处理图像的卷积运算结果包括：

将所述多个子运算结果相加，得到所述卷积运算区块的运算结果；

依据所述卷积运算区块的运算结果，得到所述待处理图像的卷积运算结果。

8.根据权利要求6所述的装置，其特征在于，还包括：

提取单元，用于根据所述至少一个子图像的尺寸，提取所述至少一个子图像的图像信息；

所述运算单元，还用于对所述至少一个子图像的图像信息进行卷积运算，以输出至少一个卷积结果；将各个卷积结果加总处理，以输出加总结果。

9.根据权利要求8所述的装置，其特征在于，所述提取单元用于执行以下步骤根据所述至少一个子图像的尺寸，提取所述至少一个子图像的图像信息：

判断所述至少一个子图像的尺寸是否小于预设阈值；

若所述至少一个子图像的尺寸小于所述预设阈值，提取所述至少一个子图像的轮廓信息；

若所述至少一个子图像的尺寸大于等于所述预设阈值，提取所述至少一个子图像的细节信息；

其中，所述图像信息包括所述轮廓信息和所述细节信息。

10.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，所述程序执行权利要求1至5中任意一项所述的卷积运算方法。