CN107766932A - 基于神经网络的图像处理方法及装置 - Google Patents

Abstract

本发明公开了一种基于神经网络的图像处理方法及装置。其中，该方法包括：获取待处理图像；将待处理图像转化为不同尺寸的至少一个子图像；将至少一个子图像输入至多层神经网络进行运算；其中，多层神经网络包括多个运算层，多个运算层之间通过至少一个通讯接口连接，多个运算层中第n个运算层将对至少一个子图像进行运算得到运算结果通过通讯接口传输至第n+1个运算层，n为正整数。本发明解决了由于相关技术中必须等到本地缓存器中的运算结果被转移至内存，且新的输入数据自内存被加载本地缓存器后，处理器才能开始进行下一轮的运算工作造成的资源浪费的技术问题。

Description

基于神经网络的图像处理方法及装置

技术领域

本发明涉及图像处理领域，具体而言，涉及一种基于神经网络的图像处理方法及装置。

背景技术

目前在神经网络中层传输过程中，需要将大量的前期数据转移完成后才会将下组数据进行缓冲处理。对于一般的神经网络，本地缓存器与内存之间必须有大量的数据转移，此类大规模的内存存取相当耗时，人造神经网络的整体效能会因此受限。此外，由于必须等到本地缓存器中的运算结果被转移至内存，且新的输入数据自内存被加载本地缓存器后，处理器才能开始进行下一轮的运算工作。由于神经网络数据比较庞大所以处理器需要耗费大量的时间资源来等待数据的装载与获取，造成了资源的浪费。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种基于神经网络的图像处理方法及装置，以至少解决由于相关技术中必须等到本地缓存器中的运算结果被转移至内存，且新的输入数据自内存被加载本地缓存器后，处理器才能开始进行下一轮的运算工作造成的资源浪费的技术问题。

根据本发明实施例的一个方面，提供了一种基于神经网络的图像处理方法，包括：获取待处理图像；将上述待处理图像转化为不同尺寸的至少一个子图像；将上述至少一个子图像输入至多层神经网络进行运算；其中，上述多层神经网络包括多个运算层，上述多个运算层之间通过至少一个通讯接口连接，上述多个运算层中第n个运算层将对上述至少一个子图像进行运算得到运算结果通过上述通讯接口传输至第n+1个运算层，n为正整数。

可选地，每个运算层包括运算电路和本地内存，上述本地内存用于存储上述运算电路使用的上述至少一个子图像,上述运算电路用于对上述至少一个子图像进行运算得到运算结果，其中，第n个运算层的运算电路将得到的上述运算结果通过上述通讯接口传输至第n+1个运算层中的本地内存。

可选地，第n个运算层的运算电路在得到的第m个运算结果时，第n个运算层的运算电路同时将得到的第m-1个运算结果通过上述通讯接口传输至第n+1个运算层中的本地内存，1<m<n，m为整数。

可选地，将上述待处理图像转化为不同尺寸的至少一个子图像之后，上述方法还包括：根据上述至少一个子图像的尺寸，提取上述至少一个图像信息；将上述至少一个图像信息输入至上述多层神经网络进行运算。

可选地，上述根据上述至少一个子图像的尺寸，提取上述至少一个图像信息包括：若上述子图像的尺寸小于预设值，从上述子图像中提取轮廓信息作为上述图像信息；若上述子图像的尺寸大于等于上述预设值，从上述子图像中提取细节信息作为上述图像信息。

可选地，上述多个运算层包括至少n个晶片；上述多个运算层包括卷积层，其中，上述卷积层包括并联的多个晶片；上述多个运算层包括连接层，其中，上述连接层包括并联的多个晶片。

根据本发明实施例的另一方面，还提供了一种基于神经网络的图像处理装置，包括：获取单元，用于获取待处理图像；转化单元，用于将上述待处理图像转化为不同尺寸的至少一个子图像；运算单元，用于将上述至少一个子图像输入至多层神经网络进行运算；其中，上述多层神经网络包括多个运算层，上述多个运算层之间通过至少一个通讯接口连接，上述多个运算层中第n个运算层将对上述至少一个子图像进行运算得到运算结果通过上述通讯接口传输至第n+1个运算层，n为正整数。

可选地，每个运算层包括运算电路和本地内存，上述本地内存用于存储上述运算电路使用的上述至少一个子图像,上述运算电路用于对上述至少一个子图像进行运算得到运算结果，其中，第n个运算层的运算电路将得到的上述运算结果通过上述通讯接口传输至第n+1个运算层中的本地内存。

根据本发明实施例的另一方面，还提供了一种存储介质，上述存储介质包括存储的程序，其中，上述程序执行具有上述任意特征的基于神经网络的图像处理方法。

根据本发明实施例的另一方面，还提供了一种处理器，上述处理器用于运行程序，其中，上述程序运行时执行具有上述任意特征的基于神经网络的图像处理方法。

在本发明实施例中，采用获取待处理图像；将待处理图像转化为不同尺寸的至少一个子图像；将至少一个子图像输入至多层神经网络进行运算；其中，多层神经网络包括多个运算层，多个运算层之间通过至少一个通讯接口连接，多个运算层中第n个运算层将对至少一个子图像进行运算得到运算结果通过通讯接口传输至第n+1个运算层，n为正整数的方式，通过将待处理图像转化为不同尺寸的至少一个子图像，并通过多个运算层同时进行运算，达到了提高运算效率的目的，从而实现了节约资源的技术效果，进而解决了由于相关技术中必须等到本地缓存器中的运算结果被转移至内存，且新的输入数据自内存被加载本地缓存器后，处理器才能开始进行下一轮的运算工作造成的资源浪费的技术问题。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例的一种可选的基于神经网络的图像处理方法的流程示意图；

图2是根据本发明实施例的一种可选的多层神经网络的结构示意图；

图3是根据本发明实施例的一种可选的基于神经网络的图像处理装置的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

实施例1

根据本发明实施例，提供了一种基于神经网络的图像处理方法的方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机***中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

图1是根据本发明实施例的基于神经网络的图像处理方法，如图1所示，该方法包括如下步骤：

步骤S102，获取待处理图像。

本申请上述步骤S102中，通过将整幅图像分割成不同的区域块输入到缓存区，会大量的耗费装载时间，同时精确度也会有一定的影响。本实施例通过将图像分为N个不同的分辨率层次来通过N个运算层来同时传输数据，可以达到更快的传输速率。

步骤S104，将待处理图像转化为不同尺寸的至少一个子图像。

本申请上述步骤S104中，在获取到待处理图像之后，将待处理图像转化为至少一个子图像，其中，该至少一个子图像的尺寸互不相同。

步骤S106，将至少一个子图像输入至多层神经网络进行运算。

本申请上述步骤S106中，多层神经网络包括多个运算层，多个运算层之间通过至少一个通讯接口连接，多个运算层中第n个运算层将对至少一个子图像进行运算得到运算结果通过通讯接口传输至第n+1个运算层，n为正整数。其中，该通讯接口为高速通讯接口。

本实施例中，高速通讯接口可以包括高速串行器-解串行器、射频接口。可以理解的是，高速通讯接口的传输速率越快，运算层之间传输数据的时间越短。

如图2所示，每个运算层各自包含独立的硬件结构，其中，每个运算层包括运算电路和本地内存，本地内存用于存储运算电路使用的至少一个子图像(即本地内存中存储有供运算电路使用的输入资料以及可学习参数),运算电路用于对至少一个子图像进行运算得到运算结果，其中，第n个运算层的运算电路将得到的运算结果通过通讯接口传输至第n+1个运算层中的本地内存。

可选地，第n个运算层的运算电路在得到的第m个运算结果时，第n个运算层的运算电路同时将得到的第m-1个运算结果通过通讯接口传输至第n+1个运算层中的本地内存，1<m<n，m为整数。

可选地，多层神经网络中还包括输入层，该输入层为多层神经网络中最前端的隐藏层，本地内存中存储的输入资料以及可学习参数即是来自该输入层。

通过上述步骤，通过将待处理图像转化为不同尺寸的至少一个子图像，并通过多个运算层同时进行运算，达到了提高运算效率的目的，从而实现了节约资源的技术效果，进而解决了由于相关技术中必须等到本地缓存器中的运算结果被转移至内存，且新的输入数据自内存被加载本地缓存器后，处理器才能开始进行下一轮的运算工作造成的资源浪费的技术问题。

作为一种可选的实现方式，将待处理图像转化为不同尺寸的至少一个子图像之后，方法还包括：根据至少一个子图像的尺寸，提取至少一个图像信息；将至少一个图像信息输入至多层神经网络进行运算。

例如，待处理图像的尺寸为L1×L2,通过将待处理图像逐渐的缩小成为一个Li1×Li2的子图像，通过不同尺寸的子图像以及不同尺寸子图像中细节信息的不同，同时输入多层人造神经中，已达到信息的快速装载收敛。

可选地，根据至少一个子图像的尺寸，提取至少一个图像信息包括：若子图像的尺寸小于预设值，从子图像中提取轮廓信息作为图像信息；若子图像的尺寸大于等于预设值，从子图像中提取细节信息作为图像信息。

可选地，从子图像中提取细节信息包括：采用同类二维采样提取子图像的图像信息；从图像信息中剔除至少一个子图像的轮廓信息，以得到细节信息。其中，从图像信息中剔除图像的轮廓信息包括：通过滤波器从图像信息中剔除子图像的轮廓信息，并且对剔除轮廓信息的子图像的各个像素点的位置与细节信息进行记录、映射。

通过将待处理图像经过N等级的金字塔变化，可以逐渐的变换成N个不同尺寸的子图像，然后对不同的子图像进行二维信息的采样提取(图像位置，图像信息)，由于对小尺寸的子图像进行了轮廓信息提取，在对于大尺寸的子图像中可以将图像的轮廓进行剔除，而对细节进行保留，对大尺寸的子图像进行同类二维采样提取。本实施例中，同类二维采样是指对当前像素点的位置与细节信息进行记录、映射的方法。

具体地，同类二维采样：一般不同分辨率的图像所包含的细节信息或轮廓信息是不同的，对于大尺寸的图像(即大分辨率的图像)细节信息比较多，而对于小尺寸的图像(即小分辨率的图像)一般轮廓信息比较全面，比如叶子，大分辨率的图像一般对于叶子的脉络细节比较清楚，而小分辨率的图像对叶子的轮廓含有的信息比较多。对于不同的分辨率的图像可以通过对图像细节采样来生成一个二维的函数f(x,y)进行存储，其中x,y代表图像位置，f(x,y)代表细节信息。

可选地，多个运算层包括至少n个晶片；多个运算层包括卷积层，其中，卷积层包括并联的多个晶片；多个运算层包括连接层，其中，连接层包括并联的多个晶片。其中，多个运算层可以利用多个完全相同的晶片来实现，通过串联更多数量的晶片，多层神经网络所包含的运算层的数量可以任意增加。

该卷积层用于通过对待处理图像的边缘和细节关联函数进行判断，如果细节和轮廓的关联性非常高，可以判断图像与轮廓的关系，在选择卷积模板的时候可以更好的根据关联强度进行实时更换卷积模板。

这样通过对不同部分进行卷积变换可以实现更快的变换速度，当硬件可以同步的处理不同等级的变换时，可以对图像的变换速度实现倍速的提升，同时由于对不同的轮廓使用不同的卷积模板可以更加精准的提取图像的特征。

需要补充的是，上述晶片可以设置在同一集成电路晶片中、或设置于同一封装的不同集成电路晶片中，或设置于不同封装中，也就是说，相邻的运算层之间可以通过同一晶片内、跨晶片、跨封装或者跨电路板的高速通讯接口相互连接。

实施例2

本发明实施例还提供了一种基于神经网络的图像处理装置。需要说明的是，该实施例的图像信息的池化装置可以用于执行本发明实施例的基于神经网络的图像处理方法。

图3是根据本发明实施例的一种基于神经网络的图像处理装置。如图3所示，该基于神经网络的图像处理装置包括：获取单元30、转化单元32和运算单元34。

获取单元30，用于获取待处理图像；

转化单元32，用于将待处理图像转化为不同尺寸的至少一个子图像；

运算单元34，用于将至少一个子图像输入至多层神经网络进行运算；

其中，多层神经网络包括多个运算层，多个运算层之间通过至少一个通讯接口连接，多个运算层中第n个运算层将对至少一个子图像进行运算得到运算结果通过通讯接口传输至第n+1个运算层，n为正整数。

可选地，每个运算层包括运算电路和本地内存，本地内存用于存储运算电路使用的至少一个子图像,运算电路用于对至少一个子图像进行运算得到运算结果，其中，第n个运算层的运算电路将得到的运算结果通过通讯接口传输至第n+1个运算层中的本地内存。

可选地，第n个运算层的运算电路在得到的第m个运算结果时，第n个运算层的运算电路同时将得到的第m-1个运算结果通过通讯接口传输至第n+1个运算层中的本地内存，1<m<n，m为整数。

可选地，基于神经网络的图像处理装置还包括：处理单元，用于根据至少一个子图像的尺寸，提取至少一个图像信息；将至少一个图像信息输入至多层神经网络进行运算。

可选地，处理单元用于执行以下步骤根据至少一个子图像的尺寸，提取至少一个图像信息：若子图像的尺寸小于预设值，从子图像中提取轮廓信息作为图像信息；若子图像的尺寸大于等于预设值，从子图像中提取细节信息作为图像信息。

可选地，多个运算层包括至少n个晶片；多个运算层包括卷积层，其中，卷积层包括并联的多个晶片；多个运算层包括连接层，其中，连接层包括并联的多个晶片。

在本发明实施例中，采用获取待处理图像；将待处理图像转化为不同尺寸的至少一个子图像；将至少一个子图像输入至多层神经网络进行运算；其中，多层神经网络包括多个运算层，多个运算层之间通过至少一个通讯接口连接，多个运算层中第n个运算层将对至少一个子图像进行运算得到运算结果通过通讯接口传输至第n+1个运算层，n为正整数的方式，通过将待处理图像转化为不同尺寸的至少一个子图像，并通过多个运算层同时进行运算，达到了提高运算效率的目的，从而实现了节约资源的技术效果，进而解决了由于相关技术中必须等到本地缓存器中的运算结果被转移至内存，且新的输入数据自内存被加载本地缓存器后，处理器才能开始进行下一轮的运算工作造成的资源浪费的技术问题。

实施例3

本发明实施例还提供了一种存储介质，存储介质包括存储的程序，其中，程序执行具有上述任意特征的基于神经网络的图像处理方法。

本发明实施例还提供了一种处理器，处理器用于运行程序，其中，程序执行具有上述任意特征的基于神经网络的图像处理方法。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种基于神经网络的图像处理方法，其特征在于，包括：

获取待处理图像；

将所述待处理图像转化为不同尺寸的至少一个子图像；

将所述至少一个子图像输入至多层神经网络进行运算；

其中，所述多层神经网络包括多个运算层，所述多个运算层之间通过至少一个通讯接口连接，所述多个运算层中第n个运算层将对所述至少一个子图像进行运算得到运算结果通过所述通讯接口传输至第n+1个运算层，n为正整数。

2.根据权利要求1所述的方法，其特征在于，每个运算层包括运算电路和本地内存，所述本地内存用于存储所述运算电路使用的所述至少一个子图像,所述运算电路用于对所述至少一个子图像进行运算得到运算结果，其中，第n个运算层的运算电路将得到的所述运算结果通过所述通讯接口传输至第n+1个运算层中的本地内存。

3.根据权利要求2所述的方法，其特征在于，第n个运算层的运算电路在得到的第m个运算结果时，第n个运算层的运算电路同时将得到的第m-1个运算结果通过所述通讯接口传输至第n+1个运算层中的本地内存，1<m<n，m为整数。

4.根据权利要求1所述的方法，其特征在于，将所述待处理图像转化为不同尺寸的至少一个子图像之后，所述方法还包括：

根据所述至少一个子图像的尺寸，提取所述至少一个图像信息；

将所述至少一个图像信息输入至所述多层神经网络进行运算。

5.根据权利要求4所述的方法，其特征在于，所述根据所述至少一个子图像的尺寸，提取所述至少一个图像信息包括：

若所述子图像的尺寸小于预设值，从所述子图像中提取轮廓信息作为所述图像信息；

若所述子图像的尺寸大于等于所述预设值，从所述子图像中提取细节信息作为所述图像信息。

6.根据权利要求1至5中任一项所述的方法，其特征在于，

所述多个运算层包括至少n个晶片；

所述多个运算层包括卷积层，其中，所述卷积层包括并联的多个晶片；

所述多个运算层包括连接层，其中，所述连接层包括并联的多个晶片。

7.一种基于神经网络的图像处理装置，其特征在于，包括：

获取单元，用于获取待处理图像；

转化单元，用于将所述待处理图像转化为不同尺寸的至少一个子图像；

运算单元，用于将所述至少一个子图像输入至多层神经网络进行运算；

其中，所述多层神经网络包括多个运算层，所述多个运算层之间通过至少一个通讯接口连接，所述多个运算层中第n个运算层将对所述至少一个子图像进行运算得到运算结果通过所述通讯接口传输至第n+1个运算层，n为正整数。

8.根据权利要求7所述的装置，其特征在于，每个运算层包括运算电路和本地内存，所述本地内存用于存储所述运算电路使用的所述至少一个子图像,所述运算电路用于对所述至少一个子图像进行运算得到运算结果，其中，第n个运算层的运算电路将得到的所述运算结果通过所述通讯接口传输至第n+1个运算层中的本地内存。

9.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，所述程序执行权利要求1至6中任意一项所述的基于神经网络的图像处理方法。

10.一种处理器，其特征在于，所述处理器用于运行程序，其中，所述程序运行时执行权利要求1至6中任意一项所述的基于神经网络的图像处理方法。