CN113177634B - 基于神经网络输入输出量化的图像分析***、方法和设备 - Google Patents

Abstract

本发明属于卷积神经网络领域，具体涉及了基于神经网络输入输出量化的图像分析***、方法和设备，旨在解决现有技术进行网络轻量化时，不对输入输出层进行量化而导致整个神经网络量化不统一的问题。本发明包括：对输入图片进行温度计编码生成n倍通道数的低比特数的通道扩展图像，将输入层的卷积核通道相应的扩展为n倍，通过量化的输入层进行卷积运算并传输至隐含层获得特征图像；对输出层进行分支量化，把各分支量化后的结果进行权重加和得到神经网络最终的输出。本发明通过对输入数据进行温度计编码且输入层响应的扩展实现输入的量化，对输出层采取多分支结构来代替单一卷积结构实现量化，保持了网络整体量化的一致性，且几乎不损失精度。

Description

基于神经网络输入输出量化的图像分析***、方法和设备

技术领域

本发明属于卷积神经网络领域，具体涉及了一种基于神经网络输入输出量化的图像分析***、方法和设备。

背景技术

近年来由于对神经网络高精度的要求，网络模型不断加深加宽，而又大又深的网络在移动端的部署成为一大难题，因此相应的衍生出了很多网络轻量化设计方法，量化就是其中比较常用的方式，量化包括权重的量化和激活值的量化。但是，在神经网络量化的领域中，学界公认的方法是不对输入层和输出层进行量化。这是因为输入层和输出层对于网络整体精度的影响是至关重要的，输入层决定了网络提取的基础特征的准确性，输出层是在训练过程中与网络的真值距离最近的一层，如果输出层不准确将会对网络整体损失的计算造成很大的影响。但是，如果不对输入层和输出层进行量化，而中间的网络层却都进行量化时，就失去了网络整体的一致性。

发明内容

为了解决现有技术中的上述问题，即现有技术在进行网络轻量化时，不对输入输出层进行量化而导致整个神经网络量化不统一的问题，本发明提供了一种基于神经网络输入输出量化的图像分析***，包括：图片获取模块、输入数据量化模块、输入层量化模块、隐含层处理模块、输出层量化模块和输出模块：

所述图片获取模块，配置为获取输入图片，并输入卷积神经网络的输入层；

所述输入数据量化模块，配置为对所述输入图片进行温度计编码生成n倍通道数的低比特数的通道扩展图像；

所述输入层量化模块，配置为将卷积神经网络输入层的卷积核通道扩展为n倍获得量化的输入层；

所述隐含层处理模块，配置为基于所述通道扩展图像，通过所述量化的输入层进行卷积运算并传输至隐含层，获得特征图像；

所述输出层量化模块，配置为将对应的卷积神经网络输出层的最后一层权重设置为k个分支，并将每个分支的激活值进行低比特数的量化，生成量化后的激活值，进而获得多分支结构的输出层；

所述输出模块，配置为基于所述特征图像，通过多分支结构的输出层的各分支输出加权累加后获得神经网络最终的计算结果。

在一些优选的实施方式中，所述输入数据量化模块，具体包括将8比特的RGB三通道数据的输入图片，通过温度计编码的方式生成4比特的17通道的通道扩展图像，n取值17。

在一些优选的实施方式中，所述输入层量化模块，具体包括将卷积神经网络的卷积核通道数由3个扩展为51个，此时n取值17。

在一些优选的实施方式中，所述输出层量化模块具体为，将所述输出层的激活值量化为4比特的激活值即量化后的激活值，将输出层的最后一层权重由一个分支增加到k个分支。

在一些优选的实施方式中，所述k个分支包括正整数分支、负整数分支、正小数分支和负小数分支。

在一些优选的实施方式中，还包括卷积训练模块，具体为重复图片获取模块、输入数据量化模块、输入层量化模块、隐含层处理模块、输出层量化模块和输出模块的功能生成量化特征图像；其中，正数的整数部分与所述正整数分支计算正整数L1损失，正数的小数部分与所述正小数分支计算正小数L1损失，负数的整数部分与所述负整数分支计算负整数L1损失，负数的小数部分与所述负小数分支计算负小数L1损失。

所述输出层量化模块，可把输出层分支设置为任意数量，各分支加权值可分别设为×2、×1、/2、/4、/8或/16。

本发明的另一方面，提出了一种基于神经网络输入输出量化的图像分析方法，所述方法包括：

步骤S100，获取输入图片，并输入卷积神经网络的输入层；

步骤S200，对所述输入图片进行温度计编码生成n倍通道数的低比特数的通道扩展图像；

步骤S300，将卷积神经网络输入层的卷积核通道扩展为n倍获得量化的输入层；

步骤S400，基于所述通道扩展图像，通过所述量化的输入层进行卷积运算并传输至隐含层，获得特征图像；

步骤S500，将对应的卷积神经网络输出层的最后一层权重设置为k个分支，并将每个分支的激活值进行低比特数的量化，生成量化后的激活值，获得多分支结构的输出层；

步骤S600，基于所述特征图像，通过多分支结构的输出层的各分支输出加权累加后获得神经网络最终的计算结果。

本发明的第三方面，提出了一种电子设备，包括：至少一个处理器；以及与至少一个所述处理器通信连接的存储器；其中，所述存储器存储有可被所述处理器执行的指令，所述指令用于被所述处理器执行以实现上述的基于神经网络输入输出量化的图像分析方法。

本发明的第四方面，提出了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于被所述计算机执行以实现上述的基于神经网络输入输出量化的图像分析方法。

本发明的有益效果：

(1)本发明基于神经网络输入输出量化的图像分析***，通过对神经网络输入进行温度计编码和输出分支设计方法，实现了在保持网络整体量化一致性的前提下对输入和输出层进行量化，几乎不损失网络精度，提高了神经网络轻量化的精确度。本发明实现了把网络的各个层都部署在轻量级的终端设备中，而不需要为输入层和输出层增加额外的处理模块，且几乎不损失网络的精度。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1是本发明实施例的基于神经网络输入输出量化的图像分析***的结构框图；

图2是本发明实施例的基于神经网络输入输出量化的图像分析方法的流程示意图；

图3是本发明实施例的基于神经网络输入输出量化的图像分析***中温度计编码的原理示意图；

图4是本发明的基于神经网络输入输出量化的图像分析***中卷积核单通道扩展的原理示意图；

图5是本发明的基于神经网络输入输出量化的图像分析***中卷积核三通道扩展的原理示意图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

本发明提供一种基于神经网络输入输出量化的图像分析***，本***提出神经网络输入温度计编码和输出分支设计方法，在保持网络整体量化一致性的前提下，对输入和输出层进行量化，却几乎不损失网络精度，提高了神经网络轻量化后的计算精度。

本发明的一种基于神经网络输入输出量化的图像分析***，包括：图片获取模块、输入数据量化模块、输入层量化模块、隐含层处理模块、输出层量化模块和输出模块；

所述图片获取模块，配置为获取输入图片，并输入卷积神经网络的输入层；

所述输入数据量化模块，配置为对所述输入图片进行温度计编码生成n倍通道数的低比特数的通道扩展图像；

所述输入层量化模块，配置为将卷积神经网络输入层的卷积核通道扩展为n倍获得量化的输入层；

所述隐含层处理模块，基于所述通道扩展图像，配置为通过所述量化的输入层进行卷积运算并传输至隐含层，获得特征图像；

所述输出层量化模块，配置为将对应的卷积神经网络输出层的最后一层权重设置为k个分支，并将每个分支的激活值进行低比特数的量化，生成量化后的激活值，进而获得多分支结构的输出层；

所述输出模块，配置为基于所述特征图像，通过多分支结构的输出层的各分支输出加权累加后获得神经网络最终的计算结果。

为了更清晰地对本发明基于神经网络输入输出量化的图像分析***进行说明，下面结合图1对本发明实施例中各功能模块展开详述。

本发明第一实施例的基于神经网络输入输出量化的图像分析***，包括图片获取模块、输入数据量化模块、输入层量化模块、隐含层处理模块、输出层量化模块和输出模块，各功能模块详细描述如下：

所述图片获取模块，配置为获取输入图片，并输入卷积神经网络的输入层；

所述输入数据量化模块，配置为对所述输入图片进行温度计编码生成n倍通道数的低比特数的通道扩展图像；

在本实施例中，所述输入数据量化模块，具体包括将8比特的RGB三通道数据的输入图片，通过温度计编码的方式生成4比特的17通道的通道扩展图像，n取值17。原始的输入图片为8比特的RGB三通道数据，每个通道的值为0-255，通过温度计编码将8比特数变为多个4比特数。以R通道为例，若R的分量值为56，一个4比特数最大能表示15，因此56需要3个0x1111，和一个0x1011来表示，其余全部为0。即R通道的十进制数56用4比特的温度计编码来表示的话，应该为15，15，15，11，0，0，0，0，0，0，0，0，0，0，0，0，0。如图3所示，以49，156，255为例使用温度计编码表示十进制数。

所述输入层量化模块，配置为将卷积神经网络输入层的卷积核通道扩展为n倍获得量化的输入层；

在本实施例中，所述输入层量化模块，具体包括将卷积神经网络的卷积核通道数由3个扩展为51个，此时n取值17。由于一个4比特数表示的最大值为15，而一个8比特数表示的最大值为255，因此一个8比特数至少需要17个4比特数表示，因此RGB的3个通道在使用温度计编码之后扩展为17倍即51个通道。虽然原来的单个通道扩展为了17个通道，这17个通道对应的卷积核的通道仍为同一个，因此，相应的卷积核的通道也只需复制扩展为17个。由于卷积运算本来就是乘加的模式，无需额外把17个通道再累加为一个通道，只需要经过正常的卷积操作即可实现。卷积核通道数扩展的方式是将对3个通道中每一通道的像素值进行复制16份，单个通道大小由原来的3*3*1通过复制变为3*3*17。如图4和图5所示是卷积核单通道和单个卷积核和RGB三通道相对应的复制扩展。

所述隐含层处理模块，配置为基于所述通道扩展图像，通过所述量化的输入层进行卷积运算并传输至隐含层，获得特征图像；

所述输出层量化模块，配置为将对应的卷积神经网络输出层的最后一层权重设置为k个分支，并将每个分支的激活值进行低比特数的量化，生成量化后的激活值，进而获得多分支结构的输出层；

在本实施例中，所述输出层量化模块具体为，将所述输出层的激活值量化为4比特的激活值即量化后的激活值，将输出层的最后一层权重由一个分支增加到k个分支。如果简单的把输出层进行4比特量化，无论整数位和小数位分别是几位，输出层的表达空间共有16种，此时基本的分类任务都无法完成，复杂的目标检测任务更是无法完成，因为4比特的数据只有0000-1111这16种表达方式，而无论对于基于何种任务的神经网络来说，表达空间只有16种都是很少的，是远远无法满足神经网络的需求的。因此不能简单的把输出层进行低比特量化。

为了增加输出层的可表示空间，考虑输出层增加分支结构，最后多个分支累加后进入神经网络的数据后处理阶段。相比于采用单一分支进行量化之后作为网络的输出，采用多个分支结构，不但增加了输出的可表示空间，更增加了最后一层的权重数量，由于神经网络的最后一层往往数据量都比较小，即便增加几个分支，相对于整个网络庞大的参数量来说也是很小的，所以几乎可以忽略分支增加所带来的参数量的增加。因此神经网络输出层激活值量化，以及通过增加分支来弥补由于量化造成的精度损失意义重大。

在本实施例中，所述k个分支包括正整数分支、负整数分支、正小数分支和负小数分支。为了使得多分支低比特量化后的输出结果更接近单分支未量化的神经网络输出结果，优选地把四个分支分别作为正整数、负整数、正小数或负小数来看待，网络的最终结果是四个分支的加和。

所述输出模块，配置为基于所述特征图像，通过多分支结构的输出层的各分支输出加权累加后获得神经网络最终的计算结果。

若只单独进行本发明提到的输入层的量化或输出层的量化，容易出现神经网络无法布置到具体的设备的问题，故本申请的各功能模块应视作一个整体的技术方案，不应被过渡拆分与其他文件或实验进行单独比对。

在本实施例中，还包括卷积训练模块，具体为在把全精度的输出层修改为多分支结构后，对于网络的训练可以采用全精度的输出层指导多分支的方法，重复图片获取模块、输入数据量化模块、输入层量化模块、隐含层处理模块、输出层量化模块和输出模块的功能生成量化特征图像；其中，正数的整数部分与所述正整数分支计算正整数L1损失，正数的小数部分与所述正小数分支计算正小数L1损失，负数的整数部分与所述负整数分支计算负整数L1损失，负数的小数部分与所述负小数分支计算负小数L1损失。在本实施例中，网络的训练方法为：将训练数据重复图片获取模块、输入数据量化模块、输入层量化模块、隐含层处理模块、输出层量化模块和输出模块的功能，生成计算结果，通过随机梯度下降算法直至图像分析网络的精度在每次迭代的提升小于预设的阈值，并且每次迭代间损失函数的下降小于预设的损失阈值，或达到预设的迭代次数，停止迭代获得训练好的图像分析网络。

在本实施例中，所述输出层量化模块，可把输出层分支设置为任意数量，比如，各分支加权值可分别设为×2、×1、/2、/4、/8或/16，也可根据需要设定为其他数值或形式的分支。

需要说明的是，上述实施例提供的基于神经网络输入输出量化的图像分析***，仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块来完成，即将本发明实施例中的模块或者步骤再分解或者组合，例如，上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块，以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称，仅仅是为了区分各个模块或者步骤，不视为对本发明的不当限定。

本发明第二实施例的基于神经网络输入输出量化的图像分析方法，包括步骤S100-步骤S600，各步骤详述如下：

步骤S100，获取输入图片，并输入卷积神经网络的输入层；

步骤S200，对所述输入图片进行温度计编码生成n倍通道数的低比特数的通道扩展图像；

步骤S300，将卷积神经网络输入层的卷积核通道扩展为n倍获得量化的输入层；

步骤S400，基于所述通道扩展图像，通过所述量化的输入层进行卷积运算并传输至隐含层，获得特征图像；

步骤S500，将对应的卷积神经网络输出层的最后一层权重设置为k个分支，并将每个分支的激活值进行低比特数的量化，生成量化后的激活值，进而获得多分支结构的输出层；

步骤S600，基于所述特征图像，通过多分支结构的输出层的各分支输出加权累加后获得神经网络最终的计算结果。

所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。

本发明第三实施例的一种电子设备，包括：

至少一个处理器；以及与至少一个所述处理器通信连接的存储器；其中，所述存储器存储有可被所述处理器执行的指令，所述指令用于被所述处理器执行以实现上述的基于神经网络输入输出量化的图像分析方法。

本发明第四实施例的一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于被所述计算机执行以实现上述的基于神经网络输入输出量化的图像分析方法。

所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的存储装置、处理装置的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。

术语“第一”、“第二”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。

术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。

至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征做出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (10)

1.一种基于神经网络输入输出量化的图像分析***，其特征在于，所述***包括：图片获取模块、输入数据量化模块、输入层量化模块、隐含层处理模块、输出层量化模块和输出模块；

所述图片获取模块，配置为获取输入图片，并输入卷积神经网络的输入层；

所述输入数据量化模块，配置为对所述输入图片进行温度计编码生成n倍通道数的低比特数的通道扩展图像；

所述输入层量化模块，配置为将卷积神经网络输入层的卷积核通道扩展为n倍获得量化的输入层；

所述隐含层处理模块，配置为基于所述通道扩展图像，通过所述量化的输入层进行卷积运算并传输至隐含层，并获得特征图像；

所述输出层量化模块，配置为将对应的卷积神经网络输出层的最后一层权重设置为k个分支，并将每个分支的激活值进行低比特数的量化，生成量化后的激活值，进而获得多分支结构的输出层；

所述输出模块，配置为基于所述特征图像，通过多分支结构的输出层的各分支输出加权累加后获得神经网络最终的计算结果。

2.根据权利要求1所述的基于神经网络输入输出量化的图像分析***，其特征在于，所述输入数据量化模块，具体包括将8比特的RGB三通道数据的输入图片，通过温度计编码的方式生成4比特的17通道的通道扩展图像，n取值17。

3.根据权利要求2所述的基于神经网络输入输出量化的图像分析***，其特征在于，所述输入层量化模块，具体包括将卷积神经网络的卷积核通道数由3个扩展为51个，此时n取值17。

4.根据权利要求1所述的基于神经网络输入输出量化的图像分析***，其特征在于，所述输出层量化模块具体为，将所述输出层的激活值量化为4比特的激活值即量化后的激活值，将输出层的最后一层权重由一个分支增加到k个分支。

5.根据权利要求4所述的基于神经网络输入输出量化的图像分析***，其特征在于，所述k个分支包括正整数分支、负整数分支、正小数分支和负小数分支。

6.根据权利要求5所述的神经网络输入层输出层量化的图像分析***，还包括卷积训练模块，具体为重复图片获取模块、输入数据量化模块、输入层量化模块、隐含层处理模块、输出层量化模块和输出模块的功能生成量化特征图像；其中，正数的整数部分与所述正整数分支计算正整数L1损失，正数的小数部分与所述正小数分支计算正小数L1损失，负数的整数部分与所述负整数分支计算负整数L1损失，负数的小数部分与所述负小数分支计算负小数L1损失。

7.根据权利要求6所述的基于神经网络输入输出量化的图像分析***，其特征在于，所述输出层量化模块，可把输出层分支设置为任意数量，各分支加权值可分别设为×2、×1、/2、/4、/8或/16。

8.一种基于神经网络输入输出量化的图像分析方法，其特征在于，所述方法包括：

步骤S100，获取输入图片，并输入卷积神经网络的输入层；

步骤S200，对所述输入图片进行温度计编码生成n倍通道数的低比特数的通道扩展图像；

步骤S300，将卷积神经网络的卷积核通道扩展为n倍获得量化的输入层；

步骤S400，通过 所述量化的输入层将所述经过温度计编码的低比特数与相对应经过扩展的卷积核的卷积结果传输至隐含层；

步骤S500，将卷积神经网络的输出层最后一层权重设置为k个分支获得多分支结构的输出层，并对激活值进行低比特的量化，生成量化后的激活值；

步骤S600，基于所述输入输出层的量化，通过多分支结构的输出层的各分支输出加权累加后获得通道拓展的量化特征图像，即神经网络最终的计算结果。

9.一种电子设备，其特征在于，包括：至少一个处理器；以及与至少一个所述处理器通信连接的存储器；其中，所述存储器存储有可被所述处理器执行的指令，所述指令用于被所述处理器执行以实现权利要求8所述的基于神经网络输入输出量化的图像分析方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于被所述计算机执行以实现权利要求8所述的基于神经网络输入输出量化的图像分析方法。

Images