CN112906874A - 卷积神经网络特征图数据压缩方法及装置 - Google Patents
卷积神经网络特征图数据压缩方法及装置 Download PDFInfo
- Publication number
- CN112906874A CN112906874A CN202110367961.6A CN202110367961A CN112906874A CN 112906874 A CN112906874 A CN 112906874A CN 202110367961 A CN202110367961 A CN 202110367961A CN 112906874 A CN112906874 A CN 112906874A
- Authority
- CN
- China
- Prior art keywords
- feature map
- characteristic diagram
- neural network
- convolutional neural
- zero
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 51
- 238000013144 data compression Methods 0.000 title claims abstract description 43
- 238000010586 diagram Methods 0.000 claims abstract description 116
- 238000007906 compression Methods 0.000 claims abstract description 68
- 230000006835 compression Effects 0.000 claims abstract description 67
- 238000001914 filtration Methods 0.000 claims abstract description 17
- 239000011159 matrix material Substances 0.000 claims description 60
- 230000009466 transformation Effects 0.000 claims description 29
- 230000009467 reduction Effects 0.000 claims description 13
- 230000011218 segmentation Effects 0.000 claims description 13
- 238000012549 training Methods 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 10
- 230000006837 decompression Effects 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 3
- 230000004913 activation Effects 0.000 description 9
- 230000006870 function Effects 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000005265 energy consumption Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000013139 quantization Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本申请公开了卷积神经网络特征图数据压缩方法及装置，该方法包括特征图通道重构阶段和零值比特图编码压缩阶段；特征图通道重构阶段中，使用一维离散余弦变换对特征图通道维进行重构，利用频域过滤器实现高频信息过滤，得到稀疏度高于原特征图的稀疏特征图，然后在零值比特图编码压缩阶段对稀疏特征图进行压缩，得到所述原特征图的最终压缩数据。上述方法利用卷积神经网络的通道冗余，实现将有一定频域特征的通道组重构到一起，提升待传输数据的稀疏度，进而提升了被压缩的潜力，随后使用零值比特图编码压缩对稀疏特征图压缩，提高了压缩率。
Description
技术领域
本申请涉及卷积神经网络技术领域，尤其涉及卷积神经网络特征图数据压缩方法及装置。
背景技术
在机器视觉领域中，以卷积神经网络为特征提取器的网络架构有着优秀的准确率和很高的计算效率。卷积神经网络由数个甚至数百个卷积运算层堆叠连接，以二维平面卷积计算为基础，对图像进行特征提取，得到特征图数据。
实际应用中，通常会将卷积神经网络部署到硬件加速器或者别的低功耗器件中，特征图数据由卷积神经网络中的激活函数产生之后，传输至硬件加速器的片外内存中，其中激活函数包括ReLU激活函数、LeakyReLU激活函数等。硬件加速器在计算时受限于芯片存储空间，不能完整加载所有特征图数据，由于特征图数据量十分大，因此在传输过程中，将反复在硬件加速器芯片上进行读取操作，这不仅对硬件加速器自身计算***与自身内存之间交互的带宽提出一定的要求，而且也带来了更多的能耗。
由于ReLU激活函数产生的特征图数据具备一定的稀疏性，即大量的值为0，因此在将特征图数据传输至硬件加速器片外内存之前，通常采用零值比特图编码的方式，存储非零值以及使用二进制比特图记录其位置，实现特征图数据的压缩，将压缩后的特征图数据作为计算***与内存之间交互的直接数据，可以降低数据处理量，减少硬件加速器能耗。
零值比特图编码具有压缩率高的优点，但同时也使得硬件复杂度更高。此外，有少部分硬件加速器提供了LeakyReLU该类激活函数的实现，该类激活函数产生的特征图数据不具备较高的稀疏度，不适合使用前述零值比特图编码的方式进行数据压缩，同时目前也没有适用的、特别硬件高效的压缩方法，一些可用的复杂编码压缩方案如LZW编码、霍夫曼编码等属于硬件开销较大、不适合用硬件实现的方案。因此，如何在实现更高压缩率的同时，还能最大程度降低硬件复杂度成了本领域技术人员亟待解决的问题。
发明内容
为了在提高压缩率的同时最大程度降低硬件复杂度，本申请通过以下实施例公开了卷积神经网络特征图数据压缩方法及装置。
本申请第一方面公开了一种卷积神经网络特征图数据压缩方法，包括特征图通道重构阶段和零值比特图编码压缩阶段；
所述特征图通道重构阶段包括以下步骤：
将原特征图的通道维度从三维切分变化至二维，得到新特征图；
将预设的一维离散余弦变换矩阵与所述新特征图中的张量进行矩阵相乘，得到频域特征图；
对所述频域特征图进行低通滤波，得到稀疏特征图；
所述零值比特图编码压缩阶段包括以下步骤：
获取所述稀疏特征图；
对所述稀疏特征图进行零值比特图编码压缩，得到所述原特征图的最终压缩数据，所述原特征图的最终压缩数据将被存储至硬件加速器的片外内存中。
可选的，所述方法还包括零值比特图解压缩阶段和特征图还原逆变换阶段；
所述零值比特图解压缩阶段包括以下步骤：
读取硬件加速器片外内存中的所述原特征图的最终压缩数据；
对所述原特征图的最终压缩数据进行零值比特图解压缩，得到所述稀疏特征图；
所述特征图还原逆变换阶段包括以下步骤：
将所述一维离散余弦变换矩阵的转置矩阵与所述稀疏特征图中的张量进行矩阵相乘，得到二维特征图；
将所述二维特征图的通道维度转换为三维，得到所述原特征图的还原数据。
可选的，所述方法还包括：
在卷积神经网络的训练过程中，对所述特征图通道重构阶段和所述特征图还原逆变换阶段进行训练，重构网络权重。
可选的，所述对所述频域特征图进行低通滤波，得到稀疏特征图，包括：
使用预设的频域过滤器对所述频域特征图进行广播式哈达玛积，实现对所述频域特征图的低通滤波，得到所述稀疏特征图。
可选的，所述一维离散余弦变换矩阵为实正交矩阵，所述一维离散余弦变换矩阵满足以下条件：
其中，Aij表示所述一维离散余弦变换矩阵中坐标为[i,j]的元素，N表示所述一维离散余弦变换矩阵的尺寸。
可选的，所述频域过滤器满足以下条件：
其中，M表示所述频域过滤器，m表示所述频域过滤器的带宽，N表示所述一维离散余弦变换矩阵的尺寸。
可选的，N的取值为8。
本申请第二方面公开了一种卷积神经网络特征图数据压缩装置，所述卷积神经网络特征图数据压缩装置应用于本申请第一方面所述的卷积神经网络特征图数据压缩方法，所述卷积神经网络特征图数据压缩装置包括：特征图通道重构模块和零值比特图编码压缩模块；
所述特征图通道重构模块用于执行以下步骤：
将原特征图的通道维度从三维切分变化至二维，得到新特征图；
将预设的一维离散余弦变换矩阵与所述新特征图中的张量进行矩阵相乘，得到频域特征图；
对所述频域特征图进行低通滤波，得到稀疏特征图；
所述零值比特图编码压缩模块用于执行以下步骤：
获取所述稀疏特征图；
对所述稀疏特征图进行零值比特图编码压缩，得到所述原特征图的最终压缩数据，所述原特征图的最终压缩数据将被存储至硬件加速器的片外内存中。
可选的，所述装置还包括：零值比特图解压缩模块和特征图还原逆变换模块；
所述零值比特图解压缩模块用于执行以下步骤：
读取硬件加速器片外内存中的所述原特征图的最终压缩数据；
对所述原特征图的最终压缩数据进行零值比特图解压缩，得到所述稀疏特征图；
所述特征图还原逆变换模块用于执行以下步骤：
将所述一维离散余弦变换矩阵的转置矩阵与所述稀疏特征图中的张量进行矩阵相乘，得到二维特征图；
将所述二维特征图的通道维度转换为三维，得到所述原特征图的还原数据。
本申请第三方面公开了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理执行时实现如本申请第一方面所述的卷积神经网络特征图数据压缩方法的步骤。
本申请实施例公开了卷积神经网络特征图数据压缩方法及装置，该方法包括特征图通道重构阶段和零值比特图编码压缩阶段；特征图通道重构阶段中，使用一维离散余弦变换对特征图通道维进行重构，利用频域过滤器实现高频信息过滤，得到稀疏度高于原特征图的稀疏特征图，然后在零值比特图编码压缩阶段对稀疏特征图进行压缩，得到所述原特征图的最终压缩数据。上述方法利用卷积神经网络的通道冗余，实现将有一定频域特征的通道组重构到一起，提升待传输数据的稀疏度，进而提升了被压缩的潜力，随后使用零值比特图编码压缩对稀疏特征图压缩，提高了压缩率。
附图说明
为了更清楚地说明本申请的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种卷积神经网络特征图数据压缩方法的流程示意图；
图2为本申请实施例提供的又一种卷积神经网络特征图数据压缩方法的流程示意图；
图3为本申请实施例提供的一种卷积神经网络特征图数据压缩装置的结构示意图。
具体实施方式
为了在提高压缩率的同时最大程度降低硬件复杂度，本申请通过以下实施例公开了卷积神经网络特征图数据压缩方法及装置。
本申请第一实施例公开了一种卷积神经网络特征图数据压缩方法，包括特征图通道重构阶段和零值比特图编码压缩阶段。
所述特征图通道重构阶段包括以下步骤：
将原特征图的通道维度从三维切分变化至二维，得到新特征图。
原特征图为X∈RC×H×W，其中，X表示原特征图中的张量，R表示实数域，原特征图的通道维度为三维，分别是C、H、W。C表示原特征图的通道数，H表示原特征图的高度，即在竖直方向上有多少像素，W表示原特征图的宽度，即在水平方向上有多少像素。
将原特征图的通道维度从三维转换成二维，新特征图为Xreshape∈RN×(C*H*W/N)，新特征图的通道维度为二维，分别是N、(C*H*W/N)，N为一维离散余弦变换矩阵的尺寸。
对新特征图中的张量在通道维度上应用一维离散余弦变换(DCT，DiscreteCosine Transform)，将新特征图的通道维度转换成频域表达。具体的，将预设的一维离散余弦变换矩阵与所述新特征图中的张量进行矩阵相乘，得到频域特征图。
一维离散余弦变换矩阵为实正交矩阵，用A表示，一维离散余弦变换矩阵满足以下条件：
其中，Aij表示所述一维离散余弦变换矩阵中坐标为[i,j]的元素，N表示所述一维离散余弦变换矩阵的尺寸。
将一维离散余弦变换矩阵与所述新特征图中的张量进行矩阵相乘可通过以下公式表示：
Xfreq-domain＝AXreshape。
其中，Xfreq-domain表示频域特征图，Xreshape表示新特征图。
对所述频域特征图进行低通滤波，得到稀疏特征图。
具体的，使用预设的频域过滤器对所述频域特征图进行广播式哈达玛积，过滤掉高频信息，实现对所述频域特征图的低通滤波，得到所述稀疏特征图。
所述频域过滤器满足以下条件：
其中，M表示所述频域过滤器，m表示所述频域过滤器的带宽，N表示所述一维离散余弦变换矩阵的尺寸。
使用预设的频域过滤器对频域特征图进行广播式哈达玛积，可通过以下公式表示：
Xcomopress＝M☉Xfreq-domain。
其中，Xcomopress表示所述稀疏特征图，☉为哈达玛积符号，运算方式为相同尺寸的矩阵点对点对应位置相乘，M预先做了广播，因此尺寸与Xfreq-domain是相同的。
由于在图像处理技术领域涉及一维离散余弦变换的方法中，通常使用8×8大小的矩阵，因此，作为示例，上文中提到的N，取值均为8。在特殊的情况或预计算下，如预先了解到某应用模型或卷积计算层有输出特征图通道维度冗余度高或通道维度较大(如1024以上)的特点，则可以使用N＝16或32或64的矩阵。
在深度卷积神经网络当中，由ReLU激活函数生成的特征图在通道维度具有冗余值和多空白值的特点。本实施例提供的特征图通道重构阶段，结合一维离散余弦变换(DCT)方法，对特征图通道维进行重构，且利用频域过滤器实现高频信息过滤，提高特征图数据稀疏度，得到的稀疏特征图具备更高的压缩潜力。
所述零值比特图编码压缩阶段包括以下步骤：
获取所述稀疏特征图。
对所述稀疏特征图进行零值比特图编码压缩，得到所述原特征图的最终压缩数据，所述原特征图的最终压缩数据将被存储至硬件加速器的片外内存中。
上述实施例公开的特征图通道重构阶段部署在卷积神经网络的训练过程中，训练过程中应用特征图通道重构流程，可以较好地利用卷积神经网络的通道冗余，实现将有一定频域特征的通道组重构到一起，提升待传输数据的稀疏度，进而提升了被压缩的潜力，随后使用零值比特图编码压缩对稀疏特征图压缩，其压缩率明显优于现有技术中单纯使用零值比特图编码压缩方法的压缩率，而且，上述实施例公开的特征图数据压缩方法将空间频域变换改进为通道维度频域变换和滤波，本质上是从解决二维数据压缩问题转换为解决通道维冗余压缩问题，变换方法也由二维变换转变为一维变换，同时移除了多余的量化表和游程编码等需要传输额外数据的流程，硬件友好度提高，在不增加硬件复杂度的同时，极大的提高了压缩率。
对应的，所述方法还包括零值比特图解压缩阶段和特征图还原逆变换阶段。
所述零值比特图解压缩阶段包括以下步骤：
读取硬件加速器片外内存中的所述原特征图的最终压缩数据。
对所述原特征图的最终压缩数据进行零值比特图解压缩，得到所述稀疏特征图。
所述特征图还原逆变换阶段包括以下步骤：
将所述一维离散余弦变换矩阵的转置矩阵与所述稀疏特征图中的张量进行矩阵相乘(即执行逆DCT操作,也称为iDCT操作)，得到二维特征图。
将所述二维特征图的通道维度转换为三维，得到所述原特征图的还原数据。
图1为本实施例提供的卷积神经网络特征图数据压缩方法的流程示意图，展示了特征图数据压缩-传输-解压缩的过程，依次包括特征图通道重构阶段、零值比特图编码压缩阶段、零值比特图解压缩阶段和特征图还原逆变换阶段。当N取值为8时，本实施例公开的卷积神经网络特征图数据压缩流程参见图2所示。
以下结合一个具体示例，对上述实施例公开的卷积神经网络特征图数据压缩方法进行说明：
暗光增强任务属于像素级任务，任务目标是对低照度条件下的图片使用机器学习方法，模拟高亮度照明情况下的场景，进行图像增强。输入为相机传感器生成的RAW灰度文件，输出为增强后的RGB域或灰度图片。在部署推理任务时，输入图像通常是高像素的，模型中与内存交互传输的特征图占用空间也很大，可达GB数量级，因此在传输过程中压缩特征图是一个有较大实际应用意义的工作。本示例使用See-In-the-Dark(SID)的卷积神经网络作为骨干模型，该模型以U-Net[8]结构为基础结构，其中在应用于硬件加速器时，需要与内存交互的特征图数据由ReLU激活函数产生，设特征图通道维度为C×H×W，其中C＝32，H和W为输入图片的高和宽的一半，因此运算时特征图张量维度形状为[32,H,W]。
压缩流程如下：首先对特征图的通道维度进行切分变换，将该特征图数据的通道维度变为[8,H*4*W]，随后沿第一个维度批量应用尺寸为8的一维DCT变换，并使用哈达玛积做带宽为m的低通滤波，这一变换滤波步骤提升了待传输数据的稀疏度。此时数据为兼有高静态稀疏度和一定动态稀疏的张量，形状仍为[8,H*4*W]，但其中只有[m,H*4*W]的部分包含非0值。随后使用零值比特图编码压缩处理这一部分数据。压缩模块将新数据分为两部分表达，分别为非零值位置二进制比特图，以及8-bit位宽的非零值。这两部分数据即为压缩后数据，其中比特图是尺寸为[m,H*4*W]的1-bit数据，非零值为不定长的8-bit数据。在SID模型实验中，压缩后数据的平均占用空间约为压缩前张量的36％。
之后将压缩后数据作为内存与计算模块间交互的直接数据，数据传输量显著降低。当再次使用这部分特征图，从内存中进行调用读取后，先将两组压缩后数据进行零值比特图解压缩，解码为[m,H*4*W]的有效数据张量，随后执行跳过0值计算的逆DCT变换，得到形状为[8,H*4*W]的数据，再将其变形恢复到[32,H,W]到原特征图形状，至此完成有损压缩数据的解压缩恢复部分，之后特征图就可以输入到下一计算模块进行相应的运算。
本实施例中，考虑到特征图数据压缩重建后将存在一些数据改变、信息缺失的问题，本实施例引入重训练，将特征图通道重构阶段和特征图还原逆变换阶段都部署在卷积神经网络的训练过程中，对所述特征图通道重构阶段和所述特征图还原逆变换阶段进行训练，重构网络权重，仿真有损压缩的数据变化，弥补信息缺失带来的整体模型准确度的下降。
通过在训练过程中利用特征图通道维存在的冗余，在特征图通道维度应用一维离散余弦变换和随后过滤高频分量，能够保持较小数据压缩误差，提高数据的压缩率。本实施例公开的特征图数据压缩方法可以应用的任务场景和特征图的位置相对于现有的零值比特图编码方法更广泛。
在本申请的一种实现方式中，特征图还原逆变换阶段中的逆DCT变换作为一维的线性变换矩阵可以融合进后续的卷积核矩阵，进而在推理模型中能够不增加相关的额外运算。具体的，将压缩表示的稀疏特征图数据直接流入下一卷积模块，与此同时将一维逆变换作为线性变换直接融入卷积矩阵当中。
以某个通道的切片为例，使用零值比特图解压缩后得到Yfreq-domain∈RN*1*1，A为一维离散余弦变换矩阵，执行逆DCT变换操作为Yreshape＝ATYfreq-domain，假设卷积核运算权重矩阵
输出Yout＝BYreshape，因为一维离散余弦变换矩阵A是不变的，可以令B*＝BAT，在训练完成保存卷积权重的时候保存，进而在推理的时候实现在不增加额外运算的条件下，直接完成对特征图的解压缩及卷积运算。
下表给出与先进基于变换的特征图压缩方法JPEG-ACT相比，本方案在8-bit定点量化相比，完成图像识别任务，特征图压缩的比率和准确率。
| 模型类型 | 精度/损失(％) | 压缩率(倍) |
| 原模型 | 95.08 | 1.0 |
| JPEG-ACT | -0.68 | 1.9 |
| 本方案(参数Ⅰ) | -0.39 | 2.9 |
| 本方案(参数Ⅱ) | -0.71 | 4.4 |
其中参数I和参数Ⅱ为针对特定任务，尝试提高压缩率、保持精度而经过多次实验而得到的两组临时参数，参数信息包括DCT变换的长度以及在不同融合模块使用的低通滤波M的不同带宽数据。实际应用时需根据目标、任务和实验结果重新评估、设定。从上表可以看出，本方案提供的卷积神经网络特征图数据压缩方法的压缩率明显优于JPEG-ACT的压缩率。
下述为本申请提供的装置实施例，用于执行上述方法实施例。对于装置实施例中未披露的细节，清参照上述方法实施例。
本申请第二实施例公开了一种卷积神经网络特征图数据压缩装置，所述卷积神经网络特征图数据压缩装置应用于本申请第一实施例所述的卷积神经网络特征图数据压缩方法，参见图3，所述卷积神经网络特征图数据压缩装置包括：特征图通道重构模块10和零值比特图编码压缩模块20。
所述特征图通道重构模块用于执行以下步骤：
将原特征图的通道维度从三维切分变化至二维，得到新特征图。
将预设的一维离散余弦变换矩阵与所述新特征图中的张量进行矩阵相乘，得到频域特征图。
对所述频域特征图进行低通滤波，得到稀疏特征图。
所述零值比特图编码压缩模块用于执行以下步骤：
获取所述稀疏特征图。
对所述稀疏特征图进行零值比特图编码压缩，得到所述原特征图的最终压缩数据，所述原特征图的最终压缩数据将被存储至硬件加速器的片外内存中。
零值比特图编码压缩模块是公开的专用硬件模块作为压缩-传输-解压缩部分的硬件结构。该结构在多个特征图压缩技术中均有应用或作为其基础开发。通过这一模块的压缩部分即可对稀疏数据完成目标编码方案，并存储成易于传输的格式；在解压缩数据处理时，则可以通过设计的数据流支持稀疏数据高效运算硬件结构。
进一步的，所述装置还包括：零值比特图解压缩模块30和特征图还原逆变换模块40。
所述零值比特图解压缩模块用于执行以下步骤：
读取硬件加速器片外内存中的所述原特征图的最终压缩数据。
对所述原特征图的最终压缩数据进行零值比特图解压缩，得到所述稀疏特征图。
所述特征图还原逆变换模块用于执行以下步骤：
将所述一维离散余弦变换矩阵的转置矩阵与所述稀疏特征图中的张量进行矩阵相乘，得到二维特征图。
将所述二维特征图的通道维度转换为三维，得到所述原特征图的还原数据。
图3为本实施例公开的卷积神经网络特征图数据压缩装置的结构示意图。该装置在具体应用分两个部分完成，首先将特征图通道重构模块与特征图还原逆变换模块加入神经网络训练模型中，仿真有损压缩的数据变化，同时达到能训练一个特征图经本方案变换后较高稀疏度的模型的目的。其次在训练后模型部署至低功耗器件的推理阶段，除特征图通道重构模块与特征图还原逆变换模块之外，再加入零值比特图编码压缩模块与零值比特图解压缩模块，完成整个方案在推理端的部署。
本申请第三实施例公开了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理执行时实现如本申请第一实施例所述的卷积神经网络特征图数据压缩方法的步骤。
以上结合具体实施方式和范例性实例对本申请进行了详细说明，不过这些说明并不能理解为对本申请的限制。本领域技术人员理解，在不偏离本申请精神和范围的情况下，可以对本申请技术方案及其实施方式进行多种等价替换、修饰或改进，这些均落入本申请的范围内。本申请的保护范围以所附权利要求为准。
Claims (10)
1.一种卷积神经网络特征图数据压缩方法，其特征在于，包括特征图通道重构阶段和零值比特图编码压缩阶段；
所述特征图通道重构阶段包括以下步骤：
将原特征图的通道维度从三维切分变化至二维，得到新特征图；
将预设的一维离散余弦变换矩阵与所述新特征图中的张量进行矩阵相乘，得到频域特征图；
对所述频域特征图进行低通滤波，得到稀疏特征图；
所述零值比特图编码压缩阶段包括以下步骤：
获取所述稀疏特征图；
对所述稀疏特征图进行零值比特图编码压缩，得到所述原特征图的最终压缩数据，所述原特征图的最终压缩数据将被存储至硬件加速器的片外内存中。
2.根据权利要求1所述的卷积神经网络特征图数据压缩方法，其特征在于，所述方法还包括零值比特图解压缩阶段和特征图还原逆变换阶段；
所述零值比特图解压缩阶段包括以下步骤：
读取硬件加速器片外内存中的所述原特征图的最终压缩数据；
对所述原特征图的最终压缩数据进行零值比特图解压缩，得到所述稀疏特征图；
所述特征图还原逆变换阶段包括以下步骤：
将所述一维离散余弦变换矩阵的转置矩阵与所述稀疏特征图中的张量进行矩阵相乘，得到二维特征图；
将所述二维特征图的通道维度转换为三维，得到所述原特征图的还原数据。
3.根据权利要求2所述的卷积神经网络特征图数据压缩方法，其特征在于，所述方法还包括：
在卷积神经网络的训练过程中，对所述特征图通道重构阶段和所述特征图还原逆变换阶段进行训练，重构网络权重。
4.根据权利要求1所述的卷积神经网络特征图数据压缩方法，其特征在于，所述对所述频域特征图进行低通滤波，得到稀疏特征图，包括：
使用预设的频域过滤器对所述频域特征图进行广播式哈达玛积，实现对所述频域特征图的低通滤波，得到所述稀疏特征图。
5.根据权利要求4所述的卷积神经网络特征图数据压缩方法，其特征在于，所述一维离散余弦变换矩阵为实正交矩阵，所述一维离散余弦变换矩阵满足以下条件：
其中，Aij表示所述一维离散余弦变换矩阵中坐标为[i,j]的元素，N表示所述一维离散余弦变换矩阵的尺寸。
6.根据权利要求4所述的卷积神经网络特征图数据压缩方法，其特征在于，所述频域过滤器满足以下条件：
其中，M表示所述频域过滤器，m表示所述频域过滤器的带宽，N表示所述一维离散余弦变换矩阵的尺寸。
7.根据权利要求5或6所述的卷积神经网络特征图数据压缩方法，其特征在于，N的取值为8。
8.一种卷积神经网络特征图数据压缩装置，其特征在于，所述卷积神经网络特征图数据压缩装置应用于权利要求1-7任一项所述的卷积神经网络特征图数据压缩方法，所述卷积神经网络特征图数据压缩装置包括：特征图通道重构模块和零值比特图编码压缩模块；
所述特征图通道重构模块用于执行以下步骤：
将原特征图的通道维度从三维切分变化至二维，得到新特征图；
将预设的一维离散余弦变换矩阵与所述新特征图中的张量进行矩阵相乘，得到频域特征图；
对所述频域特征图进行低通滤波，得到稀疏特征图；
所述零值比特图编码压缩模块用于执行以下步骤：
获取所述稀疏特征图；
对所述稀疏特征图进行零值比特图编码压缩，得到所述原特征图的最终压缩数据，所述原特征图的最终压缩数据将被存储至硬件加速器的片外内存中。
9.根据权利要求8所述的卷积神经网络特征图数据压缩装置，其特征在于，所述装置还包括：零值比特图解压缩模块和特征图还原逆变换模块；
所述零值比特图解压缩模块用于执行以下步骤：
读取硬件加速器片外内存中的所述原特征图的最终压缩数据；
对所述原特征图的最终压缩数据进行零值比特图解压缩，得到所述稀疏特征图；
所述特征图还原逆变换模块用于执行以下步骤：
将所述一维离散余弦变换矩阵的转置矩阵与所述稀疏特征图中的张量进行矩阵相乘，得到二维特征图；
将所述二维特征图的通道维度转换为三维，得到所述原特征图的还原数据。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理执行时实现如权利要求1-7任一项所述的卷积神经网络特征图数据压缩方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110367961.6A CN112906874A (zh) | 2021-04-06 | 2021-04-06 | 卷积神经网络特征图数据压缩方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110367961.6A CN112906874A (zh) | 2021-04-06 | 2021-04-06 | 卷积神经网络特征图数据压缩方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112906874A true CN112906874A (zh) | 2021-06-04 |
Family
ID=76110017
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110367961.6A Pending CN112906874A (zh) | 2021-04-06 | 2021-04-06 | 卷积神经网络特征图数据压缩方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112906874A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115063673A (zh) * | 2022-07-29 | 2022-09-16 | 阿里巴巴（中国）有限公司 | 模型压缩方法、图像处理方法、装置和云设备 |
| CN116128737A (zh) * | 2023-04-19 | 2023-05-16 | 南京大学 | 一种基于数据压缩的图像超分网络鲁棒性提升装置 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102893327A (zh) * | 2010-03-19 | 2013-01-23 | 数字标记公司 | 直觉计算方法和*** |
| CN107832837A (zh) * | 2017-11-28 | 2018-03-23 | 南京大学 | 一种基于压缩感知原理的卷积神经网络压缩方法及解压缩方法 |
| CN108280514A (zh) * | 2018-01-05 | 2018-07-13 | 中国科学技术大学 | 基于fpga的稀疏神经网络加速***和设计方法 |
| CN108366370A (zh) * | 2018-02-02 | 2018-08-03 | 东南大学 | 基于无线信道特征量化私有不对称密钥的信息传输方法 |
| US20190279095A1 (en) * | 2018-03-12 | 2019-09-12 | Robert Bosch Gmbh | Method and device for operating a neural network in a memory-efficient manner |
| WO2020014590A1 (en) * | 2018-07-12 | 2020-01-16 | Futurewei Technologies, Inc. | Generating a compressed representation of a neural network with proficient inference speed and power consumption |
| CN110909801A (zh) * | 2019-11-26 | 2020-03-24 | 山东师范大学 | 基于卷积神经网络的数据分类方法、***、介质及设备 |
| CN111382867A (zh) * | 2020-02-20 | 2020-07-07 | 华为技术有限公司 | 神经网络压缩的方法、数据处理的方法及相关装置 |
| WO2020190772A1 (en) * | 2019-03-15 | 2020-09-24 | Futurewei Technologies, Inc. | Neural network model compression and optimization |
-
2021
- 2021-04-06 CN CN202110367961.6A patent/CN112906874A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102893327A (zh) * | 2010-03-19 | 2013-01-23 | 数字标记公司 | 直觉计算方法和*** |
| CN107832837A (zh) * | 2017-11-28 | 2018-03-23 | 南京大学 | 一种基于压缩感知原理的卷积神经网络压缩方法及解压缩方法 |
| CN108280514A (zh) * | 2018-01-05 | 2018-07-13 | 中国科学技术大学 | 基于fpga的稀疏神经网络加速***和设计方法 |
| CN108366370A (zh) * | 2018-02-02 | 2018-08-03 | 东南大学 | 基于无线信道特征量化私有不对称密钥的信息传输方法 |
| US20190279095A1 (en) * | 2018-03-12 | 2019-09-12 | Robert Bosch Gmbh | Method and device for operating a neural network in a memory-efficient manner |
| WO2020014590A1 (en) * | 2018-07-12 | 2020-01-16 | Futurewei Technologies, Inc. | Generating a compressed representation of a neural network with proficient inference speed and power consumption |
| WO2020190772A1 (en) * | 2019-03-15 | 2020-09-24 | Futurewei Technologies, Inc. | Neural network model compression and optimization |
| CN110909801A (zh) * | 2019-11-26 | 2020-03-24 | 山东师范大学 | 基于卷积神经网络的数据分类方法、***、介质及设备 |
| CN111382867A (zh) * | 2020-02-20 | 2020-07-07 | 华为技术有限公司 | 神经网络压缩的方法、数据处理的方法及相关装置 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115063673A (zh) * | 2022-07-29 | 2022-09-16 | 阿里巴巴（中国）有限公司 | 模型压缩方法、图像处理方法、装置和云设备 |
| CN116128737A (zh) * | 2023-04-19 | 2023-05-16 | 南京大学 | 一种基于数据压缩的图像超分网络鲁棒性提升装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10769757B2 (en) | Image processing apparatuses and methods, image processing systems and training methods | |
| Setyaningsih et al. | Survey of hybrid image compression techniques | |
| CN109451308A (zh) | 视频压缩处理方法及装置、电子设备及存储介质 | |
| Rasheed et al. | Image compression based on 2D Discrete Fourier Transform and matrix minimization algorithm | |
| CN112906874A (zh) | 卷积神经网络特征图数据压缩方法及装置 | |
| Siddeq et al. | A novel 2D image compression algorithm based on two levels DWT and DCT transforms with enhanced minimize-matrix-size algorithm for high resolution structured light 3D surface reconstruction | |
| CN104683818B (zh) | 基于双正交不变集多小波的图像压缩方法 | |
| CN113962882A (zh) | 一种基于可控金字塔小波网络的jpeg图像压缩伪影消除方法 | |
| KR20200022386A (ko) | 정보 처리 장치 및 정보 처리 방법 | |
| Salih et al. | Image compression for quality 3D reconstruction | |
| CN113256744B (zh) | 一种图像编码、解码方法及*** | |
| CN107146259A (zh) | 一种基于压缩感知理论的新型图像压缩方法 | |
| Arya et al. | Robust image compression using two dimensional discrete cosine transform | |
| Li et al. | Compression artifact removal with stacked multi-context channel-wise attention network | |
| US10432937B2 (en) | Adaptive precision and quantification of a wavelet transformed matrix | |
| CN115361559A (zh) | 图像编码方法、图像解码方法、装置以及存储介质 | |
| CN109255770B (zh) | 一种图像变换域降采样方法 | |
| CN113658282A (zh) | 一种图像压缩解压缩方法及其装置 | |
| CN113052258B (zh) | 基于中间层特征图压缩的卷积方法、模型及计算机设备 | |
| Rodrigues et al. | Image Compression for Quality 3D Reconstruction | |
| CN115631115B (zh) | 基于递归Transformer的动态图像复原方法 | |
| Xiong et al. | Deep feature compression with collaborative coding of image texture | |
| Sugara et al. | Comparative analysis of image compression using huffman and DCT Method on JPG Image | |
| Tao et al. | Prior-information-based remote sensing image compression with Bayesian dictionary learning | |
| Rajeshwari et al. | DWT based Multimedia Compression |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |