CN109583006A - 一种基于循环切割和重排的现场可编程门阵列卷积层的动态优化方法 - Google Patents

Abstract

一种基于循环切割和重排的现场可编程门阵列卷积层的动态优化方法，使用高层次综合工具在现场可编程门阵列平台上进行开发，基于卷积循环切割和重排对卷积层的进行优化，调整其资源占用及处理性能，充分发挥现场可编程门阵列的并行处理能力，提升卷积神经网络网络性能。本发明提供一种基于循环切割和重排的现场可编程门阵列卷积层的动态优化方法，其可极大地提升内部计算速率和效率，从而缩短计算时间，提升效能。

Description

一种基于循环切割和重排的现场可编程门阵列卷积层的动态 优化方法

技术领域

本发明属于数字图像处理、模式识别技术领域，特别是针对卷积神经网络算法中核心部分卷积层的设计，涉及一种基于循环切割和重排的现场可编程门阵列卷积层的动态优化方法。

背景技术

卷积神经网络在人工神经网络的基础上发展起来的一种多层感知器，能够很好地适应图像的平移、比例缩放以及旋转等形式的变形，是提取图像特征的灵敏传感器，可以通过模拟生物中的视神经行为来达到很高的准确率，被广泛应用于在机器视觉、模式识别、视频监控、图像搜索等领域。卷积神经网络属于计算密集型的结构，但随着模型的复杂度增加，模型参数越来越多，模型规模和需要的计算浮点数也越来越大，这对硬件资源产生了更高的要求，不利于模型在存储空间、续航受限的设备上部署使用。

目前大部分卷积神经网络***基本上都是在GPU环境下实现的，虽然GPU具有高度并行计算能力，能较好的解决计算速度问题，然而基于GPU的卷积神经网络加速器往往存在功耗较高、体积较大和成本高问题。

相比GPU，具有大量阵列形式逻辑、运算单元的现场可编程门阵列芯片在尺寸上、功耗和并行运算方面有突出的优势。借助现场可编程门阵列中丰富的逻辑资源和专用乘法器、数字信号处理等资源实现的卷积神经网络，能高度并行地执行算法中大量重复、独立的乘法和加法运算，在保证计算能力的同时尽可能降低功耗。

传统面向现场可编程门阵列的卷积神经网络构造方式是基于寄存器传输级描述语言设计的，具有流程复杂、周期较长和优化空间较小等问题。尤其针对现场可编程门阵列，缺乏卷积神经网络实现方法的有效的特征分析，而且卷积计算对硬件资源要求较高。因此，在边缘计算环境下，构建卷积神经网络的方法设计变得尤为重要。在基于现场可编程门阵列的卷积神经网络加速器中，使用基于高层次综合工具的现场可编程门阵列开发实现具有良好的可扩展性，并且只需要很短的设计时间。它采用高级编程语言对算法进行设计，通过编译、语义转化、映射与布局布线等过程，将其转化为可用于现场可编程门阵列设计的寄存器传输级语言的跨层次设计方法。运用高层次综合设计的电路，在逻辑资源充足的情况下能够取得良好性能，但在设备种类复杂，对资源集约的情况下，设计方法与理论还有待深入探索。

发明内容

为了克服现有技术的卷积层耗时过长的不足，本发明提供一种基于循环切割和重排的现场可编程门阵列卷积层的动态优化方法，其可极大地提升内部计算速率和效率，从而缩短计算时间，提升效能。

本发明解决其技术问题所采用的技术方案是：

一种基于循环切割和重排的现场可编程门阵列卷积层的动态优化方法，包括以下步骤：

1)根据卷积运算的计算过程，获取卷积层的计算公式；

2)设定对应的分割参数，对由步骤1)获取到的卷积层计算公式进行循环分割，形成两个子循环；

3)对由步骤1)获取到的卷积层计算公式，和步骤2)切割所得的子循环，分析循环参数的数据共享关系；

4)根据由步骤3)分析所得的数据共享关系，在高层次综合工具中通过在转化过程中***编译指示指令的方法，对步骤2)分割后所获得的子循环进行重排与展开优化；

5)使用高层次综合工具的仿真工具，生成对应的综合报告，其中包括了计算过程所使用的资源占比，将所获得的资源占比报告与资源约束条件对比，判断是否满足当前资源约束条件下的最优结果，如果不是，则修改分割参数或重排顺序，并重复步骤2)3)4)；

6)使用高层次综合工具对步骤5)生成的卷积运算进行实例化，将C语言转化为Verilog语言，生成寄存器传输级电路，生成对应的卷积层功能模块。

进一步，所述步骤1)中，卷积层接收N个大小为W*H特征图作为输入，每个输入特征图是通过M个窗口为K×K的卷积内核映射来生成输出特性，窗口的平移步长为S，通常小于K，总共N个输入特征图将形成M个大小为R×C的输出特征图集，公式表达如下：

其中OUT表示输出特征图集，表示IN输入特征图集，W表示权重集。

所述步骤2)中，将卷积层的计算过程分割成两个子循环，子循环一如下式所示：

组合<Tm,Tn,Tr,Tr>就是所以设定的分割参数，其中Tm，Tn，Tr和Tr分别是对输出特征图深度，输入特征图深度，输出特征图宽和长的分块，另一个子循环如下式所示：

所述步骤3)中，根据步骤1)所得的卷积计算公式，将不同循环迭代之间的数据共享关系可以分为三类：无关、独立、依赖；

I)无关：如果循环迭代器i_k没有出现在数组A的任何访问函数中，则对应的循环维数与数组A无关；

II)独立：如果数组A所访问的数据空间并集和循环维数i_k是完全可分离的，或者对于任意两个不同的参数p₁和p₂，对于i_k＝p₁和i_k＝p₂在不同图像的数据空间中是不相交的，那么循环维数i_k与数组A是相互独立的；

III)依赖：如果数组A上访问的数据空间并集不能沿着某个循环维数i_k进行分离，则认为循环维数i_k依赖于数组A；

数据共享关系下表所示：

从硬件实现的角度来看，独立的数据共享关系在缓冲区和计算模块之间生成直接连接，无关的数据共享关系生成广播连接，依赖的数据共享关系产生具有复杂拓扑的互连。

所述步骤4)中，对所生成的硬件结构进行优化，其中一项优化技术就是循环展开，还有一项关键优化技术是流水线循环，重复执行不同循环迭代的操作；

对步骤2)分割后所获得的子循环进行优化，先根据分析得到的数据共享关系将内部循环进行重排，再将排列到最内部的循环进行展开，同时加上流水线循环来提高***吞吐量，优化后的计算过程如下式所示：

其中F(x)表示循环展开，L(x)表示流水线循环。

本发明的有益效果是：使用高层次综合工具，基于循环切割和重排的动态优化方法对卷积层的进行优化，提高了现场可编程门阵列上卷积神经网络上的计算效能。并且优化方法具有良好的适配性，可以扩展应用到池化层、全连接层等不同的结构，也可以用应用到不同的卷积神经网络模型。

附图说明

图1为基于循环切割和重排的现场可编程门阵列卷积层的动态优化方法的流程图；

图2为卷积层的计算过程图；

具体实施方式

下面结合附图对本发明做进一步描述：

参照图1和图2，一种基于循环切割和重排的现场可编程门阵列卷积层的动态优化方法，包括以下步骤：

1)卷积层的计算过程如图2所示，卷积层接收N个大小为W*H特征图作为输入，每个输入特征图是通过M个窗口为K×K的卷积内核映射来生成输出特性，窗口的平移步长为S，通常小于K，总共N个输入特征图将形成M个大小为R×C的输出特征图集，公式表达如下：

其中OUT表示输出特征图集，表示IN输入特征图集，W表示权重集；

2)由于现场可编程门阵列的资源是有限的，无法将循环完全展开进行计算，所以将卷积层的计算过程分割成两个子循环，子循环一如下式所示：

组合<Tm,Tn,Tr,Tr>就是所以设定的分割参数，其中Tm，Tn，Tr和Tr分别是对输出特征图深度，输入特征图深度，输出特征图宽和长的分块。另一个子循环如下式所示：

3)根据步骤1)所得的卷积计算公式，可以将不同循环迭代之间的数据共享关系可以分为三类：无关、独立、依赖。

I)无关。如果循环迭代器i_k没有出现在数组A的任何访问函数中，则对应的循环维数与数组A无关。

II)独立。如果数组A所访问的数据空间并集和循环维数ik是完全可分离的，或者对于任意两个不同的参数p₁和p₂，对于i_k＝p₁和i_k＝p₂在不同图像的数据空间中是不相交的，那么循环维数i_k与数组A是相互独立的。

III)依赖。如果数组A上访问的数据空间并集不能沿着某个循环维数i_k进行分离，则认为循环维数i_k依赖于数组A。

数据共享关系下表所示。

	输入IN	权重W	输出OUT
				trr	依赖	无关	独立
tcc	依赖	无关	独立
				too	无关	独立	独立
tii	独立	独立	无关
				i	依赖	独立	无关
j	依赖	独立	无关

从硬件实现的角度来看，独立的数据共享关系在缓冲区和计算模块之间生成直接连接，无关的数据共享关系生成广播连接，依赖的数据共享关系产生具有复杂拓扑的互连；

4)高层次综合工具可通过在转化过程中***编译指示指令的方法，对所生成的硬件结构进行优化。其中一项优化技术就是循环展开，可以将顺序执行的循环运算转换成并行运算，从而提高运算速度。还有一项关键优化技术，就是流水线循环，它通过重复执行不同循环迭代的操作来提高***吞吐量。

对步骤2)分割后所获得的子循环进行优化，先根据分析得到的数据共享关系将内部循环进行重排，再将排列到最内部的循环进行展开，同时加上流水线循环来提高***吞吐量。优化后的计算过程如下式所示：

其中F(x)表示循环展开，L(x)表示流水线循环；

5)由于现场可编程门阵列的资源是有限的，需要在步骤2)4)分割和重排后，对优化后的计算过程进行资源评估，使用高层次综合工具的仿真工具，生成对应的综合报告，其中包括了计算过程所使用的资源占比；

将所获得的资源占比报告与资源约束条件对比，判断是否满足当前资源约束条件下的最优结果，如果不是，则修改分割参数或重排顺序，并重复步骤2)3)4)；

6)使用高层次综合工具对步骤5)生成的卷积运算进行实例化，将C语言转化为Verilog语言，生成寄存器传输级电路，生成对应的功能模块。

上述实施方式为本发明较佳的实施方式，但本发明的实施方式并不受所述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的修改、替代、组合、裁剪，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (5)

1.一种基于循环切割和重排的现场可编程门阵列卷积层的动态优化方法，其特征在于，所述方法包括以下步骤：

1)根据卷积运算的计算过程，获取卷积层的计算公式；

2)设定对应的分割参数，对由步骤1)获取到的卷积层计算公式进行循环分割，形成两个子循环；

3)对由步骤1)获取到的卷积层计算公式，和步骤2)切割所得的子循环，分析循环参数的数据共享关系；

4)根据由步骤3)分析所得的数据共享关系，在高层次综合工具中通过在转化过程中***编译指示指令的方法，对步骤2)分割后所获得的子循环进行重排与展开优化；

5)使用高层次综合工具的仿真工具，生成对应的综合报告，其中包括了计算过程所使用的资源占比。将所获得的资源占比报告与资源约束条件对比，判断是否满足当前资源约束条件下的最优结果，如果不是，则修改分割参数或重排顺序，并重复步骤2)3)4)；

6)使用高层次综合工具对步骤5)生成的卷积运算进行实例化，将C语言转化为Verilog语言，生成寄存器传输级电路，生成对应的卷积层功能模块。

2.如权利要求1所述的一种基于循环切割和重排的现场可编程门阵列卷积层的动态优化方法，其特征在于，所述步骤1)中，卷积层接收N个大小为W*H特征图作为输入，每个输入特征图是通过M个窗口为K×K的卷积内核映射来生成输出特性，窗口的平移步长为S，通常小于K，总共N个输入特征图将形成M个大小为R×C的输出特征图集，公式表达如下：

其中OUT表示输出特征图集，表示IN输入特征图集，W表示权重集。

3.如权利要求1或2所述的一种基于循环切割和重排的现场可编程门阵列卷积层的动态优化方法，其特征在于，所述步骤2)中，将卷积层的计算过程分割成两个子循环，子循环一如下式所示：

组合<Tm,Tn,Tr,Tr>就是所以设定的分割参数，其中Tm，Tn，Tr和Tr分别是对输出特征图深度，输入特征图深度，输出特征图宽和长的分块，另一个子循环如下式所示：

4.如权利要求1或2所述的一种基于循环切割和重排的现场可编程门阵列卷积层的动态优化方法，其特征在于，所述步骤3)中，根据步骤1)所得的卷积计算公式，将不同循环迭代之间的数据共享关系可以分为三类：无关、独立、依赖；

I)无关：如果循环迭代器i_k没有出现在数组A的任何访问函数中，则对应的循环维数与数组A无关；

II)独立：如果数组A所访问的数据空间并集和循环维数i_k是完全可分离的，或者对于任意两个不同的参数p₁和p₂，对于i_k＝p₁和i_k＝p₂在不同图像的数据空间中是不相交的，那么循环维数i_k与数组A是相互独立的；

III)依赖：如果数组A上访问的数据空间并集不能沿着某个循环维数i_k进行分离，则认为循环维数i_k依赖于数组A；

数据共享关系下表所示：

输入IN 权重W 输出OUT trr 依赖 无关 独立 tcc 依赖 无关 独立 too 无关 独立 独立 tii 独立 独立 无关 i 依赖 独立 无关 j 依赖 独立 无关

从硬件实现的角度来看，独立的数据共享关系在缓冲区和计算模块之间生成直接连接，无关的数据共享关系生成广播连接，依赖的数据共享关系产生具有复杂拓扑的互连。

5.如权利要求1或2所述的一种基于循环切割和重排的现场可编程门阵列卷积层的动态优化方法，其特征在于，所述步骤4)中，对所生成的硬件结构进行优化，其中一项优化技术就是循环展开，还有一项关键优化技术是流水线循环，重复执行不同循环迭代的操作；

对步骤2)分割后所获得的子循环进行优化，先根据分析得到的数据共享关系将内部循环进行重排，再将排列到最内部的循环进行展开，同时加上流水线循环来提高***吞吐量，优化后的计算过程如下式所示：

其中F(x)表示循环展开，L(x)表示流水线循环。