CN109766949A - 卷积神经网络轻量化方法、装置及电子设备 - Google Patents

Abstract

本发明实施例提供一种卷积神经网络轻量化方法、装置及电子设备，通过预设整形函数将三维神经网络中的三维卷积层转换为二维卷积层。对三维卷积核进行去维度操作以将所述三维卷积核转换为二维卷积核。通过所述预设整形函数对三维池化层进行整形操作，并对整形操作后的三维池化层进行池化操作以将所述三维池化层转换为二维池化层，根据所述二维卷积层、二维卷积核及二维池化层构成转换后的二维卷积神经网络。使得三维神经网络能够在多种深度学习加速引擎上能够使用，极大的提高了三维卷积在实际应用上的效率。

Description

卷积神经网络轻量化方法、装置及电子设备

技术领域

本发明涉及行为识别技术领域，具体而言，涉及一种卷积神经网络轻量化方法、装置及电子设备。

背景技术

行为识别的主要目标是根据一段视频来判断一个人的行为，智能监控、人机交互、机器人等诸多应用的一项基础技术。随着深度学习技术的不断发展，越来越多的深度学习方法被应用到行为识别的领域当中。和传统的图像识别不同，人的行为来自于连续多帧图像，从多帧图像整体获得的时间信息会更有利于行为的识别，所以最近出现了多种基于视频的行为识别的深度学习模型。

C3D(Convolutional 3D)模型在传统的二维卷积神经网路的空间域的基础上，增加了一个时间的维度，能够更好的提取行为的时间特征，而且相对双流法等有较快的速度。虽然用C3D卷积进行特征提取可以同时考虑到空间和时间维度的特征，但是计算成本和模型存储还是太大，所以P3D(Pseudo-3D ResNet)网络对三维卷积进行了改造，将一个t×m×n的卷积核分为时间域上的t×1×1的卷积核和空间域上的1×m×n的卷积核，可以减少计算量和储存量，这样就允许在更大的基础网络模型上训练三维神经网络。同样时间和空间域的分离也让整个优化过程分开，使得优化过程更加容易，两个子卷积核之间增加的非线性操作，增加了网络的非线性。在同样运算力的情况下，P3D网络能获得更好的效果。

为了在嵌入式平台等移动端获得更快的速度来降低成本，我们往往需要将卷积模型应用到适用平台的加速引擎上。但作为一种新的神经网络层结构，三维卷积层与三维池化层在一些加速引擎上是不能支持的，这就极大的影响了三维卷积在实际应用上的效率。

发明内容

有鉴于此，本申请的目的在于，提供一种卷积神经网络轻量化方法、装置及电子设备以改善上述问题。

本申请实施例提供一种卷积神经网络轻量化方法，针对于包括三维卷积层、三维池化层和三维卷积核的三维卷积神经网络，所述方法包括：

通过预设整形函数将所述三维卷积层转换为二维卷积层；

对所述三维卷积核进行去维度操作以将所述三维卷积核转换为二维卷积核；

通过所述预设整形函数对所述三维池化层进行整形操作，并对整形操作后的三维池化层进行池化操作以将所述三维池化层转换为二维池化层，获得转换后的二维卷积神经网络。

进一步地，所述三维卷积层的输入特征图记为B×C×T×M×N，其中，B为每次训练时使用的训练样本个数，C为通道数，T为时间维度，M为高度维度，N为宽度维度，所述通过预设整形函数将所述三维卷积层转换为二维卷积层的步骤包括：

针对各所述训练样本以及各所述通道，通过预设整形函数将所述三维卷积层在不同时间维度上的高度维度进行合并，根据合并后的高度维度以及所述宽度维度构成转换后输入特征图大小为(T×M)×N的二维卷积层。

进一步地，所述三维卷积核记为1×m×n，其中，所述三维卷积核的时间维度为1，m为所述三维卷积核的高度维度，n为所述三维卷积核的宽度维度，所述对所述三维卷积核进行去维度操作以将所述三维卷积核转换为二维卷积核的步骤包括：

去除1×m×n的三维卷积核的时间维度，获得转换后为m×n的二维卷积核。

进一步地，所述三维卷积层的输入特征图记为B×C×T×M×N，其中，B为每次训练时使用的训练样本个数，C为通道数，T为时间维度，M为高度维度，N为宽度维度，所述通过预设整形函数将所述三维卷积层转换为二维卷积层的步骤包括：

针对各所述训练样本以及各所述通道，通过预设整形函数将所述三维卷积层的特征图数据按线性排列，以得到(M×N)的一维特征图，再将所所述一维特征图沿着时间维度进行合并，构成输入特征图大小为T×(M×N)的二维卷积层。

进一步地，所述三维卷积核记为t×1×1，其中，t为所述三维卷积核的时间维度，所述三维卷积核的高度为1，所述三维卷积核的宽度为1，所述对所述三维卷积核进行去维度操作以将所述三维卷积核转换为二维卷积核的步骤包括：

去除t×1×1的三维卷积核的宽度维度，获得转换后为t×1的二维卷积核。

进一步地，所述三维池化层的输入特征图记为B×C×T×M×N，B为每次训练时使用的训练样本个数，C为通道数，T为时间维度，M为高度维度，N为宽度维度，所述通过所述预设整形函数对所述三维池化层进行整形操作，并对整形操作后的三维池化层进行池化操作以将所述三维池化层转换为二维池化层，获得转换后的二维卷积神经网络的步骤包括：

针对各所述训练样本以及各所述通道，通过预设整形函数将输入特征图大小为T×M×N的三维池化层转换为输入特征图大小为(T×M)×N的初步输出二维池化层；

对输入特征图大小为(T×M)×N的初步输出二维池化层进行池化操作，获得输出特征图大小为(T₁×M₁)×N₁的二维池化层；

根据所述二维卷积层、二维卷积核及二维池化层构成转换后的二维卷积神经网络。

进一步地，所述对输入特征图大小为(T×M)×N的初步输出二维池化层进行池化操作，获得输出特征图大小为(T₁×M₁)×N₁的二维池化层的步骤包括：

以池化内核K₂×K₃，并按池化步长S₂×S₃对输入特征图大小为(T×M)×N的初步输出二维池化层的空间维度进行池化操作，获得输出特征图大小为(T×M₁)×N₁的二维池化层，其中，所述空间维度为所述高度维度与宽度维度所构成。

通过预设整形函数将所述输出特征图大小为(T×M₁)×N₁的二维池化层，转换为输出特征图大小为T×(M₁×N₁)的二维池化层；

以池化内核K₁×1，并按池化步长S₁×1对输出特征图大小为T×(M₁×N₁)的二维池化层的时间维度进行池化操作，获得输出特征图大小为(T₁×M₁)×N₁的二维池化层。

进一步地，所述方法还包括：

在转换后的二维卷积层或转换后的二维池化层的基础上，对得到的卷积神经网络中的高度维度和宽度维度进行添零或去除行操作，以对所述卷积神经网络进行调整。

进一步地，针对于包括三维卷积层、三维池化层和三维卷积核的三维卷积神经网络，所述装置包括：

卷积层转换模块，用于通过预设整形函数将所述三维卷积层转换为二维卷积层。

卷积核转换模块，用于对所述三维卷积核进行去维度操作以将所述三维卷积核转换为二维卷积核。

池化层转换模块，用于通过所述预设整形函数对所述三维池化层进行整形操作，并对整形操作后的三维池化层进行池化操作以将所述三维池化层转换为二维池化层，获得转换后的二维卷积神经网络。

本发明实施例还提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现上述的方法步骤。

本发明实施例提供一种卷积神经网络轻量化方法、装置及电子设备，通过预设整形函数将三维卷积层转换为二维卷积层。对三维卷积核进行去维度操作以将所述三维卷积核转换为二维卷积核。通过所述预设整形函数对三维池化层进行整形操作，并对整形操作后的三维池化层进行池化操作以将所述三维池化层转换为二维池化层，根据所述二维卷积层、二维卷积核及二维池化层构成转换后的二维卷积神经网络。使得三维神经网络能够在多种深度学习加速引擎上能够使用，极大的提高了三维卷积在实际应用上的效率。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请实施例提供的电子设备的结构框图。

图2为本申请实施例提供的卷积神经网络轻量化方法的流程图。

图3为本申请实施例提供的卷积神经网络轻量化方法的示意图之一。

图4为本申请实施例提供的卷积神经网络轻量化方法的示意图之二。

图5为本申请实施例提供的卷积神经网络轻量化方法的示意图之三。

图6为本申请实施例提供的卷积神经网络轻量化方法的另一流程图。

图7为本申请实施例提供的卷积神经网络轻量化装置的功能模块框图。

图标：100-电子设备；110-卷积神经网络轻量化装置；111-卷积层转换模块；112-卷积核转换模块；113-池化层转换模块；120-处理器；130-存储器。

具体实施方式

下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

由于在一些加速引擎上不能支持三维卷积层与三维池化层，因此，发明人经过实践，考虑是否能将三维卷积层及三维池化层转化为相近的二维卷积层和二维池化层，而C3D网络中t×m×n的卷积核并没有相对直接的能够转化为二维卷积的方法。本发明通过将P3D网络中的t×1×1的卷积核及1×m×n的卷积核转换为二维卷积，将三维池化层转换为二维池化层，将整个P3D网络从三维卷积神经网络转换为二维卷积神经网络，使得三维神经网络能够在多种深度学习加速引擎上能够使用。

如图1所示，本发明实施例基于上述研究发现提供了一种电子设备100，所述电子设备100包括存储器130、处理器120和卷积神经网络轻量化装置110。

所述存储器130和处理器120之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。所述卷积神经网络轻量化装置110包括至少一个可以软件或固件(firmware)的形式存储于所述存储器130中的软件功能模块。所述处理器120用于执行所述存储器130中存储的可执行的计算机程序，例如，所述卷积神经网络轻量化装置110所包括的软件功能模块及计算机程序等，以实现卷积神经网络轻量化方法。

其中，所述存储器130可以是，但不限于，随机存取存储器(Random AccessMemory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(ProgrammableRead-Only Memory，PROM)，可擦除只读存储器(Erasable Programmable Read-OnlyMemory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-OnlyMemory，EEPROM)等。其中，存储器130用于存储程序，所述处理器120在接收到执行指令后，执行所述程序。

所述处理器120可能是一种集成电路芯片，具有信号的处理能力。上述的处理器120可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器120也可以是任何常规的处理器等。

可以理解，图1所示的结构仅为示意，所述电子设备100还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。图1中所示的各组件可以采用硬件、软件或其组合实现。

可选地，所述电子设备100的具体类型不受限制，例如，可以是，但不限于，智能手机、个人电脑(personal computer，PC)、平板电脑、个人数字助理(personal digitalassistant，PDA)、移动上网设备(mobile Internet device，MID)、web(网站)服务器、数据服务器等具有处理功能的设备。

结合图2，本发明实施例还提供一种可应用于上述电子设备100的卷积神经网络轻量化方法，针对于包括三维卷积层、三维池化层和三维卷积核的三维卷积神经网络。其中，所述方法有关的流程所定义的方法步骤可以由所述处理器120实现。下面将对图2所示的具体流程进行详细阐述。

S1，通过预设整形函数将所述三维卷积层转换为二维卷积层。

S2，对所述三维卷积核进行去维度操作以将所述三维卷积核转换为二维卷积核。

预先的，通过训练集与测试集对搭建好的三维卷积网络训练学习，得到我们需要的三维卷积网络。这里的训练方法步骤可参考现有技术，在此不做赘述。

具体地，请参阅图3，本发明实施例中的一种实施方式是，所述三维卷积层的输入特征图记为B×C×T×M×N，其中，B为每次训练时使用的训练样本个数，C为通道数，T为时间维度，M为高度维度，N为宽度维度，针对各所述训练样本以及各所述通道，通过预设整形函数将所述三维卷积层在不同时间维度上的高度维度进行合并，根据合并后的高度维度以及所述宽度维度构成转换后输入特征图大小为(T×M)×N的二维卷积层。

针对各所述训练样本以及各个单通道，所述卷积层的输入特征图记为T×M×N，根据训练的特征图在卷积层中对应的内存顺序，将所述时间维度为1的M×N的特征图，所述时间维度对应2的M×N的特征图，到时间维度对应T的M×N的特征图，分别从三维特征图中提起出来，得到T个M×N的特征图，将这T个M×N的特征图，沿高度维度合并在一起，根据合并后的高度维度以及所述宽度维度构成转换后输入特征图大小为(T×M)×N的二维卷积层，新的特征图并不会改变特征值在卷积层中对应的内存顺序。

需要注意的是，在拆分所述特征图对应的卷积层时，为了确保卷积核从一张特征图遍历到下一张特征图的过程中，被卷积数值不发生改变，通常在转换后的二维卷积层的基础上，对得到的卷积神经网络中的高度维度和宽度维度进行添零或去除行操作，以使卷积核遍历到每个数据，达到和原三维卷积网络相同的结果。

可以理解的是，为了使得卷积核遍历到特征图的每个数据，三维卷积层会在特征图的边缘添零，而转换后的二维卷积则是相当于补了下一帧特征图的第一行数据或是上一帧特征图的最后一行数据，这会导致转换后二维卷积层存在偏差。因此，在三维卷积层转换为二维卷积层后需要对所述特征图进行调整操作，再次使用预设量的数据对所述二维卷积层重新训练。

进一步，所述三维卷积核记为1×m×n，其中，所述三维卷积核的时间维度为1，m为所述三维卷积核的高度维度，n为所述三维卷积核的宽度维度，去除1×m×n的三维卷积核的时间维度，获得转换后为m×n的二维卷积核。

经过转换后输入特征图大小为(T×M)×N的二维卷积层与t×1的二维卷积核卷积后得到为输出特征图大小为(T₁×M₁)×N₁的二维卷积结果。

请参阅图4，本发明实施例中还提供另一种实施方式，所述三维卷积层的输入特征图记为B×C×T×M×N，其中，B为每次训练时使用的训练样本个数，C为通道数，T为时间维度，M为高度维度，N为宽度维度，针对各所述训练样本以及各所述通道，通过预设整形函数将所述三维卷积层的特征图数据按线性排列，以得到(M×N)的一维特征图，再将所所述一维特征图沿着时间维度进行合并，构成输入特征图大小T×(M×N)的二维卷积层。

具体地，针对各所述训练样本以及各个单通道，所述卷积层的输入特征图记为T×M×N，根据训练的特征图在卷积层中对应的内存顺序，将所述时间维度为1的M×N的特征图，所述时间维度对应2的M×N的特征图，到时间维度对应T的M×N的特征图，分别从三维特征图中提起出来，得到T个M×N的特征图，使用整形函数将各个M×N的特征图转换为一维，即将特征图中的数据线性排列，记为(M×N)。再将得到的T个一维特征图(M×N)，按时间依次拼合，得到特征图大小为T×(M×N)的二维卷积层，新的特征图并不会改变特征值在卷积层中对应的内存顺序。

可以理解的是，为了使得卷积核遍历到特征图的每个数据，三维卷积层会在特征图的边缘添零，而转换后的二维卷积则是相当于补了下一帧特征图的第一行数据或是上一帧特征图的最后一行数据，这会导致转换后二维卷积层存在偏差。因此，在三维卷积层转换为二维卷积层后需要对所述特征图进行调整操作，再次使用预设量的数据对所述二维卷积层重新训练。

进一步地，所述三维卷积核记为t×1×1，其中，t为所述三维卷积核的时间维度，所述三维卷积核的高度为1，所述三维卷积核的宽度为1，去除t×1×1的三维卷积核的宽度维度，获得转换后为t×1的二维卷积核。

经过转换后的输入特征图大小为T×(M×N)的二维卷积层与t×1的二维卷积核卷积后得到输出特征图大小为T₁×(M₁×N₁)的二维卷积结果。

S3，通过所述预设整形函数对所述三维池化层进行整形操作，并对整形操作后的三维池化层进行池化操作以将所述三维池化层转换为二维池化层，获得转换后的二维卷积神经网络。

请结合参阅图5与图6，所述三维池化层的输入特征图的大小记为B×C×T×M×N，B为每次训练时使用的训练样本个数，C为通道数，T为时间维度，M为高度维度，N为宽度维度，

S31，针对各所述训练样本以及各所述通道，通过预设整形函数将输入特征图大小为T×M×N的三维池化层转换为输入特征图大小为(T×M)×N的初步输出二维池化层。

S32，对输入特征图大小为(T×M)×N的初步输出二维池化层进行池化操作，获得输出特征图大小为(T₁×M₁)×N₁的二维池化层。

具体地，本发明实施例中，所述池化操作包括最大值池化和均值池化，在实际使用中，可根据需求选择。本发明实施例中池化内核大小分别为K₁、K₂和K₃，所述池化步长分别为S₁、S₂和S₃。

具体实施时，以池化内核K₂×K₃，并按池化步长S₂×S₃对(T×M)×N的初步输出二维池化层的空间维度进行池化操作，获得特征图大小为(T×M₁)×N₁的二维池化层，其中，所述空间维度为所述高度维度与宽度维度所构成。

通过预设整形函数将特征图大小为(T×M₁)×N₁的二维池化层，转换为T×(M₁×N₁)的二维池化层。

以池化内核K₁×1，并按池化步长S₁×1，对特征图大小为T×(M₁×N₁)的二维池化层的时间维度进行池化操作，获得输出特征图大小为(T₁×M₁)×N₁的二维池化层。

需要注意的是，在拆分所述特征图对应的池化层时，为了确保池化内核从一张特征图遍历到下一张特征图的过程中，被卷积数值不发生改变，通常在转换后的二维池化层的基础上，对得到的卷积神经网络中的高度维度和宽度维度进行添零或去除行操作，以对所述卷积神经网络进行调整。达到和原三维卷积网络相同的结果。

S33，根据所述二维卷积层、二维卷积核及二维池化层构成转换后的二维卷积神经网络。

请参阅图7，本发明实施例还提供一种卷积神经网络轻量化装置110，针对于包括三维卷积层、三维池化层和三维卷积核的三维卷积神经网络，所述装置包括：

卷积层转换模块111，用于通过预设整形函数将所述三维卷积层转换为二维卷积层。

卷积核转换模块112，用于对所述三维卷积核进行去维度操作以将所述三维卷积核转换为二维卷积核。

池化层转换模块113，用于通过所述预设整形函数对所述三维池化层进行整形操作，并对整形操作后的三维池化层进行池化操作以将所述三维池化层转换为二维池化层，获得转换后的二维卷积神经网络。

可以理解的是，本实施例中的各功能模块的具体操作方法可参照上述方法实施例中相应步骤的详细描述，在此不再重复赘述。

综上所述，本发明实施例提供一种卷积神经网络轻量化方法、装置及电子设备，通过预设整形函数将三维卷积层转换为二维卷积层。对三维卷积核进行去维度操作以将所述三维卷积核转换为二维卷积核。通过所述预设整形函数对三维池化层进行整形操作，并对整形操作后的三维池化层进行池化操作以将所述三维池化层转换为二维池化层，根据所述二维卷积层、二维卷积核及二维池化层构成转换后的二维卷积神经网络。使得三维神经网络能够在多种深度学习加速引擎上能够使用，极大的提高了三维卷积在实际应用上的效率。

在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种卷积神经网络轻量化方法，其特征在于，针对于包括三维卷积层、三维池化层和三维卷积核的三维卷积神经网络，所述方法包括：

通过预设整形函数将所述三维卷积层转换为二维卷积层；

对所述三维卷积核进行去维度操作以将所述三维卷积核转换为二维卷积核；

通过所述预设整形函数对所述三维池化层进行整形操作，并对整形操作后的三维池化层进行池化操作以将所述三维池化层转换为二维池化层，获得转换后的二维卷积神经网络。

2.根据权利要求1所述的卷积神经网络轻量化方法，其特征在于，所述三维卷积层的输入特征图记为B×C×T×M×N，其中，B为每次训练时使用的训练样本个数，C为通道数，T为时间维度，M为高度维度，N为宽度维度，所述通过预设整形函数将所述三维卷积层转换为二维卷积层的步骤包括：

针对各所述训练样本以及各所述通道，通过预设整形函数将所述三维卷积层在不同时间维度上的高度维度进行合并，根据合并后的高度维度以及所述宽度维度构成转换后输入特征图大小为(T×M)×N的二维卷积层。

3.根据权利要求2所述的卷积神经网络轻量化方法，其特征在于，所述三维卷积核记为1×m×n，其中，所述三维卷积核的时间维度为1，m为所述三维卷积核的高度维度，n为所述三维卷积核的宽度维度，所述对所述三维卷积核进行去维度操作以将所述三维卷积核转换为二维卷积核的步骤包括：

去除1×m×n的三维卷积核的时间维度，获得转换后为m×n的二维卷积核。

4.根据权利要求1所述的卷积神经网络轻量化方法，其特征在于，所述三维卷积层的输入特征图记为B×C×T×M×N，其中，B为每次训练时使用的训练样本个数，C为通道数，T为时间维度，M为高度维度，N为宽度维度，所述通过预设整形函数将所述三维卷积层转换为二维卷积层的步骤包括：

针对各所述训练样本以及各所述通道，通过预设整形函数将所述三维卷积层的特征图数据按线性排列，以得到(M×N)的一维特征图，再将所所述一维特征图沿着时间维度进行合并，构成输入特征图大小为T×(M×N)的二维卷积层。

5.根据权利要求4所述的卷积神经网络轻量化方法，其特征在于，所述三维卷积核记为t×1×1，其中，t为所述三维卷积核的时间维度，所述三维卷积核的高度为1，所述三维卷积核的宽度为1，所述对所述三维卷积核进行去维度操作以将所述三维卷积核转换为二维卷积核的步骤包括：

去除t×1×1的三维卷积核的宽度维度，获得转换后为t×1的二维卷积核。

6.根据权利要求1所述的卷积神经网络轻量化方法，其特征在于，所述三维池化层的输入特征图记为B×C×T×M×N，B为每次训练时使用的训练样本个数，C为通道数，T为时间维度，M为高度维度，N为宽度维度，所述通过所述预设整形函数对所述三维池化层进行整形操作，并对整形操作后的三维池化层进行池化操作以将所述三维池化层转换为二维池化层，获得转换后的二维卷积神经网络的步骤包括：

针对各所述训练样本以及各所述通道，通过预设整形函数将输入特征图大小为T×M×N的三维池化层转换为输入特征图大小为(T×M)×N的初步输出二维池化层；

对输入特征图大小为(T×M)×N的初步输出二维池化层进行池化操作，获得输出特征图大小为(T₁×M₁)×N₁的二维池化层；

根据所述二维卷积层、二维卷积核及二维池化层构成转换后的二维卷积神经网络。

7.根据权利要求6所述的卷积神经网络轻量化方法，其特征在于，所述对输入特征图大小为(T×M)×N的初步输出二维池化层进行池化操作，获得输出特征图大小为(T₁×M₁)×N₁的二维池化层的步骤包括：

以池化内核K₂×K₃，并按池化步长S₂×S₃对输入特征图为(T×M)×N的初步输出二维池化层的空间维度进行池化操作，获得输出特征图大小为(T×M₁)×N₁的二维池化层，其中，所述空间维度为所述高度维度与宽度维度所构成；

通过预设整形函数将所述输出特征图大小为(T×M₁)×N₁的二维池化层，转换为输出特征图大小为T×(M₁×N₁)的二维池化层；

以池化内核K₁×1，并按池化步长S₁×1对输出特征图大小为T×(M₁×N₁)的二维池化层的时间维度进行池化操作，获得输出特征图大小为(T₁×M₁)×N₁的二维池化层。

8.根据权利要求1-7任意一项所述的卷积神经网络轻量化方法，其特征在于，所述方法还包括：

在转换后的二维卷积层或转换后的二维池化层的基础上，对得到的卷积神经网络中的高度维度和宽度维度进行添零或去除行操作，以对所述卷积神经网络进行调整。

9.一种卷积神经网络轻量化装置，其特征在于，针对于包括三维卷积层、三维池化层和三维卷积核的三维卷积神经网络，所述装置包括：

卷积层转换模块，用于通过预设整形函数将所述三维卷积层转换为二维卷积层；

卷积核转换模块，用于对所述三维卷积核进行去维度操作以将所述三维卷积核转换为二维卷积核；

池化层转换模块，用于通过所述预设整形函数对所述三维池化层进行整形操作，并对整形操作后的三维池化层进行池化操作以将所述三维池化层转换为二维池化层，获得转换后的二维卷积神经网络。

10.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1-8任意一项所述的方法步骤。