CN109766949A - 卷积神经网络轻量化方法、装置及电子设备 - Google Patents
卷积神经网络轻量化方法、装置及电子设备 Download PDFInfo
- Publication number
- CN109766949A CN109766949A CN201910042679.3A CN201910042679A CN109766949A CN 109766949 A CN109766949 A CN 109766949A CN 201910042679 A CN201910042679 A CN 201910042679A CN 109766949 A CN109766949 A CN 109766949A
- Authority
- CN
- China
- Prior art keywords
- dimensional convolution
- dimensional
- layer
- converted
- pond layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Analysis (AREA)
Abstract
本发明实施例提供一种卷积神经网络轻量化方法、装置及电子设备,通过预设整形函数将三维神经网络中的三维卷积层转换为二维卷积层。对三维卷积核进行去维度操作以将所述三维卷积核转换为二维卷积核。通过所述预设整形函数对三维池化层进行整形操作,并对整形操作后的三维池化层进行池化操作以将所述三维池化层转换为二维池化层,根据所述二维卷积层、二维卷积核及二维池化层构成转换后的二维卷积神经网络。使得三维神经网络能够在多种深度学习加速引擎上能够使用,极大的提高了三维卷积在实际应用上的效率。
Description
技术领域
本发明涉及行为识别技术领域,具体而言,涉及一种卷积神经网络轻量化方法、装置及电子设备。
背景技术
行为识别的主要目标是根据一段视频来判断一个人的行为,智能监控、人机交互、机器人等诸多应用的一项基础技术。随着深度学习技术的不断发展,越来越多的深度学习方法被应用到行为识别的领域当中。和传统的图像识别不同,人的行为来自于连续多帧图像,从多帧图像整体获得的时间信息会更有利于行为的识别,所以最近出现了多种基于视频的行为识别的深度学习模型。
C3D(Convolutional 3D)模型在传统的二维卷积神经网路的空间域的基础上,增加了一个时间的维度,能够更好的提取行为的时间特征,而且相对双流法等有较快的速度。虽然用C3D卷积进行特征提取可以同时考虑到空间和时间维度的特征,但是计算成本和模型存储还是太大,所以P3D(Pseudo-3D ResNet)网络对三维卷积进行了改造,将一个t×m×n的卷积核分为时间域上的t×1×1的卷积核和空间域上的1×m×n的卷积核,可以减少计算量和储存量,这样就允许在更大的基础网络模型上训练三维神经网络。同样时间和空间域的分离也让整个优化过程分开,使得优化过程更加容易,两个子卷积核之间增加的非线性操作,增加了网络的非线性。在同样运算力的情况下,P3D网络能获得更好的效果。
为了在嵌入式平台等移动端获得更快的速度来降低成本,我们往往需要将卷积模型应用到适用平台的加速引擎上。但作为一种新的神经网络层结构,三维卷积层与三维池化层在一些加速引擎上是不能支持的,这就极大的影响了三维卷积在实际应用上的效率。
发明内容
有鉴于此,本申请的目的在于,提供一种卷积神经网络轻量化方法、装置及电子设备以改善上述问题。
本申请实施例提供一种卷积神经网络轻量化方法,针对于包括三维卷积层、三维池化层和三维卷积核的三维卷积神经网络,所述方法包括:
通过预设整形函数将所述三维卷积层转换为二维卷积层;
对所述三维卷积核进行去维度操作以将所述三维卷积核转换为二维卷积核;
通过所述预设整形函数对所述三维池化层进行整形操作,并对整形操作后的三维池化层进行池化操作以将所述三维池化层转换为二维池化层,获得转换后的二维卷积神经网络。
进一步地,所述三维卷积层的输入特征图记为B×C×T×M×N,其中,B为每次训练时使用的训练样本个数,C为通道数,T为时间维度,M为高度维度,N为宽度维度,所述通过预设整形函数将所述三维卷积层转换为二维卷积层的步骤包括:
针对各所述训练样本以及各所述通道,通过预设整形函数将所述三维卷积层在不同时间维度上的高度维度进行合并,根据合并后的高度维度以及所述宽度维度构成转换后输入特征图大小为(T×M)×N的二维卷积层。
进一步地,所述三维卷积核记为1×m×n,其中,所述三维卷积核的时间维度为1,m为所述三维卷积核的高度维度,n为所述三维卷积核的宽度维度,所述对所述三维卷积核进行去维度操作以将所述三维卷积核转换为二维卷积核的步骤包括:
去除1×m×n的三维卷积核的时间维度,获得转换后为m×n的二维卷积核。
进一步地,所述三维卷积层的输入特征图记为B×C×T×M×N,其中,B为每次训练时使用的训练样本个数,C为通道数,T为时间维度,M为高度维度,N为宽度维度,所述通过预设整形函数将所述三维卷积层转换为二维卷积层的步骤包括:
针对各所述训练样本以及各所述通道,通过预设整形函数将所述三维卷积层的特征图数据按线性排列,以得到(M×N)的一维特征图,再将所所述一维特征图沿着时间维度进行合并,构成输入特征图大小为T×(M×N)的二维卷积层。
进一步地,所述三维卷积核记为t×1×1,其中,t为所述三维卷积核的时间维度,所述三维卷积核的高度为1,所述三维卷积核的宽度为1,所述对所述三维卷积核进行去维度操作以将所述三维卷积核转换为二维卷积核的步骤包括:
去除t×1×1的三维卷积核的宽度维度,获得转换后为t×1的二维卷积核。
进一步地,所述三维池化层的输入特征图记为B×C×T×M×N,B为每次训练时使用的训练样本个数,C为通道数,T为时间维度,M为高度维度,N为宽度维度,所述通过所述预设整形函数对所述三维池化层进行整形操作,并对整形操作后的三维池化层进行池化操作以将所述三维池化层转换为二维池化层,获得转换后的二维卷积神经网络的步骤包括:
针对各所述训练样本以及各所述通道,通过预设整形函数将输入特征图大小为T×M×N的三维池化层转换为输入特征图大小为(T×M)×N的初步输出二维池化层;
对输入特征图大小为(T×M)×N的初步输出二维池化层进行池化操作,获得输出特征图大小为(T1×M1)×N1的二维池化层;
根据所述二维卷积层、二维卷积核及二维池化层构成转换后的二维卷积神经网络。
进一步地,所述对输入特征图大小为(T×M)×N的初步输出二维池化层进行池化操作,获得输出特征图大小为(T1×M1)×N1的二维池化层的步骤包括:
以池化内核K2×K3,并按池化步长S2×S3对输入特征图大小为(T×M)×N的初步输出二维池化层的空间维度进行池化操作,获得输出特征图大小为(T×M1)×N1的二维池化层,其中,所述空间维度为所述高度维度与宽度维度所构成。
通过预设整形函数将所述输出特征图大小为(T×M1)×N1的二维池化层,转换为输出特征图大小为T×(M1×N1)的二维池化层;
以池化内核K1×1,并按池化步长S1×1对输出特征图大小为T×(M1×N1)的二维池化层的时间维度进行池化操作,获得输出特征图大小为(T1×M1)×N1的二维池化层。
进一步地,所述方法还包括:
在转换后的二维卷积层或转换后的二维池化层的基础上,对得到的卷积神经网络中的高度维度和宽度维度进行添零或去除行操作,以对所述卷积神经网络进行调整。
进一步地,针对于包括三维卷积层、三维池化层和三维卷积核的三维卷积神经网络,所述装置包括:
卷积层转换模块,用于通过预设整形函数将所述三维卷积层转换为二维卷积层。
卷积核转换模块,用于对所述三维卷积核进行去维度操作以将所述三维卷积核转换为二维卷积核。
池化层转换模块,用于通过所述预设整形函数对所述三维池化层进行整形操作,并对整形操作后的三维池化层进行池化操作以将所述三维池化层转换为二维池化层,获得转换后的二维卷积神经网络。
本发明实施例还提供了一种电子设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述程序时实现上述的方法步骤。
本发明实施例提供一种卷积神经网络轻量化方法、装置及电子设备,通过预设整形函数将三维卷积层转换为二维卷积层。对三维卷积核进行去维度操作以将所述三维卷积核转换为二维卷积核。通过所述预设整形函数对三维池化层进行整形操作,并对整形操作后的三维池化层进行池化操作以将所述三维池化层转换为二维池化层,根据所述二维卷积层、二维卷积核及二维池化层构成转换后的二维卷积神经网络。使得三维神经网络能够在多种深度学习加速引擎上能够使用,极大的提高了三维卷积在实际应用上的效率。
为使本发明的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的电子设备的结构框图。
图2为本申请实施例提供的卷积神经网络轻量化方法的流程图。
图3为本申请实施例提供的卷积神经网络轻量化方法的示意图之一。
图4为本申请实施例提供的卷积神经网络轻量化方法的示意图之二。
图5为本申请实施例提供的卷积神经网络轻量化方法的示意图之三。
图6为本申请实施例提供的卷积神经网络轻量化方法的另一流程图。
图7为本申请实施例提供的卷积神经网络轻量化装置的功能模块框图。
图标:100-电子设备;110-卷积神经网络轻量化装置;111-卷积层转换模块;112-卷积核转换模块;113-池化层转换模块;120-处理器;130-存储器。
具体实施方式
下面将结合本发明实施例中附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
由于在一些加速引擎上不能支持三维卷积层与三维池化层,因此,发明人经过实践,考虑是否能将三维卷积层及三维池化层转化为相近的二维卷积层和二维池化层,而C3D网络中t×m×n的卷积核并没有相对直接的能够转化为二维卷积的方法。本发明通过将P3D网络中的t×1×1的卷积核及1×m×n的卷积核转换为二维卷积,将三维池化层转换为二维池化层,将整个P3D网络从三维卷积神经网络转换为二维卷积神经网络,使得三维神经网络能够在多种深度学习加速引擎上能够使用。
如图1所示,本发明实施例基于上述研究发现提供了一种电子设备100,所述电子设备100包括存储器130、处理器120和卷积神经网络轻量化装置110。
所述存储器130和处理器120之间直接或间接地电性连接,以实现数据的传输或交互。例如,这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。所述卷积神经网络轻量化装置110包括至少一个可以软件或固件(firmware)的形式存储于所述存储器130中的软件功能模块。所述处理器120用于执行所述存储器130中存储的可执行的计算机程序,例如,所述卷积神经网络轻量化装置110所包括的软件功能模块及计算机程序等,以实现卷积神经网络轻量化方法。
其中,所述存储器130可以是,但不限于,随机存取存储器(Random AccessMemory,RAM),只读存储器(Read Only Memory,ROM),可编程只读存储器(ProgrammableRead-Only Memory,PROM),可擦除只读存储器(Erasable Programmable Read-OnlyMemory,EPROM),电可擦除只读存储器(Electric Erasable Programmable Read-OnlyMemory,EEPROM)等。其中,存储器130用于存储程序,所述处理器120在接收到执行指令后,执行所述程序。
所述处理器120可能是一种集成电路芯片,具有信号的处理能力。上述的处理器120可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(Network Processor,NP)等;还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器120也可以是任何常规的处理器等。
可以理解,图1所示的结构仅为示意,所述电子设备100还可包括比图1中所示更多或者更少的组件,或者具有与图1所示不同的配置。图1中所示的各组件可以采用硬件、软件或其组合实现。
可选地,所述电子设备100的具体类型不受限制,例如,可以是,但不限于,智能手机、个人电脑(personal computer,PC)、平板电脑、个人数字助理(personal digitalassistant,PDA)、移动上网设备(mobile Internet device,MID)、web(网站)服务器、数据服务器等具有处理功能的设备。
结合图2,本发明实施例还提供一种可应用于上述电子设备100的卷积神经网络轻量化方法,针对于包括三维卷积层、三维池化层和三维卷积核的三维卷积神经网络。其中,所述方法有关的流程所定义的方法步骤可以由所述处理器120实现。下面将对图2所示的具体流程进行详细阐述。
S1,通过预设整形函数将所述三维卷积层转换为二维卷积层。
S2,对所述三维卷积核进行去维度操作以将所述三维卷积核转换为二维卷积核。
预先的,通过训练集与测试集对搭建好的三维卷积网络训练学习,得到我们需要的三维卷积网络。这里的训练方法步骤可参考现有技术,在此不做赘述。
具体地,请参阅图3,本发明实施例中的一种实施方式是,所述三维卷积层的输入特征图记为B×C×T×M×N,其中,B为每次训练时使用的训练样本个数,C为通道数,T为时间维度,M为高度维度,N为宽度维度,针对各所述训练样本以及各所述通道,通过预设整形函数将所述三维卷积层在不同时间维度上的高度维度进行合并,根据合并后的高度维度以及所述宽度维度构成转换后输入特征图大小为(T×M)×N的二维卷积层。
针对各所述训练样本以及各个单通道,所述卷积层的输入特征图记为T×M×N,根据训练的特征图在卷积层中对应的内存顺序,将所述时间维度为1的M×N的特征图,所述时间维度对应2的M×N的特征图,到时间维度对应T的M×N的特征图,分别从三维特征图中提起出来,得到T个M×N的特征图,将这T个M×N的特征图,沿高度维度合并在一起,根据合并后的高度维度以及所述宽度维度构成转换后输入特征图大小为(T×M)×N的二维卷积层,新的特征图并不会改变特征值在卷积层中对应的内存顺序。
需要注意的是,在拆分所述特征图对应的卷积层时,为了确保卷积核从一张特征图遍历到下一张特征图的过程中,被卷积数值不发生改变,通常在转换后的二维卷积层的基础上,对得到的卷积神经网络中的高度维度和宽度维度进行添零或去除行操作,以使卷积核遍历到每个数据,达到和原三维卷积网络相同的结果。
可以理解的是,为了使得卷积核遍历到特征图的每个数据,三维卷积层会在特征图的边缘添零,而转换后的二维卷积则是相当于补了下一帧特征图的第一行数据或是上一帧特征图的最后一行数据,这会导致转换后二维卷积层存在偏差。因此,在三维卷积层转换为二维卷积层后需要对所述特征图进行调整操作,再次使用预设量的数据对所述二维卷积层重新训练。
进一步,所述三维卷积核记为1×m×n,其中,所述三维卷积核的时间维度为1,m为所述三维卷积核的高度维度,n为所述三维卷积核的宽度维度,去除1×m×n的三维卷积核的时间维度,获得转换后为m×n的二维卷积核。
经过转换后输入特征图大小为(T×M)×N的二维卷积层与t×1的二维卷积核卷积后得到为输出特征图大小为(T1×M1)×N1的二维卷积结果。
请参阅图4,本发明实施例中还提供另一种实施方式,所述三维卷积层的输入特征图记为B×C×T×M×N,其中,B为每次训练时使用的训练样本个数,C为通道数,T为时间维度,M为高度维度,N为宽度维度,针对各所述训练样本以及各所述通道,通过预设整形函数将所述三维卷积层的特征图数据按线性排列,以得到(M×N)的一维特征图,再将所所述一维特征图沿着时间维度进行合并,构成输入特征图大小T×(M×N)的二维卷积层。
具体地,针对各所述训练样本以及各个单通道,所述卷积层的输入特征图记为T×M×N,根据训练的特征图在卷积层中对应的内存顺序,将所述时间维度为1的M×N的特征图,所述时间维度对应2的M×N的特征图,到时间维度对应T的M×N的特征图,分别从三维特征图中提起出来,得到T个M×N的特征图,使用整形函数将各个M×N的特征图转换为一维,即将特征图中的数据线性排列,记为(M×N)。再将得到的T个一维特征图(M×N),按时间依次拼合,得到特征图大小为T×(M×N)的二维卷积层,新的特征图并不会改变特征值在卷积层中对应的内存顺序。
可以理解的是,为了使得卷积核遍历到特征图的每个数据,三维卷积层会在特征图的边缘添零,而转换后的二维卷积则是相当于补了下一帧特征图的第一行数据或是上一帧特征图的最后一行数据,这会导致转换后二维卷积层存在偏差。因此,在三维卷积层转换为二维卷积层后需要对所述特征图进行调整操作,再次使用预设量的数据对所述二维卷积层重新训练。
进一步地,所述三维卷积核记为t×1×1,其中,t为所述三维卷积核的时间维度,所述三维卷积核的高度为1,所述三维卷积核的宽度为1,去除t×1×1的三维卷积核的宽度维度,获得转换后为t×1的二维卷积核。
经过转换后的输入特征图大小为T×(M×N)的二维卷积层与t×1的二维卷积核卷积后得到输出特征图大小为T1×(M1×N1)的二维卷积结果。
S3,通过所述预设整形函数对所述三维池化层进行整形操作,并对整形操作后的三维池化层进行池化操作以将所述三维池化层转换为二维池化层,获得转换后的二维卷积神经网络。
请结合参阅图5与图6,所述三维池化层的输入特征图的大小记为B×C×T×M×N,B为每次训练时使用的训练样本个数,C为通道数,T为时间维度,M为高度维度,N为宽度维度,
S31,针对各所述训练样本以及各所述通道,通过预设整形函数将输入特征图大小为T×M×N的三维池化层转换为输入特征图大小为(T×M)×N的初步输出二维池化层。
S32,对输入特征图大小为(T×M)×N的初步输出二维池化层进行池化操作,获得输出特征图大小为(T1×M1)×N1的二维池化层。
具体地,本发明实施例中,所述池化操作包括最大值池化和均值池化,在实际使用中,可根据需求选择。本发明实施例中池化内核大小分别为K1、K2和K3,所述池化步长分别为S1、S2和S3。
具体实施时,以池化内核K2×K3,并按池化步长S2×S3对(T×M)×N的初步输出二维池化层的空间维度进行池化操作,获得特征图大小为(T×M1)×N1的二维池化层,其中,所述空间维度为所述高度维度与宽度维度所构成。
通过预设整形函数将特征图大小为(T×M1)×N1的二维池化层,转换为T×(M1×N1)的二维池化层。
以池化内核K1×1,并按池化步长S1×1,对特征图大小为T×(M1×N1)的二维池化层的时间维度进行池化操作,获得输出特征图大小为(T1×M1)×N1的二维池化层。
需要注意的是,在拆分所述特征图对应的池化层时,为了确保池化内核从一张特征图遍历到下一张特征图的过程中,被卷积数值不发生改变,通常在转换后的二维池化层的基础上,对得到的卷积神经网络中的高度维度和宽度维度进行添零或去除行操作,以对所述卷积神经网络进行调整。达到和原三维卷积网络相同的结果。
S33,根据所述二维卷积层、二维卷积核及二维池化层构成转换后的二维卷积神经网络。
请参阅图7,本发明实施例还提供一种卷积神经网络轻量化装置110,针对于包括三维卷积层、三维池化层和三维卷积核的三维卷积神经网络,所述装置包括:
卷积层转换模块111,用于通过预设整形函数将所述三维卷积层转换为二维卷积层。
卷积核转换模块112,用于对所述三维卷积核进行去维度操作以将所述三维卷积核转换为二维卷积核。
池化层转换模块113,用于通过所述预设整形函数对所述三维池化层进行整形操作,并对整形操作后的三维池化层进行池化操作以将所述三维池化层转换为二维池化层,获得转换后的二维卷积神经网络。
可以理解的是,本实施例中的各功能模块的具体操作方法可参照上述方法实施例中相应步骤的详细描述,在此不再重复赘述。
综上所述,本发明实施例提供一种卷积神经网络轻量化方法、装置及电子设备,通过预设整形函数将三维卷积层转换为二维卷积层。对三维卷积核进行去维度操作以将所述三维卷积核转换为二维卷积核。通过所述预设整形函数对三维池化层进行整形操作,并对整形操作后的三维池化层进行池化操作以将所述三维池化层转换为二维池化层,根据所述二维卷积层、二维卷积核及二维池化层构成转换后的二维卷积神经网络。使得三维神经网络能够在多种深度学习加速引擎上能够使用,极大的提高了三维卷积在实际应用上的效率。
在本申请所提供的实施例中,应该理解到,所揭露的装置和方法,也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,附图中的流程图和框图显示了根据本发明的实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现方式中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的***来实现,或者可以用专用硬件与计算机指令的组合来实现。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。
Claims (10)
1.一种卷积神经网络轻量化方法,其特征在于,针对于包括三维卷积层、三维池化层和三维卷积核的三维卷积神经网络,所述方法包括:
通过预设整形函数将所述三维卷积层转换为二维卷积层;
对所述三维卷积核进行去维度操作以将所述三维卷积核转换为二维卷积核;
通过所述预设整形函数对所述三维池化层进行整形操作,并对整形操作后的三维池化层进行池化操作以将所述三维池化层转换为二维池化层,获得转换后的二维卷积神经网络。
2.根据权利要求1所述的卷积神经网络轻量化方法,其特征在于,所述三维卷积层的输入特征图记为B×C×T×M×N,其中,B为每次训练时使用的训练样本个数,C为通道数,T为时间维度,M为高度维度,N为宽度维度,所述通过预设整形函数将所述三维卷积层转换为二维卷积层的步骤包括:
针对各所述训练样本以及各所述通道,通过预设整形函数将所述三维卷积层在不同时间维度上的高度维度进行合并,根据合并后的高度维度以及所述宽度维度构成转换后输入特征图大小为(T×M)×N的二维卷积层。
3.根据权利要求2所述的卷积神经网络轻量化方法,其特征在于,所述三维卷积核记为1×m×n,其中,所述三维卷积核的时间维度为1,m为所述三维卷积核的高度维度,n为所述三维卷积核的宽度维度,所述对所述三维卷积核进行去维度操作以将所述三维卷积核转换为二维卷积核的步骤包括:
去除1×m×n的三维卷积核的时间维度,获得转换后为m×n的二维卷积核。
4.根据权利要求1所述的卷积神经网络轻量化方法,其特征在于,所述三维卷积层的输入特征图记为B×C×T×M×N,其中,B为每次训练时使用的训练样本个数,C为通道数,T为时间维度,M为高度维度,N为宽度维度,所述通过预设整形函数将所述三维卷积层转换为二维卷积层的步骤包括:
针对各所述训练样本以及各所述通道,通过预设整形函数将所述三维卷积层的特征图数据按线性排列,以得到(M×N)的一维特征图,再将所所述一维特征图沿着时间维度进行合并,构成输入特征图大小为T×(M×N)的二维卷积层。
5.根据权利要求4所述的卷积神经网络轻量化方法,其特征在于,所述三维卷积核记为t×1×1,其中,t为所述三维卷积核的时间维度,所述三维卷积核的高度为1,所述三维卷积核的宽度为1,所述对所述三维卷积核进行去维度操作以将所述三维卷积核转换为二维卷积核的步骤包括:
去除t×1×1的三维卷积核的宽度维度,获得转换后为t×1的二维卷积核。
6.根据权利要求1所述的卷积神经网络轻量化方法,其特征在于,所述三维池化层的输入特征图记为B×C×T×M×N,B为每次训练时使用的训练样本个数,C为通道数,T为时间维度,M为高度维度,N为宽度维度,所述通过所述预设整形函数对所述三维池化层进行整形操作,并对整形操作后的三维池化层进行池化操作以将所述三维池化层转换为二维池化层,获得转换后的二维卷积神经网络的步骤包括:
针对各所述训练样本以及各所述通道,通过预设整形函数将输入特征图大小为T×M×N的三维池化层转换为输入特征图大小为(T×M)×N的初步输出二维池化层;
对输入特征图大小为(T×M)×N的初步输出二维池化层进行池化操作,获得输出特征图大小为(T1×M1)×N1的二维池化层;
根据所述二维卷积层、二维卷积核及二维池化层构成转换后的二维卷积神经网络。
7.根据权利要求6所述的卷积神经网络轻量化方法,其特征在于,所述对输入特征图大小为(T×M)×N的初步输出二维池化层进行池化操作,获得输出特征图大小为(T1×M1)×N1的二维池化层的步骤包括:
以池化内核K2×K3,并按池化步长S2×S3对输入特征图为(T×M)×N的初步输出二维池化层的空间维度进行池化操作,获得输出特征图大小为(T×M1)×N1的二维池化层,其中,所述空间维度为所述高度维度与宽度维度所构成;
通过预设整形函数将所述输出特征图大小为(T×M1)×N1的二维池化层,转换为输出特征图大小为T×(M1×N1)的二维池化层;
以池化内核K1×1,并按池化步长S1×1对输出特征图大小为T×(M1×N1)的二维池化层的时间维度进行池化操作,获得输出特征图大小为(T1×M1)×N1的二维池化层。
8.根据权利要求1-7任意一项所述的卷积神经网络轻量化方法,其特征在于,所述方法还包括:
在转换后的二维卷积层或转换后的二维池化层的基础上,对得到的卷积神经网络中的高度维度和宽度维度进行添零或去除行操作,以对所述卷积神经网络进行调整。
9.一种卷积神经网络轻量化装置,其特征在于,针对于包括三维卷积层、三维池化层和三维卷积核的三维卷积神经网络,所述装置包括:
卷积层转换模块,用于通过预设整形函数将所述三维卷积层转换为二维卷积层;
卷积核转换模块,用于对所述三维卷积核进行去维度操作以将所述三维卷积核转换为二维卷积核;
池化层转换模块,用于通过所述预设整形函数对所述三维池化层进行整形操作,并对整形操作后的三维池化层进行池化操作以将所述三维池化层转换为二维池化层,获得转换后的二维卷积神经网络。
10.一种电子设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现权利要求1-8任意一项所述的方法步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910042679.3A CN109766949A (zh) | 2019-01-17 | 2019-01-17 | 卷积神经网络轻量化方法、装置及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910042679.3A CN109766949A (zh) | 2019-01-17 | 2019-01-17 | 卷积神经网络轻量化方法、装置及电子设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109766949A true CN109766949A (zh) | 2019-05-17 |
Family
ID=66452424
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910042679.3A Pending CN109766949A (zh) | 2019-01-17 | 2019-01-17 | 卷积神经网络轻量化方法、装置及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109766949A (zh) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110619387A (zh) * | 2019-09-12 | 2019-12-27 | 复旦大学 | 一种基于卷积神经网络的通道扩展方法 |
CN111368941A (zh) * | 2020-04-10 | 2020-07-03 | 浙江大华技术股份有限公司 | 一种图像处理方法、装置以及计算机存储介质 |
CN111882028A (zh) * | 2020-06-08 | 2020-11-03 | 北京大学深圳研究生院 | 用于卷积神经网络的卷积运算装置 |
CN111988666A (zh) * | 2019-05-23 | 2020-11-24 | 阿里巴巴集团控股有限公司 | 视频检测、3d卷积与映射方法、设备及存储介质 |
CN111985617A (zh) * | 2020-08-14 | 2020-11-24 | 杭州海康威视数字技术股份有限公司 | 3d卷积神经网络在神经网络处理器上的处理方法和装置 |
CN112215329A (zh) * | 2019-07-09 | 2021-01-12 | 杭州海康威视数字技术股份有限公司 | 基于神经网络的卷积计算方法及装置 |
CN112215330A (zh) * | 2019-07-09 | 2021-01-12 | 杭州海康威视数字技术股份有限公司 | 基于神经网络的卷积方法及装置 |
CN112329925A (zh) * | 2020-11-26 | 2021-02-05 | 北京奇艺世纪科技有限公司 | 模型生成方法、特征提取方法、装置及电子设备 |
CN113191193A (zh) * | 2021-03-30 | 2021-07-30 | 河海大学 | 一种基于图和格子的卷积方法 |
-
2019
- 2019-01-17 CN CN201910042679.3A patent/CN109766949A/zh active Pending
Cited By (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111988666A (zh) * | 2019-05-23 | 2020-11-24 | 阿里巴巴集团控股有限公司 | 视频检测、3d卷积与映射方法、设备及存储介质 |
CN111988666B (zh) * | 2019-05-23 | 2022-04-26 | 阿里巴巴集团控股有限公司 | 视频检测、3d卷积与映射方法、设备及存储介质 |
CN112215329A (zh) * | 2019-07-09 | 2021-01-12 | 杭州海康威视数字技术股份有限公司 | 基于神经网络的卷积计算方法及装置 |
CN112215330A (zh) * | 2019-07-09 | 2021-01-12 | 杭州海康威视数字技术股份有限公司 | 基于神经网络的卷积方法及装置 |
CN112215330B (zh) * | 2019-07-09 | 2024-04-26 | 杭州海康威视数字技术股份有限公司 | 基于神经网络的卷积方法及装置 |
CN112215329B (zh) * | 2019-07-09 | 2023-09-29 | 杭州海康威视数字技术股份有限公司 | 基于神经网络的卷积计算方法及装置 |
CN110619387A (zh) * | 2019-09-12 | 2019-12-27 | 复旦大学 | 一种基于卷积神经网络的通道扩展方法 |
CN110619387B (zh) * | 2019-09-12 | 2023-06-20 | 复旦大学 | 一种基于卷积神经网络的通道扩展方法 |
CN111368941B (zh) * | 2020-04-10 | 2023-09-01 | 浙江大华技术股份有限公司 | 一种图像处理方法、装置以及计算机存储介质 |
CN111368941A (zh) * | 2020-04-10 | 2020-07-03 | 浙江大华技术股份有限公司 | 一种图像处理方法、装置以及计算机存储介质 |
CN111882028A (zh) * | 2020-06-08 | 2020-11-03 | 北京大学深圳研究生院 | 用于卷积神经网络的卷积运算装置 |
CN111882028B (zh) * | 2020-06-08 | 2022-04-19 | 北京大学深圳研究生院 | 用于卷积神经网络的卷积运算装置 |
CN111985617A (zh) * | 2020-08-14 | 2020-11-24 | 杭州海康威视数字技术股份有限公司 | 3d卷积神经网络在神经网络处理器上的处理方法和装置 |
CN111985617B (zh) * | 2020-08-14 | 2023-09-26 | 杭州海康威视数字技术股份有限公司 | 3d卷积神经网络在神经网络处理器上的处理方法和装置 |
CN112329925B (zh) * | 2020-11-26 | 2023-12-15 | 北京奇艺世纪科技有限公司 | 模型生成方法、特征提取方法、装置及电子设备 |
CN112329925A (zh) * | 2020-11-26 | 2021-02-05 | 北京奇艺世纪科技有限公司 | 模型生成方法、特征提取方法、装置及电子设备 |
CN113191193A (zh) * | 2021-03-30 | 2021-07-30 | 河海大学 | 一种基于图和格子的卷积方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109766949A (zh) | 卷积神经网络轻量化方法、装置及电子设备 | |
CN110020620B (zh) | 一种大姿态下的人脸识别方法、装置及设备 | |
Chen et al. | An enhanced hybrid MobileNet | |
CN109492612B (zh) | 基于骨骼点的跌倒检测方法及其跌倒检测装置 | |
US20220215227A1 (en) | Neural Architecture Search Method, Image Processing Method And Apparatus, And Storage Medium | |
CN110197182A (zh) | 基于上下文信息和注意力机制的遥感影像语义分割方法 | |
CN109784372B (zh) | 一种基于卷积神经网络的目标分类方法 | |
CN108921942B (zh) | 对图像进行2d转制3d的方法及装置 | |
CN111260037A (zh) | 图像数据的卷积运算方法、装置、电子设备及存储介质 | |
CN113221787A (zh) | 基于多元差异性融合的行人多目标跟踪方法 | |
CN113469074B (zh) | 基于孪生注意力融合网络的遥感图像变化检测方法及*** | |
CN112819007B (zh) | 图像识别方法、装置、电子设备及存储介质 | |
EP4401007A1 (en) | Neural network acquisition method, data processing method and related device | |
KR20200102409A (ko) | 키 프레임 스케줄링 방법 및 장치, 전자 기기, 프로그램과 매체 | |
TW202101304A (zh) | 使用像素通道置亂的卷積神經網路的演算方法與系統 | |
CN111709415B (zh) | 目标检测方法、装置、计算机设备和存储介质 | |
CN115018039A (zh) | 一种神经网络蒸馏方法、目标检测方法以及装置 | |
CN114821096A (zh) | 一种图像处理方法、神经网络的训练方法以及相关设备 | |
Lv et al. | An inverted residual based lightweight network for object detection in sweeping robots | |
US9311523B1 (en) | Method and apparatus for supporting object recognition | |
Sun et al. | Mixed context networks for semantic segmentation | |
CN113139490B (zh) | 一种图像特征匹配方法、装置、计算机设备及存储介质 | |
CN113378722B (zh) | 基于3d卷积和多级语义信息融合的行为识别方法及*** | |
CN113554655B (zh) | 基于多特征增强的光学遥感图像分割方法及装置 | |
Happ et al. | Towards distributed region growing image segmentation based on MapReduce |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190517 |