CN107967459A - 卷积处理方法、装置及存储介质 - Google Patents

卷积处理方法、装置及存储介质 Download PDF

Info

Publication number
CN107967459A
CN107967459A CN201711283903.5A CN201711283903A CN107967459A CN 107967459 A CN107967459 A CN 107967459A CN 201711283903 A CN201711283903 A CN 201711283903A CN 107967459 A CN107967459 A CN 107967459A
Authority
CN
China
Prior art keywords
convolution kernel
convolution
sub
kernel
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711283903.5A
Other languages
English (en)
Other versions
CN107967459B (zh
Inventor
万韶华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Xiaomi Mobile Software Co Ltd
Original Assignee
Beijing Xiaomi Mobile Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Xiaomi Mobile Software Co Ltd filed Critical Beijing Xiaomi Mobile Software Co Ltd
Priority to CN201711283903.5A priority Critical patent/CN107967459B/zh
Publication of CN107967459A publication Critical patent/CN107967459A/zh
Application granted granted Critical
Publication of CN107967459B publication Critical patent/CN107967459B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本公开是关于一种卷积处理方法及装置,属于图像处理技术领域。所述方法包括:当需要对目标特征图进行卷积处理时,对于至少一个卷积核中的每个卷积核,根据该卷积核包括的至少两个子卷积核中每个子卷积核的加权系数对该目标特征图进行卷积处理,得到与每个卷积核对应的激活图。也即,在本公开实施例中,当通过一个卷积核对目标特征图进行卷积处理时,是通过该卷积核包括的子卷积核对该目标特征图进行卷积处理。由于子卷积核的高度、宽度和通道数三个参数中存在至少一个参数为1,因此可以降低一次卷积处理过程中的计算量,提高了通过卷积处理进行人脸识别的速度。

Description

卷积处理方法、装置及存储介质
技术领域
本公开涉及图像处理技术领域,尤其涉及一种卷积处理方法、装置及存储介质。
背景技术
近年来,随着图像处理技术的发展,CNN(Convolution Neural Network,卷积神经网络)模型因其无需对图像进行复杂的预处理而得到广泛的应用。尤其在通过图像进行人脸识别的过程中,利用CNN模型中卷积层和池化层依次对该图像进行卷积处理和池化处理,可以快速提取该图像中的特征,以实现快速进行人脸识别。其中,卷积处理作为池化处理的预处理步骤,对实现快速进行人脸识别起着至关重要的作用。
相关技术中,当需要对图像进行卷积处理时,确定该图像的特征图(FeatureMap),并对该图像的特征图进行卷积处理,得到激活图(Activation Map),以便后续对该激活图进行池化处理。其中,该图像的特征图采用三个参数来描述,分别为高度、宽度和通道数,高度和宽度分别是该图像在高度方向的像素大小和在宽度方向的像素大小,通道数是指描述该图像的变量的个数。比如,对于采用RGB(Red、Green、Blue,三原色光模式)方式描述的图像,该图像的像素大小为120×240,则该图像的特征图的高度为120、宽度为240、通道数为3。
如图1所示,将描述该特征图的三个参数,即高度、宽度和通道数分别标记为H、W和C。当对该特征图进行卷积处理时,获取已经训练的卷积核,该卷积核也包括三个参数,即高度、宽度和通道数,并且实际应用中,该卷积核通常为正方形卷积核,也即卷积核的高度和宽度相同,如图1所示,将卷积核的高度、宽度和深度分别标记为t、t和C。假设卷积的步长为1,则按照每次移动一个像素点的方式将该卷积核依次滑过该特征图,在卷积核每移动一次之后,确定该特征图中与该卷积核所处位置对应的局部区域内的像素点,并将确定的像素点的像素值按照该卷积核中对应的加权系数进行加权处理,得到激活图中对应像素点处的像素值。当卷积核滑过该整个图像时,得到与该卷积核对应的激活图中的所有像素点的像素值,也即得到与该卷积核对应的激活图。
发明内容
为克服相关技术中存在的问题,本公开提供了一种卷积处理方法、装置及存储介质。
根据本公开实施例的第一方面,提供一种卷积处理方法,所述方法包括:
确定用于对目标特征图进行卷积处理的至少一个卷积核;
其中,每个卷积核包括至少两个子卷积核,每个子卷积核的高度、宽度和通道数三个参数中存在至少一个参数为1,其他参数与所属的卷积核中对应的参数的大小相同;
根据每个卷积核包括的至少两个子卷积核的加权系数对所述目标特征图进行卷积处理,得到与每个卷积核对应的激活图。
可选地,每个卷积核包括三个子卷积核,每个子卷积核的高度、宽度和通道数三个参数中存在两个参数为1,其他一个参数与所属的卷积核中对应的参数的大小相同;
所述根据每个卷积核包括的至少两个子卷积核的加权系数对所述目标特征图进行卷积处理,包括:
根据第一子卷积核的加权系数,对所述目标特征图进行第一次卷积处理,得到第一卷积图,所述第一子卷积核为目标卷积核包括的三个子卷积核中的任一者,所述目标卷积核为所述至少一个卷积核中的任一者;
根据第二子卷积核的加权系数,对所述第一卷积图进行第二次卷积处理,得到第二卷积图,所述第二子卷积核为所述目标卷积核包括的三个子卷积核中除所述第一子卷积核之外的子卷积核中的任一者;
根据第三子卷积核的加权系数,对所述第二卷积图像进行第三次卷积处理,得到与所述卷积核对应的激活图,所述第三子卷积核为所述目标卷积核包括的三个子卷积核中除所述第一子卷积核和第二子卷积核之外的子卷积核。
可选地,每个卷积核包括两个子卷积核,其中一个子卷积核的高度、宽度和通道数三个参数中存在两个参数为1,其他一个参数与所属的卷积核中对应的参数的大小相同,另一个子卷积核的高度、宽度和通道数三个参数中存在一个参数为1,其他两个参数与所属的卷积核中对应的两个参数的大小相同;
所述根据每个卷积核包括的至少两个子卷积核的加权系数对所述目标特征图进行卷积处理,包括:
根据第一子卷积核的加权系数,对所述目标特征图进行第一次卷积处理,得到第一卷积图,所述第一子卷积核为目标卷积核包括的两个子卷积核中的任一者,所述目标卷积核为所述至少一个卷积核中的任一者;
根据第二子卷积核的加权系数,对所述第一卷积图进行第二次卷积处理,得到与所述卷积核对应的激活图,所述第二子卷积核为所述目标卷积核包括的两个子卷积核中除所述第一子卷积核之外的子卷积核。
可选地,所述确定用于对目标特征图进行卷积处理的至少一个卷积核之前,还包括:
设置所述至少一个卷积核中每个卷积核的高度、宽度和通道数,每个卷积核的通道数和所述目标特征图的通道数相同;
根据每个卷积核的高度、宽度和通道数,确定每个卷积核包括的至少两个子卷积核中每个子卷积核的高度、宽度和通道数;
初始化每个卷积核包括的至少两个子卷积核中的每个子卷积核;
根据训练样本集对初始化后的每个子卷积核进行训练,得到每个子卷积核的加权系数,所述训练样本集包括多张图像。
可选地,所述至少一个卷积核的个数为M,所述M为大于或等于2的正整数;
所述根据训练样本集对初始化后的每个子卷积核进行训练,得到每个子卷积核的加权系数,包括:
将所述M个卷积核分为第一类卷积核和第二类卷积核;
根据所述训练样本集对所述第一类卷积核中初始化后的每个子卷积核进行训练,得到所述第一类卷积核中每个子卷积核的加权系数;
在对所述第一类卷积核中的每个子卷积核进行训练之后,根据所述训练样本集对所述第二类卷积核中初始化后的每个子卷积核进行训练,得到所述第二类卷积核中每个子卷积核的加权系数。
根据本公开实施例的第二方面,提供一种卷积处理装置,所述装置包括:
第一确定模块,用于确定用于对目标特征图进行卷积处理的至少一个卷积核;
其中,每个卷积核包括至少两个子卷积核,每个子卷积核的高度、宽度和通道数三个参数中存在至少一个参数为1,其他参数与所属的卷积核中对应的参数的大小相同;
卷积模块,用于根据每个卷积核包括的至少两个子卷积核的加权系数对所述目标特征图进行卷积处理,得到与每个卷积核对应的激活图。
可选地,每个卷积核包括三个子卷积核,每个子卷积核的高度、宽度和通道数三个参数中存在两个参数为1,其他一个参数与所属的卷积核中对应的参数的大小相同;
所述卷积模块,具体用于:
根据第一子卷积核的加权系数,对所述目标特征图进行第一次卷积处理,得到第一卷积图,所述第一子卷积核为目标卷积核包括的三个子卷积核中的任一者,所述目标卷积核为所述至少一个卷积核中的任一者;
根据第二子卷积核的加权系数,对所述第一卷积图进行第二次卷积处理,得到第二卷积图,所述第二子卷积核为所述目标卷积核包括的三个子卷积核中除所述第一子卷积核之外的子卷积核中的任一者;
根据第三子卷积核的加权系数,对所述第二卷积图像进行第三次卷积处理,得到与所述卷积核对应的激活图,所述第三子卷积核为所述目标卷积核包括的三个子卷积核中除所述第一子卷积核和第二子卷积核之外的子卷积核。
可选地,每个卷积核包括两个子卷积核,其中一个子卷积核的高度、宽度和通道数三个参数中存在两个参数为1,其他一个参数与所属的卷积核中对应的参数的大小相同,另一个子卷积核的高度、宽度和通道数三个参数中存在一个参数为1,其他两个参数与所属的卷积核中对应的两个参数的大小相同;
所述卷积模块,具体用于:
根据第一子卷积核的加权系数,对所述目标特征图进行第一次卷积处理,得到第一卷积图,所述第一子卷积核为目标卷积核包括的两个子卷积核中的任一者,所述目标卷积核为所述至少一个卷积核中的任一者;
根据第二子卷积核的加权系数,对所述第一卷积图进行第二次卷积处理,得到与所述卷积核对应的激活图,所述第二子卷积核为所述目标卷积核包括的两个子卷积核中除所述第一子卷积核之外的子卷积核。
可选地,所述装置还包括:
设置模块,用于设置所述至少一个卷积核中每个卷积核的高度、宽度和通道数,每个卷积核的通道数和所述目标特征图的通道数相同;
第二确定模块,用于根据每个卷积核的高度、宽度和通道数,确定每个卷积核包括的至少两个子卷积核中每个子卷积核的高度、宽度和通道数;
初始化模块,用于初始化每个卷积核包括的至少两个子卷积核中的每个子卷积核;
训练模块,用于根据训练样本集对初始化后的每个子卷积核进行训练,得到每个子卷积核的加权系数,所述训练样本集包括多张图像。
可选地,所述至少一个卷积核的个数为M,所述M为大于或等于2的正整数;
所述训练模块,具体用于:
将所述M个卷积核分为第一类卷积核和第二类卷积核;
根据所述训练样本集对所述第一类卷积核中初始化后的每个子卷积核进行训练,得到所述第一类卷积核中每个子卷积核的加权系数;
在对所述第一类卷积核中的每个子卷积核进行训练之后,根据所述训练样本集对所述第二类卷积核中初始化后的每个子卷积核进行训练,得到所述第二类卷积核中每个子卷积核的加权系数。
根据本公开实施例的第三方面,提供了一种卷积处理装置,所述装置包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为执行上述第一方面所述的方法中任一步骤。
根据本公开实施例的第四方面,提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有指令,所述指令被处理器执行时实现上述第一方面所述的任一方法的步骤。
本公开的实施例提供的技术方案可以包括以下有益效果:
在本公开实施例中,确定用于对目标特征图进行卷积处理的至少一个卷积核,根据每个卷积核包括的至少两个子卷积核中每个子卷积核的加权系数对该目标特征图进行卷积处理,得到与每个卷积核对应的激活图。也即,在本公开实施例中,当通过一个卷积核对目标特征图进行卷积处理时,是通过该卷积核包括的子卷积核对该目标特征图进行卷积处理。由于子卷积核的高度、宽度和通道数三个参数中存在至少一个参数为1,因此,对于如图1所示的特征图和卷积核,在卷积处理过程中的一次加权处理中,相对于直接通过卷积核进行加权处理的计算量为t×t×C,通过子卷积核进行加权处理的计算量为各个子卷积核进行加权处理的计算量的和,该计算量的和相对于t×t×C至少降低t倍或C倍,也即,可以降低一次卷积处理过程中的计算量,提高了通过卷积处理进行人脸识别的速度。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并与说明书一起用于解释本发明的原理。
图1是相关技术提供的一种特征图和卷积核的示意图;
图2是本公开实施例提供的一种卷积处理方法流程图;
图3是本公开实施例提供的另一种卷积处理方法流程图;
图4A是本公开实施例提供的一种卷积处理装置框图;
图4B是本公开实施例提供的另一种卷积处理装置框图;
图5是本公开实施例提供的另一种卷积处理装置框图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
在对本公开实施例进行详细的解释说明之前,先对本公开实施例的应用场景予以介绍。由于相关技术中是通过卷积核直接对图像的特征图进行卷积处理的,对于图1所示的特征图和卷积核,在卷积核每移动一次时,此次加权处理的计算量为t×t×C,因此,一次卷积处理所需的计算量大约为W×H×t×t×C。若当前存在N个卷积核,也即,存在N个卷积层时,则该CNN模型中的所有卷积层进行一次卷积处理所需的计算量为W×H×t×t×C×N。该计算量通常较大,从而影响根据图像进行人脸识别的速度。
因此,本公开实施例提供了一种卷积处理方法,该方法包括:确定用于对目标特征图进行卷积处理的至少一个卷积核,根据每个卷积核包括的至少两个子卷积核中每个子卷积核的加权系数对该目标特征图进行卷积处理,得到与每个卷积核对应的激活图。由于子卷积核的高度、宽度和通道数三个参数中存在至少一个参数为1,因此,对于如图1所示的特征图和卷积核,在卷积处理过程中的一次加权处理中,相对于直接通过卷积核进行加权处理的计算量为t×t×C,通过子卷积核进行加权处理的计算量为各个子卷积核进行加权处理的计算量的和,该计算量的和相对于t×t×C至少降低t倍或C倍,从而可以提高通过卷积处理进行人脸识别的速度。
图2是本公开实施例提供的一种卷积处理方法的流程图,如图2所示,该方法包括以下步骤。
在步骤201中,确定用于对目标特征图进行卷积处理的至少一个卷积核,其中,每个卷积核包括至少两个子卷积核,每个子卷积核的高度、宽度和通道数三个参数中存在至少一个参数为1,其他参数与所属的卷积核中对应的参数的大小相同。
在步骤202中,根据每个卷积核包括的至少两个子卷积核的加权系数对该目标特征图进行卷积处理,得到与每个卷积核对应的激活图。
在本公开实施例中,确定用于对目标特征图进行卷积处理的至少一个卷积核,根据每个卷积核包括的至少两个子卷积核中每个子卷积核的加权系数对该目标特征图进行卷积处理,得到与每个卷积核对应的激活图。也即,在本公开实施例中,当通过一个卷积核对目标特征图进行卷积处理时,是通过该卷积核包括的子卷积核对该目标特征图进行卷积处理。由于子卷积核的高度、宽度和通道数三个参数中存在至少一个参数为1,因此,对于如图1所示的特征图和卷积核,在卷积处理过程中的一次加权处理中,相对于直接通过卷积核进行加权处理的计算量为t×t×C,通过子卷积核进行加权处理的计算量为各个子卷积核进行加权处理的计算量的和,该计算量的和相对于t×t×C至少降低t倍或C倍,也即,可以降低一次卷积处理过程中的计算量,提高了通过卷积处理进行人脸识别的速度。
可选地,每个卷积核包括三个子卷积核,每个子卷积核的高度、宽度和通道数三个参数中存在两个参数为1,其他一个参数与所属的卷积核中对应的参数的大小相同;
根据每个卷积核包括的至少两个子卷积核的加权系数对该目标特征图进行卷积处理,包括:
根据第一子卷积核的加权系数,对该目标特征图进行第一次卷积处理,得到第一卷积图,该第一子卷积核为目标卷积核包括的三个子卷积核中的任一者,该目标卷积核为该至少一个卷积核中的任一者;
根据第二子卷积核的加权系数,对该第一卷积图进行第二次卷积处理,得到第二卷积图,该第二子卷积核为该目标卷积核包括的三个子卷积核中除该第一子卷积核之外的子卷积核中的任一者;
根据第三子卷积核的加权系数,对该第二卷积图像进行第三次卷积处理,得到与该卷积核对应的激活图,该第三子卷积核为该目标卷积核包括的三个子卷积核中除该第一子卷积核和第二子卷积核之外的子卷积核。
可选地,每个卷积核包括两个子卷积核,其中一个子卷积核的高度、宽度和通道数三个参数中存在两个参数为1,其他一个参数与所属的卷积核中对应的参数的大小相同,另一个子卷积核的高度、宽度和通道数三个参数中存在一个参数为1,其他两个参数与所属的卷积核中对应的两个参数的大小相同;
根据每个卷积核包括的至少两个子卷积核的加权系数对该目标特征图进行卷积处理,包括:
根据第一子卷积核的加权系数,对该目标特征图进行第一次卷积处理,得到第一卷积图,该第一子卷积核为目标卷积核包括的两个子卷积核中的任一者,该目标卷积核为该至少一个卷积核中的任一者;
根据第二子卷积核的加权系数,对该第一卷积图进行第二次卷积处理,得到与该卷积核对应的激活图,该第二子卷积核为该目标卷积核包括的两个子卷积核中除该第一子卷积核之外的子卷积核。
可选地,确定用于对目标特征图进行卷积处理的至少一个卷积核之前,还包括:
设置该至少一个卷积核中每个卷积核的高度、宽度和通道数,每个卷积核的通道数和该目标特征图的通道数相同;
根据每个卷积核的高度、宽度和通道数,确定每个卷积核包括的至少两个子卷积核中每个子卷积核的高度、宽度和通道数;
初始化每个卷积核包括的至少两个子卷积核中的每个子卷积核;
根据训练样本集对初始化后的每个子卷积核进行训练,得到每个子卷积核的加权系数,该训练样本集包括多张图像。
可选地,至少一个卷积核的个数为M,该M为大于或等于2的正整数;
根据训练样本集对初始化后的每个子卷积核进行训练,得到每个子卷积核的加权系数,包括:
将该M个卷积核分为第一类卷积核和第二类卷积核;
根据该训练样本集对该第一类卷积核中初始化后的每个子卷积核进行训练,得到该第一类卷积核中每个子卷积核的加权系数;
在对该第一类卷积核中的每个子卷积核进行训练之后,根据该训练样本集对该第二类卷积核中初始化后的每个子卷积核进行训练,得到该第二类卷积核中每个子卷积核的加权系数。
上述所有可选技术方案,均可按照任意结合形成本公开的可选实施例,本公开实施例对此不再一一赘述。
图3是本公开实施例提供的另一种卷积处理方法的流程图,如图3所示,该方法包括以下步骤。
在步骤301中,确定用于对目标特征图进行卷积处理的至少一个卷积核,其中,每个卷积核包括至少两个子卷积核,每个子卷积核的高度、宽度和通道数三个参数中存在至少一个参数为1,其他参数与所属的卷积核中对应的参数的大小相同。
在本公开实施例中,为了降低卷积处理过程中的计算量,将用于对目标特征图进行卷积处理的至少一个卷积核进行分解,也即,对于该至少一个卷积核中的每个卷积核,将该卷积核分解为至少两个子卷积核。
因此,当需要对目标特征图进行卷积处理时,确定用于对目标特征图进行卷积处理的至少一个卷积核,也即,确定每个卷积核包括的至少两个子卷积核。
其中,将该卷积核分解为至少两个子卷积核有以下两种可能的实现方式:
第一种可能的实现方式,将该卷积核分解为三个子卷积核,每个子卷积核的子卷积核的高度、宽度和通道数三个参数中的两个参数为1,其他参数与所属的卷积核中对应的参数的大小相同。
为了后续便于说明,将目标特征图的高度、宽度和通道数分别标记为H、W和C,对于该至少一个卷积核中的任意一个卷积核,将该卷积核的高度、宽度和通道数分别标记为t、t和C。进一步地,为了便于说明,将该卷积核称为t×t×C的卷积核。
此时,在第一种可能的实现方式中,对于t×t×C的卷积核,该卷积核可以分解为3个子卷积核,分别为t×1×1的子卷积核、1×t×1的子卷积核和1×1×C的子卷积核。
也即,该t×t×C的卷积核包括三个子卷积核。其中,t×1×1的子卷积核的高度为t、宽度为1,通道数为1,1×t×1的子卷积核的高度为1、宽度为t,通道数为1,1×1×C的子卷积核的高度为1、宽度为1、通道数为C。
第二种可能的实现方式,将该卷积核分解为两个子卷积核,其中一个子卷积核的高度、宽度和通道数三个参数中存在两个参数为1,其他一个参数与所属的卷积核中对应的参数的大小相同,另一个子卷积核的高度、宽度和通道数三个参数中存在一个参数为1,其他两个参数与所属的卷积核中对应的两个参数的大小相同。
在第二种可能的实现方式中,对于t×t×C的卷积核,该卷积核可以分解为2个子卷积核,分别为t×1×1的子卷积核、1×t×C的子卷积核。
也即,该t×t×C的卷积核包括两个子卷积核。其中,t×1×1的子卷积核的高度为t、宽度为1、通道数为1,1×t×C的子卷积核的高度为1、宽度为t、通道数为C。
可选地,对于t×t×C的卷积核,该卷积核可以分解为2个子卷积核,分别为1×t×1的子卷积核、t×1×C的子卷积核。
也即,该t×t×C的卷积核包括两个子卷积核。其中,1×t×1的子卷积核的高度为1、宽度为t、通道数为1,t×1×C的子卷积核的高度为t、宽度为1、通道数为C。
可选地,对于t×t×C的卷积核,该卷积核还可以分解为2个子卷积核,分别为t×t×1的子卷积核、1×1×C的子卷积核。
此时,该t×t×C的卷积核同样包括两个子卷积核。其中,t×t×1的子卷积核的高度为t、宽度为t、通道数为1,1×1×C的子卷积核的高度为1、宽度为1、通道数为C。
需要说明的是,本公开实施例中的卷积核以正方形卷积核为例进行说明,当然该卷积核也可为长方形卷积核,本公开实施例在此不再详细阐述。
在步骤302中,确定每个卷积核包括的至少两个子卷积核中每个子卷积核的加权系数。
由于卷积处理的过程,也即是,将目标特征图中与卷积核所在的局部区域对应的像素点的像素值做加权处理的过程。而本公开实施例中,对目标特征图进行卷积处理的是每个卷积核包括的至少两个子卷积核,因此,还需确定每个卷积核包括的至少两个子卷积核中每个子卷积核的加权系数。
其中,每个卷积核包括的至少两个子卷积核中每个子卷积核的加权系数为预先训练好的加权系数,因此,确定每个卷积核包括的至少两个子卷积核中每个子卷积核的加权系数,也即,直接从存储的加权系数中确定每个子卷积核的加权系数。
另外,由于每个卷积核包括的至少两个子卷积核中每个子卷积核的加权系数为预先训练好的加权系数,因此,在对目标特征图进行卷积处理之前,还需对每个子卷积核进行训练,以确定并存储每个子卷积核的加权系系数。也即,在步骤301之前,还需对每个子卷积核进行训练,以确定并存储每个子卷积核的加权系系数。
在一种可能的实现方式中,对每个子卷积核进行训练,以确定并存储每个子卷积核的加权系系数的实现方式可以为:设置该至少一个卷积核中每个卷积核的高度、宽度和通道数,每个卷积核的通道数和该目标特征图的通道数相同;根据每个卷积核的高度、宽度和通道数,确定每个卷积核包括的至少两个子卷积核中每个子卷积核的高度、宽度和通道数;初始化每个卷积核包括的至少两个子卷积核中的每个子卷积核;根据训练样本集对初始化后的每个子卷积核进行训练,得到每个子卷积核的加权系数,该训练样本集包括多张图像。
其中,根据每个卷积核的高度、宽度和通道数,确定每个卷积核包括的至少两个子卷积核中每个子卷积核的高度、宽度和通道数的实现方式,可以参考步骤301中将该卷积核分解为至少两个子卷积核有以下两种可能的实现方式,在此不再详细阐述。
另外,初始化每个卷积核包括的至少两个子卷积核中的每个子卷积核,也即,对于任意一个卷积核包括至少两个子卷积核中的每个子卷积核,初始化每个子卷积核的加权系数。相应地,根据训练样本集对初始化后的每个子卷积核进行训练,也即,根据初始化的该子卷积核的加权系数,对训练样本集中的每张图像做卷积处理,并根据卷积处理结果调整该子卷积核的加权系数,之后,根据调整后的加权系数重新对训练样本集中的每张图像做卷积处理,重复以上过程,直至卷积结果符合预设的要求,完成对子卷积核的训练,并将最后一次调整的加权系数作为该子卷积核的加权系数。
需要说明的是,由于上述过程是对每个卷积核包括的至少两个子卷积核进行训练,当用于对目标特征图进行卷积处理的卷积核的数量较多时,很容易导致训练过程不收敛,在这种情况下,可以采用逐层训练的方式训练每个子卷积核。
也即,当至少一个卷积核的个数为M,M为大于或等于2的正整数时,根据训练样本集对初始化后的每个子卷积核进行训练的实现方式可以为:将M个卷积核分为第一类卷积核和第二类卷积核;根据训练样本集对第一类卷积核中初始化后的每个子卷积核进行训练,得到第一类卷积核中每个子卷积核的加权系数。在对第一类卷积核中的每个子卷积核进行训练之后,根据训练样本集对第二类卷积核中初始化后的每个子卷积核进行训练,得到第二类卷积核中每个子卷积核的加权系数。
也即,在对每个卷积核包括的子卷积核进行训练时,先对该M个卷积核中的一部分卷积核中的子卷积核进行训练,在对该一部分卷积核中的子卷积核训练完成之后,再对剩下一部分卷积核中的子卷积核进行训练。
在步骤303中,根据每个卷积核包括的至少两个子卷积核的加权系数对该目标特征图进行卷积处理,得到与每个卷积核对应的激活图。
由步骤301可知,将该卷积核分解为至少两个子卷积核有两种可能的实现方式,因此,相应地,步骤203也存在两种可能的实现方式。
针对步骤301中第一种可能的实现方式,也即,每个卷积核包括三个子卷积核,每个子卷积核的高度、宽度和通道数三个参数中存在两个参数为1,其他一个参数与所属的卷积核中对应的参数的大小相同。
由于不同的卷积核对目标特征图进行卷积处理的过程相同,因此,此处以一个卷积核为例说明。另外,为了后续便于说明,将该卷积核称为目标卷积核,也即,该目标卷积核为该至少一个卷积核中的任一者。
此时,步骤303的实现方式为:根据第一子卷积核的加权系数,对该目标特征图进行第一次卷积处理,得到第一卷积图,该第一子卷积核为目标卷积核包括的三个子卷积核中的任一者;根据第二子卷积核的加权系数,对该第一卷积图进行第二次卷积处理,得到第二卷积图,该第二子卷积核为该目标卷积核包括的三个子卷积核中除该第一子卷积核之外的子卷积核中的任一者;根据第三子卷积核的加权系数,对该第二卷积图像进行第三次卷积处理,得到与该目标卷积核对应的激活图,该第三子卷积核为该目标卷积核包括的三个子卷积核中除该第一子卷积核和第二子卷积核之外的子卷积核。
其中,对于任一个子卷积核,根据该子卷积核的加权系数,对待处理的图进行卷积处理的实现方式为:确定卷积步长,按照每次移动该卷积步长个像素点的方式将该子卷积核滑过该待处理的图,在该子卷积核每移动一次的过程中,将该待处理的图中与该子卷积核所处位置对应的局部区域内的像素点的像素值按照该子卷积核的加权系数做加权处理,并将得到的值确定为此次卷积处理之后的图中对应位置处的像素点的像素值。
其中,卷积步长为预先设置的步长,该卷积步长可以为1、2或3等。
也即,将该目标卷积核包括的三个子卷积核按照预设顺序依次对目标特征图进行卷积处理,每个子卷积核进行卷积处理的对象为上一个子卷积核进行卷积处理的结果,并将最后一个子卷积核卷积处理后的结果作为与该目标卷积核对应的激活图。
其中,预设顺序为预先设置的顺序,本公开实施例对该目标卷积核包括的三个子卷积核的顺序并不特殊限定,只需明确该三个子卷积核的卷积顺序即可。比如,对于上述第一子卷积核、第二子卷积核和第三子卷积核,可以按照上述顺序进行卷积处理,也可以按照第一子卷积核、第三子卷积核和第二子卷积核的顺序进行卷积处理,当然,也可以按照第三子卷积核、第二子卷积核和第一子卷积核的顺序进行卷积处理。
比如,当目标卷积核为3×3×C的卷积核,该目标卷积核包括的3个子卷积核分别为3×1×1的子卷积核、1×3×1的子卷积核和1×1×C的子卷积核,根据该目标卷积核对目标特征图进行卷积处理的计算量为:W×H×(3×1×1+1×3×1+1×1×C)=W×H×(3+3+C)。
当该至少一个卷积核的个数为N时,此时该CNN模型中的所有卷积层进行一次卷积处理所需的计算量为W×H×(3+3+C)×N,相对于相关技术中CNN模型中的所有卷积层进行一次卷积处理的计算量W×H×3×3×C×N,计算量可以降低(9C)/(6+C)倍,相当于将计算量降低了9倍。
针对步骤301中第二种可能的实现方式,也即,每个卷积核包括两个子卷积核,其中一个子卷积核的高度、宽度和通道数三个参数中存在两个参数为1,其他一个参数与所属的卷积核中对应的参数的大小相同,另一个子卷积核的高度、宽度和通道数三个参数中存在一个参数为1,其他两个参数与所属的卷积核中对应的两个参数的大小相同。
此时,步骤303的实现方式为:根据第一子卷积核的加权系数,对该目标特征图进行第一次卷积处理,得到第一卷积图,该第一子卷积核为目标卷积核包括的两个子卷积核中的任一者;根第二子卷积核的加权系数,对该第一卷积图进行第二次卷积处理,得到与该目标卷积核对应的激活图,该第二子卷积核为该目标卷积核包括的两个子卷积核中除该第一子卷积核之外的子卷积核。
也即,将该目标卷积核包括的两个子卷积核按照预设顺序依次对目标特征图进行卷积处理,每个子卷积核进行卷积处理的对象为上一个子卷积核进行卷积处理的结果,并将最后一个子卷积核卷积处理后的结果作为与该目标卷积核对应的激活图。
其中,根据每个子卷积核的加权系数进行卷积处理的实现方式在此不再详细阐述。
比如,当目标卷积核为3×3×C的卷积核,该目标卷积核包括的2个子卷积核分别为3×1×1的子卷积核和1×3×C的子卷积核,根据该目标卷积核对目标特征图进行卷积处理的计算量为:W×H×(3×1×1+1×3×C)=W×H×(3+3C)。
当该至少一个卷积核的个数为N时,此时该CNN模型中的所有卷积层进行一次卷积处理所需的计算量为W×H×(3+3C)×N,相对于相关技术中CNN模型中的所有卷积层进行一次卷积处理的计算量W×H×3×3×C×N,计算量可以降低(9C)/(3+3C)倍,相当于将计算量降低了3倍。
在本公开实施例中,确定用于对目标特征图进行卷积处理的至少一个卷积核,根据每个卷积核包括的至少两个子卷积核中每个子卷积核的加权系数对该目标特征图进行卷积处理,得到与每个卷积核对应的激活图。也即,在本公开实施例中,当通过一个卷积核对目标特征图进行卷积处理时,是通过该卷积核包括的子卷积核对该目标特征图进行卷积处理。由于子卷积核的高度、宽度和通道数三个参数中存在至少一个参数为1,因此,对于如图1所示的特征图和卷积核,在卷积处理过程中的一次加权处理中,相对于直接通过卷积核进行加权处理的计算量为t×t×C,通过子卷积核进行加权处理的计算量为各个子卷积核进行加权处理的计算量的和,该计算量的和相对于t×t×C至少降低t倍或C倍,也即,可以降低一次卷积处理过程中的计算量,提高了通过卷积处理进行人脸识别的速度。
图4A是本公开实施例提供的一种卷积处理装置400的框图。参见图4A,该装置400包括第一确定模块401和卷积模块402。
第一确定模块401,用于确定用于对目标特征图进行卷积处理的至少一个卷积核;
其中,每个卷积核包括至少两个子卷积核,每个子卷积核的高度、宽度和通道数三个参数中存在至少一个参数为1,其他参数与所属的卷积核中对应的参数的大小相同;
卷积模块402,用于根据每个卷积核包括的至少两个子卷积核的加权系数对该目标特征图进行卷积处理,得到与每个卷积核对应的激活图。
可选地,每个卷积核包括三个子卷积核,每个子卷积核的高度、宽度和通道数三个参数中存在两个参数为1,其他一个参数与所属的卷积核中对应的参数的大小相同;
该卷积模块402,具体用于:
根据第一子卷积核的加权系数,对该目标特征图进行第一次卷积处理,得到第一卷积图,该第一子卷积核为目标卷积核包括的三个子卷积核中的任一者,该目标卷积核为该至少一个卷积核中的任一者;
根据第二子卷积核的加权系数,对该第一卷积图进行第二次卷积处理,得到第二卷积图,该第二子卷积核为该目标卷积核包括的三个子卷积核中除该第一子卷积核之外的子卷积核中的任一者;
根据第三子卷积核的加权系数,对该第二卷积图像进行第三次卷积处理,得到与该目标卷积核对应的激活图,该第三子卷积核为该目标卷积核包括的三个子卷积核中除该第一子卷积核和第二子卷积核之外的子卷积核。
可选地,每个卷积核包括两个子卷积核,其中一个子卷积核的高度、宽度和通道数三个参数中存在两个参数为1,其他一个参数与所属的卷积核中对应的参数的大小相同,另一个子卷积核的高度、宽度和通道数三个参数中存在一个参数为1,其他两个参数与所属的卷积核中对应的两个参数的大小相同;
该卷积模块402,具体用于:
根据第一子卷积核的加权系数,对该目标特征图进行第一次卷积处理,得到第一卷积图,该第一子卷积核为目标卷积核包括的两个子卷积核中的任一者,该目标卷积核为该至少一个卷积核中的任一者;
根据第二子卷积核的加权系数,对该第一卷积图进行第二次卷积处理,得到与该目标卷积核对应的激活图,该第二子卷积核为该目标卷积核包括的两个子卷积核中除该第一子卷积核之外的子卷积核。
可选地,参见图4B,该装置400还包括:
设置模块403,用于设置该至少一个卷积核中每个卷积核的高度、宽度和通道数,每个卷积核的通道数和该目标特征图的通道数相同;
第二确定模块404,用于根据每个卷积核的高度、宽度和通道数,确定每个卷积核包括的至少两个子卷积核中每个子卷积核的高度、宽度和通道数;
初始化模块405,用于初始化每个卷积核包括的至少两个子卷积核中的每个子卷积核;
训练模块406,用于根据训练样本集对初始化后的每个子卷积核进行训练,得到每个子卷积核的加权系数,该训练样本集包括多张图像。
可选地,该至少一个卷积核的个数为M,该M为大于或等于2的正整数;
该训练模块406,具体用于:
将该M个卷积核分为第一类卷积核和第二类卷积核;
根据该训练样本集对该第一类卷积核中初始化后的每个子卷积核进行训练,得到该第一类卷积核中每个子卷积核的加权系数;
在对该第一类卷积核中的每个子卷积核进行训练之后,根据该训练样本集对该第二类卷积核中初始化后的每个子卷积核进行训练,得到该第二类卷积核中每个子卷积核的加权系数。
在本公开实施例中,确定用于对目标特征图进行卷积处理的至少一个卷积核,根据每个卷积核包括的至少两个子卷积核中每个子卷积核的加权系数对该目标特征图进行卷积处理,得到与每个卷积核对应的激活图。也即,在本公开实施例中,当通过一个卷积核对目标特征图进行卷积处理时,是通过该卷积核包括的子卷积核对该目标特征图进行卷积处理。由于子卷积核的高度、宽度和通道数三个参数中存在至少一个参数为1,因此,对于如图1所示的特征图和卷积核,在卷积处理过程中的一次加权处理中,相对于直接通过卷积核进行加权处理的计算量为t×t×C,通过子卷积核进行加权处理的计算量为各个子卷积核进行加权处理的计算量的和,该计算量的和相对于t×t×C至少降低t倍或C倍,也即,可以降低一次卷积处理过程中的计算量,提高了通过卷积处理进行人脸识别的速度。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
图5是本公开实施例提供的一种卷积处理装置500的框图。例如,装置500可以是移动电话,计算机,消息收发设备,游戏控制台,平板设备,医疗设备,健身设备等。
参照图5,装置500可以包括以下一个或多个组件:处理组件502,存储器504,电源组件506,多媒体组件508,音频组件510,输入/输出(I/O)的接口512,传感器组件514,以及通信组件516。
处理组件502通常控制装置500的整体操作,诸如与显示,电话呼叫,数据通信,相机操作和记录操作相关联的操作。处理组件502可以包括一个或多个处理器520来执行指令,以完成上述的方法的全部或部分步骤。此外,处理组件502可以包括一个或多个模块,便于处理组件502和其他组件之间的交互。例如,处理组件502可以包括多媒体模块,以方便多媒体组件508和处理组件502之间的交互。
存储器504被配置为存储各种类型的数据以支持在装置500的操作。这些数据的示例包括用于在装置500上操作的任何应用程序或方法的指令,联系人数据,电话簿数据,消息,图片,视频等。存储器504可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
电源组件506为装置500的各种组件提供电源。电源组件506可以包括电源管理***,一个或多个电源,及其他与为装置500生成、管理和分配电源相关联的组件。
多媒体组件508包括在所述装置500和用户之间的提供一个输出接口的屏幕。在一些实施例中,屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中,多媒体组件508包括一个前置摄像头和/或后置摄像头。当装置500处于操作模式,如拍摄模式或视频模式时,前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜***或具有焦距和光学变焦能力。
音频组件510被配置为输出和/或输入音频信号。例如,音频组件510包括一个麦克风(MIC),当装置500处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器504或经由通信组件516发送。在一些实施例中,音频组件410还包括一个扬声器,用于输出音频信号。
I/O接口512为处理组件502和***接口模块之间提供接口,上述***接口模块可以是键盘,点击轮,按钮等。这些按钮可包括但不限于:主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件514包括一个或多个传感器,用于为装置500提供各个方面的状态评估。例如,传感器组件514可以检测到装置500的打开/关闭状态,组件的相对定位,例如所述组件为装置500的显示器和小键盘,传感器组件514还可以检测装置500或装置500一个组件的位置改变,用户与装置500接触的存在或不存在,装置500方位或加速/减速和装置500的温度变化。传感器组件514可以包括接近传感器,被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件514还可以包括光传感器,如CMOS或CCD图像传感器,用于在成像应用中使用。在一些实施例中,该传感器组件414还可以包括加速度传感器,陀螺仪传感器,磁传感器,压力传感器或温度传感器。
通信组件516被配置为便于装置500和其他设备之间有线或无线方式的通信。装置500可以接入基于通信标准的无线网络,如WiFi,2G或3G,或它们的组合。在一个示例性实施例中,通信组件516经由广播信道接收来自外部广播管理***的广播信号或广播相关信息。在一个示例性实施例中,所述通信组件516还包括近场通信(NFC)模块,以促进短程通信。例如,在NFC模块可基于射频识别(RFID)技术,红外数据协会(IrDA)技术,超宽带(UWB)技术,蓝牙(BT)技术和其他技术来实现。
在示例性实施例中,装置500可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述方法。
在示例性实施例中,还提供了一种包括指令的非临时性计算机可读存储介质,例如包括指令的存储器504,上述指令可由装置500的处理器520执行以完成上述方法。例如,所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
一种非临时性计算机可读存储介质,当所述存储介质中的指令由终端的处理器执行时,使得终端能够执行上述实施例提供的卷积处理方法。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本发明的真正范围和精神由下面的权利要求指出。
应当理解的是,本发明并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (12)

1.一种卷积处理方法,其特征在于,所述方法包括:
确定用于对目标特征图进行卷积处理的至少一个卷积核;
其中,每个卷积核包括至少两个子卷积核,每个子卷积核的高度、宽度和通道数三个参数中存在至少一个参数为1,其他参数与所属的卷积核中对应的参数的大小相同;
根据每个卷积核包括的至少两个子卷积核的加权系数对所述目标特征图进行卷积处理,得到与每个卷积核对应的激活图。
2.根据权利要求1所述的方法,其特征在于,每个卷积核包括三个子卷积核,每个子卷积核的高度、宽度和通道数三个参数中存在两个参数为1,其他一个参数与所属的卷积核中对应的参数的大小相同;
所述根据每个卷积核包括的至少两个子卷积核的加权系数对所述目标特征图进行卷积处理,包括:
根据第一子卷积核的加权系数,对所述目标特征图进行第一次卷积处理,得到第一卷积图,所述第一子卷积核为目标卷积核包括的三个子卷积核中的任一者,所述目标卷积核为所述至少一个卷积核中的任一者;
根据第二子卷积核的加权系数,对所述第一卷积图进行第二次卷积处理,得到第二卷积图,所述第二子卷积核为所述目标卷积核包括的三个子卷积核中除所述第一子卷积核之外的子卷积核中的任一者;
根据第三子卷积核的加权系数,对所述第二卷积图像进行第三次卷积处理,得到与所述目标卷积核对应的激活图,所述第三子卷积核为所述目标卷积核包括的三个子卷积核中除所述第一子卷积核和第二子卷积核之外的子卷积核。
3.根据权利要求1所述的方法,其特征在于,每个卷积核包括两个子卷积核,其中一个子卷积核的高度、宽度和通道数三个参数中存在两个参数为1,其他一个参数与所属的卷积核中对应的参数的大小相同,另一个子卷积核的高度、宽度和通道数三个参数中存在一个参数为1,其他两个参数与所属的卷积核中对应的两个参数的大小相同;
所述根据每个卷积核包括的至少两个子卷积核的加权系数对所述目标特征图进行卷积处理,包括:
根据第一子卷积核的加权系数,对所述目标特征图进行第一次卷积处理,得到第一卷积图,所述第一子卷积核为目标卷积核包括的两个子卷积核中的任一者,所述目标卷积核为所述至少一个卷积核中的任一者;
根据第二子卷积核的加权系数,对所述第一卷积图进行第二次卷积处理,得到与所述目标卷积核对应的激活图,所述第二子卷积核为所述目标卷积核包括的两个子卷积核中除所述第一子卷积核之外的子卷积核。
4.根据权利要求1至3任一所述的方法,其特征在于,所述确定用于对目标特征图进行卷积处理的至少一个卷积核之前,还包括:
设置所述至少一个卷积核中每个卷积核的高度、宽度和通道数,每个卷积核的通道数和所述目标特征图的通道数相同;
根据每个卷积核的高度、宽度和通道数,确定每个卷积核包括的至少两个子卷积核中每个子卷积核的高度、宽度和通道数;
初始化每个卷积核包括的至少两个子卷积核中的每个子卷积核;
根据训练样本集对初始化后的每个子卷积核进行训练,得到每个子卷积核的加权系数,所述训练样本集包括多张图像。
5.根据权利要求4所述的方法,其特征在于,所述至少一个卷积核的个数为M,所述M为大于或等于2的正整数;
所述根据训练样本集对初始化后的每个子卷积核进行训练,得到每个子卷积核的加权系数,包括:
将所述M个卷积核分为第一类卷积核和第二类卷积核;
根据所述训练样本集对所述第一类卷积核中初始化后的每个子卷积核进行训练,得到所述第一类卷积核中每个子卷积核的加权系数;
在对所述第一类卷积核中的每个子卷积核进行训练之后,根据所述训练样本集对所述第二类卷积核中初始化后的每个子卷积核进行训练,得到所述第二类卷积核中每个子卷积核的加权系数。
6.一种卷积处理装置,其特征在于,所述装置包括:
第一确定模块,用于确定用于对目标特征图进行卷积处理的至少一个卷积核;
其中,每个卷积核包括至少两个子卷积核,每个子卷积核的高度、宽度和通道数三个参数中存在至少一个参数为1,其他参数与所属的卷积核中对应的参数的大小相同;
卷积模块,用于根据每个卷积核包括的至少两个子卷积核的加权系数对所述目标特征图进行卷积处理,得到与每个卷积核对应的激活图。
7.根据权利要求6所述的装置,其特征在于,每个卷积核包括三个子卷积核,每个子卷积核的高度、宽度和通道数三个参数中存在两个参数为1,其他一个参数与所属的卷积核中对应的参数的大小相同;
所述卷积模块,具体用于:
根据第一子卷积核的加权系数,对所述目标特征图进行第一次卷积处理,得到第一卷积图,所述第一子卷积核为目标卷积核包括的三个子卷积核中的任一者,所述目标卷积核为所述至少一个卷积核中的任一者;
根据第二子卷积核的加权系数,对所述第一卷积图进行第二次卷积处理,得到第二卷积图,所述第二子卷积核为所述目标卷积核包括的三个子卷积核中除所述第一子卷积核之外的子卷积核中的任一者;
根据第三子卷积核的加权系数,对所述第二卷积图像进行第三次卷积处理,得到与所述目标卷积核对应的激活图,所述第三子卷积核为所述目标卷积核包括的三个子卷积核中除所述第一子卷积核和第二子卷积核之外的子卷积核。
8.根据权利要求6所述的装置,其特征在于,每个卷积核包括两个子卷积核,其中一个子卷积核的高度、宽度和通道数三个参数中存在两个参数为1,其他一个参数与所属的卷积核中对应的参数的大小相同,另一个子卷积核的高度、宽度和通道数三个参数中存在一个参数为1,其他两个参数与所属的卷积核中对应的两个参数的大小相同;
所述卷积模块,具体用于:
根据第一子卷积核的加权系数,对所述目标特征图进行第一次卷积处理,得到第一卷积图,所述第一子卷积核为目标卷积核包括的两个子卷积核中的任一者,所述目标卷积核为所述至少一个卷积核中的任一者;
根据第二子卷积核的加权系数,对所述第一卷积图进行第二次卷积处理,得到与所述目标卷积核对应的激活图,所述第二子卷积核为所述目标卷积核包括的两个子卷积核中除所述第一子卷积核之外的子卷积核。
9.根据权利要求6至8任一所述的装置,其特征在于,所述装置还包括:
设置模块,用于设置所述至少一个卷积核中每个卷积核的高度、宽度和通道数,每个卷积核的通道数和所述目标特征图的通道数相同;
第二确定模块,用于根据每个卷积核的高度、宽度和通道数,确定每个卷积核包括的至少两个子卷积核中每个子卷积核的高度、宽度和通道数;
初始化模块,用于初始化每个卷积核包括的至少两个子卷积核中的每个子卷积核;
训练模块,用于根据训练样本集对初始化后的每个子卷积核进行训练,得到每个子卷积核的加权系数,所述训练样本集包括多张图像。
10.根据权利要求9所述的装置,其特征在于,所述至少一个卷积核的个数为M,所述M为大于或等于2的正整数;
所述训练模块,具体用于:
将所述M个卷积核分为第一类卷积核和第二类卷积核;
根据所述训练样本集对所述第一类卷积核中初始化后的每个子卷积核进行训练,得到所述第一类卷积核中每个子卷积核的加权系数;
在对所述第一类卷积核中的每个子卷积核进行训练之后,根据所述训练样本集对所述第二类卷积核中初始化后的每个子卷积核进行训练,得到所述第二类卷积核中每个子卷积核的加权系数。
11.一种卷积处理装置,其特征在于,所述装置包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为执行权利要求1-5所述的任一项方法的步骤。
12.一种计算机可读存储介质,所述计算机可读存储介质上存储有指令,其特征在于,所述指令被处理器执行时实现权利要求1-5所述的任一项方法的步骤。
CN201711283903.5A 2017-12-07 2017-12-07 卷积处理方法、装置及存储介质 Active CN107967459B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711283903.5A CN107967459B (zh) 2017-12-07 2017-12-07 卷积处理方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711283903.5A CN107967459B (zh) 2017-12-07 2017-12-07 卷积处理方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN107967459A true CN107967459A (zh) 2018-04-27
CN107967459B CN107967459B (zh) 2021-08-24

Family

ID=61998889

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711283903.5A Active CN107967459B (zh) 2017-12-07 2017-12-07 卷积处理方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN107967459B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109034249A (zh) * 2018-07-27 2018-12-18 广州大学 基于分解径向对称卷积核的卷积优化方法、装置、终端设备及计算机可读存储介质
CN110503189A (zh) * 2019-08-02 2019-11-26 腾讯科技(深圳)有限公司 一种数据处理方法以及装置
CN110858323A (zh) * 2018-08-23 2020-03-03 北京京东金融科技控股有限公司 基于卷积的图像处理方法、装置、介质及电子设备
CN111507271A (zh) * 2020-04-20 2020-08-07 北京理工大学 一种机载光电视频目标智能化检测与识别方法
WO2020186703A1 (en) * 2019-03-20 2020-09-24 Huawei Technologies Co., Ltd. Convolutional neural network-based image processing method and image processing apparatus
CN112215329A (zh) * 2019-07-09 2021-01-12 杭州海康威视数字技术股份有限公司 基于神经网络的卷积计算方法及装置
CN112712461A (zh) * 2019-10-24 2021-04-27 Tcl集团股份有限公司 一种图像反卷积处理方法、装置及终端设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060215929A1 (en) * 2005-03-23 2006-09-28 David Fresneau Methods and apparatus for image convolution
CN102810155A (zh) * 2011-05-31 2012-12-05 富士通株式会社 用于从图像中提取文本笔划图像的方法和装置
CN103049716A (zh) * 2012-12-19 2013-04-17 华中科技大学 基于一阶矩的卷积器
CN106295707A (zh) * 2016-08-17 2017-01-04 北京小米移动软件有限公司 图像识别方法和装置
CN106682736A (zh) * 2017-01-18 2017-05-17 北京小米移动软件有限公司 图像识别方法及装置
CN107341518A (zh) * 2017-07-07 2017-11-10 东华理工大学 一种基于卷积神经网络的图像分类方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060215929A1 (en) * 2005-03-23 2006-09-28 David Fresneau Methods and apparatus for image convolution
CN102810155A (zh) * 2011-05-31 2012-12-05 富士通株式会社 用于从图像中提取文本笔划图像的方法和装置
CN103049716A (zh) * 2012-12-19 2013-04-17 华中科技大学 基于一阶矩的卷积器
CN106295707A (zh) * 2016-08-17 2017-01-04 北京小米移动软件有限公司 图像识别方法和装置
CN106682736A (zh) * 2017-01-18 2017-05-17 北京小米移动软件有限公司 图像识别方法及装置
CN107341518A (zh) * 2017-07-07 2017-11-10 东华理工大学 一种基于卷积神经网络的图像分类方法

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109034249A (zh) * 2018-07-27 2018-12-18 广州大学 基于分解径向对称卷积核的卷积优化方法、装置、终端设备及计算机可读存储介质
CN109034249B (zh) * 2018-07-27 2021-08-06 广州大学 基于分解径向对称卷积核的卷积优化方法、装置、终端设备及计算机可读存储介质
CN110858323A (zh) * 2018-08-23 2020-03-03 北京京东金融科技控股有限公司 基于卷积的图像处理方法、装置、介质及电子设备
CN112236779A (zh) * 2019-03-20 2021-01-15 华为技术有限公司 基于卷积神经网络的图像处理方法和图像处理装置
WO2020186703A1 (en) * 2019-03-20 2020-09-24 Huawei Technologies Co., Ltd. Convolutional neural network-based image processing method and image processing apparatus
US10891537B2 (en) 2019-03-20 2021-01-12 Huawei Technologies Co., Ltd. Convolutional neural network-based image processing method and image processing apparatus
CN112215329A (zh) * 2019-07-09 2021-01-12 杭州海康威视数字技术股份有限公司 基于神经网络的卷积计算方法及装置
CN112215329B (zh) * 2019-07-09 2023-09-29 杭州海康威视数字技术股份有限公司 基于神经网络的卷积计算方法及装置
CN110503189A (zh) * 2019-08-02 2019-11-26 腾讯科技(深圳)有限公司 一种数据处理方法以及装置
CN110503189B (zh) * 2019-08-02 2021-10-08 腾讯科技(深圳)有限公司 一种数据处理方法以及装置
CN112712461A (zh) * 2019-10-24 2021-04-27 Tcl集团股份有限公司 一种图像反卷积处理方法、装置及终端设备
CN112712461B (zh) * 2019-10-24 2024-04-19 Tcl科技集团股份有限公司 一种图像反卷积处理方法、装置及终端设备
CN111507271A (zh) * 2020-04-20 2020-08-07 北京理工大学 一种机载光电视频目标智能化检测与识别方法

Also Published As

Publication number Publication date
CN107967459B (zh) 2021-08-24

Similar Documents

Publication Publication Date Title
CN107967459A (zh) 卷积处理方法、装置及存储介质
CN104243819B (zh) 照片获取方法及装置
CN106651955A (zh) 图片中目标物的定位方法及装置
CN107155060A (zh) 图像处理方法及装置
CN104700353B (zh) 图像滤镜生成方法及装置
CN104918107B (zh) 视频文件的标识处理方法及装置
CN109089170A (zh) 弹幕显示方法及装置
CN105205479A (zh) 人脸颜值评估方法、装置及终端设备
CN106528879A (zh) 图片处理方法及装置
CN106778773A (zh) 图片中目标物的定位方法及装置
CN107220667A (zh) 图像分类方法、装置及计算机可读存储介质
CN104219445B (zh) 拍摄模式调整方法及装置
CN106682736A (zh) 图像识别方法及装置
WO2020114236A1 (zh) 关键点检测方法、装置、电子设备及存储介质
CN104035674B (zh) 图片显示方法和装置
CN106778531A (zh) 人脸定位方法及装置
CN107392166A (zh) 肤色检测方法、装置及计算机可读存储介质
CN108062547A (zh) 文字检测方法及装置
CN107563994A (zh) 图像的显著性检测方法及装置
CN107766820A (zh) 图像分类方法及装置
CN107729880A (zh) 人脸检测方法及装置
CN107948510A (zh) 焦距调整的方法、装置及存储介质
CN108124102A (zh) 图像处理方法、装置及计算机可读存储介质
CN105528765A (zh) 处理图像的方法及装置
CN107395982A (zh) 拍照方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant