CN112712461B - 一种图像反卷积处理方法、装置及终端设备 - Google Patents
一种图像反卷积处理方法、装置及终端设备 Download PDFInfo
- Publication number
- CN112712461B CN112712461B CN201911016000.XA CN201911016000A CN112712461B CN 112712461 B CN112712461 B CN 112712461B CN 201911016000 A CN201911016000 A CN 201911016000A CN 112712461 B CN112712461 B CN 112712461B
- Authority
- CN
- China
- Prior art keywords
- deconvolution
- sub
- image
- kernel
- convolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 17
- 238000000034 method Methods 0.000 claims abstract description 54
- 238000012545 processing Methods 0.000 claims abstract description 51
- 238000004590 computer program Methods 0.000 claims description 24
- 238000013507 mapping Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 abstract description 50
- 238000005265 energy consumption Methods 0.000 abstract description 10
- 230000008569 process Effects 0.000 description 35
- 238000010586 diagram Methods 0.000 description 19
- 230000006870 function Effects 0.000 description 18
- 238000005215 recombination Methods 0.000 description 8
- 230000006798 recombination Effects 0.000 description 8
- 230000008521 reorganization Effects 0.000 description 7
- 238000005429 filling process Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 239000000047 product Substances 0.000 description 3
- 230000003190 augmentative effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000013067 intermediate product Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/002—Image coding using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
Abstract
本申请适用于数据处理技术领域，提供了一种图像反卷积处理方法、装置及终端设备，所述方法包括：获取待处理图像；根据反卷积核的参数，确定所述反卷积核对应的子卷积核；利用所述反卷积核对应的子卷积核对所述待处理图像进行卷积操作，得到所述待处理图像对应的目标输出图像。本申请可以解决现有的反卷积处理方案计算量大，数据搬运的能耗高，计算性能的损失严重的问题。
Description
技术领域
本申请属于数据处理技术领域，尤其涉及一种图像反卷积处理方法、装置及终端设备。
背景技术
在图像处理领域中，反卷积(deconvolution)技术拥有着重要的地位，可以广泛应用于图像重建、图像编解码、图像超分辨等图像处理应用中，达到图像放大的效果。
当前对图像进行反卷积处理时，为了方便向量处理器等硬件设备的运算，往往是对待处理的图像进行井字填充(padding)操作，扩大图像尺寸信息，然后再按照卷积(convolution)的计算方法进行处理，得到较大的输出图像。
采用这种方式进行反卷积处理时，处理过程中填充了大量的0，这些0都需要参与计算，计算量庞大，数据搬运的能耗高，并且，大量的0参与计算，也造成计算性能的损失。
综上，现有的反卷积处理方案计算量大，数据搬运的能耗高，计算性能的损失严重。
发明内容
本申请实施例提供了一种图像反卷积处理方法、装置及终端设备，可以解决现有的反卷积处理方案计算量大，数据搬运的能耗高，计算性能的损失严重的问题。
第一方面，本申请实施例提供了一种图像反卷积处理方法，包括：
获取待处理图像；
根据反卷积核的参数，确定所述反卷积核对应的子卷积核；
利用所述反卷积核对应的子卷积核对所述待处理图像进行卷积操作，得到所述待处理图像对应的目标输出图像。
第二方面，本申请实施例提供了一种图像反卷积处理装置，包括：
输入模块，用于获取待处理图像；
处理模块，用于根据反卷积核的参数，确定所述反卷积核对应的子卷积核；
输出模块，用于利用所述反卷积核对应的子卷积核对所述待处理图像进行卷积操作，得到所述待处理图像对应的目标输出图像。
第三方面，本申请实施例提供了一种终端设备，存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述方法的步骤。
第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述方法的步骤。
第五方面，本申请实施例提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行如上述方法的步骤。
本申请实施例与现有技术相比存在的有益效果是：
在本申请的图像反卷积处理方法中，当对待处理图像进行反卷积时，获取反卷积核对应的子卷积核，使用子卷积核对待处理图像进行卷积操作，确定目标输出图像，反卷积处理的过程中无需对待处理图像进行井字填充操作，减少参与计算的0的数量，降低计算量，减少数据搬运的能耗以及计算性能的损失，解决了现有的反卷积处理方案计算量大，数据搬运的能耗高，计算性能的损失严重的问题。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的图像反卷积方法的流程示意图；
图2是本申请实施例提供的卷积示意图；
图3是本申请实施例提供的卷积操作的处理过程示意图；
图4是本申请实施例提供的反卷积示意图；
图5是本申请实施例提供的反卷积操作的处理过程示意图；
图6是本申请实施例提供的对图像进行填充处理的示意图；
图7是本申请实施例提供的填充处理后的图像的卷积示意图；
图8是本申请实施例提供的有效计算点的分布情况示意图；
图9是本申请实施例提供的反卷积拆解示意图；
图10是本申请实施例提供的反卷积核的有效计算部分示意图；
图11是本申请实施例提供的子卷积核的示意图；
图12是本申请实施例提供的使用子卷积核进行卷积操作的示意图；
图13是本申请实施例提供的子图像信息的重组示意图；
图14是本申请实施例提供的图像反卷积装置的结构示意图；
图15是本申请实施例提供的终端设备的结构示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定***结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的***、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如在本申请说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
本申请实施例提供的图像反卷积处理方法可以应用于手机、平板电脑、可穿戴设备、车载设备、增强现实(augmented reality，AR)/虚拟现实(virtual reality，VR)设备、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本、个人数字助理(personal digital assistant，PDA)等终端设备上，本申请实施例对终端设备的具体类型不作任何限制。
本申请实施例提供的图像反卷积处理方法可以应用在单一的反卷积层中，也可以应用在多种网络层结合的神经网络模型中，在本申请的实施例中，对图像反卷积处理方法的应用场景不作任何限制。
下面对本申请实施例提供的一种图像反卷积方法进行描述，请参阅附图1，本申请实施例中的图像反卷积方法包括：
步骤S101、获取待处理图像；
由于本实施例中的图像反卷积处理方法可以应用在单一的反卷积层中，或应用在多种网络层结合的神经网络模型中，因此，待处理图像可以为外部输入的图像，也可以为其他网络层输出的特征图像。
当待处理图像为外部输入的图像时，待处理图像可以为摄像头拍摄的图像，或摄像头拍摄的视频中的某一帧图像。
步骤S102、根据反卷积核的参数，确定所述反卷积核对应的子卷积核；
反卷积核的参数可以包括反卷积核的尺寸信息、反卷积核的滑动步长、反卷积核中各个位置的权重值等。
根据反卷积核的参数可以确定子卷积核的数量、子卷积核的尺寸信息以及将反卷积核所包含的权重值拆分至各个子卷积核的拆分策略，从而确定反卷积核对应的各个子卷积核。
请参阅图2和图3，图2为卷积示意图，卷积符号的左边为待处理的图像，卷积符号的右边为卷积核，等号的右边为输出图像，图3为卷积操作的处理过程示意图，在卷积的处理过程中，需要使用卷积核滑动遍历待处理图像，提取卷积核选定区域内的特征，得到较小的输出图像，在图2和图3的示例中，使用3*3的卷积核滑动遍历待处理图像，待处理图像的尺寸信息为4*4，卷积核的滑动步长为1，卷积核在滑动遍历的过程中，会提取选定区域内的特征，得到2*2的卷积输出图像。
在提取选定区域内的特征时，卷积核中各个位置的权重值分别与选定区域内对应位置的像素点的值相乘并求和，得到选定区域内的特征，以a11和a22的计算过程为例：
a11＝d11*k11+d12*k12+d13*k13
+d21*k21+d22*k22+d23*k23
+d31*k31+d32*k32+d33*k33
a22＝d22*k11+d23*k12+d24*k13
+d32*k21+d33*k22+d34*k23
+d42*k31+d43*k32+d44*k33
其中，aij表示输出图像中第i行第j列的值，dij表示待处理图像中第i行第j列的值，kij表示卷积核中第i行第j列的权重值。
请参阅图4和图5，图4为反卷积示意图，反卷积符号的左边为待处理的图像，反卷积符号的右边为反卷积核，等号的右边为输出图像，图5为反卷积操作的处理过程示意图，反卷积的处理过程可视为卷积处理过程的逆过程，将较小的待处理图像映射至尺寸信息较大的图像区域，得到尺寸信息较大的反卷积输出图像，应理解，反卷积的处理过程只是对图像的尺寸信息进行还原，还原后的图像中各个像素点的值不一定与初始的图像一致，以图2至图5为例，对于尺寸信息为4*4的初始图像，使用3*3的卷积核进行卷积，卷积核的滑动步长为1，得到2*2的卷积输出图像，然后使用3*3的反卷积核对2*2的卷积输出图像进行反卷积处理，反卷积核的滑动步长为1，得到4*4的反卷积输出图像，此时，反卷积的处理过程只是对图像的尺寸信息进行还原，反卷积输出图像的尺寸信息和初始图像的尺寸信息一致，但是两个图像中相同坐标的像素点的值不一定相等。
在对图像进行反卷积处理时，可以直接按照卷积处理的逆处理方式进行计算，将待处理图像的每一个像素点的值与反卷积核中的所有权重值相乘，产生与反卷积核的权重值数量一致的积阵列，然后将各个积阵列分别累加至不同的输出位置，得到反卷积输出图像。但是，这种处理方式不适合应用于向量处理器或专用的神经网络加速器，由于其处理过程会产生大量中间积且需要累加至不同的位置，需要大量数据输出带宽，同时也需要一个庞大的数据网络，以将数值路由至不同的累加值上，所以，这种反卷积处理方式对硬件设备的要求高，硬件实现困难。
因此，当前主流的反卷积处理方式是对待处理图像进行井字填充操作，然后使用反卷积核对填充处理后的图像进行卷积操作。
请参阅图6，图6为对图像进行填充处理的示意图，在图6的示例中，待处理图像的尺寸信息为2*2，a11、a12、a21以及a22表示待处理图像的像素点，对待处理图像进行井字填充操作时，虚线部分为井字填充部分。
井字填充是指以类似井字的方式对待处理的图像进行填充，增加待处理图像中各个像素点的间距，填充的内容为0。
在填充处理后的图像中，除了待处理图像的像素点和井字填充区域之外的区域，为边缘填充区域，填充的内容为0，边缘填充的宽度P1为预先设置的参数。
井字填充的宽度P2与反卷积核的滑动步长S有关，P2＝S-1。因此，当反卷积核的滑动步长S为1时，不需要井字填充，反卷积的处理过程可以直接转换成卷积的处理过程。
但是当反卷积核的滑动步长S为1时，最多只能将图像还原至卷积之前的尺寸，无图像放大的作用，实用价值低，因此，在实际的应用过程中，反卷积核的滑动步长S通常大于1。
当反卷积核的滑动步长S大于1，需要对待处理的图像进行井字型填充，填充的0都需要参与计算，计算量庞大，数据搬运的能耗高。
如图7所示，当前的反卷积处理方案中，经过井字填充和边缘填充后，可以使用反卷积核对处理后的图像进行卷积操作，得到输出图像，在处理的过程中，井字填充的0都需要参与计算，计算量庞大，数据搬运的能耗高。
对此，可以将填充处理后的图像中a11、a12、a21、a22的位置视为有效计算点，有效计算点表示在卷积的过程中，可以进行有效计算输出值的点，在本实施例中，可以先将待处理图像中的点视为有效计算点。
由于填充了0的点既可以视为无效计算点，也可以视为计算后输出值为0的有效计算点，因此，可以将a11、a12、a21、a22的分布规律推广至整个填充处理后的图像中，将部分填充点视为有效计算点，则填充处理后的图像中的有效计算点的分布情况如图8所示，斜线标记部分为有效计算点的位置。
结合图7和图8的内容，可以将使用反卷积核滑动遍历填充处理后的图像的过程进行拆解，得到如图9所示的反卷积拆解示意图。从图9可知，反卷积核在滑动遍历的过程中，反卷积核的有效计算部分可分为四种情况，如图10所示，第一种情况为k11、k13、k31、k33为反卷积核的有效计算部分；第二种情况为k12、k32为反卷积核的有效计算部分；第三种情况为k21、k23为反卷积核的有效计算部分；第四种情况为k22为反卷积核的有效计算部分。
因此，可以将反卷积核拆分成这四种情况，并映射至预设尺寸信息的子卷积核内，从而得到反卷积核对应的各个子卷积核，拆分的子卷积核如图11所示。
将图6至图11所示案例推广至通用场景时，可以将根据反卷积核的参数，确定所述反卷积核对应的子卷积核的过程分成以下步骤：
1、根据反卷积核的滑动步长计算子卷积核的数量N以及根据反卷积核的尺寸信息和反卷积核的滑动步长计算子卷积核的尺寸信息：
假设反卷积核的尺寸信息为k1*k1，反卷积核的滑动步长为S，则反卷积核对应的子卷积核的数量N为S2，子卷积核的尺寸信息为k2*k2，k2的计算方式为：
k2＝ceil(k1/S)
其中，ceil为向上取整函数。
2、根据反卷积核的滑动步长、反卷积核的尺寸信息、子卷积核的数量和子卷积核的尺寸信息将反卷积核拆分成N个子卷积核；
根据反卷积核的滑动步长S确定井字填充的宽度P2，P2表示填充后的图像中，各个有效计算点的间隔宽度，各个有效计算点的间隔宽度即有效计算点的分布规律。
例如，当反卷积核的滑动步长S为2时，井字填充的宽度为1，表示填充后的图像中，各个有效计算点的间隔宽度为1；当反卷积核的滑动步长为3时，井字填充的宽度为2，表示填充后的图像中，各个有效计算点的间隔宽度为2；当反卷积核的滑动步长为S时，井字填充的宽度为S-1，表示填充后的图像中，各个有效计算点的间隔宽度为S-1。
将填充处理后的图像中待处理图像的像素点作为有效计算点，根据有效计算点的分布规律(即各个有效计算点的间隔宽度S-1)在填充点中选取有效计算，将填充后的图像转换为有效计算点的分布图，使用反卷积核滑动遍历有效计算点的分布图，每一次滑动的过程中，反卷积核与有效计算点的重叠部分为反卷积核的有效计算部分，得到不同情况下反卷积核的有效计算部分。
不同情况下反卷积核的有效计算部分可以视为不同子卷积核的权重值。
其中，第m个子卷积核的权重值为K(T*S-Q+2)(R*S-P+2)，S为所述反卷积核的滑动步长，Q为第一中间参数，P为第二中间参数，T为第一可变系数，R为第二可变系数，Q和P均为正整数，P小于或等于S，(Q-1)*S+P＝m，Kij表示所述反卷积核中第i行第j列的权重值，T和R为大于或等于0的整数，且(T*S+Q-2)和(R*S+P-2)均小于或等于反卷积核的尺寸信息k1，m＝1，2，…，N。即，第m个子卷积核可以理解为反卷积核所拆分成的N个子卷积核中的任意一个子卷积核。
第m个子卷积核对应的权重值的推导过程如下：
假设将各个子卷积核排列成S行S列，则第m个子卷积核的位于第Q行第P列。
以第1行第1列的子卷积核为例，其第1行第1列权重值为K11，Kij表示所述反卷积核中第i行第j列的权重值。该子卷积核的各个权重值与相邻的权重值的间隔为S行或S列，因此，第1行第1列的子卷积核对应的权重值可以表示为K(T*S+1)(R*S+1)，T为第一可变系数，R为第二可变系数，T和R为大于或等于0的整数。
之后可参考图9，反卷积核向右滑动或向下滑动的过程可视为有效计算点的列数或行数减小的过程，反卷积核向右滑动(P-1)列，则有效计算点的列数减小(P-1)，反卷积核向下滑动(Q-1)行，则有效计算点的行数减小(Q-1)。
以图9和图10为例，第1行第1列的子卷积核的权重值为k11、k13、k31、k33。
当反卷积核向右滑动1列，则第1行第2列的子卷积核的权重值应当为k10、k12、k30、k32，其中，列数0为(1-1)的结果，列数2为(3-1)的结果，由于反卷积核中不存在k10和k30，所以第1行第2列的子卷积核的权重值为k12和k32。
当反卷积核向下滑动1行，则第2行第1列的子卷积核的权重值应当为k01、k03、k21、k23，其中，行数0为(1-1)的结果，行数2为(3-1)的结果，由于反卷积核中不存在k01和k03，所以第2行第1列的子卷积核的权重值为k21和k23。
综上，第Q行第P列的子卷积核可视为第1行第1列的子卷积核向下滑动(Q-1)行，向右滑动(P-1)列，则第Q行第P列的子卷积核对应的权重值为K[T*S+1-(Q-1)][R*S+1-(P-1)]，化简之后，第Q行第P列的子卷积核对应的权重值为K(T*S-Q+2)(R*S-P+2)，(T*S+Q-2)和(R*S+P-2)均小于或等于反卷积核的尺寸信息k1。
得到各个子卷积核对应的权重值之后，可以根据所述子卷积核的尺寸信息构造N个子卷积核框架，分别将各个子卷积核的权重值(不同情况下反卷积核的有效计算部分)从反卷积核映射至对应的尺寸信息为k2*k2的子卷积核框架中，并在所述各个子卷积核框架的空缺位置填充0，得到反卷积核对应的N个子卷积核。
在将反卷积核拆分成多个子卷积核时，预设拆分策略与待处理图像的参数无关，因此，对反卷积核进行拆分时，可以获取反卷积核的滑动步长和尺寸信息，根据反卷积核的滑动步长和尺寸信息确定预设拆分策略，根据预设拆分策略将反卷积核拆分成预设数量N(S2)的子卷积核。
在一些可能的实现方式中，可以预先存储各种反卷积核的滑动步长和尺寸信息的组合对应的预设拆分策略。
因此，在一些实施例中，在确定了反卷积核的滑动步长和尺寸信息之后，可以通过上述拆分反卷积核的步骤确定反卷积核对应的预设拆分策略，根据预设拆分策略将反卷积核拆分成对应的子卷积核。
在另一些实施例中，在确定了反卷积核的滑动步长和尺寸信息之后，也可以直接从数据库中查询反卷积核的滑动步长和尺寸信息对应的预设拆分策略，根据预设拆分策略将反卷积核拆分成对应的子卷积核，例如，当反卷积核的滑动步长为2，反卷积核的尺寸信息为3*3时，可以从数据库中查询到对应的预设拆分策略为：将反卷积核拆分成4(2的平方)个子卷积核，每个子卷积核的尺寸为2*2(3/2的向上取整值为2)，各个子卷积核分别为(k11，k13；k31，k33)、(0，k12；0，k32)、(0，0；k21，k23)、(0，0；0，k22)，其中，kij表示所述反卷积核中第i行第j列的权重值，然后根据预设拆分策略将反卷积核拆分成对应的子卷积核。
步骤S103、利用所述反卷积核对应的子卷积核对所述待处理图像进行卷积操作，得到所述待处理图像对应的目标输出图像。
如图12所示，获取到待处理图像之后，获取反卷积核对应的各个子卷积核，分别使用各个子卷积核对待处理图像进行卷积操作，得到各个子卷积核对应的子图像信息。
在使用子卷积核对待处理图像进行卷积操作时，边缘填充的宽度P3与井字填充处理方案中的边缘填充的宽度P1不一致，此时，P3和P1的关系为：
P3＝P1-S+1
可参阅图7和图12的示例，在图7中，P1的值为2，由于反卷积核的滑动步长S为2，所以在图12中，P3的值为1(P3＝2-2+1＝1)。
在实际应用的过程中，P1和S均为预先设置的参数，因此，P3也是一个确定的参数，与待处理图像的参数无关。在使用子卷积核对待处理图像进行卷积操作之前，可以直接读取边缘填充信息P3(即边缘填充的宽度)，根据边缘填充信息在待处理图像的边缘设置与边缘填充信息P3对应的填充层，得到更新后的待处理图像，然后再分别使用各个子卷积核对更新后的待处理图像进行卷积操作，得到各个子卷积核对应的子图像信息。
之后，可以根据子卷积核分别对应的子图像信息确定待处理图像对应的目标输出图像。请参阅图13，在图13的示例中，可以通过预设重组函数对各个子卷积核对应的子图像信息进行重组，将各个子卷积核对应的子图像信息中的值输出至目标输出图像中对应的位置，得到目标输出图像。
重组的过程包括：
1、根据各个子卷积核对应的子图像信息，将第m个子卷积核对应的子图像信息排列在子图像信息阵列的第Q行第P列。
各个子卷积核对应的子图像信息可以排列成S行S列的子图像信息阵列，其中，第m个子卷积核对应的子图像信息排列在子图像阵列的第Q行第P列。
2、横向重组：分别将所述子图像信息阵列中每一行的子图像信息中的第r列子图像信息的第t列的值重组至对应的中间图像信息中的(t*S-S+r)列，得到每一行子图像信息对应的中间图像信息，其中，每一行子图像信息对应不同的中间图像。
确定了各个子图像信息在子图像信息阵列中的位置之后，可以进行分别对子图像信息阵列中的每一行子图像信息横向重组，将每一行的子图像信息中的第r列子图像信息的第t列的值重组至对应的中间图像信息中的(t*S-S+r)列，使得位于同一行的各个子图像信息的各个列交错排列，得到每一行子图像信息对应的中间图像信息。
其中，每一行子图像信息可以重组得到一个中间图像，即每一行子图像信息对应不同的中间图像。
3、纵向重组：将所述子图像信息阵列中第s行子图像信息对应的中间图像信息的第d行的值重组至所述目标输出图像中的第(d*S-S+s)行，得到所述目标输出图像，其中，r、t、s和d均为正整数。
横向重组得到中间图像之后，可以对各个中间图像进行纵向重组。将所述子图像信息阵列中第s行子图像信息对应的中间图像信息的第d行的值重组至所述目标输出图像中的第(d*S-S+s)行，使得各个中间图像的各个行交错排列，得到所述目标输出图像。
由于r、t、s和d分别表示子图像信息或子图像信息阵列的行数或列数，因此，r、t、s和d均为正整数，且r和s小于或等于S，t小于或等于子图像信息的列数量k3，d小于或等于子图像信息的行数量k4。
上述重组过程可以通过预设重组函数实现，预设重组函数可以根据实际情况进行选择，在一些可能的实现方式中，可以选用depth-to-space函数作为预设重组函数，depth-to-space函数可以将一个较多通道的特征变成较少通道的特征，将各个子图像信息重组成目标输出图像。
需要说明的是，第m个子卷积核可以理解为反卷积核所拆分成的N个子卷积核中的任意一个子卷积核。也就是说，在本实施例中，是针对每个子卷积核对应的子图像信息均进行上述重组的过程。
在另一些可能的实现方式中，也可以根据子图像信息与目标输出图像的映射关系，直接由子图像信息得到目标输出图像。
当获取到各个子卷积核对应的子图像信息后，将第m个子卷积核对应的子图像信息中第q行第p列的值输出至目标输出图像的第(q*S-S+Q)行第(p*S-S+P)列的像素点，得到所述待处理图像对应的目标输出图像，其中，q和p均为正整数，并且p小于或等于子图像信息的列数量k3，q小于或等于子图像信息的行数量k4。
需要说明的是，第m个子卷积核可以理解为反卷积核所拆分成的N个子卷积核中的任意一个子卷积核。也就是说，在本实施例中，可以针对每个子卷积核对应的子图像信息均进行上述“将第m个子卷积核对应的子图像信息中第q行第p列的值输出至目标输出图像的第(q*S-S+Q)行第(p*S-S+P)列的像素点，得到所述待处理图像对应的目标输出图像”的过程。
本实施例一提供的图像反卷积处理方法中，对待处理图像进行反卷积时，获取反卷积核对应的子卷积核，使用子卷积核对待处理图像进行卷积操作，得到各个子卷积核对应的子图像信息，再根据各个子图像信息确定目标输出图像，反卷积处理的过程中无需对待处理图像进行井字填充操作，减少参与计算的0的数量，降低计算量，减少数据搬运的能耗以及计算性能的损失，解决了现有的反卷积处理方案计算量大，数据搬运的能耗高，计算性能的损失严重的问题。
在获取反卷积核对应的子卷积核之前，可以根据预设拆分策略将反卷积核拆分成预设数量的子卷积核，预设拆分策略可以通过反卷积核的滑动步长和尺寸信息确定。
在使用子卷积核处理之前，可以先获取边缘填充信息，根据边缘填充信息对待处理图像进行边缘填充处理，得到更新后的待处理图像，然后分别使用各个子卷积核对更新后的待处理图像进行卷积操作，得到各个所述子卷积核对应的子图像信息。
得到子图像信息后，可以使用预设重组函数对各个子图像信息进行重组，得到目标输出图像，在一些实施例中，可以使用depth-to-space函数作为预设重组函数，高效地实现重组过程。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
实施例二：
本申请实施例二提供了一种图像反卷积处理装置，为便于说明，仅示出与本申请相关的部分，如图14所示，图像反卷积处理装置包括，
输入模块1401，用于获取待处理图像；
处理模块1402，用于根据反卷积核的参数，确定所述反卷积核对应的子卷积核；
输出模块1403，用于利用所述反卷积核对应的子卷积核对所述待处理图像进行卷积操作，得到所述待处理图像对应的目标输出图像。
进一步地，所述反卷积核的参数包括所述反卷积核的滑动步长和所述反卷积核的尺寸信息，所述处理模块1402具体包括：
数量子模块，用于根据所述反卷积核的滑动步长计算子卷积核的数量N；
尺寸子模块，用于根据所述反卷积核的尺寸信息和所述反卷积核的滑动步长计算所述子卷积核的尺寸信息；
拆分子模块，用于根据所述反卷积核的滑动步长、所述反卷积核的尺寸信息、所述子卷积核的数量和所述子卷积核的尺寸信息将所述反卷积核拆分成N个子卷积核。
进一步地，所述拆分子模块具体包括：
权值子模块，用于确定各个子卷积核的权重值，其中，第m个子卷积核的权重值为K(T*S-Q+2)(R*S-P+2)，S为所述反卷积核的滑动步长，Q为第一中间参数，P为第二中间参数，T为第一可变系数，R为第二可变系数，Q和P均为正整数，P小于或等于S，(Q-1)*S+P＝m，Kij表示所述反卷积核中第i行第j列的权重值，T和R为大于或等于0的整数，且(T*S+Q-2)和(R*S+P-2)均小于或等于反卷积核的尺寸信息k1，m＝1，2，…，N；
映射子模块，用于根据所述子卷积核的尺寸信息构造N个子卷积核框架，分别将各个子卷积核的权重值从所述反卷积核映射至对应的子卷积核框架中，并在各个所述子卷积核框架的空缺位置填充0，得到N个子卷积核。
进一步地，所述输出模块1403具体包括：
卷积子模块，用于利用所述反卷积核对应的子卷积核对所述待处理图像进行卷积操作，得到所述子卷积核对应的子图像信息；
目标子模块，用于根据各个子卷积核分别对应的子图像信息确定所述待处理图像对应的目标输出图像。
进一步地，所述目标子模块，具体用于根据各个子卷积核对应的子图像信息，将第m个子卷积核对应的子图像信息中第q行第p列的值输出至目标输出图像的第(q*S-S+Q)行第(p*S-S+P)列的像素点，得到所述待处理图像对应的目标输出图像，其中，q和p均为正整数，并且p小于或等于子图像信息的列数量，q小于或等于子图像信息的行数量。
进一步地，所述目标子模块具体包括：
阵列子模块，用于根据各个子卷积核对应的子图像信息，将第m个子卷积核对应的子图像信息排列在子图像信息阵列的第Q行第P列；
横向子模块，用于分别将所述子图像信息阵列中每一行的子图像信息中的第r列子图像信息的第t列的值重组至对应的中间图像信息中的(t*S-S+r)列，得到每一行子图像信息对应的中间图像信息，其中，每一行子图像信息对应不同的中间图像；
纵向子模块，用于将所述子图像信息阵列中第s行子图像信息对应的中间图像信息的第d行的值重组至所述目标输出图像中的第(d*S-S+s)行，得到所述目标输出图像，其中，r、t、s和d均为正整数，且r和s小于或等于S，t小于或等于子图像信息的列数量，d小于或等于子图像信息的行数量。
进一步地，所述装置还包括：
填充模块，用于获取边缘填充信息，在所述待处理图像的边缘设置与所述边缘填充信息对应的填充层，得到更新后的待处理图像。
需要说明的是，上述装置/单元之间的信息交互、执行过程等内容，由于与本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。
实施例三：
图15是本申请实施例三提供的终端设备的示意图。如图15所示，该实施例的终端设备15包括：处理器150、存储器151以及存储在所述存储器151中并可在所述处理器150上运行的计算机程序152。所述处理器150执行所述计算机程序152时实现上述图像反卷积处理方法实施例中的步骤，例如图1所示的步骤S101至S103。或者，所述处理器150执行所述计算机程序152时实现上述各装置实施例中各模块/单元的功能，例如图14所示模块1401至1403的功能。
示例性的，所述计算机程序152可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器151中，并由所述处理器150执行，以完成本申请。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序152在所述终端设备15中的执行过程。例如，所述计算机程序152可以被分割成输入模块、处理模块以及输出模块，各模块具体功能如下：
输入模块，用于获取待处理图像；
处理模块，用于根据反卷积核的参数，确定所述反卷积核对应的子卷积核；
输出模块，用于利用所述反卷积核对应的子卷积核对所述待处理图像进行卷积操作，得到所述待处理图像对应的目标输出图像。
所述终端设备15可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述终端设备可包括，但不仅限于，处理器150、存储器151。本领域技术人员可以理解，图15仅仅是终端设备15的示例，并不构成对终端设备15的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述终端设备还可以包括输入输出设备、网络接入设备、总线等。
所称处理器150可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器151可以是所述终端设备15的内部存储单元，例如终端设备15的硬盘或内存。所述存储器151也可以是所述终端设备15的外部存储设备，例如所述终端设备15上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器151还可以既包括所述终端设备15的内部存储单元也包括外部存储设备。所述存储器151用于存储所述计算机程序以及所述终端设备所需的其他程序和数据。所述存储器151还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述***中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。
Claims (8)
1.一种图像反卷积处理方法，其特征在于，包括：
获取待处理图像；
根据反卷积核的参数，确定所述反卷积核对应的子卷积核；
利用所述反卷积核对应的子卷积核对所述待处理图像进行卷积操作，得到所述待处理图像对应的目标输出图像；
所述反卷积核的参数包括所述反卷积核的滑动步长和所述反卷积核的尺寸信息，所述根据反卷积核的参数，确定所述反卷积核对应的子卷积核，具体包括：
根据所述反卷积核的滑动步长计算子卷积核的数量N；
根据所述反卷积核的尺寸信息和所述反卷积核的滑动步长计算所述子卷积核的尺寸信息；
根据所述反卷积核的滑动步长、所述反卷积核的尺寸信息、所述子卷积核的数量和所述子卷积核的尺寸信息将所述反卷积核拆分成N个子卷积核；
所述根据所述反卷积核的滑动步长、所述反卷积核的尺寸信息、所述子卷积核的数量和所述子卷积核的尺寸信息将所述反卷积核拆分成N个子卷积核具体包括：
确定各个子卷积核的权重值，其中，第m个子卷积核的权重值为K(T*S-Q+2)(R*S-P+2)，S为所述反卷积核的滑动步长，Q为第一中间参数，P为第二中间参数，T为第一可变系数，R为第二可变系数，Q和P均为正整数，P小于或等于S，(Q-1)*S+P＝m，Kij表示所述反卷积核中第i行第j列的权重值，T和R为大于或等于0的整数，且(T*S+Q-2)和(R*S+P-2)均小于或等于反卷积核的尺寸信息k1，m＝1，2，…，N；
根据所述子卷积核的尺寸信息构造N个子卷积核框架，分别将各个子卷积核的权重值从所述反卷积核映射至对应的子卷积核框架中，并在各个所述子卷积核框架的空缺位置填充0，得到N个子卷积核。
2.如权利要求1所述的图像反卷积处理方法，其特征在于，所述利用所述反卷积核对应的子卷积核对所述待处理图像进行卷积操作，得到所述待处理图像对应的目标输出图像具体包括：
利用所述反卷积核对应的子卷积核对所述待处理图像进行卷积操作，得到所述子卷积核对应的子图像信息；
根据各个子卷积核分别对应的子图像信息确定所述待处理图像对应的目标输出图像。
3.如权利要求2所述的图像反卷积处理方法，其特征在于，所述根据各个子卷积核分别对应的子图像信息确定所述待处理图像对应的目标输出图像具体包括：
根据各个子卷积核对应的子图像信息，将第m个子卷积核对应的子图像信息中第q行第p列的值输出至目标输出图像的第(q*S-S+Q)行第(p*S-S+P)列的像素点，得到所述待处理图像对应的目标输出图像，其中，q和p均为正整数，并且p小于或等于子图像信息的列数量，q小于或等于子图像信息的行数量。
4.如权利要求2所述的图像反卷积处理方法，其特征在于，所述根据各个子卷积核分别对应的子图像信息确定所述待处理图像对应的目标输出图像具体包括：
根据各个子卷积核对应的子图像信息，将第m个子卷积核对应的子图像信息排列在子图像信息阵列的第Q行第P列；
分别将所述子图像信息阵列中每一行的子图像信息中的第r列子图像信息的第t列的值重组至对应的中间图像信息中的(t*S-S+r)列，得到每一行子图像信息对应的中间图像信息，其中，每一行子图像信息对应不同的中间图像；
将所述子图像信息阵列中第s行子图像信息对应的中间图像信息的第d行的值重组至所述目标输出图像中的第(d*S-S+s)行，得到所述目标输出图像，其中，r、t、s和d均为正整数，且r和s小于或等于S，t小于或等于子图像信息的列数量，d小于或等于子图像信息的行数量。
5.如权利要求1至4中任意一项所述的图像反卷积处理方法，其特征在于，在所述获取待处理图像之后，还包括：
获取边缘填充信息，在所述待处理图像的边缘设置与所述边缘填充信息对应的填充层，得到更新后的待处理图像。
6.一种图像反卷积处理装置，其特征在于，包括：
输入模块，用于获取待处理图像；
处理模块，用于根据反卷积核的参数，确定所述反卷积核对应的子卷积核；
输出模块，用于利用所述反卷积核对应的子卷积核对所述待处理图像进行卷积操作，得到所述待处理图像对应的目标输出图像；
所述处理模块，具体包括：
数量子模块，用于根据所述反卷积核的滑动步长计算子卷积核的数量N；
尺寸子模块，用于根据所述反卷积核的尺寸信息和所述反卷积核的滑动步长计算所述子卷积核的尺寸信息；
拆分子模块，用于根据所述反卷积核的滑动步长、所述反卷积核的尺寸信息、所述子卷积核的数量和所述子卷积核的尺寸信息将所述反卷积核拆分成N个子卷积核；
所述拆分子模块，具体包括：
权值子模块，用于确定各个子卷积核的权重值，其中，第m个子卷积核的权重值为K(T*S-Q+2)(R*S-P+2)，S为所述反卷积核的滑动步长，Q为第一中间参数，P为第二中间参数，T为第一可变系数，R为第二可变系数，Q和P均为正整数，P小于或等于S，(Q-1)*S+P＝m，Kij表示所述反卷积核中第i行第j列的权重值，T和R为大于或等于0的整数，且(T*S+Q-2)和(R*S+P-2)均小于或等于反卷积核的尺寸信息k1，m＝1，2，…，N；
映射子模块，用于根据所述子卷积核的尺寸信息构造N个子卷积核框架，分别将各个子卷积核的权重值从所述反卷积核映射至对应的子卷积核框架中，并在各个所述子卷积核框架的空缺位置填充0，得到N个子卷积核。
7.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至5任一项所述的方法。
8.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911016000.XA CN112712461B (zh) | 2019-10-24 | 2019-10-24 | 一种图像反卷积处理方法、装置及终端设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911016000.XA CN112712461B (zh) | 2019-10-24 | 2019-10-24 | 一种图像反卷积处理方法、装置及终端设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112712461A CN112712461A (zh) | 2021-04-27 |
| CN112712461B true CN112712461B (zh) | 2024-04-19 |
Family
ID=75541279
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911016000.XA Active CN112712461B (zh) | 2019-10-24 | 2019-10-24 | 一种图像反卷积处理方法、装置及终端设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112712461B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116152037A (zh) * | 2022-12-06 | 2023-05-23 | 嘉楠明芯(北京)科技有限公司 | 图像反卷积方法和设备、存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107944545A (zh) * | 2017-11-10 | 2018-04-20 | 中国科学院计算技术研究所 | 应用于神经网络的计算方法及计算装置 |
| CN107967459A (zh) * | 2017-12-07 | 2018-04-27 | 北京小米移动软件有限公司 | 卷积处理方法、装置及存储介质 |
| CN109034249A (zh) * | 2018-07-27 | 2018-12-18 | 广州大学 | 基于分解径向对称卷积核的卷积优化方法、装置、终端设备及计算机可读存储介质 |
| CN109727211A (zh) * | 2018-12-21 | 2019-05-07 | 厦门美图之家科技有限公司 | 一种图像去噪方法、装置、计算设备及介质 |
| CN109886400A (zh) * | 2019-02-19 | 2019-06-14 | 合肥工业大学 | 基于卷积核拆分的卷积神经网络硬件加速器***及其计算方法 |
-
2019
- 2019-10-24 CN CN201911016000.XA patent/CN112712461B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107944545A (zh) * | 2017-11-10 | 2018-04-20 | 中国科学院计算技术研究所 | 应用于神经网络的计算方法及计算装置 |
| CN107967459A (zh) * | 2017-12-07 | 2018-04-27 | 北京小米移动软件有限公司 | 卷积处理方法、装置及存储介质 |
| CN109034249A (zh) * | 2018-07-27 | 2018-12-18 | 广州大学 | 基于分解径向对称卷积核的卷积优化方法、装置、终端设备及计算机可读存储介质 |
| CN109727211A (zh) * | 2018-12-21 | 2019-05-07 | 厦门美图之家科技有限公司 | 一种图像去噪方法、装置、计算设备及介质 |
| CN109886400A (zh) * | 2019-02-19 | 2019-06-14 | 合肥工业大学 | 基于卷积核拆分的卷积神经网络硬件加速器***及其计算方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112712461A (zh) | 2021-04-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11620508B2 (en) | Vector computation unit in a neural network processor | |
| EP3373210B1 (en) | Transposing neural network matrices in hardware | |
| US10977001B2 (en) | Asymmetric quantization of multiple-and-accumulate operations in deep learning processing | |
| US10042958B2 (en) | Simplification of large networks and graphs | |
| CN111860398B (zh) | 遥感图像目标检测方法、***及终端设备 | |
| CN111340077B (zh) | 基于注意力机制的视差图获取方法和装置 | |
| US20210182025A1 (en) | Accelerating 2d convolutional layer mapping on a dot product architecture | |
| CN111932437B (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
| WO2022134465A1 (zh) | 加速可重构处理器运行的稀疏化数据处理方法和装置 | |
| CN111860276A (zh) | 人体关键点检测方法、装置、网络设备及存储介质 | |
| CN112712461B (zh) | 一种图像反卷积处理方法、装置及终端设备 | |
| CN115457364A (zh) | 一种目标检测知识蒸馏方法、装置、终端设备和存储介质 | |
| CN116090518A (zh) | 基于脉动运算阵列的特征图处理方法、装置以及存储介质 | |
| CN116030520A (zh) | 存在遮挡的人脸识别方法及装置 | |
| CN111788567A (zh) | 一种数据处理设备以及一种数据处理方法 | |
| CN114549945A (zh) | 遥感影像变化检测方法及相关装置 | |
| CN110134813B (zh) | 图像检索方法、图像检索装置及终端设备 | |
| CN117456562B (zh) | 姿态估计方法及装置 | |
| US11132569B2 (en) | Hardware accelerator for integral image computation | |
| CN118229986A (zh) | 密集场景下的对象数量统计方法、装置、设备及介质 | |
| CN118333127A (zh) | 一种数据处理方法、装置和数据处理芯片 | |
| CN114648643A (zh) | 多尺度卷积的方法、装置、终端设备及存储介质 | |
| CN115359274A (zh) | 行人图像的匹配方法及装置 | |
| CN112418417A (zh) | 基于simd技术的卷积神经网络加速装置及方法 | |
| CN111178505A (zh) | 卷积神经网络的加速方法、计算机可读存储介质及应用 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: 516006 TCL science and technology building, No. 17, Huifeng Third Road, Zhongkai high tech Zone, Huizhou City, Guangdong Province Applicant after: TCL Technology Group Co.,Ltd. Address before: 516006 Guangdong province Huizhou Zhongkai hi tech Development Zone No. nineteen District Applicant before: TCL Corp. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |