CN115348432B

CN115348432B - 数据处理方法及装置、图像处理方法、电子设备及介质

Info

Publication number: CN115348432B
Application number: CN202210976569.6A
Authority: CN
Inventors: 请求不公布姓名
Original assignee: Shanghai Bi Ren Technology Co ltd
Current assignee: Shanghai Bi Ren Technology Co ltd
Priority date: 2022-08-15
Filing date: 2022-08-15
Publication date: 2024-05-07
Anticipated expiration: 2042-08-15
Also published as: CN115348432A

Abstract

一种数据处理方法、数据处理装置、图像处理方法、电子设备以及计算机可读存储介质。该方法包括：读取具有第一图像格式的多个输入数据；对多个输入数据进行转换得到具有第二图像格式的多个中间数据；以及对多个中间数据进行处理，以得到多个输出数据，每个输入数据包括第一分量，多个输入数据的多个第一分量排布形成多个第一分量行，读取具有第一图像格式的多个输入数据包括：读取多个第一分量行中的第一组第一分量行，并将第一组第一分量行存入到第一寄存器中；读取多个第一分量行中的第二组第一分量行，并将第二组第一分量行存入到第二寄存器中。该方法可以提高寄存器的利用效率，减少计算量，提高计算效率，并且具有更好的灵活性。

Description

数据处理方法及装置、图像处理方法、电子设备及介质

技术领域

本公开的实施例涉及一种数据处理方法、数据处理装置、图像处理方法、电子设备以及计算机可读存储介质。

背景技术

残差神经网络被广泛应用于图像分类和物体识别，其特点是容易优化，并且能够通过增加网络的深度来提高准确率。ResNet结构是残差神经网络在图像识别中近年来最成功的算法之一。通过预处理过程，可以实现将图像数据转换为残差神经网络的输入，在预处理过程中，通过对图像数据做裁剪、拆分等操作，可以得到所需的重塑后的向量以进行后续的卷积运算。在预处理过程中，加入数据折叠操作，可以极大地提高卷积运算效率。

发明内容

本公开至少一个实施例提供一种数据处理方法，包括：读取具有第一图像格式的多个输入数据；对多个输入数据进行转换得到具有第二图像格式的多个中间数据；以及对多个中间数据进行处理，以得到多个输出数据，每个输入数据包括第一分量，多个输入数据的多个第一分量排布形成多个第一分量行，读取具有第一图像格式的多个输入数据，包括：读取多个第一分量行中的第一组第一分量行，并将第一组第一分量行存入到第一寄存器中；读取多个第一分量行中的第二组第一分量行，并将第二组第一分量行存入到第二寄存器中。

例如，在本公开一实施例提供的数据处理方法中，第一组第一分量行和第二组第一分量行被同时读取。

例如，在本公开一实施例提供的数据处理方法中，第一组第一分量行包括多个第一分量行中的偶数行，第二组第一分量行包括多个第一分量行中的奇数行。

例如，在本公开一实施例提供的数据处理方法中，每个输入数据包括第二分量和第三分量，多个输入数据的多个第二分量和多个第三分量排布形成多个第二分量行，读取具有第一图像格式的多个输入数据，还包括：读取多个第二分量行，并将多个第二分量行存入到第三寄存器中。

例如，在本公开一实施例提供的数据处理方法中，每个第二分量行包括多个第二分量和多个第三分量，且每个第二分量行中的多个第二分量和多个第三分量交替排列。

例如，在本公开一实施例提供的数据处理方法中，多个第一分量行中的第2n-1个第一分量行和第2n个第一分量行对应于多个第二分量行中的第n个第二分量行，n为正整数。

例如，在本公开一实施例提供的数据处理方法中，第一图像格式为YUV格式，第一分量为Y分量，第二分量为U分量，第三分量为V分量。

例如，在本公开一实施例提供的数据处理方法中，第一图像格式采用4:2:0的采样格式，多个输入数据采用平面格式存储在内存中。

例如，在本公开一实施例提供的数据处理方法中，对多个输入数据进行转换得到具有第二图像格式的多个中间数据，包括：基于第一图像格式和第二图像格式之间的转换关系，对第一寄存器中存储的第一分量和第三寄存器存储中的第二分量和第三分量进行计算以得到多个第一中间数据，对第二寄存器中存储的第一分量和第三寄存器存储中的第二分量和第三分量进行计算以得到多个第二中间数据，多个中间数据包括多个第一中间数据和多个第二中间数据。

例如，在本公开一实施例提供的数据处理方法中，对多个中间数据进行处理，包括：对多个第一中间数据和多个第二中间数据进行归一化处理，得到归一化后的多个第一中间数据和归一化后的多个第二中间数据。

例如，在本公开一实施例提供的数据处理方法中，归一化后的多个第一中间数据排列形成多个第一数据列，归一化后的多个第二中间数据排列形成多个第二数据列，对多个中间数据进行处理，以得到多个输出数据，包括：获取多个第一数据列中的奇数列并对多个第一数据列中的奇数列对应的归一化后的多个第一中间数据进行填充操作和折叠操作，以得到第一组输出数据；获取多个第一数据列中的偶数列并对多个第一数据列中的偶数列对应的归一化后的多个第一中间数据进行填充操作和折叠操作，以得到第二组输出数据；获取多个第二数据列中的奇数列并对多个第二数据列中的奇数列对应的归一化后的多个第二中间数据进行填充操作和折叠操作，以得到第三组输出数据；获取多个第二数据列中的偶数列并对多个第二数据列中的偶数列对应的归一化后的多个第二中间数据进行填充操作和折叠操作，以得到第四组输出数据；多个输出数据包括第一组输出数据、第二组输出数据、第三组输出数据以及第四组输出数据。

例如，在本公开一实施例提供的数据处理方法中，第二图像格式为RGB格式。

本公开至少一个实施例还提供一种图像处理方法，包括：获取输入图像，该输入图像中的数据的图像格式为第一图像格式；将输入图像中的数据作为多个输入数据，利用本公开至少一个实施例提供的数据处理方法对输入图像中的数据进行处理，以得到与输入图像对应的多个输出数据；利用神经网络对与输入图像对应的多个输出数据进行处理，以得到神经网络的输出。

例如，在本公开一实施例提供的图像处理方法中，神经网络为一种50层的残差神经网络。

本公开至少一个实施例还提供一种数据处理装置，包括：读取单元，配置为读取具有第一图像格式的多个输入数据；转换单元，配置为对多个输入数据进行转换得到具有第二图像格式的多个中间数据；以及处理单元，配置为对多个中间数据进行处理，以得到多个输出数据，每个输入数据包括第一分量，多个输入数据的多个第一分量排布形成多个第一分量行，在执行读取具有第一图像格式的多个输入数据的步骤时，读取单元配置为：读取多个第一分量行中的第一组第一分量行，并将第一组第一分量行存入到第一寄存器中；读取多个第一分量行中的第二组第一分量行，并将第二组第一分量行存入到第二寄存器中。

本公开至少一个实施例还提供一种电子设备，包括：处理器；以及存储器，存储有计算机可执行指令，计算机可执行指令在被处理器执行时实现本公开至少一个实施例提供的数据处理方法或本公开至少一个实施例提供的图像处理方法。

本公开至少一个实施例还提供一种计算机可读存储介质，用于非瞬时性地存储计算机可执行指令，该计算机可执行指令在被处理器执行时实现本公开至少一个实施例提供的数据处理方法或本公开至少一个实施例提供的图像处理方法。

附图说明

为了更清楚地说明本公开实施例的技术方案，下面将对实施例的附图作简单地介绍，显而易见地，下面描述中的附图仅仅涉及本公开的一些实施例，而非对本公开的限制。

图1A示出了一种数据处理步骤的流程图；

图1B示出了一种图像格式的一个示例的内存布局示意图；

图2示出了本公开至少一实施例提供的一种数据处理方法的示意性流程图；

图3示出了图2所示的数据处理方法中的步骤S201的示意性流程图；

图4示出了图2所示的数据处理方法中的步骤S203的示意性流程图；

图5示出了本公开至少一个实施例提供的数据处理方法的步骤的流程图；

图6A和图6B示出了本公开至少一个实施例提供的数据处理方法的一个示例的流程图；

图7示出了本公开至少一个实施例提供的一种图像处理方法的示意性流程图；

图8示出了本公开至少一实施例提供的一种数据处理装置的示意框图；

图9为本公开一些实施例提供的一种电子设备的示意框图；

图10为本公开一些实施例提供的另一种电子设备的示意框图；以及

图11为本公开一些实施例提供的一种存储介质的示意图。

具体实施方式

为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例的附图，对本公开实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本公开的一部分实施例，而不是全部的实施例。基于所描述的本公开的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。

除非另外定义，本公开使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本公开中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。同样，“一个”、“一”或者“该”等类似词语也不表示数量限制，而是表示存在至少一个。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。

图1A示出了一种数据处理步骤的流程图。

如图1A所示，在数据预处理过程中，针对具有第一图像格式的多个数据一般采用如下的数据处理步骤：首先对具有第一图像格式的多个数据进行转换得到具有第二图像格式的多个数据，接着对具有第二图像格式的多个数据进行归一化处理(normalization)得到归一化后的多个数据，接着对归一化后的多个数据依次进行拆分操作(split)、填充操作(pad)和折叠操作(fold)得到用于后续的卷积操作的多个数据。

例如，第一图像格式为YUV格式，其中，“Y”表示明亮度(Luminance或Luma)，也就是灰度值；而“U”(蓝色投影Cb)和“V”(红色投影Cr)表示的则是色度(Chrominance或Chroma)，作用是描述色彩及饱和度，用于指定颜色。YUV的存储格式分为平面格式和打包格式，YUV的采样方式主要有三种：YUV4:4:4、YUV4:2:2、YUV4:2:0。

YUV的平面格式包括YUV420SP(Semi-Planar，二维平面)格式，Y分量一个平面，UV分量合用一个平面，即将Y分量和UV分量分开存储。根据U、V的存储顺序，又分为NV12格式和NV21格式，对于NV12格式，先存储所有的Y分量，再按照先U后V的顺序交错存储UV分量，对于NV21格式，先存储所有的Y分量，再按照先V后U的顺序交错存储UV分量。以YUV420SP(NV12)的图像格式为例，其内存布局如图1B所示。在图1B中，Y分量和UV分量分开存储，Y分量所占内存大小为224*224个单位，UV分量所占内存大小为112*224个单位，2*2的Y分量对应一个U分量和一个V分量。例如，Y(0,0)、Y(0,1)、Y(1,0)、Y(1,1)对应U(0,0)和V(0,0)；又例如，Y(222,0)、Y(222,1)、Y(223,0)、Y(223,1)对应U(111,0)和V(111,0)。例如，图像中的每个像素对应的数据包括一个Y分量、一个U分量和一个V分量，多个Y分量按照其对应的像素在图像中的位置关系在内存中存储，例如，Y(0,0)对应的像素位于图像中的第一行第一列，Y(0,1)对应的像素位于图像中的第一行第二列，Y(1,0)对应的像素位于图像中的第二行第一列，依次类推。

在例如将具有图1B所示格式的YUV数据转化为RGB数据的过程中，如果采用图1A所示的数据处理步骤，申请人发现有如下瓶颈：对于输入图像中的每个像素，需要从内存中取出相应的Y、U、V数据做转换，数据读取过程比较复杂，数据读取效率低。并且一个U分量和一个V分量都对应着2*2排列的4个Y分量，顺序处理会导致数据重复读取，复用率低。

本公开上述实施例提供的数据处理方法可以提高寄存器的利用效率，减少计算量，提高计算效率，并且具有更好的灵活性。

本公开至少一实施例还提供对应于上述数据处理方法的数据处理装置、图像处理方法、电子设备和计算机可读存储介质。

下面结合附图对本公开的实施例进行详细说明，但是本公开并不限于这些具体的实施例。

图2示出了本公开至少一实施例提供的一种数据处理方法的示意性流程图。

如图2所示，该数据处理方法包括如下的步骤S201～S203。

步骤S201：读取具有第一图像格式的多个输入数据。

例如，在一些实施例中，第一图像格式为YUV格式，第一图像格式采用4:2:0的采样格式，多个输入数据采用平面格式存储在内存中。

需要说明的是，第一图像格式还可以为其它图像格式，第一图像格式还可以采用例如4:2:2的采样格式，多个输入数据还可以采用其它格式进行存储，本公开对此不作限制。

例如，多个输入数据存储在内存中，则在步骤S201中，从内存中读取该多个输入数据。

步骤S202：对多个输入数据进行转换得到具有第二图像格式的多个中间数据。

例如，第一图像格式和第二图像格式不相同。在一些实施例中，第二图像格式可以为RGB格式，其中，R表示红色分量，G表示绿色分量，B表示蓝色分量。

需要说明的是，第二图像格式还可以为其它图像格式，例如RGBA、RGBX等，本公开对此不作限制。在本公开的实施例中，以第一图像格式为YUV格式，第二图像格式为RGB格式为例进行描述。

步骤S203：对多个中间数据进行处理，以得到多个输出数据。

例如，每个输入数据包括第一分量，多个输入数据的多个第一分量排布形成多个第一分量行。

例如，多个输入数据可以为一幅图像中的数据。在一幅图像中，多个输入数据沿第一方向和第二方向阵列排布，第一方向可以为图像的行方向，第二方向可以为图像的列方向。每个Y分量可以对应图像的一个像素,每个像素对应的数据为一个输入数据，图像的尺寸可以为H*M，多个输入数据对应的多个像素沿第一方向和第二方向阵列排布为H*M的阵列，多个Y分量沿第一方向和第二方向排布为H*M的阵列。如图1B所示，H可以为224，M可以为224。

例如，第一分量为Y分量。如图1B所示，第一方向可以为横向的方向，第二方向为竖向的方向。多个第一分量沿第一方向排布以形成224个第一分量行。

例如，图像中与每个第一分量行中的第一分量对应的像素位于同一行。例如，图像中的位于同一行的所有像素所对应的数据中的第一分量构成一个第一分量行，即一个第一分量行对应一个像素行。

例如，多个第一分量行分别对应的多个第一分量数量相同，每个第一分量数量表示对应的第一分量行中的第一分量的数量，例如，第一分量数量可以为M。例如，如图1B所示，M为224，每个第一分量行中的第一分量的数量为224，例如，第一个第一分量行包括Y(0,0)、Y(0,1)、…、Y(0,223)。

如图3所示，在一些实施例中，步骤S201可以包括步骤S301～S302。

步骤S301：读取多个第一分量行中的第一组第一分量行，并将第一组第一分量行存入到第一寄存器中。

步骤S302：读取多个第一分量行中的第二组第一分量行，并将第二组第一分量行存入到第二寄存器中。

步骤S301～S302是对数据进行的第一次拆分操作。第一次拆分操作是针对第一分量在第二方向(即列方向)上进行了一次奇偶拆分。

例如，在一些实施例中，第一组第一分量行包括多个第一分量行中的偶数行，第二组第一分量行包括多个第一分量行中的奇数行。

例如，在一些实施例中，第一组第一分量行和第二组第一分量行被同时读取。由此，在本公开的实施例中，奇数行的第一分量和偶数行的第一分量可以同时被读取，从而可以提高数据读取效率。

将第一分量行分为第一组第一分量行和第二组第一分量行，分开并同时读取第一组第一分量行和第二组第一分量行，相比于顺序读取多个第一分量行，第一组第一分量行和第二组第一分量行的读取过程被并行执行，可以最大程度地提高寄存器的利用效率，减少读取次数。

例如，在一些实施例中，每个输入数据还包括第二分量和第三分量，多个输入数据的多个第二分量和多个第三分量排布形成多个第二分量行。

例如，第二分量为U分量，第三分量为V分量。如图1B所示，多个输入数据的多个第二分量和多个第三分量排布形成112个第二分量行。

例如，在一些实施例中，每个第二分量行包括多个第二分量和多个第三分量，且每个第二分量行中的多个第二分量和多个第三分量交替排列。多个第二分量行分别对应的多个第二分量数量相同，每个第二分量数量表示对应的第二分量行中的第二分量的数量和第三分量的数量之和，当图像的尺寸可以为H*M时，第二分量数量为M。例如，每个第二分量行中的第二分量的数量和第三分量的数量可以相等，且可以为M/2。例如，如图1B所示，M为224，每个第二分量行对应的第二分量数量为224，每个第二分量行中的第二分量的数量和第三分量的数量均为112，例如，第一个第二分量行包括U(0,0)、V(0,0)、U(0,1)、…、V(0,111)。

例如，在一些实施例中，步骤S201还可以包括：读取多个第二分量行，并将多个第二分量行存入到第三寄存器中。

例如，如图1B所示，U分量和V分量交替排列。

例如，在一些实施例中，两个第一分量行对应一个第二分量行，多个第一分量行中的第2n-1个第一分量行和第2n个第一分量行对应于多个第二分量行中的第n个第二分量行，n为正整数。

例如，如图1B所示，Y分量的第一行和第二行对应UV分量的第一行，即第一个第一分量行(即Y(0,0)、Y(0,1)、…、Y(0,223))和第二个第一分量行(即Y(1,0)、Y(1,1)、…、Y(1,223))对应第一个第二分量行(即U(0,0)、V(0,0)、U(0,1)、…、V(0,111))，Y分量的第三行和第四行对应UV分量的第二行，即第三个第一分量行(即Y(2,0)、Y(2,1)、…、Y(2,223))和第四个第一分量行(即Y(3,0)、Y(3,1)、…、Y(3,223))对应第二个第二分量行(即U(1,0)、V(1,0)、U(1,1)、…、V(1,111))，以此类推。

例如，在一些实施例中，步骤S202可以包括：基于第一图像格式和第二图像格式之间的转换关系，对第一寄存器中存储的第一分量和第三寄存器存储中的第二分量和第三分量进行计算以得到多个第一中间数据，对第二寄存器中存储的第一分量和第三寄存器存储中的第二分量和第三分量进行计算以得到多个第二中间数据。

例如，多个中间数据包括多个第一中间数据和多个第二中间数据。

例如，第一图像格式为YUV格式，多个输入数据中的各个分量在内存的存储如图1B所示，第二图像格式为RGB格式。第一寄存器中存储的是Y分量的奇数行，第二寄存器中存储的是Y分量的偶数行，第三寄存器中存储的是UV分量。由于Y分量的2n-1行和第2n行对应于UV分量行中的第n行，分别计算对应的R、G、B值。这里以NV12，BT601(其表示一种常用的RGB与YUV之间数据转换的标准)的浮点转换为例，第一图像格式和第二图像格式之间的转换关系体现在以下具体计算公式1-3：

R＝Y+1.402(V-128) (公式1)

G＝Y-0.34414(U-128)-0.71414(V-128) (公式2)

B＝Y+1.772(U-128) (公式3)

例如，在一些实施例中，步骤S203可以包括：对多个第一中间数据和多个第二中间数据进行归一化处理，得到归一化后的多个第一中间数据和归一化后的多个第二中间数据。

例如，多个中间数据的格式为RGB格式。

例如，归一化处理包括对多个第一中间数据和多个第二中间数据中的每个中的每个分量乘以对应的比例(scale)，再加上相应的偏差(bias)。scale和bias的值都是固定的值。例如，对于R分量，比例为0.485，偏差为0.229；对于G分量，比例为0.456，偏差为0.224；对于B分量，比例为0.406，偏差为0.225。

例如，多个第一中间数据和多个第二中间数据中的每个包括红色分量、绿色分量和蓝色分量。红色分量对应的比例为scale_R，对应的偏差为bias_R；绿色分量对应的比例为scale_G，对应的偏差为bias_G；蓝色分量对应的比例为scale_B，对应的偏差为bias_B。则归一化后的红色分量的数值表示为normed_R＝R0*scale_R+bias_R，归一化后的绿色分量的数值表示为normed_G＝G0*scale_G+bias_G，归一化后的蓝色分量的数值表示为normed_B＝B0*scale_B+bias_B，其中，R0表示红色分量的初始值，G0表示绿色分量的初始值，B0表示蓝色分量的初始值。

例如，在一些实施例中，归一化后的多个第一中间数据排列形成多个第一数据列，归一化后的多个第二中间数据排列形成多个第二数据列。

例如，图像中与每个第一数据列中的归一化后的第一中间数据对应的像素位于同一列，图像中与每个第二数据列中的归一化后的第二中间数据对应的像素位于同一列。即每个第一数据列中的归一化后的第一中间数据沿第二方向排列，每个第二数据列中的归一化后的第二中间数据沿第二方向排列。

如图4所示，在一些实施例中，步骤S203可以包括步骤S401～S404。

步骤S401：获取多个第一数据列中的奇数列并对多个第一数据列中的奇数列对应的归一化后的多个第一中间数据进行填充操作和折叠操作，以得到第一组输出数据。

步骤S402：获取多个第一数据列中的偶数列并对多个第一数据列中的偶数列对应的归一化后的多个第一中间数据进行填充操作和折叠操作，以得到第二组输出数据。

步骤S403：获取多个第二数据列中的奇数列并对多个第二数据列中的奇数列对应的归一化后的多个第二中间数据进行填充操作和折叠操作，以得到第三组输出数据。

步骤S404：获取多个第二数据列中的偶数列并对多个第二数据列中的偶数列对应的归一化后的多个第二中间数据进行填充操作和折叠操作，以得到第四组输出数据。

例如，多个输出数据包括第一组输出数据、第二组输出数据、第三组输出数据以及第四组输出数据。

步骤S401～S404是对数据进行的第二次拆分操作，通过将多个第一数据列拆分为奇数列和偶数列以及将多个第二数据列拆分为奇数列和偶数列，得到四个矩阵。接着对四个矩阵分别进行填充操作和折叠操作以完成预处理，然后将得到的多个输出数据进行后续的卷积等操作。填充操作是通过对选中区域特定边界补零，或者填充特定值，来满足需要的形状大小。折叠操作是将每个归一化后的数据(归一化后的第一中间数据/归一化后的第二中间数据)的n个通道(channel)变成2n个通道，n为正整数。第二次拆分操作是在第一方向(即行方向)上进行了一次奇偶拆分。

在本公开的实施例中，将图1A所示的数据处理步骤中的拆分操作分成两个拆分操作，第一次拆分操作在读取第一分量时进行(步骤S301～S302)，不会增加额外的读取负担；第二次拆分操作可以直接由SIMT(Single Instruction Multiple Threads，单指令多线程)move指令来实现，可以极大地减少计算量，提高计算效率。例如，同一行中四个BF16格式的相邻的数据(x0,x1,x2,x3)由相邻的两个数据单元(32比特)存储，通过move指令，将这四个相邻的数据从BF16格式转换为FP32格式，这四个相邻的数据所占的数据单元从2个变为4个，每个数据占用一个32比特的数据单元。将数据x1和x2变换顺序得到(x0,x2,x1,x3)，再通过move指令对数据进行格式转换，从FP32格式变回BF16格式，这样(x0,x2)就被放入第一个数据单元，(x1,x3)就被放入第二个数据单元，相当于进行了奇偶拆分。对整个矩阵都做相同的操作，就相当于进行了第二次拆分操作。

由于图1A所示的拆分操作必须采用4n个寄存器以分别存储拆分得到的四个矩阵，该拆分操作将一个矩阵沿着两个不同方向分为多个2*2的片(tile)，每个片包括四个数据，该四个数据分别为数据ee(位于第一行第一列)、数据eo(位于第一行第二列)、数据oe(位于第二行第一列)、数据oo(位于第二行第二列)，将所有片中的数据ee进行拼接以得到一个矩阵，将所有片中的数据eo进行拼接以得到一个矩阵，将所有片中的数据oe进行拼接以得到一个矩阵，将所有片中的数据oo进行拼接以得到一个矩阵。也就是说，所有片中的相同位置的数据组成一个矩阵。

例如，如图1B所示，一个2*2的片包括Y(0,0)、Y(0,1)、Y(1,0)、Y(1,1)，执行拆分操作之后，Y(0,0)、Y(0,1)、Y(1,0)、Y(1,1)会被分到四个矩阵中，又例如，如图1B所示，另一个2*2的片包括Y(222,0)、Y(222,1)、Y(223,0)、Y(223,1)，执行拆分操作之后，Y(222,0)、Y(222,1)、Y(223,0)、Y(223,1)也会被分到四个矩阵中，Y(0,0)和Y(222,0)位于相同的矩阵中，Y(0,1)和Y(222,1)位于相同的矩阵中，Y(1,0)和Y(223,0)位于相同的矩阵中，Y(1,1)和Y(223,1)位于相同的矩阵中。

在本公开的实施例中，将其分成两个拆分操作后，整个处理过程具有更好的灵活性。

需要说明的是，在此实施例中，归一化处理是在步骤S401～S404之前进行的，归一化处理也可以在步骤S401～S404之后进行，本公开对此不作限制。

图5示出了本公开至少一个实施例提供的数据处理方法的步骤的流程图。

如图5所示，本公开实施例提供的数据处理方法的步骤和图1A所示的数据处理步骤大致相同，不同之处在于将图1A中的拆分操作分为两个拆分操作(第一次拆分操作和第二次拆分操作)，第一次拆分操作在将多个输入数据进行转换得到具有第二图像格式的多个中间数据之前进行，第二次拆分操作在归一化操作和填充操作之间进行。

需要说明的是，第二次拆分操作可以在归一化操作和填充操作之前进行，也可以在归一化操作和填充操作之间进行，本公开对此不作限制。

图1A所示的拆分操作需要采用4n个寄存器以分别存储拆分得到的四个矩阵，再把4n个寄存器里的四个矩阵的值统一存入到共享的缓存空间X0，再从X0中读取出来分别存入到4个寄存器中，整个过程需要至少8个周期。本公开至少一个实施例提供的拆分操作例如针对BF16的数据类型，32个线程的数据，每个寄存器存放2个数据，只需要一次BF16格式到FP32格式的转换指令，就可以将32*2个BF16格式的数据拆分成两个32*1个FP32格式的数据，一个周期就可以执行完毕。

下面通过图6A和图6B来说明本公开至少一个实施例提供的数据处理方法的一个示例。

如图6A所示，第一图像格式为YUV格式，第二图像格式为RGB格式，第一图像格式采用4:2:0的采样格式，多个输入数据采用平面格式存储在内存中。每个输入数据包括Y分量，多个Y分量沿第一方向和第二方向排布形成一个矩阵601(相当于多个第一分量行，矩阵601中一行即为一个第一分量行)。首先，读取Y分量的偶数行并将所有偶数行存入第一寄存器中形成一个矩阵602(相当于第一组第一分量行)，读取Y分量的奇数行并将所有奇数行存入第二寄存器中形成一个矩阵603(相当于第二组第一分量行)。多个U分量和V分量沿着第一方向和第二方向排布，读取所有U分量和V分量并存入第三寄存器中形成一个矩阵604(相当于多个第二分量行，矩阵604中一行即为一个第二分量行)。接着，基于第一图像格式和第二图像格式之间的转换关系(公式1～公式3)，对矩阵602中存储的Y分量和矩阵604中存储的U分量和Y分量进行计算得到第一R分量矩阵、第一G分量矩阵和第一B分量矩阵(第一R分量矩阵相当于多个第一中间数据中的R分量形成的矩阵，第一G分量矩阵相当于多个第一中间数据中的G分量形成的矩阵，第一B分量矩阵相当于多个第一中间数据中的B分量形成的矩阵)，图6A仅示出了第一R分量矩阵605，对矩阵603中存储的Y分量和矩阵604中存储的U分量和Y分量进行计算得到第二R分量矩阵、第二G分量矩阵和第二B分量矩阵(第二R分量矩阵相当于多个第二中间数据中的R分量形成的矩阵，第二G分量矩阵相当于多个第二中间数据中的G分量形成的矩阵，第二B分量矩阵相当于多个第二中间数据中的B分量形成的矩阵)，图6A仅示出了第二R分量矩阵606。

接着，如图6B所示，以第一R分量矩阵和第二R分量矩阵为例，对第一R分量矩阵605和第二R分量矩阵606进行归一化操作得到归一化后的第一R分量矩阵607(相当于归一化后的多个第一中间数据中的R分量形成的矩阵)和归一化后的第二R分量矩阵608(相当于归一化后的多个第二中间数据中的R分量形成的矩阵)。最后，获取第一R分量矩阵607的奇数列并对其对应的多个数据进行填充操作和折叠操作，以得到第一组输出数据609，获取归一化后的第一R分量矩阵607的偶数列并对其对应的多个数据进行填充操作和折叠操作，以得到第二组输出数据610，获取归一化后的第二R分量矩阵608的奇数列并对其对应的多个数据进行填充操作和折叠操作，以得到第三组输出数据611，获取归一化后的第二R分量矩阵608的偶数列并对其对应的多个数据进行填充操作和折叠操作，以得到第四组输出数据612。

图7示出了本公开至少一个实施例提供的一种图像处理方法的示意性流程图。

如图7所示，该图像处理方法包括如下的步骤S701～S703。

步骤S701：获取输入图像。

例如，该输入图像中的数据的图像格式为第一图像格式。

步骤S702：将输入图像中的数据作为多个输入数据，利用本公开至少一个实施例提供的数据处理方法对输入图像中的数据进行处理，以得到与输入图像对应的多个输出数据。

步骤S702是对输入图像中的数据进行的预处理操作。

步骤S703：利用神经网络对与输入图像对应的多个输出数据进行处理，以得到神经网络的输出。

例如，利用神经网络对多个输出数据进行卷积等处理。

例如，在一些实施例中，神经网络为一种50层的残差神经网络。

该图像处理方法的技术效果与图2所示的数据处理方法的技术效果相同，在此不再赘述。

图8示出了本公开至少一实施例提供的一种数据处理装置800的示意框图，该数据处理装置可以用于执行图2所示的数据处理方法。

如图8所示，数据处理装置800包括读取单元801、转换单元802以及处理单元803。

读取单元801被配置为读取具有第一图像格式的多个输入数据。

转换单元802被配置为对多个输入数据进行转换得到具有第二图像格式的多个中间数据。

处理单元803被配置为对多个中间数据进行处理，以得到多个输出数据。

在执行读取具有第一图像格式的多个输入数据的步骤时，读取单元801被配置为：读取多个第一分量行中的第一组第一分量行，并将第一组第一分量行存入到第一寄存器中；读取多个第一分量行中的第二组第一分量行，并将第二组第一分量行存入到第二寄存器中。

上述数据处理装置的技术效果与图2所示的数据处理方法的技术效果相同，在此不再赘述。

例如，读取单元801、转换单元802、处理单元803包括存储在存储器中的代码和程序；处理器可以执行该代码和程序以实现如上所述的读取单元801、转换单元802、处理单元803的一些功能或全部功能。例如，读取单元801、转换单元802、处理单元803可以是专用硬件器件，用来实现如上所述的读取单元801、转换单元802、处理单元803的一些或全部功能。例如，读取单元801、转换单元802、处理单元803可以是一个电路板或多个电路板的组合，用于实现如上所述的功能。在本申请实施例中，该一个电路板或多个电路板的组合可以包括：(1)一个或多个处理器；(2)与处理器相连接的一个或多个非暂时的存储器；以及(3)处理器可执行的存储在存储器中的固件。

本公开的至少一个实施例还提供了一种电子设备，该电子设备包括处理器；存储器，存储有计算机可执行指令，其中，计算机可执行指令在被处理器执行时实现本公开至少一实施例提供的数据处理方法或图像处理方法。

图9为本公开一些实施例提供的一种电子设备900的示意框图。如图9所示，该电子设备900包括处理器910和存储器920。存储器920用于存储计算机可执行指令(例如一个或多个计算机程序模块)。处理器910用于运行计算机可执行指令，计算机可执行指令被处理器910运行时可以执行上文所述的数据处理方法或图像处理方法中的一个或多个步骤。存储器920和处理器910可以通过总线***和/或其它形式的连接机构(未示出)互连。

例如，处理器910可以是中央处理单元(CPU)、图形处理单元(GPU)或者具有数据处理能力和/或程序执行能力的其它形式的处理单元。例如，中央处理单元(CPU)可以为X86或ARM架构等。处理器910可以为通用处理器或专用处理器，可以控制电子设备900中的其它组件以执行期望的功能。

例如，存储器920可以包括一个或多个计算机程序产品的任意组合，计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。非易失性存储器例如可以包括只读存储器(ROM)、硬盘、可擦除可编程只读存储器(EPROM)、便携式紧致盘只读存储器(CD-ROM)、USB存储器、闪存等。在计算机可读存储介质上可以存储一个或多个计算机程序模块，处理器910可以运行一个或多个计算机程序模块，以实现电子设备900的各种功能。在计算机可读存储介质中还可以存储各种应用程序和各种数据以及应用程序使用和/或产生的各种数据等。

需要说明的是，本公开的实施例中，电子设备900的具体功能和技术效果可以参考上文中关于数据处理方法和图像处理方法的描述，此处不再赘述。

图10为本公开一些实施例提供的另一种电子设备的示意框图。该电子设备1000例如适于用来实施本公开实施例提供的数据处理方法和/或图像处理方法。电子设备1000可以是终端设备等。需要注意的是，图10示出的电子设备1000仅仅是一个示例，其不会对本公开实施例的功能和使用范围带来任何限制。

如图10所示，电子设备1000可以包括处理装置(例如中央处理器、图形处理器等)1010，其可以根据存储在只读存储器(ROM)1020中的程序或者从存储装置1080加载到随机访问存储器(RAM)1030中的程序而执行各种适当的动作和处理。在RAM 1030中，还存储有电子设备1000操作所需的各种程序和数据。处理装置1010、ROM 1020以及RAM 1030通过总线1040彼此相连。输入/输出(I/O)接口1050也连接至总线1040。

通常，以下装置可以连接至I/O接口1050：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置1060；包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置1070；包括例如磁带、硬盘等的存储装置1080；以及通信装置1090。通信装置1090可以允许电子设备1000与其他电子设备进行无线或有线通信以交换数据。虽然图10示出了具有各种装置的电子设备1000，但应理解的是，并不要求实施或具备所有示出的装置，电子设备1000可以替代地实施或具备更多或更少的装置。

例如，根据本公开的实施例，上述数据处理方法或图像处理方法可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在非暂态计算机可读介质上的计算机程序，该计算机程序包括用于执行上述数据处理方法或图像处理方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置1090从网络上被下载和安装，或者从存储装置1080安装，或者从ROM 1020安装。在该计算机程序被处理装置1010执行时，可以实现本公开实施例提供的数据处理方法或图像处理方法中限定的功能。

本公开至少一个实施例提供一种计算机可读存储介质，用于非暂时性存储计算机可执行指令，其中，计算机可执行指令在被处理器执行时实现本公开至少一实施例提供的数据处理方法或图像处理方法。

图11为本公开一些实施例提供的一种存储介质的示意图。如图11所示，存储介质1100用于存储计算机可执行指令1110。例如，当计算机可执行指令1110由计算机执行时可以执行根据上文所述的数据处理方法或图像处理方法中的一个或多个步骤。

有以下几点需要说明：

(1)本公开实施例附图只涉及到本公开实施例涉及到的结构，其他结构可参考通常设计。

(2)在不冲突的情况下，本公开的实施例及实施例中的特征可以相互组合以得到新的实施例。

以上所述，仅为本公开的具体实施方式，但本公开的保护范围并不局限于此，本公开的保护范围应以所述权利要求的保护范围为准。

Claims

1.一种数据处理方法，包括：

读取具有第一图像格式的多个输入数据；

对所述多个输入数据进行转换得到具有第二图像格式的多个中间数据；以及

对所述多个中间数据进行处理，以得到多个输出数据，

其中，所述多个输入数据中的每个输入数据包括第一分量，所述多个输入数据的多个第一分量排布形成多个第一分量行；

其中，读取具有所述第一图像格式的多个输入数据，包括：

读取所述多个第一分量行中的第一组第一分量行，并将所述第一组第一分量行存入到第一寄存器中，

读取所述多个第一分量行中的第二组第一分量行，并将所述第二组第一分量行存入到第二寄存器中；

其中，所述每个输入数据还包括第二分量和第三分量，所述多个输入数据的多个第二分量和多个第三分量排布形成多个第二分量行，

读取具有所述第一图像格式的多个输入数据，还包括：

读取所述多个第二分量行，并将所述多个第二分量行存入到第三寄存器中；

其中，对所述多个输入数据进行转换得到具有所述第二图像格式的所述多个中间数据，包括：

基于所述第一图像格式和所述第二图像格式之间的转换关系，对所述第一寄存器中存储的第一分量和所述第三寄存器中存储中的第二分量和第三分量进行计算以得到多个第一中间数据，对所述第二寄存器中存储的第一分量和所述第三寄存器中存储中的第二分量和第三分量进行计算以得到多个第二中间数据，

其中，所述多个中间数据包括所述多个第一中间数据和所述多个第二中间数据。

2.根据权利要求1所述的数据处理方法，其中，所述第一组第一分量行和所述第二组第一分量行被同时读取。

3.根据权利要求2所述的数据处理方法，其中，所述第一组第一分量行包括所述多个第一分量行中的偶数行，所述第二组第一分量行包括所述多个第一分量行中的奇数行。

4.根据权利要求1所述的数据处理方法，其中，每个第二分量行包括多个第二分量和多个第三分量，且每个第二分量行中的多个第二分量和多个第三分量交替排列。

5.根据权利要求4所述的数据处理方法，其中，所述多个第一分量行中的第2n-1个第一分量行和第2n个第一分量行对应于所述多个第二分量行中的第n个第二分量行，n为正整数。

6.根据权利要求1所述的数据处理方法，其中，所述第一图像格式为YUV格式，所述第一分量为Y分量，所述第二分量为U分量，所述第三分量为V分量。

7.根据权利要求1-6中的任一项所述的数据处理方法，其中，所述第一图像格式采用4:2:0的采样格式，所述多个输入数据采用平面格式存储在内存中。

8.根据权利要求1所述的数据处理方法，其中，对所述多个中间数据进行处理，包括：

对所述多个第一中间数据和所述多个第二中间数据进行归一化处理，得到归一化后的多个第一中间数据和归一化后的多个第二中间数据。

9.根据权利要求8所述的数据处理方法，其中，所述归一化后的多个第一中间数据排列形成多个第一数据列，所述归一化后的多个第二中间数据排列形成多个第二数据列，对所述多个中间数据进行处理，以得到多个输出数据，包括：

获取所述多个第一数据列中的奇数列并对所述多个第一数据列中的奇数列对应的归一化后的多个第一中间数据进行填充操作和折叠操作，以得到第一组输出数据；

获取所述多个第一数据列中的偶数列并对所述多个第一数据列中的偶数列对应的归一化后的多个第一中间数据进行填充操作和折叠操作，以得到第二组输出数据；

获取所述多个第二数据列中的奇数列并对所述多个第二数据列中的奇数列对应的归一化后的多个第二中间数据进行填充操作和折叠操作，以得到第三组输出数据；

获取所述多个第二数据列中的偶数列并对所述多个第二数据列中的偶数列对应的归一化后的多个第二中间数据进行填充操作和折叠操作，以得到第四组输出数据；

其中，所述多个输出数据包括所述第一组输出数据、所述第二组输出数据、所述第三组输出数据以及所述第四组输出数据。

10.根据权利要求1-6中的任一项所述的数据处理方法，其中，所述第二图像格式为RGB格式。

11.一种图像处理方法，包括：

获取输入图像，其中，所述输入图像中的数据的图像格式为第一图像格式；

将所述输入图像中的数据作为多个输入数据，利用权利要求1-10所述的数据处理方法对所述输入图像中的数据进行处理，以得到与所述输入图像对应的多个输出数据；

利用神经网络对与所述输入图像对应的所述多个输出数据进行处理，以得到所述神经网络的输出。

12.根据权利要求11所述的图像处理方法，其中，所述神经网络为一种50层的残差神经网络。

13.一种数据处理装置，包括：

读取单元，配置为读取具有第一图像格式的多个输入数据；

转换单元，配置为对所述多个输入数据进行转换得到具有第二图像格式的多个中间数据；以及

处理单元，配置为对所述多个中间数据进行处理，以得到多个输出数据，

其中，在执行读取具有第一图像格式的多个输入数据的步骤时，所述读取单元配置为：

所述读取单元还配置为：

其中，所述转换单元还配置为：

14.一种电子设备，包括：

处理器；以及

存储器，存储有计算机可执行指令，

其中，所述计算机可执行指令在被所述处理器执行时实现根据权利要求1-10中任一项所述的数据处理方法或权利要求11或12所述的图像处理方法。

15.一种计算机可读存储介质，用于非瞬时性地存储计算机可执行指令，

其中，所述计算机可执行指令在被处理器执行时实现根据权利要求1-10中任一项所述的数据处理方法或权利要求11或12所述的图像处理方法。