CN114301575A - 数据处理方法、***、设备及介质 - Google Patents

Abstract

本申请实施例提供数据处理方法、***、设备及介质。其中，所述方法包括：接收数据流；对所述数据流进行切块处理，得到多个切分数据块；分别计算所述多个切分数据块对应的校验信息；将所述切分数据块及对应的校验信息作为一个目标逻辑块发送至存储设备。通过上述方案，由智能网卡根据固态存储设备的逻辑块大小需求对第一数据流进行切分，并计算得到各个切分数据块的循环冗余校验信息，从而使得第一数据流的处理过程中，不需要存储设备以及存储引擎参与到循环冗余校验信息的计算过程中，能够有效减轻固态存储设备和存储引擎的工作量。

Description

数据处理方法、***、设备及介质

技术领域

本申请涉及计算机技术领域，尤其涉及数据处理方法、***、设备及介质。

背景技术

随着计算机技术的发展，网卡的功能越来越丰富，不再只是负责服务器与外界的二层转发，而是担负起了更多帮助处理器处理网络相关事务的作用。

在现有技术中，越来越多的存储引擎都配置有智能网卡和固态存储设备，将智能网卡与固态存储设备耦合连接。在实际应用中发现，智能网卡处理的数据的时候，不是基于逻辑块处理的，而固态存储设备则是基于逻辑块进行数据存储。为了保证数据传输和保存时的完整性，通常会计算该数据的循环冗余校验(Cyclic redundancy check，CRC)信息，在智能网卡与固态存储设备进行数据传输的时候，需要智能网卡基于数据记录计算循环冗余校验信息，而固态存储设备则根据拆分得到的逻辑块计算循环冗余校验信息，这就需要消耗存储引擎中处理器的算力，直接影响处理器的工作性能。

发明内容

为解决或改善现有技术中存在的问题，本申请各实施例提供了数据处理方法、***、设备及介质。

第一方面，在本申请的一个实施例中，提供了一种数据处理方法。该方法包括：

接收数据流；

对所述数据流进行切块处理，得到多个切分数据块；

分别计算所述多个切分数据块对应的校验信息；

将所述切分数据块及对应的校验信息作为一个目标逻辑块发送至存储设备。

第二方面，在本申请的一个实施例中，提供了另一种数据处理方法。该方法包括：

从存储设备读取第一数据流对应的多个目标逻辑块；其中，所述多个目标逻辑块是基于所述第一数据流切分得到的；

基于所述目标逻辑块中携带的第一校验信息对所述目标逻辑块进行校验处理；所述第一校验信息是基于所述目标逻辑块计算得到的；

若校验通过，计算所述第一数据流对应的第二校验信息；

发送携带有所述第二校验信息的所述第一数据流。

第三方面，在本申请的一个实施例中，提供了一种数据处理***，包括：

智能网卡，用于接收数据流；对所述数据流进行切块处理，得到多个切分数据块；分别计算所述多个切分数据块对应的校验信息；将所述切分数据块及对应的校验信息作为一个目标逻辑块发送至存储设备；或者，用于从存储设备读取第一数据流对应的多个目标逻辑块；其中，所述多个目标逻辑块是基于所述第一数据流切分得到的；基于所述目标逻辑块中携带的第一校验信息对所述目标逻辑块进行校验处理；所述第一校验信息是基于所述目标逻辑块计算得到的；若校验通过，计算所述第一数据流对应的第二校验信息；发送携带有所述第二校验信息的所述第一数据流；

所述存储设备，用于存储基于所述校验信息验证通过的所述目标逻辑块；或者，用于提供分别携带有第一校验信息的多个目标逻辑块。

第四方面，在本申请的一个实施例中，提供了一种计算机可读介质，其上存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现根据第一方面所述的一种数据处理方法或第二方面所述的另一种数据处理方法。

第五方面，在本申请的一个实施例中，提供了一种电子设备，包括存储器及处理器；其中，

所述存储器，用于存储程序；

所述处理器，与所述存储器耦合，用于执行所述存储器中存储的所述程序，以用于实现第一方面所述的一种数据处理方法或第二方面所述的另一种数据处理方法。

本申请实施例提供的技术方案，智能网卡在接收到需要进行存储的第一数据流之后，将对第一数据流进行切块处理，从而得到符合存储设备校验和存储需求的逻辑块。进而，智能网卡计算各个切分数据块的循环冗余校验信息，基于切分数据块和循环冗余校验信息生成目标逻辑块。通过上述方案，由智能网卡根据固态存储设备的逻辑块大小需求对第一数据流进行切分，并计算得到各个切分数据块的循环冗余校验信息，从而使得第一数据流的处理过程中，不需要存储设备以及存储引擎参与到循环冗余校验信息的计算过程中，能够有效减轻固态存储设备和存储引擎的工作量。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的数据流和逻辑块的示意图；

图2为本申请实施例提供的数据接收方法的流程示意图；

图3为本申请实施例提供的对数据流切块的示意图；

图4为本申请实施例提供的切分方法的流程示意图；

图5为本申请实施例提供的对数据流切块处理的示意图；

图6为本申请实施例提供的第二数据流处理方式的流程示意图；

图7为本申请实施例举例说明对第二数据流切块处理的示意图；

图8为本申请实施例提供的另一种数据处理方法的流程示意图；

图9为本申请实施例提供的一种数据读取的示意图；

图10为本申请实施例提供的一种数据处理***的结构示意图；

图11为本申请实施例提供的一种数据处理装置的结构示意图；

图12为本申请实施例提供的一种电子设备的结构示意图；

图13为本申请实施例提供的另一种数据处理装置的结构示意图；

图14为本申请实施例提供的另一种电子设备的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。

在本申请的说明书、权利要求书及上述附图中描述的一些流程中，包含了按照特定顺序出现的多个操作，这些操作可以不按照其在本文中出现的顺序来执行或并行执行。操作的序号如101、102等，仅仅是用于区分各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。需要说明的是，本文中的“第一”、“第二”等描述，是用于区分不同的消息、设备、模块等，不代表先后顺序，也不限定“第一”和“第二”是不同的类型。此外，下文描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

在本申请技术方案中，越来越多的存储引擎都配置有智能网卡和固态存储设备，将智能网卡与固态存储设备耦合连接。在实际应用中发现，智能网卡处理的数据的时候，不是基于逻辑块处理的，而是数据长度可变的数据流；而固态存储设备则是基于逻辑块进行数据存储。如图1为本申请实施例提供的数据流和逻辑块的示意图。从图1中可以看到，为了保证数据传输和保存时的完整性，通常会计算该数据的循环冗余校验(Cyclic redundancycheck，CRC)信息，在智能网卡与固态存储设备进行数据传输的时候，需要智能网卡基于数据流计算循环冗余校验信息(图1中Rcd CRC)，而固态存储设备用于对数据流切块，以及对切块得到的逻辑块计算循环冗余校验信息(图1中LB CRC)，拆分得到的逻辑块的数量会比较多，进行循环冗余校验信息计算的时候就需要消耗存储引擎中处理器的算力，影响存储引擎中处理器的工作性能。因此，需要一种能够在不消耗存储引擎处理器资源的情况下完成数据流和逻辑块的循环冗余校验。下面将通过具体实施例进行说明。

如图2为本申请实施例提供的数据接收方法的流程示意图。在实际应用场景中，该方法的执行主体可以是智能网卡(SmartNIC)。该方法具体包括如下步骤：

201：接收数据流。

202：对所述数据流进行切块处理，得到多个切分数据块。

203：分别计算所述多个切分数据块对应的校验信息。

204：将所述切分数据块及对应的校验信息作为一个目标逻辑块发送至存储设备。

如图1所述可知，智能网卡接收到的数据流包含有很多数据，该数据流对应的数据长度远大于存储设备中每个目标逻辑块所能够存储的数据长度。例如，智能网卡接收到的数据流的长度为18KB，而目标逻辑块的长度为4KB，则需要多个目标逻辑块才能够存储下数据流。这里所说的校验信息，可以是循环冗余校验信息(Cyclic Redundancy Check，CRC)，这里所说的存储设备可以是固态存储设备(比如，SSD)。

智能网卡接收到数据流后，会根据数据流对应的循环冗余校验信息对数据流进行整体的校验。在校验通过后，智能网卡会对该数据流进行切块处理，得到多个切分数据块。比如，如图3为本申请实施例提供的对数据流切块的示意图。从图3中可以看到，对16KB的数据流按照4KB大小进行切块处理，得到4个4KB大小的切分数据块。进而，由智能网卡利用处理器计算各个切分数据块对应的校验信息(比如，循环冗余校验CRC信息)。进而，将计算得到的校验信息添加到对应的切分数据块当中，得到符合存储设备的逻辑块大小的目标逻辑块，以便存储设备能够直接存储携带有校验信息的切分数据块。存储设备在进行存储之前，可以利用智能网卡计算得到的各个切分数据块对应的校验信息完成校验，而不需要存储引擎中处理器再重新计算校验信息。能够有效减轻存储引擎计算循环冗余校验信息的计算负担。

在实际应用中，将所述切分数据块及对应的校验信息作为一个目标逻辑块发送至存储设备的时候，可以有多种方式实现：

一种实现方式，在由智能网卡经过切块处理得到切分数据块，以及计算得到各个切分数据块对应的校验信息之后，可以将切分数据块与校验信息组合得到目标逻辑块。在得到多个切分数据块分别对应的多个目标逻辑块之后，智能网卡可以将多个目标逻辑块分别发送给存储设备进行校验和存储。

另一种实现方式，在由智能网卡经过切块处理得到切分数据块，以及计算得到各个切分数据块对应的校验信息之后，可以将切分数据块与校验信息组合得到目标逻辑块。在得到多个切分数据块分别对应的多个目标逻辑块之后，智能网卡进一步根据数据流将对应的多个目标逻辑块打包在一起或者作为一个新的数据流，发送给存储设备。存储设备在接收到之后，会进行解析，或者对新的数据流按照切分规则切分得到目标逻辑块，进而利用目标逻辑块中携带的校验信息对各个目标逻辑块进行校验，而不需要重复存储引擎中重复计算校验信息，也不需要对新的数据流进行校验。

如图4为本申请实施例提供的切分方法的流程示意图。如步骤202所述对所述数据流进行切块处理，得到多个切分数据块，包括：401：基于存储设备的逻辑块大小，对所述数据流进行切块处理；402：生成多个切分数据块。或者，生成至少一个切分数据块和数据量小于所述逻辑块大小的第一切分子数据块。

在进行切分的时候，为了满足存储设备的校验和存储需求，需要根据存储设备的逻辑块大小对数据流进行切块处理。例如，数据流大小为16KB，校验信息大小为4B，存储设备A1的逻辑块大小为4KB，则经过切块处理后得到4个4KB+4B大小的目标逻辑块；存储设备A2的逻辑块大小为8KB，则经过切块处理后得到2个8KB+4B大小的目标逻辑块。

在实际应用中，智能网卡所处理的数据流的大小是可变的，而且很有可能在对数据流进行切分的时候，无法得到完整的切分数据块。例如，数据流大小为18KB，校验信息大小为4B，存储设备A1的逻辑块大小为4KB，则经过切块处理后得到4个4KB+4B大小的目标逻辑块，以及1个2KB大小的第一切分子数据块。

需要说明的是，这里所说的存储设备中的逻辑块的大小为有效数据大小，不包含校验信息。目标逻辑块则是包含逻辑块大小和校验信息大小的总和。例如，逻辑块大小为4KB，校验信息大小为4B，则目标逻辑块的大小为4KB+4B。

在本申请的一个或者多个实施例中，基于存储设备的逻辑块大小，对所述数据流进行切块处理之后，还包括：

确定所述切分数据块分别对应的数据长度，以及所述校验信息在所述切分数据块中的校验信息地址；

基于所述数据长度配置所述切分数据块的配置描述符；

所述将所述切分数据块及对应的校验信息作为一个目标逻辑块发送至存储设备，包括：

根据所述配置描述符指示的所述切分数据块中描述类型，将所述循环冗余校验信息配置到所述切分数据块中的所述校验信息地址，生成可被所述存储设备处理的所述目标逻辑块；

将所述目标逻辑块发送至所述存储设备。

在对数据流进行切分处理的时候，需要对智能网卡进行全局配置，以便得到符合存储设备需求的目标逻辑块。设置全局配置参数，包括逻辑块大小、校验信息大小、计算得到的逻辑块的数量、配置信息列表的地址、目标逻辑块的校验信息的注入功能、数据流处理方式(写入存储设备还是从存储设备中读取)、是否对校验信息进行校验等等。基于上述全局配置参数对数据流进行切分后，得到切分数据块。

如前文所述可知，在对数据流进行切块的时候，由于数据流大小不确定，所以得到的切分数据块的大小也是不确定的，需要借助描述符对各个切分数据块进行描述，配置描述符中包含的描述信息包括：地址信息、数据长度、描述类型。进而，基于配置描述符对切分数据块和校验信息进行配置处理，得到目标逻辑块。

为了便于理解，下面具体举例说明。

例如，如图5为本申请实施例提供的对数据流切块处理的示意图。可以采用分散收集列表(Scatter Gather List，SGL)技术实现对智能网卡中切分数据块的配置。

假设数据流长度为10224B，全局配置包括：

LB size＝4096B(逻辑块长度4096B),CRC_Size＝4B(循环冗余校验信息长度4B)；

1.LB count＝3(目标逻辑块数量为3个)；

2.SGL List Address(SGL列表地址)；

3.LB_CRC_Inject＝TRUE(目标逻辑块的校验信息注入功能开启)；

4.DMA_DIR＝IN(直接内存访问(Direct Memory Access，DMA)引擎为入站，也就是将智能网卡接收的数据流写入存储设备)；

5.Transaction_CRC_Check＝TRUE(开启CRC校验)；

在SGL列表中，它包含以下配置描述符：

SGL Descriptor 0:LB_0_Mem_Addr,Length＝4096B+4B,DescType＝Data；SGL0描述符中配置了目标逻辑块0的地址、数据长度为4096B+4B，描述类型为数据；

SGL Descriptor 1:LB_1_Mem_Addr,Length＝4096B+4B,DescType＝Data；SGL1描述符中配置了目标逻辑块1的地址、数据长度为4096B+4B，描述类型为数据；

SGL Descriptor 2:LB_2_Mem_Addr,Length＝2048B,DescType＝Data；

SGL2描述符中配置了用于存储第一切分子数据块的目标逻辑块2的地址、数据长度为2048B，描述类型为数据；

SGL Descriptor 3:LB_2_Mem_Addr+2048B,Length＝2048B,DescType＝Padding；由于目标逻辑块2中还有空余数据空间，SGL3描述符中配置了目标逻辑块2的地址基础上偏移2048B、数据长度为2048B，描述类型为填充。

可以看到，为每个切分数据块都配置有其对应的配置描述符。基于上述描述符生成SGL列表。DMA引擎将加载SGL列表，并根据SGL列表中的配置描述符传输数据流的数据。循环冗余校验信息将在每个逻辑块之后连续注入，进而得到完整的目标逻辑块，将目标逻辑块存储到存储设备中指定地址(可以由描述符指定)。这个例子是DIF模式，也可以使用迪克斯(DIX)模式，这将把目标逻辑块的循环冗余校验信息(LB_CRC)放在一个单独的连续缓冲区。

在实际应用中，所述分别计算所述多个切分数据块对应的校验信息，包括：若切分得到所述第一切分子数据块，则按照所述逻辑块大小对所述第一切分子数据块中空余数据空间添加填充信息。基于包含有所述填充信息和所述第一切分子数据块的切分数据块重新计算对应的所述校验信息。

如图4对应实施例所述可知，在实际进行切块处理的时候，可能得到第一切分子数据块，该第一切分子数据块的数据量的大小要小于逻辑块大小，因此，不满足一个目标逻辑块所需数据量。此时，可以采用对空余数据空间添加填充信息的方式进行填充。如上述实施例中SGL Descriptor 3所述，描述了在第二个目标逻辑块LB_2_Mem_Addr的基础上添加填充信息，填充信息的数据长度为Length＝2048B，对应的描述类型为DescType＝Padding。

在完成上述填充操作之后，可以进一步的计算由第一切分子数据块和填充信息组成的临时逻辑块的临时循环冗余校验信息。并根据全局配置信息，加载SGL列表，将该临时循环冗余校验信息注入到临时逻辑块中。

此时得到的临时逻辑块中数据是不完整的，若该临时逻辑块之后未再接收到新的数据流，则将该临时逻辑块作为目标逻辑块进行存储处理。若在该临时逻辑块之后，还接收到新的数据流，则会在接收到下一个数据流的时候，将新的数据流切分出一部分数据填充到临时逻辑块中填充信息所在位置。具体来说：

如图6为本申请实施例提供的第二数据流处理方式的流程示意图。从图6中可以看到，生成可被所述存储设备处理的目标逻辑块之后，还包括：601：若接收到第二数据流，基于所述存储设备的逻辑块大小和所述填充信息大小，对所述第二数据流进行切块处理；602：生成所述第二数据流对应的切分数据块和第二切分子数据块；603：利用所述第二切分子数据块替换所述第一切分子数据块对应的填充信息；604：生成合并切分数据块；605：计算所述合并切分数据块对应的校验信息。

基于上述实施例经过切分得到了第一切分子数据块之后，智能网卡又接收到了对第二数据流，则会按照存储设备的逻辑块大小和填充信息大小对第二数据流进行切块处理。需要说明的是，在对第二数据流进行切块处理的时候，得到的第二切分子数据块大小与填充信息大小一致，以便利用第二切分子数据块替换填充信息，从而得到合并切分数据块。在得到第二切分子数据块的同时，还得到了第二数据流对应的多个切分数据块以及第三切分子数据块。针对第三切分子数据块，可以采用如前文所述针对第一切分子数据块相同的数据处理方式进行处理。比如，逻辑块大小是4KB，第一切分子数据块大小为1KB，第二数据流大小为20KB。因此，在对第二数据流进行切分的时候，先切分得到一个3KB大小的第二切分子数据块，进而将1KB的第一切分子数据块和3KB的第二切分子数据块合并处理得到合并切分数据块。此外，还得到4个4KB的切分数据块和1个1KB的第三切分子数据块。

为了便于理解，下面具体举例说明。

例如，如图7为本申请实施例举例说明对第二数据流切块处理的示意图。可以采用分散收集列表(Scatter Gather List，SGL)技术实现对智能网卡中切分数据块的配置。

假设第二数据流长度为15360B，全局配置包括：

LB size＝4096B(逻辑块长度4096B),CRC_Size＝4B(循环冗余校验信息长度4B)；

1.LB count＝5(目标逻辑块数量为5个)；

2.SGL List Address(SGL列表地址)；

3.LB_CRC_Inject＝TRUE(目标逻辑块的校验信息注入功能开启)；

4.DMA_DIR＝IN DMA引擎为入站，也就是将智能网卡接收的数据流写入存储设备)；

5.Transaction_CRC_Check＝TRUE(开启CRC校验)；

在SGL列表中，它包含以下配置描述符：

SGL Descriptor 0:LB_2_Mem_Addr,Length＝2048B,DescType＝Pre-Load；SGL0描述符中配置了目标逻辑块2的地址、数据长度为2048B，描述类型为预加载类型；表示在目标逻辑块2中已经加载了长度为2048B的第一切分子数据块中的数据；

SGL Descriptor 1:LB_2_Mem_Addr+2048B,Length＝2048B+4B,DescType＝Data；SGL1描述符中配置了目标逻辑块2的地址偏移2048B、数据长度为2048B+4B，描述类型为数据；

SGL Descriptor 2:LB_3_Mem_Addr,Length＝4096B+4B,DescType＝Data；SGL2描述符中配置了目标逻辑块3的地址、数据长度为4096B+4B，描述类型为数据；

SGL Descriptor 3:LB_4_Mem_Addr,Length＝4096B+4B,DescType＝Data；SGL3描述符中配置了目标逻辑块4的地址、数据长度为4096B+4B，描述类型为数据；

SGL Descriptor 4:LB_5_Mem_Addr,Length＝4096B+4B,DescType＝Data；SGL4描述符中配置了目标逻辑块5的地址、数据长度为4096B+4B，描述类型为数据；

SGL Descriptor 5:LB_6_Mem_Addr,Length＝1024B,DescType＝Data；SGL5描述符中配置了用于存储第三切分子数据块的目标逻辑块6的地址、数据长度为1024B，描述类型为数据；

SGL Descriptor 6:LB_6_Mem_Addr+1024B,Length＝3072B,DescType＝Padding；由于目标逻辑块6中还有空余数据空间，SGL6描述符中配置了目标逻辑块6的地址基础上偏移1024B、数据长度为3072B，描述类型为填充。

DMA引擎将加载SGL列表。第一个SGL描述符是预加载类型，这意味着DMA引擎将从起始地址2048B数据加载到DMA引擎中，也为预加载的第一切分子数据块计算CRC。第二个SGL描述符传输第二数据流的头部(数据长度为2048B)，该头部将与预加载的第一切分子数据块合并，在传输2048B数据之后，将在逻辑块后注入循环冗余校验。然后，对齐的部分将根据SGL2描述符转移到SGL5描述符。最后，SGL6描述符填充到逻辑块边界。NVMe固态硬盘可以利用基于逻辑块的循环冗余校验，它们将被检查并存储到固态硬盘中。

在通过上述实施例得到目标逻辑块之后，所述将所述目标逻辑块发送至所述存储设备。包括：将携带有所述校验信息的至少一个所述目标逻辑块发送给存储设备，以便所述存储设备基于所述校验信息进行校验处理，并对校验通过的所述目标逻辑块进行存储。

基于上述实施例，DMA引擎加载SGL并对数据流进行切块处理后，得到可被存储设备处理的目标逻辑块。将该目标逻辑块发送给存储设备，进而存储设备将根据目标逻辑块中携带的校验信息进行校验。由此可见，在本申请实施例中，不需要存储设备或者存储引擎利用处理器再为每个目标逻辑块重新计算对应的校验信息(比如CRC)，完全交由智能网卡完成目标逻辑块的校验信息的计算工作。

在本申请一个或者多个实施例中，还包括：若接收到数据读取请求，从存储设备读取第一数据流对应的多个目标逻辑块。基于所述目标逻辑块中携带的第一校验信息对所述目标逻辑块进行校验处理。若校验通过，计算所述第一数据流对应的第二校验信息。发送携带有所述第二校验信息的所述第一数据流。

该智能网卡还可以从存储设备中读取第一数据流对应的目标逻辑块，智能网卡可以直接进行校验信息校验工作，不需要再计算校验信息。具体可参考图8、图9对应的各个实施例，这里就不再重复赘述。

基于同样的思路，本申请实施例还提供一种数据处理方法。该方法执行主体可以是智能网卡。如图8为本申请实施例提供的另一种数据处理方法的流程示意图，该方法包括如下步骤

801：从存储设备读取第一数据流对应的多个目标逻辑块；其中，所述多个目标逻辑块是基于所述第一数据流切分得到的。

802：基于所述目标逻辑块中携带的第一校验信息对所述目标逻辑块进行校验处理；所述第一校验信息是基于所述目标逻辑块计算得到的。

803：若校验通过，计算所述第一数据流对应的第二校验信息。

804：发送携带有所述第二校验信息的所述第一数据流。

在存储设备中是以逻辑块为存储单位进行数据存储的。当有数据读取需求的时候，智能网卡可以从存储设备中读取到所需的第一数据流对应的多个目标逻辑块。需要说明的是，这里所说的目标逻辑块是基于第一数据流切分处理后得到并存储到存储设备当中的。具体切分以及生成目标逻辑块的过程，可参见图2至图7对应的实施例，这里就不再重复赘述。

由于在目标逻辑块中携带有已经计算好的校验信息，因此，存储设备和智能网卡可以直接基于该校验信息对目标逻辑块进行安全校验。在校验通过之后，将多个目标逻辑块中的数据进行合并，得到第一数据流。进而，再由智能网卡基于第一数据流计算对应的第二校验信息，并以便将携带有第二校验信息的第一数据流发送出去，比如，可以从智能网卡所在的A设备发送给B设备。

在实际应用中，目标逻辑块中所包含的数据可能是由多个数据流的数据共同组成的。若所述多个目标逻辑块中的第一目标逻辑块为基于合并切分数据块得到的，则确定所述第一目标逻辑块中第二子数据记录的数据长度；所述合并切分数据块包含有第一数据流对应的第一切分子数据块和第二数据流对应的第二切分子数据块。基于所述数据长度，将所述第一目标逻辑块中所述第二切分子数据块添加位桶标识。

如图9为本申请实施例提供的一种数据读取的示意图。从图7中可以看到，在第一数据流对应的多个目标逻辑块当中，包含有切分数据块的数据以及校验信息(图9中所示的CRC)。第一个目标逻辑块当中，包含的数据有第一数据流的第一切分子数据块的数据，以及第二数据流的第二切分子数据块的数据。为了便于智能网卡对第一目标逻辑块的处理，可以通过描述符将第一目标逻辑块中的第二切分子数据块对应的数据添加位桶标识，在后续数据发出的时候，只将第一目标逻辑块中的第一切分子数据块对应的数据发送出去。

在本申请的一个或者多个实施例中，所述计算所述第一数据流的第二校验信息，包括：基于所述第一目标逻辑块中包含的所述位桶标识，确定属于所述第一数据流的第一切分子数据块。基于多个所述目标逻辑块和所述第一切分子数据块进行合并得到所述第一数据流。计算所述第一数据流对应的所述第二校验信息。

为了便于理解，下面具体举例说明。

全局配置包括：

1.LB count＝5(目标逻辑块数量为5个)

2.SGL List Address(SGL列表地址)

3.LB_CRC_Check＝TRUE(目标逻辑块的校验信息注入功能开启)

4.Transaction_CRC_INJECT＝TRUE(开启CRC注入)

5.DMA_DIR＝out(DMA引擎为出站，也就是智能网卡从存储设备中读取数据流)

相应地设置SGL列表中描述符，如下所示:

1.SGL Descriptor 0:LB_2_Mem_Addr,Length＝2048B,DescType＝Bit-Bucket，如图7所示可知，第一目标逻辑块LB2为基于合并切分数据块得到的，因此，针对LB2配置SGL0描述符为：LB2地址，数据长度为2048B，描述类型为位桶类型；

2.SGL Descriptor 1:LB_2_Mem_Addr+2048B,Length＝2048B+4B,DescType＝Data；SGL1描述符中配置了目标逻辑块3的地址、数据长度为4096B+4B，描述类型为数据；

3.SGL Descriptor 2:LB_3_Mem_Addr,Length＝4096B+4B,DescType＝Data；SGL2描述符中配置了目标逻辑块3的地址、数据长度为4096B+4B，描述类型为数据；

4.SGL Descriptor 3:LB_4_Mem_Addr,Length＝4096B+4B,DescType＝Data；SGL3描述符中配置了目标逻辑块4的地址、数据长度为4096B+4B，描述类型为数据；

5.SGL Descriptor 4:LB_5_Mem_Addr,Length＝4096B+4B,DescType＝Data；SGL4描述符中配置了目标逻辑块5的地址、数据长度为4096B+4B，描述类型为数据；

6.SGL Descriptor 5:LB_6_Mem_Addr,Length＝1024B,DescType＝Data；SGL5描述符中配置了目标逻辑块6的地址、数据长度为1024B，描述类型为数据；

7.SGL Descriptor 6:LB_6_Mem_Addr,Length＝3072B,DescType＝Bit-Bucket；SGL6描述符中配置了目标逻辑块6的地址、数据长度为3072B，描述类型为位桶类型；

SGL位桶描述符表示被标记位桶描述符的第二切分子数据块的数据将与第一切分子数据块中的数据一起被加载到DMA引擎，并对第一目标逻辑块的循环冗余校验进行校验，但是第二切分子数据块的数据不会被传输出去。

Transaction_CRC_INJECT表示当智能网卡将第一数据流传输到以太网时，它将在第一数据流后附加一个由智能网卡计算得到的校验信息(比如，循环冗余校验码CRC)。

在本申请一个或者多个实施例中，还包括：接收数据流；对所述数据流进行切块处理，得到多个切分数据块；分别计算所述多个切分数据块对应的校验信息；将所述切分数据块及对应的校验信息作为一个目标逻辑块发送至存储设备。该智能网卡还可以在接收数据流的时候进行校验信息计算以及对数据流进行切块处理。具体可参考图2至图7对应的各个实施例，这里就不再重复赘述。

基于同样的思路，本申请实施例还提供一种数据处理***。如图10为本申请实施例提供的一种数据处理***的结构示意图。如图10所示，该***包括：

智能网卡101，用于接收数据流；对所述数据流进行切块处理，得到多个切分数据块；分别计算所述多个切分数据块对应的校验信息；将所述切分数据块及对应的校验信息作为一个目标逻辑块发送至存储设备；或者，用于从存储设备读取第一数据流对应的多个目标逻辑块；其中，所述多个目标逻辑块是基于所述第一数据流切分得到的；基于所述目标逻辑块中携带的第一校验信息对所述目标逻辑块进行校验处理；所述第一校验信息是基于所述目标逻辑块计算得到的；若校验通过，计算所述第一数据流对应的第二校验信息；发送携带有所述第二校验信息的所述第一数据流；

所述存储设备102，用于存储基于所述校验信息验证通过的所述目标逻辑块；或者，用于提供分别携带有第一校验信息的多个目标逻辑块。

基于同样的思路，本申请实施例还提供一种数据处理装置。如图11为本申请实施例提供的一种数据处理装置的结构示意图。该数据处理装置包括：

接收模块111，用于接收数据流。

处理模块112，用于对所述数据流进行切块处理，得到多个切分数据块。

计算模块113，用于分别计算所述多个切分数据块对应的校验信息。

发送模块114，用于将所述切分数据块及对应的校验信息作为一个目标逻辑块发送至存储设备。

可选地，处理模块112，用于基于存储设备的逻辑块大小，对所述数据流进行切块处理；生成多个切分数据块；或者，生成至少一个切分数据块和数据量小于所述逻辑块大小的第一切分子数据块。

可选地，处理模块112，还用于确定所述切分数据块分别对应的数据长度，以及所述校验信息在所述切分数据块中的校验信息地址；基于所述数据长度配置所述切分数据块的配置描述符。根据所述配置描述符指示的所述切分数据块中描述类型，将所述校验信息配置到所述切分数据块中的所述校验信息地址，生成可被所述存储设备处理的所述目标逻辑块；将所述目标逻辑块发送至所述存储设备。

可选地，计算模块113，还用于若切分得到所述第一切分子数据块，则按照所述逻辑块大小对所述第一切分子数据块中空余数据空间添加填充信息；基于包含有所述填充信息和所述第一切分子数据块的切分数据块重新计算对应的所述校验信息。

可选地，计算模块113，还用于若接收到第二数据流，基于所述存储设备的逻辑块大小和所述填充信息大小，对所述第二数据流进行切块处理；

生成所述第二数据流对应的切分数据块和第二切分子数据块；

利用所述第二切分子数据块替换所述第一切分子数据块对应的填充信息；

生成合并切分数据块；

计算所述合并切分数据块对应的校验信息。

可选地，发送模块114，用于将携带有所述校验信息的至少一个所述目标逻辑块发送给存储设备，以便所述存储设备基于所述校验信息进行校验处理，并对校验通过的所述目标逻辑块进行存储。

还包括读取模块115，用于若接收到数据读取请求，从存储设备读取第一数据流对应的多个目标逻辑块；基于所述目标逻辑块中携带的第一校验信息对所述目标逻辑块进行校验处理；若校验通过，计算所述第一数据流对应的第二校验信息；发送携带有所述第二校验信息的所述第一数据流。

本申请一个实施例还提供一种电子设备。如图12为本申请实施例提供的一种电子设备的结构示意图。该电子设备包括存储器1201、处理器1202及通信组件1203；其中，

所述存储器1201，用于存储程序；

所述处理器1202，与所述存储器耦合，用于执行所述存储器中存储的所述程序，以用于：

接收数据流；

对所述数据流进行切块处理，得到多个切分数据块；

分别计算所述多个切分数据块对应的校验信息；

将所述切分数据块及对应的校验信息作为一个目标逻辑块发送至存储设备。

上述存储器1201可被配置为存储其它各种数据以支持在电子设备上的操作。这些数据的示例包括用于在电子设备上操作的任何应用程序或方法的指令。存储器可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

进一步地，本实施例中的所述处理器1202可以具体是：可编程交换处理芯片，该可编程交换处理芯片中配置有数据复制引擎，能对接收到的数据进行复制。

上述处理器1202在执行存储器中的程序时，除了上面的功能之外，还可实现其它功能，具体可参见前面各实施例的描述。进一步，如图12所示，电子设备还包括：电源组件1204等其它组件。

基于同样的思路，本申请实施例还提供一种数据处理装置。如图13为本申请实施例提供的另一种数据处理装置的结构示意图。该数据处理装置包括：

读取模块131，用于从存储设备读取第一数据流对应的多个目标逻辑块；其中，所述多个目标逻辑块是基于所述第一数据流切分得到的。

处理模块132，用于基于所述目标逻辑块中携带的第一校验信息对所述目标逻辑块进行校验处理；所述第一校验信息是基于所述目标逻辑块计算得到的。

计算模块133，用于若校验通过，计算所述第一数据流对应的第二校验信息。

发送模块134，用于发送携带有所述第二校验信息的所述第一数据流。

可选地，还包括确定模块135，用于若所述多个目标逻辑块中的第一目标逻辑块为基于合并切分数据块得到的，则确定所述第一目标逻辑块中第二子数据记录的数据长度；所述合并切分数据块包含有第一数据流对应的第一切分子数据块和第二数据流对应的第二切分子数据块；基于所述数据长度，将所述第一目标逻辑块中所述第二切分子数据块添加位桶标识。

可选地，计算模块133，还用于基于所述第一目标逻辑块中包含的所述位桶标识，确定属于所述第一数据流的第一切分子数据块；基于多个所述目标逻辑块和所述第一切分子数据块进行合并得到所述第一数据流；计算所述第一数据流对应的所述第二校验信息。

可选地，还包括接收模块136用于接收数据流；对所述数据流进行切块处理，得到多个切分数据块；分别计算所述多个切分数据块对应的校验信息；将所述切分数据块及对应的校验信息作为一个目标逻辑块发送至存储设备。

本申请一个实施例还提供一种电子设备。如图14为本申请实施例提供的另一种电子设备的结构示意图。该电子设备包括存储器1401、处理器1402及通信组件1403；其中，

所述存储器1401，用于存储程序；

所述处理器1402，与所述存储器耦合，用于执行所述存储器中存储的所述程序，以用于：

从存储设备读取第一数据流对应的多个目标逻辑块；其中，所述多个目标逻辑块是基于所述第一数据流切分得到的；

基于所述目标逻辑块中携带的第一校验信息对所述目标逻辑块进行校验处理；所述第一校验信息是基于所述目标逻辑块计算得到的；

若校验通过，计算所述第一数据流对应的第二校验信息；

发送携带有所述第二校验信息的所述第一数据流。

上述存储器1401可被配置为存储其它各种数据以支持在电子设备上的操作。这些数据的示例包括用于在电子设备上操作的任何应用程序或方法的指令。存储器可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

进一步地，本实施例中的所述处理器1402可以具体是：可编程交换处理芯片，该可编程交换处理芯片中配置有数据复制引擎，能对接收到的数据进行复制。

上述处理器1402在执行存储器中的程序时，除了上面的功能之外，还可实现其它功能，具体可参见前面各实施例的描述。进一步，如图14所示，电子设备还包括：电源组件1404等其它组件。

基于上述实施例，智能网卡在接收到需要进行存储的第一数据流之后，将对第一数据流进行切块处理，从而得到符合存储设备校验和存储需求的逻辑块。进而，智能网卡计算各个切分数据块的循环冗余校验信息，基于切分数据块和循环冗余校验信息生成目标逻辑块。通过上述方案，由智能网卡根据固态存储设备的逻辑块大小需求对第一数据流进行切分，并计算得到各个切分数据块的循环冗余校验信息，从而使得第一数据流的处理过程中，不需要存储设备以及存储引擎参与到循环冗余校验信息的计算过程中，能够有效减轻固态存储设备和存储引擎的工作量。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (14)

1.一种数据处理方法，包括：

接收数据流；

对所述数据流进行切块处理，得到多个切分数据块；

分别计算所述多个切分数据块对应的校验信息；

将所述切分数据块及对应的校验信息作为一个目标逻辑块发送至存储设备。

2.根据权利要求1所述的方法，所述对所述数据流进行切块处理，得到多个切分数据块，包括：

基于存储设备的逻辑块大小，对所述数据流进行切块处理；

生成多个切分数据块；或者，生成至少一个切分数据块和数据量小于所述逻辑块大小的第一切分子数据块。

3.根据权利要求2所述的方法，基于存储设备的逻辑块大小，对所述数据流进行切块处理之后，还包括：

确定所述切分数据块分别对应的数据长度，以及所述校验信息在所述切分数据块中的校验信息地址；

基于所述数据长度配置所述切分数据块的配置描述符；

所述将所述切分数据块及对应的校验信息作为一个目标逻辑块发送至存储设备，包括：

根据所述配置描述符指示的所述切分数据块中描述类型，将所述校验信息配置到所述切分数据块中的所述校验信息地址，生成可被所述存储设备处理的所述目标逻辑块；

将所述目标逻辑块发送至所述存储设备。

4.根据权利要求2或3所述的方法，所述分别计算所述多个切分数据块对应的校验信息，包括：

若切分得到所述第一切分子数据块，则按照所述逻辑块大小对所述第一切分子数据块中空余数据空间添加填充信息；

基于包含有所述填充信息和所述第一切分子数据块的切分数据块重新计算对应的所述校验信息。

5.根据权利要求4所述的方法，生成可被所述存储设备处理的目标逻辑块之后，还包括：

若接收到第二数据流，基于所述存储设备的逻辑块大小和所述填充信息大小，对所述第二数据流进行切块处理；

生成所述第二数据流对应的切分数据块和第二切分子数据块；

利用所述第二切分子数据块替换所述第一切分子数据块对应的填充信息；

生成合并切分数据块；

计算所述合并切分数据块对应的校验信息。

6.根据权利要求3所述的方法，所述将所述目标逻辑块发送至所述存储设备，包括：

将携带有所述校验信息的至少一个所述目标逻辑块发送给存储设备，以便所述存储设备基于所述校验信息进行校验处理，并对校验通过的所述目标逻辑块进行存储。

7.根据权利要求1所述的方法，还包括：

若接收到数据读取请求，从存储设备读取第一数据流对应的多个目标逻辑块；

基于所述目标逻辑块中携带的第一校验信息对所述目标逻辑块进行校验处理；

若校验通过，计算所述第一数据流对应的第二校验信息；

发送携带有所述第二校验信息的所述第一数据流。

8.一种数据处理方法，包括：

从存储设备读取第一数据流对应的多个目标逻辑块；其中，所述多个目标逻辑块是基于所述第一数据流切分得到的；

基于所述目标逻辑块中携带的第一校验信息对所述目标逻辑块进行校验处理；所述第一校验信息是基于所述目标逻辑块计算得到的；

若校验通过，计算所述第一数据流对应的第二校验信息；

发送携带有所述第二校验信息的所述第一数据流。

9.根据权利要求8所述的方法，还包括：

若所述多个目标逻辑块中的第一目标逻辑块为基于合并切分数据块得到的，则确定所述第一目标逻辑块中第二子数据记录的数据长度；所述合并切分数据块包含有第一数据流对应的第一切分子数据块和第二数据流对应的第二切分子数据块；

基于所述数据长度，将所述第一目标逻辑块中所述第二切分子数据块添加位桶标识。

10.根据权利要求9所述的方法，所述计算所述第一数据流的第二校验信息，包括：

基于所述第一目标逻辑块中包含的所述位桶标识，确定属于所述第一数据流的第一切分子数据块；

基于多个所述目标逻辑块和所述第一切分子数据块进行合并得到所述第一数据流；

计算所述第一数据流对应的所述第二校验信息。

11.根据权利要求8所述的方法，还包括：

接收数据流；

对所述数据流进行切块处理，得到多个切分数据块；

分别计算所述多个切分数据块对应的校验信息；

将所述切分数据块及对应的校验信息作为一个目标逻辑块发送至存储设备。

12.一种数据处理***，包括：

智能网卡，用于接收数据流；对所述数据流进行切块处理，得到多个切分数据块；分别计算所述多个切分数据块对应的校验信息；将所述切分数据块及对应的校验信息作为一个目标逻辑块发送至存储设备；或者，用于从存储设备读取第一数据流对应的多个目标逻辑块；其中，所述多个目标逻辑块是基于所述第一数据流切分得到的；基于所述目标逻辑块中携带的第一校验信息对所述目标逻辑块进行校验处理；所述第一校验信息是基于所述目标逻辑块计算得到的；若校验通过，计算所述第一数据流对应的第二校验信息；发送携带有所述第二校验信息的所述第一数据流；

所述存储设备，用于存储基于所述校验信息验证通过的所述目标逻辑块；或者，用于提供分别携带有第一校验信息的多个目标逻辑块。

13.一种计算机可读介质，其上存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现根据权利要求1至7中任一项所述的方法；或上述权利要求8至11中任一项所述的方法。

14.一种电子设备，包括存储器及包含有处理器的智能网卡；其中，

所述存储器，用于存储程序；

所述处理器，与所述存储器耦合，用于执行所述存储器中存储的所述程序，以用于实现上述权利要求1至7中任一项所述的方法；或上述权利要求8至11中任一项所述的方法。

Images