CN111694692B - 一种数据存储纠删方法、装置、设备及可读存储介质 - Google Patents

一种数据存储纠删方法、装置、设备及可读存储介质 Download PDF

Info

Publication number
CN111694692B
CN111694692B CN202010591011.7A CN202010591011A CN111694692B CN 111694692 B CN111694692 B CN 111694692B CN 202010591011 A CN202010591011 A CN 202010591011A CN 111694692 B CN111694692 B CN 111694692B
Authority
CN
China
Prior art keywords
erasure
input data
data sets
target
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010591011.7A
Other languages
English (en)
Other versions
CN111694692A (zh
Inventor
张磊
***
吴睿振
王凛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Yunhai Guochuang Cloud Computing Equipment Industry Innovation Center Co Ltd
Original Assignee
Shandong Yunhai Guochuang Cloud Computing Equipment Industry Innovation Center Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Yunhai Guochuang Cloud Computing Equipment Industry Innovation Center Co Ltd filed Critical Shandong Yunhai Guochuang Cloud Computing Equipment Industry Innovation Center Co Ltd
Priority to CN202010591011.7A priority Critical patent/CN111694692B/zh
Publication of CN111694692A publication Critical patent/CN111694692A/zh
Application granted granted Critical
Publication of CN111694692B publication Critical patent/CN111694692B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/08—Error detection or correction by redundancy in data representation, e.g. by using checking codes
    • G06F11/10—Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's
    • G06F11/1008—Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's in individual solid state devices
    • G06F11/1048—Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's in individual solid state devices using arrangements adapted for a specific error detection or correction feature
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C29/00—Checking stores for correct operation ; Subsequent repair; Testing stores during standby or offline operation
    • G11C29/04—Detection or location of defective memory elements, e.g. cell constructio details, timing of test signals
    • G11C29/08—Functional testing, e.g. testing during refresh, power-on self testing [POST] or distributed testing
    • G11C29/12—Built-in arrangements for testing, e.g. built-in self testing [BIST] or interconnection details
    • G11C29/38—Response verification devices
    • G11C29/42—Response verification devices using error correcting codes [ECC] or parity check

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Error Detection And Correction (AREA)

Abstract

本发明公开了一种数据存储纠删方法，包括：接收目标数据存储纠删任务对应的两路纠删输入数据集；获取***数据总线位宽；利用预置的目标伽罗华域乘法器集合，根据***数据总线位宽对两路纠删输入数据集中各输入数据进行并行查正表操作，得到两路查询结果数据集；将两路所述查询结果数据集发送给处理单元控制器，以使所述处理单元控制器对两路所述查询结果数据集依次进行累加、取余及查反表操作，得到纠删结果数据集。应用本发明实施例所提供的技术方案，较大地降低了整体查表数量，较大地降低了对面积和空间资源的占用。本发明还公开了一种数据存储纠删装置、设备及存储介质，具有相应技术效果。

Description

一种数据存储纠删方法、装置、设备及可读存储介质
技术领域
本发明涉及存储技术领域，特别是涉及一种数据存储纠删方法、装置、设备及计算机可读存储介质。
背景技术
在数据存储领域，纠删码作为保证数据可靠性极为重要的一个手段，其以更低的存储成本备受青睐。里德-所罗门码(RS，Reed-Solomon)是一种比较常见的纠删码，它的原理是以M个数据块，计算出N个校验数据块。在总数为M+N个数据块中，只需任意选取N个正常的数据块就能恢复全部的原始数据。
伽罗华域(GF，Galois Field)乘法被广泛应用于RS编解码，传统方法伽罗华域乘法器采用先乘后取模的方式实现，其基本思想是：首先将两个向量分别转化为两个多项式，然后对两个多项式进行多项式乘法运算，多项式乘法运算的结果对本原多项式取模运算后的结果转化为向量。这种方法占用周期较多且实现较复杂。为了避免传统方法的这种缺点，提出了一种利用查表的方法代替求模的方法，可以大幅减少运算周期。
现有的查表纠删方式中，对于乘法，假设a＝g^i，b＝g^j。那么a*b＝g^i*g^j＝g^(i+j)。根据a和b分别查表得到i和j，然后查表g^(i+j)即可。因此需要构造正表和反表，在GF(2^w)域上分别记为正表gflog和反表gfilog。正表gflog是将二进制形式映射为多项式形式，反表gfilog是将多项式形式映射为二进制形式。查表伽罗华域乘法的计算公式为：c＝a*b＝gfilog[(gflog[a]+gflog[b])mod(2^w–1)]。如图1所示，计算顺序可分为三步：第一步，根据a和b选择正表中与其对应的值；第二步，利用伽罗华域乘法器中的伽罗华域(GF)加减法器对查正表的值加和后取余；第三步，余数查反表的值即为最终结果c，后续再利用处理单元(PE，Process Element)控制器进行处理，最终得到纠删码(EC，Erasure Code)。查表纠删方式原理简单、计算复杂度小、时效性高，但该方法由于使用多个查找表(LUT，Lookup table)，使得硬件资源和芯片面积损失较大。
如图2所示，图2为现有技术中一种纠删编解码查表伽罗华域乘法器硬件实现结构框图，可以看出，在纠删编解码***数据量较大时，处理单元控制器需要大量使用伽罗华域乘法器，随着使用伽罗华域乘法器的个数增多的同时，查表的个数成倍数增加。此时硬件资源开销增大，导致查表伽罗华域乘法器原本的优势并不明显，占用面积和空间资源过大。
综上所述，如何有效地解决现有的查表纠删方式查表数量大，硬件资源开销增大，占用面积和空间资源过大等问题，是目前本领域技术人员急需解决的问题。
发明内容
本发明的目的是提供一种数据存储纠删方法，该方法较大地降低了整体查表数量，较大地降低了对面积和空间资源的占用；本发明的另一目的是提供一种数据存储纠删装置、设备及计算机可读存储介质。
为解决上述技术问题，本发明提供如下技术方案：
一种数据存储纠删方法，包括：
接收目标数据存储纠删任务对应的两路纠删输入数据集；
获取***数据总线位宽；
利用预置的目标伽罗华域乘法器集合，根据所述***数据总线位宽对两路所述纠删输入数据集中各输入数据进行并行查正表操作，得到两路查询结果数据集；
将两路所述查询结果数据集发送给处理单元控制器，以使所述处理单元控制器对两路所述查询结果数据集依次进行累加、取余及查反表操作，得到纠删结果数据集。
在本发明的一种具体实施方式中，根据所述***数据总线位宽对两路所述纠删输入数据集中各输入数据进行并行查正表操作，包括：
根据所述***数据总线位宽确定两路所述纠删输入数据集对应的目标总查正表次数；
通过所述目标总查正表次数查正表动作对两路所述纠删输入数据集中各所述输入数据进行并行查正表操作。
在本发明的一种具体实施方式中，所述目标伽罗华域乘法器集合的预置过程包括：
对两路所述纠删输入数据集进行解析，得到两路所述纠删输入数据集的数据量大小信息；
结合所述数据量大小信息和所述***数据总线位宽确定所需伽罗华域乘法器的目标数量；
部署所述目标数量的伽罗华域乘法器，得到所述目标伽罗华域乘法器集合。
在本发明的一种具体实施方式中，根据所述***数据总线位宽对两路所述纠删输入数据集中各输入数据进行并行查正表操作，包括：
对两路所述纠删输入数据集中各所述输入数据进行分类操作；
根据所述***数据总线位宽按照各所述输入数据所属的数据类别对各输入数据进行并行查正表操作。
一种数据存储纠删装置，包括：
数据集接收模块，用于接收目标数据存储纠删任务对应的两路纠删输入数据集；
总线位宽获取模块，用于获取***数据总线位宽；
查正表模块，用于利用预置的目标伽罗华域乘法器集合，根据所述***数据总线位宽对两路所述纠删输入数据集中各输入数据进行并行查正表操作，得到两路查询结果数据集；
查反表模块，用于将两路所述查询结果数据集发送给处理单元控制器，以使所述处理单元控制器对两路所述查询结果数据集依次进行累加、取余及查反表操作，得到纠删结果数据集。
在本发明的一种具体实施方式中，所述查正表模块包括：
查正表次数确定子模块，用于根据所述***数据总线位宽确定两路所述纠删输入数据集对应的目标总查正表次数；
第一查正表子模块，用于通过所述目标总查正表次数查正表动作对两路所述纠删输入数据集中各所述输入数据进行并行查正表操作。
在本发明的一种具体实施方式中，包括乘法器集合预置模块，所述乘法器集合预置模块包括：
数据量大小获得子模块，用于对两路所述纠删输入数据集进行解析，得到两路所述纠删输入数据集的数据量大小信息；
乘法器数量确定子模块，用于结合所述数据量大小信息和所述***数据总线位宽确定所需伽罗华域乘法器的目标数量；
乘法器集合获得子模块，用于部署所述目标数量的伽罗华域乘法器，得到所述目标伽罗华域乘法器集合。
在本发明的一种具体实施方式中，所述查正表模块包括：
数据分类子模块，用于对两路所述纠删输入数据集中各所述输入数据进行分类操作；
第二查子正表模块，用于根据所述***数据总线位宽按照各所述输入数据所属的数据类别对各输入数据进行并行查正表操作。
一种数据存储纠删设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如前所述数据存储纠删方法的步骤。
一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如前所述数据存储纠删方法的步骤。
本发明提供了一种数据存储纠删方法：接收目标数据存储纠删任务对应的两路纠删输入数据集；获取***数据总线位宽；利用预置的目标伽罗华域乘法器集合，根据***数据总线位宽对两路纠删输入数据集中各输入数据进行并行查正表操作，得到两路查询结果数据集；将两路所述查询结果数据集发送给处理单元控制器，以使所述处理单元控制器对两路所述查询结果数据集依次进行累加、取余及查反表操作，得到纠删结果数据集。
通过上述技术方案可知，通过预先根据***数据总线位宽对两路纠删输入数据集进行并行查正表操作，后续再利用处理单元控制器进行查反表操作，通过将查正表操作作为预处理与查反表操作分离开来，采用并行查表方式对各输入数据进行查正表操作，较大地减少了查正表操作的数量，从而较大地降低了整体查表数量，较大地降低了对面积和空间资源的占用。
相应的，本发明实施例还提供了与上述数据存储纠删方法相对应的数据存储纠删装置、设备和计算机可读存储介质，具有上述技术效果，在此不再赘述。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为现有技术中一种伽罗华域乘法器架构的结构框图；
图2为现有技术中一种纠删编解码查表伽罗华域乘法器硬件实现结构框图；
图3为本发明实施例中数据存储纠删方法的一种实施流程图；
图4为本发明实施例中一种伽罗华域乘法器架构的结构框图；
图5为本发明实施例中一种纠删编解码查表伽罗华域乘法器硬件实现结构框图；
图6为本发明实施例中数据存储纠删方法的另一种实施流程图；
图7为本发明实施例中一种数据存储纠删装置的结构框图；
图8为本发明实施例中一种数据存储纠删设备的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一：
参见图3，图3为本发明实施例中数据存储纠删方法的一种实施流程图，该方法可以包括以下步骤：
S301：接收目标数据存储纠删任务对应的两路纠删输入数据集。
当需要对目标数据存储纠删任务进行纠删处理时，获取目标数据存储纠删任务对应的两路纠删输入数据集，并将两路纠删输入数据集发送给纠删处理中心。纠删处理中心接收目标数据存储纠删任务对应的两路纠删输入数据集。如图4所示，a和b为两路纠删输入数据集中对应数据块和矩阵/逆矩阵块。
S302：获取***数据总线位宽。
在接收到两路纠删输入数据集之后，获取***数据总线位宽。如图5所示，图5以***数据总线位宽为16字节进行举例。
S303：利用预置的目标伽罗华域乘法器集合，根据***数据总线位宽对两路纠删输入数据集中各输入数据进行并行查正表操作，得到两路查询结果数据集。
在获取***数据总线位宽之后，利用预置的目标伽罗华域乘法器集合，根据***数据总线位宽对两路纠删输入数据集中各输入数据进行并行查正表操作，得到两路查询结果数据集。如图4所示，在接收到两路纠删输入数据集之后，利用目标伽罗华域乘法器集合中的各目标伽罗华域乘法器在数据流输入的入口，对两路纠删输入数据集中对应数据块和矩阵/逆矩阵块等输入数据(即a和b)预先进行并行查正表操作，得到两路查询结果数据集，即得到由a′，b′构成的各查询结果数据组构成的两路查询结果数据集。如图5所示，两路纠删输入数据集中各输入数据的查正表操作全部在预处理阶段进行并行操作。
S304：将两路查询结果数据集发送给处理单元控制器，以使处理单元控制器对两路查询结果数据集依次进行累加、取余及查反表操作，得到纠删结果数据集。
在通过并行查正表操作，得到包含与各输入数据所属的输入数据组相对应的各查询结果数据组的两路查询结果数据集之后，将两路查询结果数据集发送给处理单元控制器，以使处理单元控制器对两路查询结果数据集依次进行累加、取余及查反表操作，得到纠删结果数据集。如图4所示，将目标伽罗华域乘法器集合预处理的结果a′和b′作为目标伽罗华域乘法器集合终处理部分的数据输入，a′和b′根据查表公式进行加减法运算后的结果进行查反表操作得到数据输出c。c作为CF乘法器终处理部分得到的结果即为目标伽罗华域乘法器集合计算得到的最终结果。
将和现有的查表纠删方式与本发明实施例所提供的查表纠删方式进行对比，X为目标伽罗华域乘法器集合中的乘法器数量，P为数据总线宽度(单位为字节)，Y为查表次数。查表纠删方式查表次数公式对比情况如下：
现有的查表纠删方式：Y＝3*X；
本发明实施例所提供的查表纠删方式：Y＝2*P+X；
***至少使用一个处理单元控制器，每个处理单元控制器需要至少P个乘法器，使用的处理单元控制器个数越多，查表纠删方式所用的查表数量相差越大。所以从量化角度分析可知，本发明实施例所提供的查表纠删方式在资源和面积上更具有优势。
通过对目标数据存储纠删任务的查正表进行前置，将查正表操作和查反表操作进行分布式处理，从图5可以看出，将目标伽罗华域乘法器集合预处理部分置于数据分发阶段即数据流的入口时，整个目标伽罗华域乘法器集合的资源消耗优势尤为明显。由原来的每个乘法器使用的查表资源缩减为原来的三分之一左右，查表操作大幅缩减。本发明提供的对查正表进行前置对应的前置查表伽罗华域乘法器完全适用于纠删编解码的功能要求，硬件实现较为容易，且能保证较高的计算效率及数据吞吐率。保留了现有查表纠删方式采用的查表伽罗华域乘法器的实时性和复杂度等优势的同时，大幅降低了查表伽罗华域乘法器在硬件实现上资源消耗，且实现的前置查表伽罗华域乘法器资源消耗小、性能快、吞吐率高、灵活性好。
通过上述技术方案可知，通过预先根据***数据总线位宽对两路纠删输入数据集进行并行查正表操作，后续再利用处理单元控制器进行查反表操作，通过将查正表操作作为预处理与查反表操作分离开来，采用并行查表方式对各输入数据进行查正表操作，较大地减少了查正表操作的数量，从而较大地降低了整体查表数量，较大地降低了对面积和空间资源的占用。
需要说明的是，基于上述实施例一，本发明实施例还提供了相应的改进方案。在后续实施例中涉及与上述实施例一中相同步骤或相应步骤之间可相互参考，相应的有益效果也可相互参照，在下文的改进实施例中不再一一赘述。
实施例二：
参见图6，图6为本发明实施例中数据存储纠删方法的另一种实施流程图，该方法，该方法可以包括以下步骤：
S601：接收目标数据存储纠删任务对应的两路纠删输入数据集。
S602：对两路纠删输入数据集进行解析，得到两路纠删输入数据集的数据量大小信息。
在接收到目标数据存储纠删任务对应的两路纠删输入数据集之后，对两路纠删输入数据集进行解析，得到两路纠删输入数据集的数据量大小信息。
S603：获取***数据总线位宽。
S604：结合数据量大小信息和***数据总线位宽确定所需伽罗华域乘法器的目标数量。
在解析得到两路纠删输入数据集的数据量大小信息，并获取到***数据总线位宽之后，结合数据量大小信息和***数据总线位宽确定所需伽罗华域乘法器的目标数量。即所需伽罗华域乘法器的目标数量至少与***数据总线位宽相同，当数据量较大时，适应性地增加伽罗华域乘法器的目标数量，当数据量较小时，适应性地减小伽罗华域乘法器的目标数量。
S605：部署目标数量的伽罗华域乘法器，得到目标伽罗华域乘法器集合。
在确定出所需伽罗华域乘法器的目标数量之后，部署目标数量的伽罗华域乘法器，得到目标伽罗华域乘法器集合，从而完成对目标伽罗华域乘法器集合的部署，使得部署完成的目标伽罗华域乘法器集合更适用于对目标数据存储纠删任务的处理，提高纠删效率。
S606：对两路纠删输入数据集中各输入数据进行分类操作。
在接收到两路纠删输入数据集之后，对两路纠删输入数据集中各输入数据进行分类操作，从而有利于在查正表操作时的数据分发。
S607：根据***数据总线位宽确定两路纠删输入数据集对应的目标总查正表次数。
在获取到***数据总线位宽之后，根据***数据总线位宽确定两路纠删输入数据集对应的目标总查正表次数。由于查正表操作是利用数据总线进行并行操作，因此目标总查正表次数即为***数据总线位宽与纠删输入数据集路数的乘积。
S608：利用预置的目标伽罗华域乘法器集合，按照各输入数据所属的数据类别，通过目标总查正表次数查正表动作对各输入数据进行并行查正表操作，得到两路查询结果数据集。
在确定出两路纠删输入数据集对应的目标总查正表次数之后，利用预置的目标伽罗华域乘法器集合，按照各输入数据所属的数据类别，通过目标总查正表次数查正表动作对各输入数据进行并行查正表操作，得到两路查询结果数据集。从而对两路纠删输入数据集中的各输入数据进行分类操作，按类别进行查正表操作，提高了查表效率，进而提升了纠删效率。
S609：将两路查询结果数据集发送给处理单元控制器，以使处理单元控制器对两路查询结果数据集依次进行累加、取余及查反表操作，得到纠删结果数据集。
相应于上面的方法实施例，本发明实施例还提供了一种数据存储纠删装置，下文描述的数据存储纠删装置与上文描述的数据存储纠删方法可相互对应参照。
参见图7，图7为本发明实施例中一种数据存储纠删装置的结构框图，该装置可以包括：
数据集接收模块71，用于接收目标数据存储纠删任务对应的两路纠删输入数据集；
总线位宽获取模块72，用于获取***数据总线位宽；
查正表模块73，用于利用预置的目标伽罗华域乘法器集合，根据***数据总线位宽对两路纠删输入数据集中各输入数据进行并行查正表操作，得到两路查询结果数据集；
查反表模块74，用于将两路查询结果数据集发送给处理单元控制器，以使处理单元控制器对两路查询结果数据集依次进行累加、取余及查反表操作，得到纠删结果数据集。
通过上述技术方案可知，通过预先根据***数据总线位宽对两路纠删输入数据集进行并行查正表操作，后续再利用处理单元控制器进行查反表操作，通过将查正表操作作为预处理与查反表操作分离开来，采用并行查表方式对各输入数据进行查正表操作，较大地减少了查正表操作的数量，从而较大地降低了整体查表数量，较大地降低了对面积和空间资源的占用。
在本发明的一种具体实施方式中，查正表模块73包括：
查正表次数确定子模块，用于根据***数据总线位宽确定两路纠删输入数据集对应的目标总查正表次数；
第一查正表子模块，用于通过目标总查正表次数查正表动作对两路纠删输入数据集中各输入数据进行并行查正表操作。
在本发明的一种具体实施方式中，包括乘法器集合预置模块，乘法器集合预置模块包括：
数据量大小获得子模块，用于对两路纠删输入数据集进行解析，得到两路纠删输入数据集的数据量大小信息；
乘法器数量确定子模块，用于结合数据量大小信息和***数据总线位宽确定所需伽罗华域乘法器的目标数量；
乘法器集合获得子模块，用于部署目标数量的伽罗华域乘法器，得到目标伽罗华域乘法器集合。
在本发明的一种具体实施方式中，查正表模块73包括：
数据分类子模块，用于对两路纠删输入数据集中各输入数据进行分类操作；
第二查正表子模块，用于根据***数据总线位宽按照各输入数据所属的数据类别对各输入数据进行并行查正表操作。
相应于上面的方法实施例，参见图8，图8为本发明所提供的数据存储纠删设备的示意图，该设备可以包括：
存储器81，用于存储计算机程序；
处理器82，用于执行上述存储器81存储的计算机程序时可实现如下步骤：
接收目标数据存储纠删任务对应的两路纠删输入数据集；获取***数据总线位宽；利用预置的目标伽罗华域乘法器集合，根据***数据总线位宽对两路纠删输入数据集中各输入数据进行并行查正表操作，得到两路查询结果数据集；将两路查询结果数据集发送给处理单元控制器，以使处理单元控制器对两路查询结果数据集依次进行累加、取余及查反表操作，得到原始数据集。
对于本发明提供的设备的介绍请参照上述方法实施例，本发明在此不做赘述。
相应于上面的方法实施例，本发明还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时可实现如下步骤：
接收目标数据存储纠删任务对应的两路纠删输入数据集；获取***数据总线位宽；利用预置的目标伽罗华域乘法器集合，根据***数据总线位宽对两路纠删输入数据集中各输入数据进行并行查正表操作，得到两路查询结果数据集；将两路查询结果数据集发送给处理单元控制器，以使处理单元控制器对两路查询结果数据集依次进行累加、取余及查反表操作，得到原始数据集。
该计算机可读存储介质可以包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
对于本发明提供的计算机可读存储介质的介绍请参照上述方法实施例，本发明在此不做赘述。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置、设备及计算机可读存储介质而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的技术方案及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (4)

1.一种数据存储纠删方法，其特征在于，包括：
接收目标数据存储纠删任务对应的两路纠删输入数据集；
获取***数据总线位宽；
对两路所述纠删输入数据集进行解析，得到两路所述纠删输入数据集的数据量大小信息；
结合所述数据量大小信息和所述***数据总线位宽确定所需伽罗华域乘法器的目标数量；
部署所述目标数量的伽罗华域乘法器，得到所述目标伽罗华域乘法器集合；
对两路所述纠删输入数据集中各输入数据进行分类操作；
利用预置的目标伽罗华域乘法器集合，根据所述***数据总线位宽确定两路所述纠删输入数据集对应的目标总查正表次数；
通过所述目标总查正表次数查正表动作按照各所述输入数据所属的数据类别对两路所述纠删输入数据集中各所述输入数据进行并行查正表操作，得到两路查询结果数据集；
将两路所述查询结果数据集发送给处理单元控制器，以使所述处理单元控制器对两路所述查询结果数据集依次进行累加、取余及查反表操作，得到纠删结果数据集。
2.一种数据存储纠删装置，其特征在于，包括：
数据集接收模块，用于接收目标数据存储纠删任务对应的两路纠删输入数据集；
总线位宽获取模块，用于获取***数据总线位宽；
查正表模块，用于对两路所述纠删输入数据集进行解析，得到两路所述纠删输入数据集的数据量大小信息；结合所述数据量大小信息和所述***数据总线位宽确定所需伽罗华域乘法器的目标数量；部署所述目标数量的伽罗华域乘法器，得到所述目标伽罗华域乘法器集合；对两路所述纠删输入数据集中各输入数据进行分类操作利用预置的目标伽罗华域乘法器集合，根据所述***数据总线位宽确定两路所述纠删输入数据集对应的目标总查正表次数；通过所述目标总查正表次数查正表动作按照各所述输入数据所属的数据类别对两路所述纠删输入数据集中各所述输入数据进行并行查正表操作，得到两路查询结果数据集；
查反表模块，用于将两路所述查询结果数据集发送给处理单元控制器，以使所述处理单元控制器对两路所述查询结果数据集依次进行累加、取余及查反表操作，得到纠删结果数据集。
3.一种数据存储纠删设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1所述数据存储纠删方法的步骤。
4.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1所述数据存储纠删方法的步骤。
CN202010591011.7A 2020-06-24 2020-06-24 一种数据存储纠删方法、装置、设备及可读存储介质 Active CN111694692B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010591011.7A CN111694692B (zh) 2020-06-24 2020-06-24 一种数据存储纠删方法、装置、设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010591011.7A CN111694692B (zh) 2020-06-24 2020-06-24 一种数据存储纠删方法、装置、设备及可读存储介质

Publications (2)

Publication Number Publication Date
CN111694692A CN111694692A (zh) 2020-09-22
CN111694692B true CN111694692B (zh) 2022-04-22

Family

ID=72483956

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010591011.7A Active CN111694692B (zh) 2020-06-24 2020-06-24 一种数据存储纠删方法、装置、设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN111694692B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112052115B (zh) * 2020-09-28 2022-07-08 山东云海国创云计算装备产业创新中心有限公司 数据存储纠删方法、装置、设备及计算机可读存储介质
CN114063973B (zh) * 2022-01-14 2022-04-22 苏州浪潮智能科技有限公司 伽罗华域乘法器及纠删编解码***

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101997930A (zh) * 2010-12-24 2011-03-30 南开大学 一种基于重传─纠删码传输协议的远程镜像方法和***
CN102594370A (zh) * 2012-02-27 2012-07-18 成都国微电子有限公司 一种高效低延时并行钱搜索方法和装置
CN102681793A (zh) * 2012-04-16 2012-09-19 华中科技大学 一种基于纠删码集群存储***的局部式数据更新方法
CN110380738A (zh) * 2019-07-19 2019-10-25 广东省新一代通信与网络创新研究院 参数软件可配置的rs编码器ip核电路结构及其编码方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10319461B2 (en) * 2016-06-29 2019-06-11 Intel Corporation Low-overhead mechanism to detect address faults in ECC-protected memories

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101997930A (zh) * 2010-12-24 2011-03-30 南开大学 一种基于重传─纠删码传输协议的远程镜像方法和***
CN102594370A (zh) * 2012-02-27 2012-07-18 成都国微电子有限公司 一种高效低延时并行钱搜索方法和装置
CN102681793A (zh) * 2012-04-16 2012-09-19 华中科技大学 一种基于纠删码集群存储***的局部式数据更新方法
CN110380738A (zh) * 2019-07-19 2019-10-25 广东省新一代通信与网络创新研究院 参数软件可配置的rs编码器ip核电路结构及其编码方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Low Complexity Parallel Chien Search Architecture for RS Decoder;Qingsheng Hu 等;《2005 IEEE》;20051231;第340-343页 *
存储***重构优化技术研究;谢平;《智能处理与应用》;20171231;第113-116页 *

Also Published As

Publication number Publication date
CN111694692A (zh) 2020-09-22

Similar Documents

Publication Publication Date Title
US10637500B2 (en) Apparatus and method for accelerating multiplication with non-zero packets in artificial neuron
CN111694692B (zh) 一种数据存储纠删方法、装置、设备及可读存储介质
CN103440612A (zh) 一种gpu虚拟化中图像处理方法和装置
CN106708468B (zh) 一种除法运算装置
CN112003625A (zh) 一种霍夫曼编码方法、***及设备
US11354097B2 (en) Compressor circuit, Wallace tree circuit, multiplier circuit, chip, and device
CN113687975A (zh) 数据处理方法、装置、设备及存储介质
KR20110060635A (ko) 래딕스 4 기반의 폴라코드를 이용한 부호화방법
CN113630125A (zh) 数据压缩、编码解压缩方法、装置、电子设备及存储介质
CN109086819B (zh) caffemodel模型压缩方法、***、设备及介质
KR20120054571A (ko) 래딕스 4 기반의 폴라코드를 이용한 부호화방법
CN108347300A (zh) 一种调整Polar码的方法、装置及编译码装置
CN114064308A (zh) 基于列式数据扫描的多数据发送和接收方法、装置和设备
CN107612554B (zh) 数据压缩处理方法
CN106303570A (zh) 一种视频编码参考帧选择方法和装置
CN111083479A (zh) 一种视频帧预测方法、装置及终端设备
CN114070901B (zh) 基于多数据对齐的数据发送和接收方法、装置和设备
CN109474826B (zh) 图片压缩方法、装置、电子设备及存储介质
CN101720041A (zh) 一种基于分层编码的数据处理方法
CN115250351A (zh) 用于图像数据的压缩方法、解压方法及相关产品
US10320523B2 (en) Method for detecting sent sequence, receiver, and receiving device
CN117200807A (zh) 一种数据处理方法、装置、电子设备及存储介质
CN102571611A (zh) 一种数据分离方法、***及交换机
CN109257146B (zh) 一种基于dsp的lte快速解码***及其方法
CN110875744B (zh) 编码方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant