CN104636673B - 一种在大数据背景下的数据安全存储方法 - Google Patents

Abstract

本发明属于电数据数字处理技术领域，涉及一种针对计算***安全的方法，更具体地涉及在大数据背景下的数据安全存储方法，包括：接收待存储的文件，确认文件完整性和有效性；估计待存储文件大小，进行目的地空间判断；划分待存储文件；分布待存储文件；编码加密待存储文件；存储待存储文件；解码和恢复待存储文件。通过使用特定的合理分布，既确保了数据分布得适当，使得待编码加密的码元数量的分布在某个区间不至于太小；也能确保后期数据恢复的准确和快捷，确保数据存储、恢复的安全性和稳定性，尤其在实现安全性和稳定性的同时确保了高效率。而且存储的数据文件越多，本发明的技术优势越明显，顺应了云计算、大数据的趋势和潮流。

Description

一种在大数据背景下的数据安全存储方法

技术领域

本发明属于电数据数字处理技术领域，涉及一种针对计算***安全的方法，更具体而言，涉及一种在大数据背景下的数据安全存储方法。

背景技术

随着社会工业化、信息化水平的不断提高，如今数据已取代计算成为信息计算的中心，云计算、大数据正在成为一种趋势和潮流。包括存储容量、可用性、I/O性能、数据安全性、可扩展性等诸多方面。大数据是规模非常巨大和复杂的数据集。大数据有4V：Volume(大量)，数据量持续快速增加；Velocity(高速)，数据I/O速度更快；Variety(多样)，数据类型和来源多样化；Value(价值)，其存在各方面的可用价值。与此同时，该趋势对存储技术提出越来越高的要求，包括对数据库高并发读写要求、对海量数据的高效率存储和访问需求、对数据库高可扩展性和高可用性的需求，其中焦点集中在增强数据安全性同时提高效率，因此需要对用户的数据进行加密保护，并对方案进行不断优化和改进。

对于数据中心，由于可能受到恶意用户或者自然灾害的攻击，或者当该数据中心由低效率和可靠性的节点组成时，安全性尤为重要。尽管技术人员尝试使用安全的分布式以及RS编码来解决该问题，但其带来低效的问题，特别是对于处理云计算中的数据。

现有技术中公开了一些相关的方案，例如在申请号201410485029的专利申请中，公开了一种基于云计算的数据对称和非对称混合加解密方法，其实现过程为：数据加密通过AES对称加密算法密钥和RSA非对称算法对公开密钥进行加密；数据解密通过RSA非对称算法对AES算法的公开密钥密文进行，还原出数据的明文。然而，尽管这种基于云计算的数据对称和非对称混合加解密方法比较有效解决了云计算中数据安全存储的问题，适用于大数据量的加密和解密，但其效率不够高。

再例如，在申请号201410265820的专利申请中，公开了一种面向行业大数据多样性应用的混合型处理***及方法，包括：分布式数据采集子***，用于从外部***采集数据；存储和并行计算子***，用于对所采集的数据进行存储和计算；一体化资源和***管理平台，用于对所存储和计算的数据进行管理；其中存储和并行计算子***，包括大数据存储子***和大数据处理子***；其中大数据处理子***，包括内存计算引擎，其中内存计算引擎，用于在无共享集群中提供分布式内存抽象，并对采集的数据进行并行流水化和线程轻量级处理。尽管该方法提高了效率，但是其安全性不够强。

有鉴于此，本发明提出一种在大数据背景下的数据安全存储方法，其满足在大数据信息处理时既安全又高效的问题。

发明内容

本发明的目的之一是提供一种在大数据背景下的数据安全存储方法，其既增强了数据安全性，同时也提高了效率。

本发明为解决上述技术问题而采取的技术方案为：一种在大数据背景下的数据安全存储方法，包括：接收待存储的文件，确认文件完整性和有效性；估计待存储文件大小，并进行目的地空间判断；划分待存储文件；对待存储文件进行分布；对待存储文件进行编码加密；对待存储文件进行存储；以及对待存储文件进行解码和恢复。

根据本发明的一个方面，接收待存储的文件以确认文件完整性和有效性包括：如果文件完整且有效则进行下一步操作，否则返回给发送者，以提示重新发送；估计待存储文件大小并进行目的地空间判断包括：如果待存储文件大小大于诸如存储器块之类的目的地空间的单位单元的大小，则用前者除以后者，以确定存储单位单元的数量，如果相除结果不大于一，则确定数量为一个，否则按“进一法”确定单位单元数量。

根据本发明的另一个方面，划分待存储文件包括：将文件划分为N个消息，其中N是正整数。

根据本发明的另一个方面，划分待存储文件包括将文件划分为N个消息具体包括：将确定完整且有效的待存储文件称为F，它是包含N个消息的串，F＝(d₁,d₂,……,d_N)，其中d_i是w个码元形式的第i个消息，i和w都是正整数，即d_i＝(d_(i-1)w+1，……，d_iw)，优选的是w是32字节，即256比特，因此文件F可被分为Nw个消息码元：F＝(d₁,……,d_w),(d_w+1,……,d_2w),……,(d_(N-1)w+1,……,d_Nw)。

根据本发明的另一个方面，对待存储文件进行分布包括：

分布函数R(d)如下：

其中d＝1,2，……，k；

其中的函数I(d)表示如下：

如果d＝1，则I(d)＝1/k；

如果d＝2,3，……，k，则I(d)＝1/(d*(d-1))；

函数T(d)表示：

如果d＝1，2，……，(k/s)-1，则T(d)＝s/(k*d)；

如果d＝(k/s)，则T(d)＝s*ln(s/f)/k,；

如果d＝(k/s)+1,……，k，则T(d)＝0；

其中s＝c*ln(k/f)*√k；

以上表示中，k表示整数，d表示小于k的整数，c、f都是常数。优选地，c>0。

根据本发明的另一个方面，对待存储文件进行编码加密包括：加密后的文件为F’，其由N+1个加密的消息组成，其形式为：F’＝(e₁,e₂,……,e_N+1)；e_i是d_i经编码加密后的消息，其中加密的消息其中I是初始化向量，E_K(i)表示基于密钥的加密算法，而e_N+1表示之前所有加密消息e₁,e₂,……,e_N的密钥K和哈希的异或函数，即：其中H(i)是密码算法；其中K是从块分组密码中随机选取的密钥。

根据本发明的另一个方面，E_K(i)选择AES算法，而H(i)选择SHA算法。

根据本发明的另一个方面，对待存储文件进行存储包括：将二进制形式的源文件的数据进行分组处理，以形成相同数据组；根据数据组在源文件中的次序而对每个数据组产生相应的二维坐标以形成坐标组；将坐标组存储在存储设备上。

根据本发明的另一个方面，对待存储文件进行解码和恢复包括：通过从码元解码消息e_i而解码F’；通过使用F’＝(e₁,e₂,……,e_N+1)的前N个消息而计算哈希H(e₁,e₂,……,e_N)；通过使用F’的最后一条消息e_N+1和哈希而计算密钥K，使得通过使用加密的消息e_i和用密钥K的解密来计算初始消息d_i，使得

附图说明

在附图中通过实例的方式而不是通过限制的方式来示出本发明的实施例，其中相同的附图标记表示相同的元件，其中：

图1图示数据安全存储方法的流程图；

图2图示对待存储文件进行存储的流程图；以及

图3图示对待存储文件进行解码和恢复的流程图。

需要说明的是：附图不一定按比例绘制。

具体实施方式

在下面的描述中，参考附图并以图示的方式示出几个具体的实施例。将理解的是：可设想并且可做出其他实施例而不脱离本公开的范围或精神。因此，以下详细描述不应被认为具有限制意义。

在下面的描述中，参考附图并以图示的方式示出几个具体的实施例。将理解的是：可设想并且可做出其他实施例而不脱离本公开的范围或精神。因此，以下详细描述不应被认为具有限制意义。

在本领域中，阈值方案是解决该问题的重要手段，其将数据编码成a个分离的码元，并将其分布到存储设备中，这样，a个码元中的至少任意b个的信息可用来重建数据。根据本发明的实施例，图1图示数据安全存储方法的流程图，包括但不限于以下步骤：

在步骤S1中，接收待存储的文件，确认文件完整性和有效性；

在步骤S2中，估计待存储文件大小，并进行目的地空间判断；

在步骤S3中，划分待存储文件；

在步骤S4中，对待存储文件进行分布；

在步骤S5中，对待存储文件进行编码加密；

在步骤S6中，对待存储文件进行存储。

在步骤S7中，对待存储文件进行解码和恢复。

具体而言：在步骤S1中，接收待存储的文件，确认文件完整性和有效性，如果文件完整且有效则进行下一步操作，否则返回给发送者，以提示重新发送。在步骤S2中，估计待存储文件大小，并进行目的地空间判断；如果待存储文件大小大于诸如存储器块之类的目的地空间的单位单元的大小，则用前者除以后者，以确定存储单位单元的数量。如果相除结果不大于一，则确定数量为一个；否则按“进一法”确定单位单元数量，例如，如果是4.2，则确定使用5个单位单元。在步骤S3中，划分待存储文件；将文件划分为N个消息，其中N是正整数。在步骤S4中，对待存储文件进行分布；具体步骤后面将详细描述。在步骤S5中，对待存储文件进行编码加密；具体步骤后面也将详细描述。在步骤S6中，对待存储文件进行存储，此步骤可以采用本领域已知的各种存储方式及存储介质/载体。在步骤S7中，对待存储文件进行解码和恢复；具体步骤后面也将详细描述。

关于待存储文件的划分，将确定完整且有效的待存储文件称为F，它是包含N个消息的串，N是正整数，F＝(d₁,d₂,……,d_N)，其中d_i是w个码元形式的第i个消息，i和w都是正整数，即d_i＝(d_(i-1)w+1，……，d_iw)，优选的是：w是32字节，即256比特。因此文件F可被分为Nw个消息码元：

F＝(d₁,……,d_w),(d_w+1,……,d_2w),……,(d_(N-1)w+1,……,d_Nw)。

关于待存储文件的分布确定，具体而言，因为使得待编码加密的码元数量的分布在某个区间不至于太小，避免后期因此难以恢复数据，所以需要先对数据进行合理分布，由此既能保证数据分布得适当，也能确保后期数据恢复的准确和快捷，而不至于因为分布导致操作的各种不便，特别是耗时长、准确度受影响。本发明的分布函数R(d)如下：

其中d＝1,2，……，k

其中的函数I(d)表示如下：

如果d＝1，则I(d)＝1/k；

如果d＝2,3，……，k，则I(d)＝1/(d*(d-1))。

为了表示的方便，将c*ln(k/f)*√k等于s，这样其中的函数T(d)可表示如下：

如果d＝1，2，……，(k/s)-1，则T(d)＝s/(k*d)；

如果d＝(k/s)，则T(d)＝s*ln(s/f)/k,；

如果d＝(k/s)+1,……，k，则T(d)＝0。

以上表示中，k表示将文件所划分为n个码元中的小于n的整数，d表示小于k的整数，c、f都是常数，优选地是，c>0。

有了此分布之后，需要对待存储文件进行编码加密。具体而言：加密后的文件为F’，其由N+1个加密的消息组成，其形式为：F’＝(e₁,e₂,……,e_N+1)。e_i是d_i经编码加密后的消息，其中加密的消息其中I是初始化向量，E_K(i)表示基于密钥的加密算法，优选的是AES。而e_N+1表示之前所有加密消息e₁,e₂,……,e_N的密钥K和哈希的异或函数，即：其中H(i)是密码算法，诸如SHA；其中K是从块分组密码中随机选取的密钥。

如上所述，对待存储文件进行存储，此步骤可以采用本领域已知的各种存储方式及存储介质/载体。图2图示对待存储文件进行存储的流程图。优选地是，本发明采用如下特定的步骤：将二进制形式的源文件的数据进行分组处理，以形成相同数据组；根据数据组在源文件中的次序而对每个数据组产生相应的二维坐标以形成坐标组；将坐标组存储在存储设备上。关于存储设备，优选是有形的非暂时性计算机可读介质，例如但不限于软盘、硬盘、CD-ROM盘以及MO(磁-光)盘、DVD-ROM盘、DVD-RAM或诸如闪存之类的半导体存储器。

图3图示对待存储文件进行解码和恢复的流程图。对待存储文件进行解码和恢复的步骤如下：通过从码元解码消息e_i而解码F’；通过使用F’＝(e₁,e₂,……,e_N+1)的前N个消息而计算哈希H(e₁,e₂,……,e_N)；通过使用F’的最后一条消息e_N+1和哈希而计算密钥K，使得通过使用加密的消息e_i和用密钥K的解密来计算初始消息d_i，使得

采用本发明的上述方案，即使在数据中心受到恶意用户或者自然灾害的攻击时，或者当该数据中心由低效率和可靠性的节点组成时，也能增强其安全性，提高效率，这对大数据情景下的数据中心尤为重要。

通过使用本发明的特定方法，具体而言，使用特定分布前提下的数据编解码方式及其对应的特定存储方式，本发明的技术方案获得了有益的技术效果。表1示出了和简单副本技术、现有常规的主流技术的性能参数的对比，即用于大小为M的普通文件的所需存储空间一览。

表1：

其中简单复制技术占用空间小，效率较高，但致命的缺陷是安全性很低；现有常规的主流技术牺牲空间，导致效率较低，换来的是安全性的提高；而本发明通过特定方法处理后，占用空间减小很多，存取便利，效率大大提高，同时获得了足够高的安全性，而且经评估显示，存储的数据文件越多，本发明的技术优势越明显，所以特别顺应了云计算、大数据的趋势和潮流，成为大数据背景下数据存储的优选技术。

综上，在本发明的技术方案中，通过采用接收待存储的文件，确认文件完整性和有效性；估计待存储文件大小，并进行目的地空间判断；划分待存储文件；对待存储文件进行分布；对待存储文件进行编码加密；对待存储文件进行存储；对待存储文件进行解码和恢复的步骤，提供在大数据背景下的数据安全存储方法。具体而言，通过使用特定的合理分布，既确保了数据分布得适当，使得待编码加密的码元数量的分布在某个区间不至于太小；也能确保后期数据恢复的准确和快捷，而不至于因为分布导致操作的各种不便，进而导致后期难以正确恢复数据，确保数据存储、恢复的安全性和稳定性，特别重要的是，在实现安全性和稳定性的同时确保了高效率。

将理解的是：可以硬件、软件或硬件和软件的组合的形式实现本发明的示例和实施例。如上所述，可存储任何执行这种方法的主体，以易失性或非易失性存储的形式，例如存储设备，像ROM，无论可擦除或可重写与否，或者以存储器的形式，诸如例如RAM、存储器芯片、设备或集成电路或在光或磁可读的介质上，诸如例如CD、DVD、磁盘或磁带。将理解的是：存储设备和存储介质是适合于存储一个或多个程序的机器可读存储的示例，当被执行时，所述一个或多个程序实现本发明的示例。经由任何介质，诸如通过有线或无线连接载有的通信信号，可以电子地传递本发明的示例，并且示例适当地包含相同内容。

应当注意的是：因为本发明解决了在大数据背景下的数据高度安全且高效存储的技术问题，采用了计算机领域中技术人员在阅读本说明书之后根据其教导所能理解的技术手段，并获得了安全和高效存储的有益的技术效果，所以在所附权利要求中要求保护的方案属于专利法意义上的技术方案。另外，因为所附权利要求要求保护的技术方案可以在工业中制造或使用，因此该方案具备实用性。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应包涵在本发明的保护范围之内。，除非以其他方式明确陈述，否则公开的每个特征仅是一般系列的等效或类似特征的一个示例。因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (6)

1.一种在大数据背景下的数据安全存储方法，包括：

接收待存储的文件，确认文件完整性和有效性；

估计待存储文件大小，并进行目的地空间判断；

划分待存储文件；

对待存储文件进行分布；

对待存储文件进行编码加密；

对待存储文件进行存储；以及

对待存储文件进行解码和恢复；

其中接收待存储的文件并确认文件完整性和有效性包括：如果文件完整且有效则进行下一步操作，否则返回给发送者，以提示其重新发送；估计待存储文件大小并进行目的地空间判断包括：如果待存储文件大小大于目的地空间的单位单元的大小，则用前者除以后者，以确定存储单位单元的数量，如果相除结果不大于一，则确定数量为一个，否则按“进一法”确定单位单元数量；

其中划分待存储文件包括：将文件划分为N个消息，其中N是正整数；

其中划分待存储文件包括将文件划分为N个消息具体包括：将确定完整且有效的待存储文件称为F，它是包含N个消息的串，F＝(d₁,d₂,……,d_N)，其中d_i是w个码元形式的第i个消息，i和w都是正整数，即d_i＝(d_(i-1)w+1，……，d_iw)，即256比特，因此文件F可被分为Nw个消息码元：F＝(d₁,……,d_w),(d_w+1,……,d_2w),……,(d_(N-1)w+1,……,d_Nw)；

其中对待存储文件进行分布包括：

分布函数R(d)为：

其中d＝1,2，……，k；j＝0，1，2，…k-1；

其中的函数I(d)表示如下：

如果d＝1，则I(d)＝1/k；

如果d＝2,3，……，k，则I(d)＝1/(d*(d-1))；

函数T(d)表示：

如果d＝1，2，……，(k/s)-1，则T(d)＝s/(k*d)；

如果d＝(k/s)，则T(d)＝s*ln(s/f)/k,；

如果d＝(k/s)+1,……，k，则T(d)＝0；

其中s＝c*ln(k/f)*√k；

k表示整数，d表示小于k的整数，c、f为常数。

2.如权利要求1所述的在大数据背景下的数据安全存储方法，其中c>0。

3.如权利要求2所述的在大数据背景下的数据安全存储方法，其中对待存储文件进行编码加密包括：加密后的文件为F’，其由N+1个加密的消息组成，其形式为：F’＝(e₁,e₂,……,e_N+1)；e_i是d_i经编码加密后的消息，其中加密的消息其中I是初始化向量，E_K(i)表示基于密钥的加密算法，而e_N+1表示之前所有加密消息e₁,e₂,……,e_N的密钥K和哈希的异或函数，即：其中H(i)是密码算法；其中K是从块分组密码中随机选取的密钥。

4.如权利要求3所述的在大数据背景下的数据安全存储方法，其中E_K(i)选择AES算法，而H(i)选择SHA算法。

5.如权利要求3到4中任一个所述的在大数据背景下的数据安全存储方法，其中对待存储文件进行存储包括：将二进制形式的源文件的数据进行分组处理，以形成相同数据组；根据数据组在源文件中的次序而对每个数据组产生相应的二维坐标以形成坐标组；将坐标组存储在存储设备上。

6.如权利要求5所述的在大数据背景下的数据安全存储方法，其中对待存储文件进行解码和恢复包括：通过从码元解码消息e_i而解码F’；通过使用F’＝(e₁,e₂,……,e_N+1)的前N个消息而计算哈希H(e₁,e₂,……,e_N)；通过使用F’的最后一条消息e_N+1和哈希而计算密钥K，使得通过使用加密的消息e_i和用密钥K的解密来计算初始消息d_i，使得