CN108683729A - 一种面向可信云的环境监测数据安全存储***及方法 - Google Patents

Abstract

本发明属于在存储器***或体系结构内的存取、寻址或分配技术领域，公开了一种面向可信云的环境监测数据安全存储***及方法，每个用户对应一个con_ckb，是该用户创建的所有containers的conkeys；对于conckb的索引需要用户提供一个用户口令User_key，口令作为二叉树结构的根节点，由根节点依次向下派生孩子节点，派生过程中使用哈希算法SHA‑256来分别计算左、右子节点；得到第p层的哈希值作为con_key_box_slices的索引。本发明实现了安全机制的原型***；充分利用了云端***的计算和存储能力，大大提高了用户使用的便捷度，用户无需自行加密、无需依赖固定的客户端加解密。

Description

一种面向可信云的环境监测数据安全存储***及方法

技术领域

本发明属于在存储器***或体系结构内的存取、寻址或分配技术领域，尤其涉及一种面向可信云的环境监测数据安全存储***及方法。

背景技术

目前，业内常用的现有技术是这样的：随着Web2.0时代的到来，人们生活中出现越来越多的存储需求(海量的图片、视频、web邮件、归档、备份等)，全球每天创造出来的数据呈现数亿的增长。据IDC统计显示：未来10年间的数据将增长44倍，到2020年全球数据将增长到35ZB，有约80％是非结构化数据，其中的大部分又是非活跃的。在这样的需求推动下，一种新型的存储服务一一云存储服务应运而生，它是伴随着云计算发展起来的，能够为用户或第三方应用提供低成本、按需分配的存储资源。环境监测数据是记录指定地区环境各项指标的数据，能够对地方环境的现状和未来趋势进行有效反馈，因此，对这些数据进行安全的储存是非常必要的，当前云存储服务已经逐渐引入到环境监测数据的储存中，然而在云存储服务的推广应用中，安全性成为了它当前最大的障碍。云存储服务为用户提供存储基础设施和资源、全权代替用户存储和管理个人数据这一特性，使用户对存储在云中的数据怀有“失控感”。加之近年来云端安全事故频发，据2012年工信部对中国公有云服务调查情况显示，用户对云计算服务的顾虑因素排名第一位的就是数据的安全和隐私问题，故保护云存储中用户数据的隐私安全至关重要。

综上所述，现有技术存在的问题是：目前云存储服务已经逐渐引入到环境监测数据的储存中，安全性成为当前最大的障碍，使用户对存储在云中的数据怀有“失控感”，云端安全事故频发，

发明内容

针对现有技术存在的问题，本发明提供了一种面向可信云的环境监测数据安全存储***及方法。

本发明是这样实现的，一种面向可信云的环境监测数据安全存储方法，所述面向可信云的环境监测数据安全存储方法每个用户对应一个con_ckb，是该用户创建的所有containers的conkeys；对于conckb的索引需要用户提供一个用户口令User_key，口令作为二叉树结构的根节点，由根节点依次向下派生孩子节点，派生过程中使用哈希算法SHA-256来分别计算左、右子节点；得到第p层的哈希值作为con_key_box_slices的索引。

进一步，所述面向可信云的环境监测数据安全存储方法中Swift通过Ring从对象数据到虚节点，再到存储设备之间的映射具体包括：

先给出Ring的数据结构，首先是参与该Ring的各存储设备的信息列表，记录每个存储设备的devid、zone、weight、IP:port、devicename、meta；replica2part2dev_id，记录每个Partition对应的存储设备；记录Partition的移位数，part_shift；其次是对象数据到虚节点：Ring使用的虚节点叫做Partition；对象数据到虚节点的映射如下：

md5('/account/container/object').digest())[0]>>self._part_shift；

虚节点到存储设备：Partition到存储设备间的映射保证存储设备存储数据量均衡；为每个Partition寻找存储设备收集要进行分配的Partition，记为(Parition_id，replica_id)；对于每个存储设备，基于权重计算应该分得的Partition数量，按照由多到少排序；同时为每个设备构建自己所属的Region、Zone、IP:port、Dev_id；构建整体的层次树。

进一步，所述面向可信云的环境监测数据安全存储方法的映射的过程是将要存储的某对象数据的副本，先找到存储此对象数据数量最少的层；再在层中找到最饥饿的存储设备。

进一步，所述面向可信云的环境监测数据安全存储方法具体包括：哈希值K(0,1)＝User_key，K(i,j)的第一个参数i表示二叉树的层级号，第二个参数j表示第i层中的索引号，当i＝x时，1≤j≤2^x；接着得到：

LeftCof k_i,j＝hash(k(i,j)||(2*j)||k(i,j))＝k((i+1),(2*j))；

RightCof k_i,j＝hash(k(i,j)||(2*j)||k(i,j))＝k((i+1),(2*j))；

其中||||表示连接，然后经过N＝4次计算，得到16个索引值，作con_key_box_slice的名字。Leftcof表示左连接，RightCof表示右连接，Hash表示哈希函数的哈希值

本发明的另一目的在于提供一种所述面向可信云的环境监测数据安全存储方法的面向可信云的环境监测数据安全存储***，所述面向可信云的环境监测数据安全存储***包括：客户端、服务端；

客户端中的swiftclient_module负责提供PythonAPI，swift提供命令行工具的功能；

服务端中的bin目录下的代码文件是服务进程的启动脚本；etc目录下的代码文件是服务进程使用的相关配置文件；swift目录是***的核心代码，包括代理服务、租户管理服务、容器管理服务、对象环境监测数据管理服务和公共调用模块。

进一步，所述面向可信云的环境监测数据安全存储***分为三部分：客户端、代理服务节点和存储节点；

客户端部署在服务使用者的本地机器上，用户通过客户端操作环境监测数据；代理服务节点上运行着代理服务，是服务端对外服务的窗口，负责接收客户端的请求，进行合法的身份认证与授权，查找环境监测数据在存储节点上的相对位置，转发请求到相应存储节点，同时对于失败、故障作出相应的失败处理；存储节点上运行着租户管理服务、容器管理服务和对象环境监测数据管理服务，负责环境监测数据的管理和存储，运行在存储节点上的守护进程负责保障环境监测数据在***中的可靠性和可用性。

本发明的另一目的在于提供一种应用所述面向可信云的环境监测数据安全存储方法的云存储服务***。

综上所述，本发明的优点及积极效果为：随着社会需求的不断增长，每天被创造出来的数据数量以指数级迅速增长。面对这样的存储需求，面向对象的云存储***提供了良好的解决方案，它致力于集中为用户提供海量的、弹性扩展的、持久性高的静态非结构化数据的存储服务。但安全性成为了其推广应用过程中的最大障碍，用户对数据在云中的安全和隐私极为担心，所以保护用户数据的存储安全是云存储服务良性发展的前提。本发明以开源的Openstack云操作***的Swift机制为原型，提出了一种使用加密和分割技术保护云端环境监测数据存储安全的机制，并实现了该安全机制的原型***。该机制充分利用了云端***的计算和存储能力，为用户提供了按需使用的安全机制，大大提高了用户使用的便捷度，用户无需自行加密、无需依赖固定的客户端加解密，只需提供一个用户口令UserJCey即可使用云端强大高效的加密处理功能和密钥管理功能，用户友好性强。

附图说明

图1是本发明实施例提供的面向可信云的环境监测数据安全存储***结构示意图；

图中：1、客户端；2、服务端。

图2是本发明实施例提供的面向可信云的环境监测数据安全存储方法流程图。

图3是本发明实施例提供的快速源代码框架示意图

图4是本发明实施例提供的雨燕的物理结构示意图。

图5是本发明实施例提供的副本之间的长距离映射示意图。

图6是本发明实施例提供的设备层次结构树的构建示意图。

图7是本发明实施例提供的层次导出示意图。

图8是本发明实施例提供的创建用户密码名称示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

环境监测数据是能够反映地区环境现状和未来趋势的重要数据，其的储存至关重要，当前，随着数据量的增加，云存储服务逐渐引入到环境监测数据存储中，而在具体应用过程中，安全性是云存储服务推广应用中遇到的最大障碍。Amazon云服务己成为业内公认的事实标准，其核心组件Swift己成为广受欢迎的云存储机制，但该机制存在容易泄露用户数据的不足，本发明以其为原型，研究云中环境监测数据存储机制的安全改进方法，本发明基于加密和分割技术的环境监测环境监测数据安全存储原型***，并进行了测试。结果表明，该机制可以有效降低云中用户信息泄露的风险。

如图1所示，本发明实施例提供的面向可信云的环境监测数据安全存储***包括：客户端1、服务端2。

如图2所示，本发明实施例提供的面向可信云的环境监测数据安全存储方法包括以下步骤：

S201：每个用户对应一个con_ckb，是该用户创建的所有containers的conkeys；

S202：对于conckb的索引需要用户提供一个用户口令User_key，该口令作为二叉树结构的根节点，由根节点依次向下派生孩子节点，派生过程中使用哈希算法SHA-256来分别计算左、右子节点；

S203：得到第p层的哈希值作为con_key_box_slices的索引。

下面结合附图对本发明的应用原理作进一步的描述。

1、源码框架和编程模型

本发明对环境监测数据的安全存储机制进行研究，本发明针对环境监测数据的特点对源码框架和编程模型进行构建。在本发明架构的模型中，Swift是基于python语言开发的，由客户端程序和服务端程序两部分构成。客户端程序中的“swiftclient_module”负责提供PythonAPI，“swift”提供命令行工具的功能。服务端程序的主要框架如图3，bin目录下的代码文件是服务进程的启动脚本；etc目录下的代码文件是服务进程使用的相关配置文件；swift目录是***的核心代码，主要包括代理服务、租户管理服务、容器管理服务、对象环境监测数据管理服务和公共调用模块。在***搭建和部署时，客户端程序安装在服务使用者一侧，如OpenStack中的镜像组件或终端用户的本地。服务端程序部署在云端，由***搭建人员运行脚本启动服务。如图3所示。

2、***的物理架构

***的物理架构可以分为三部分：客户端、代理服务节点和存储节点，如图。客户端部署在服务使用者的本地机器上，用户通过客户端操作(上传、下载、更新、删除)环境监测数据；代理服务节点上运行着代理服务，是服务端对外服务的窗口，主要负责接收客户端的请求，进行合法的身份认证与授权，查找环境监测数据在存储节点上的相对位置，转发请求到相应存储节点，同时对于失败、故障等情况作出相应的失败处理；存储节点上运行着租户管理服务、容器管理服务和对象环境监测数据管理服务，主要负责环境监测数据的管理和存储，运行在存储节点上的守护进程负责保障环境监测数据在***中的可靠性和可用性。

图4是Swift小规模搭建的示例图。为了更好的支持大规模的并发访问需求，在实际应用中代理服务节点可以有若干台，同时需要在请求接入代理服务节点之前做一层负载均衡层。当然，存储节点也可以根据使用需求动态的增减，具有极强的弹性缩放能力，而伴随着存储节点的增减，***会实现各存储节点间的数据“最小化”迁移和各存储节点上数据存储量均衡的工作。

3、改进的一致性哈希算法

本发明从两个方面介绍Swift如何通过Ring实现从对象数据到虚节点，再到存储设备之间的映射。先给出Ring的数据结构，由三部分构成：首先是参与该Ring的各存储设备的信息列表，记录每个存储设备的devid、zone、weight、IP:port、devicename、meta；replica2part2dev_id，记录每个Partition对应的存储设备；记录Partition的移位数，part_shift。其次是对象数据到虚节点：Ring使用的虚节点叫做Partition，Partition是一个逻辑上的概念，可以看做若干虚拟的盒子，一个Partition盒子会对应多个对象数据。Partition的数量由***搭建人员依据***规模事先设定好，通常是存储设备数量的百倍。一个对象数据的路径(account/container/object)可以经计算(哈希和移位)得到该对象数据对应的某个Partition。对象数据到虚节点的映射如下：

md5('/account/container/object').digest())[0]>>self._part_shift

然后是虚节点到存储设备：Partition到存储设备间的映射既要保证存储设备存储数据量的均衡，又要考虑到***中数据的可用性，即一个数据的三个备份映射到的存储设备应该是***中的“最远距离”，即便在数据迁移时，同一份数据的副本依然要保持“最远距离存储”。如图5所示。

为每个Partition寻找存储设备的核心思想是：收集要进行分配的Partition，记为(Parition_id，replica_id)；对于每个存储设备，基于权重计算应该分得的Partition数量，按照由多到少排序；同时为每个设备构建自己所属的Region、Zone、IP:port、Dev_id；构建整体的层次树，如图6。

映射的过程是对将要存储的某对象数据的副本，先找到存储了此对象数据数量最少的层；再在该层中找到“最饥饿”的存储设备。当***规模发生变化，设备数量发生增减时，每台设备对应Partition的数量就会发生变化，此时对Partition和存储设备重新映射以实现平衡。

具体的应用方法如是，***中每个用户对应一个con_ckb，里面是该用户创建的所有containers的conkeys。对于conckb的索引需要用户提供一个用户口令User_key，该口令作为二叉树结构的根节点，由根节点依次向下派生孩子节点，派生过程中使用哈希算法SHA-256来分别计算左、右子节点，最终得到第p层的哈希值作为con_key_box_slices的索引。

如图7，具体算法步骤是，首先本发明令哈希值K(0,1)＝User_key，K(i,j)的第一个参数i表示二叉树的层级号，第二个参数j表示第i层中的索引号，当i＝x时，1≤j≤2x；接着本发明得到：

LeftCof k_i,j＝hash(k(i,j)||(2*j)||k(i,j))＝k((i+1),(2*j)) (1)

RightCof k_i,j＝hash(k(i,j)||(2*j)||k(i,j))＝k((i+1),(2*j)) (2)

其中||||表示连接，然后经过N＝4次计算，得到16个索引值，作con_key_box_slice的名字。

下面结合测试对本发明的应用效果作详细的描述。

1测试条件及目的

这里使用5台服务器搭建Swift存储***，其中1台作为代理服务节点，剩下四台作为存储服务节点。每台存储服务器挂载两块SATA硬盘，一块盘作为***盘，另一块盘分成两个区，外部接入网和内部局域网使用的均是千兆网。如下表。电脑均使用64位Ubimtu14.04LTS操作***，服务器上部署添加了安全机制的sec-Swift2.3.0软件***作为实验环境。

表1硬件测试环境

测试安全机制主要功能的正确执行。用户在使用云存储***时，对于不同重要程度的环境监测数据可以按需使用安全存储机制。对于要保护的环境监测数据，在上传数据前，用户需要提供用户口令先创建专门用于存储保护环境监测数据的container，上传至该container的object均将被安全机制保护。而后，在用户操作(上传、下载等)环境监测数据时均需提供用户口令，***将按照安全机制执行对环境监测数据的管理和保护。对于不需要保护的环境监测数据，按照原***提供的功能执行。对于功能测试，本发明将给出操作试例，并以日志的形式记录安全机制的全部执行过程。

2***功能测试结果

首先本发明展示软件功能，先为一个新的用户newuser完成注册。实现租户Newproject的创建，然后进行用户名和密码的设置，如图8：用户newuser上传下载对象数据tmp.32K，用户在使用安全机制上传数据前，需要先创建用于存储加密数据的容器，然后进行上传或下载对象数据操作，注意使用安全机制的过程均需要用户提供用户口令User_key。例如，用户创建用于存储加密数据的encrycon的容器，并向该容器中上传对象数据tmp.32K，同理从encrycon容器中下载tmp.32K，使用安全机制的过程均需提供用户口令。接着创建encrycon容器，向容器encrycon中上传对象数据tmp.32K，从容器encrycon中下载对象数据tmp.32K，在接收到用户使用安全机制存储数据的请求后，代理服务器上的安全机制的工作过程通过日志的方式记录。

接着是安全性测试结果，通过数据分割、数据加密技术和完整的密钥管理方案保护用户的敏感数据。为此***中增加了关键数据。***重点保护的数据有obj_frags、con_obj_key—box和con_key_box—slices。用户敏感数据objfrags和con_obj_key_box均采用AES-128加密算法加密处理，形成的密文存储于存储节点上。对于前文中原***明文存储的例子getfilecontxt，若使用安全机制存储，用户先创建一个用于加密管理的con容器，向con中上传文件getfilecontxt，操作中携带用户口令User_key。安全机制将getfilecontat环境监测数据分割成10块，本发明相应的存储设备上查看10块环境监测数据均以密文的形式存储。

对于con_key_box_slices是由顶层密钥文件con_ckb经过秘密共享算法处理得到的“编码块”。秘密共享算法是一种“perfect-security”即达到信息论安全的编码算法。该算法采用门限值[m，n]，即环境监测数据D经过编码转换成N块环境监测数据，至少通过其中的m块才能够恢复环境监测数据D，而任意少于m块数据都不能揭露原数据的任意部分信息。下面本发明给出证明过程：首先是秘密共享的分发，使用有限域GF(q)(q是素数，q>n)，选择有限域中的n个不同的非零元素，记为U是公开的。随机生成m-1个元素叫，和m-1次多项式，使用有限域GF(q)(q是素数，q＞n)，选择有限域中的n个不同的非零元素，记为x_i，x_i是公开的。随机生成m-1个元素a₁,a₂,...a_m-1，和m-1次多项式f(x)＝a₀+a₁x+...+a_m-1x^m-1。对于原环境监测数据D，令D＝a₀，对于x_i(1≤i≤n)计算：得到的f(x_i)(1≤i≤n)即为转换编码后的环境监测数据块，即con_key_box_slices。

在密钥的恢复中，原环境监测数据的恢复过程需要至少知道m块数据，即这里任取n块中的m块：f(x_i)(1≤i≤m)，计算方程组：

转化为矩阵：

由于范德蒙矩阵，是可逆的，所以方程组有唯一解，即可计算出未知数a₀+a₁x+...+a_m-1从而得到原环境监测数据a₀,D。而对于己知m-1块数据，解m-1个有m个未知数的方程，未知数是有无穷多个解的，且每个解的可能性相同，故无法得到关于原环境监测数据D的任何信息。综上，本发明说经过门限值为[m，n]秘密共享而成的con_key_box_slices在攻击者拿不到m块的情况下是绝对安全的。

3***性能测试结果

在时间开销测试中，—般用户使用云存储服务最频繁的操作是上传和下载，故本实验分别就大数据和小数据使用安全机制和不使用安全机制操作数据的开销做出对比测试。由于每次完成数据操作的时间具有一定的随机性，所以本发明对同一个环境监测数据的同一个操作共做10次实验，取平均值作为结果，得到下表：

表2小数据的时间开销比较

使用安全机制上传数据[32K-128M]时，时间开销基本在13s至60s之间；使用安全机制下载数据[32K-128M]时，时间开销基本在2s至20s之间。虽然从图6-1中可以看到小数据的操作时间倍增，但由于其基数较小，其增长的时间长度对于用户体验而言并没有产生过大的影响，这里本发明认为使用安全机制而产生的时间开销是用户在使用中可以接受的。

安全机制的充分发挥和利用了云端的存储能力，空间开销主要来源于安全机制中的密钥管理，这里本发明给出具体的分析。当用户选择使用安全机制存储环境监测数据D时，接收到用户请求的代理服务器首先对其加密，密文被环境监测数据分割器分割成n块等大小的环境监测数据块故环境监测数据本身的加密和分割(stripping)操作没有增加额外的存储空间。但加密机制使***需要额外负责密钥的管理工作，增加了两类密钥盒子；

一是对象密钥盒子，每个container对应一个对象密钥盒子，对象密钥盒子是呈key-value形式的字典结构{ObjectName:(key，vi，pad)}，container中每增加一个object就增加一个key-value对，故每个对象密钥盒子的大小和其对应的container包含的object数量成正比。

二是容器密钥盒子，一个用户对应一个容器密钥盒子，容器密钥盒子同样呈key-value形式的字典结构{ContainerName:(key，vi，pad)}，用户每创建一个container，***就生成一个容器密钥，增加一个key-value对，故容器密钥盒子的大小和用户创建的container数量成正比。除此之外，容器密钥盒子需要经过秘密共享成为con_key_box_slices，每个slice的大小与原数据con_ckb相同，若某个|con_keybox_co_n|，那么次容器密钥合资的存储空间需要nL_co_n。密钥管理花费的空间开销是远小于数据本身的，与此同时，达到了充分利用云中的存储能力提供安全存储机制的目的。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种面向可信云的环境监测数据安全存储方法，其特征在于，所述面向可信云的环境监测数据安全存储方法每个用户对应一个con_ckb，是该用户创建的所有containers的conkeys；对于conckb的索引需要用户提供一个用户口令User_key，口令作为二叉树结构的根节点，由根节点依次向下派生孩子节点，派生过程中使用哈希算法SHA-256来分别计算左、右子节点；得到第p层的哈希值作为con_key_box_slices的索引。

2.如权利要求1所述的面向可信云的环境监测数据安全存储方法，其特征在于，所述面向可信云的环境监测数据安全存储方法中Swift通过Ring从对象数据到虚节点，再到存储设备之间的映射具体包括：

先给出Ring的数据结构，首先是参与该Ring的各存储设备的信息列表，记录每个存储设备的devid、zone、weight、IP:port、devicename、meta；replica2part2dev_id，记录每个Partition对应的存储设备；记录Partition的移位数，part_shift；其次是对象数据到虚节点：Ring使用的虚节点叫做Partition；对象数据到虚节点的映射如下：

md5('/account/container/object').digest())[0]>>self._part_shift；

虚节点到存储设备：Partition到存储设备间的映射保证存储设备存储数据量均衡；为每个Partition寻找存储设备收集要进行分配的Partition，记为(Parition_id，replica_id)；对于每个存储设备，基于权重计算应该分得的Partition数量，按照由多到少排序；同时为每个设备构建自己所属的Region、Zone、IP:port、Dev_id；构建整体的层次树。

3.如权利要求2所述的面向可信云的环境监测数据安全存储方法，其特征在于，所述面向可信云的环境监测数据安全存储方法的映射的过程是将要存储的某对象数据的副本，先找到存储此对象数据数量最少的层；再在层中找到最饥饿的存储设备。

4.如权利要求1所述的面向可信云的环境监测数据安全存储方法，其特征在于，所述面向可信云的环境监测数据安全存储方法具体包括：哈希值K(0,1)＝User_key，K(i,j)的第一个参数i表示二叉树的层级号，第二个参数j表示第i层中的索引号，当i＝x时，1≤j≤2^x；接着得到：

LeftCof k_i,j＝hash(k(i,j)||(2*j)||k(i,j))＝k((i+1),(2*j))；

RightCof k_i,j＝hash(k(i,j)||(2*j)||k(i,j))＝k((i+1),(2*j))；

其中|| ||表示连接，然后经过N＝4次计算，得到16个索引值，作con_key_box_slice的名字。

5.一种如权利要求1所述面向可信云的环境监测数据安全存储方法的面向可信云的环境监测数据安全存储***，其特征在于，所述面向可信云的环境监测数据安全存储***包括：客户端、服务端；

客户端中的swiftclient_module负责提供PythonAPI，swift提供命令行工具的功能；

服务端中的bin目录下的代码文件是服务进程的启动脚本；etc目录下的代码文件是服务进程使用的相关配置文件；swift目录是***的核心代码，包括代理服务、租户管理服务、容器管理服务、对象环境监测数据管理服务和公共调用模块。

6.如权利要求5所述的面向可信云的环境监测数据安全存储***，其特征在于，所述面向可信云的环境监测数据安全存储***分为三部分：客户端、代理服务节点和存储节点；

客户端部署在服务使用者的本地机器上，用户通过客户端操作环境监测数据；代理服务节点上运行着代理服务，是服务端对外服务的窗口，负责接收客户端的请求，进行合法的身份认证与授权，查找环境监测数据在存储节点上的相对位置，转发请求到相应存储节点，同时对于失败、故障作出相应的失败处理；存储节点上运行着租户管理服务、容器管理服务和对象环境监测数据管理服务，负责环境监测数据的管理和存储，运行在存储节点上的守护进程负责保障环境监测数据在***中的可靠性和可用性。

7.一种应用权利要求1～4任意一项所述面向可信云的环境监测数据安全存储方法的云存储服务***。