CN107229872A

CN107229872A - 一种分离存储查询逻辑与分段数据的隐私数据保护方法

Info

Publication number: CN107229872A
Application number: CN201610175639.2A
Authority: CN
Inventors: 肖哲; 杨晶晶; 黄铭
Original assignee: Individual
Current assignee: Individual
Priority date: 2016-03-26
Filing date: 2016-03-26
Publication date: 2017-10-03

Abstract

一种分离存储查询逻辑与分段数据的隐私数据保护方法。本发明公开一种通过分离存储“数据查询索引/查询逻辑”与“分段实际数据”来实现保护隐私数据的***架构方法。本方法的核心设计在于：客户端与服务器分别存储“数据查询索引/逻辑”与“分段实际数据”；完整的用户数据的重建需要通过存储在客户端的一组查询索引获取对应的存储于服务器端的分段实际数据进行重组来实现。数据查询索引定义为一组用以标记分段数据的无意义的全局唯一标识符，查询逻辑为用户操作或者服务器特定请求与一组全局唯一标识符的映射关系。数据分段上传，服务器端的存储结构无法区分数据的用户来源而达到保护隐私的作用。本发明不需要删除用户与***功能所需数据，可以保证***所有功能逻辑。

Description

一种分离存储查询逻辑与分段数据的隐私数据保护方法

技术领域

本发明涉及的是一种保护用户隐私数据的存储方法，特别是为基于互联网（包括移动互联网）的应用与***平台保护用户隐私数据。

背景技术

随着互联网与移动互联网以及大容量存储技术的迅速发展，互联网用户数据的收集发布与存储越来越便利。人们已经习惯通过手机和电脑等互联网终端搜索，访问与分享数据；互联网用户每天都在生产数据，大量的用户数据通过网络进行交互，在这个过程中隐私泄露的问题变得日益严重，如何有效保护用户隐私数据因此成为了越来越重要的问题。目前常用的保护隐私的技术包括：匿名化技术如k-匿名（k-anonymity）, l-多样性（l-diversity）, t-接近（t-closeness）等，通过一般化类似信息的方式使得无法确定特定的用户身份与数据来源；访问控制技术，通过控制数据的操作与访问（如访问的数据域、数据类型或者访问时间的控制）来实现隐私的保护；阅后即焚技术，即在完成***所需功能逻辑后马上删除敏感数据；增加噪音技术，通过在原始数据上增加噪音，使个体用户数据不能被清晰获取；***架构上隐私保护设计技术，通常需要密码与认证等***的支持。匿名化方法的局限性在于一般化了用户的信息导致用户数据的信息量减少，增加噪声与删除敏感数据的方法因为不能让用户再次获得数据限制了***功能与应用的场景。访问控制不能从根本上解决用户隐私信息的保护，通过密码与认证的方式在密码与认证信息泄露后将失去对用户隐私数据的保护。***体系架构上的隐私数据保护技术大多依赖于***内部规则、数据模板以及数据交互约定的设计，在实际***的开发中因为必须遵循这些约定而导致难以与外部***交互集成，限制了***的扩展性，另外也很难形成统一的***架构定义与数据保护规则的工业界标准。

在本发明中，通过分段存储用户隐私数据，分离存储数据索引/逻辑与实际分段数据于不同物理位置（即客户端与服务器端），使得分段数据只有在一组查询索引条件的指导下才能组合重建为意义完整的用户数据。数据的重建请求由用户从客户端发起，重建的索引查询条件也只有客户端才能获得，使用户具有对自己数据的获取有完全控制。服务器端存储的分段数据对来自任何用户的数据具有一致的存储表现形式，因此无法区分每个分段数据的用户身份也无法确定分段数据应该如何组合重建为意义完整的信息。本发明因为只对用户数据做分段处理而不做“删除”、不做“修改（如增加数据噪声）”也不做“一般化处理”的操作，保留了数据的原有的信息量，可以在不影响***功能逻辑的前提下实现对用户隐私数据的保护。本发明不依赖于具体的数据存储形式以及特定的数据类型与类别，具有对各种应用的一般普适性。

经对现有技术文献的检索，目前还没有使用分离存储数据索引与实际数据于不同物理位置来保护用户隐私数据的方法。

发明内容

本发明分离并存储数据查询索引与查询逻辑于客户端。

查询索引index的具体定义为：与用户身份与隐私数据无关的无实际意义的用于查询与重建完整数据信息的一组全局唯一标识符（UUID）。查询索引中的全局唯一标识符有以下特征：1.与用户身份与隐私数据无关，并且不能表达分段数据的顺序关系；2.一个特定的查询索引 [uuid_i | i=1, 2, 3…] 可以用来获取由相应分段实际数据组合成的一条完整数据信息；3.一个客户端的操作o对应（可以获取）特定的查询索引进而由本条特征2可以对应与获取相应的一条完整数据信息。

查询逻辑具体包括：用户的操作o与相应的一组唯一标识符的映射关系，表示为P (o, index); 服务器端的数据重建请求SR与相应的一组唯一标识符的映射关系，表示为P (SR, index). 通过这些映射关系可以查询到对应的数据分段并组合成完整的数据信息。

客户端需要存储的信息包括：1. 数据查询逻辑也即用户操作o与查询索引的对应关系P(o, index) ={o_i : [uuid_j | j=1,2,3…] | i = 1,2,3… }, 其中每一个用户操作o_i 对应一组UUID的查询索引[uuid_j | j=1,2,3…]，索引组通过与服务器的通信获取分段实际数据并在客户端重组成完整信息作为用户操作的结果返回与展示给用户；2. 服务器端的数据重建请求SR与查询索引的对应关系P (SR, index) = {SR_i _: [uuid_j | j=1, 2, 3…] | i = 1, 2, 3…} ，用以在服务器端需要进行数据重建时向客户端发送请求获取查询索引；3. UUID对应的次序标识映射P (uuid, seq) ，次序信息在数据重建时需要用到；4. 客户端功能逻辑需要的其他数据与数据关系。

服务器端需要存储的信息包括：1. 全局唯一标识符与分段数据的对应关系P(uuid, DS)={uuid_i : DS_i | i = 1,2,3,…} , 这种对应关系是“一对一”的关系，一个UUID对应于一个分段数据，并且这种对应关系在客户端分段时就产生但通过上传存储于服务器端。2. 服务器端***功能逻辑需要的其他数据与数据关系。

客户端需要的数据操作为：1.分段数据，对于用户隐私数据需要分段处理数据分段的结果是产生数据片段的数组 [DS_i | i = 1, 2, 3…]; 2. 给每个数据片段分配UUID，UUID的生成受限于“权利要求1”, 可以为分布式生成或者通过在服务器端集中生成；3. 上传带UUID的数据片段 {uuid_i : DS_i | i = 1, 2, 3…}，数据为无序上传，也可以定制计划在不同的时刻每次上传部分数据片段（能防止在通信传输中泄露数据）。4.存储映射关系P (o, index) ，P (SR, index) 和 P (uuid, seq) 。

服务器端需要的数据操作为：1. 接收来自于客户端的数据分段{uuid_i : DS_i | i = 1,2,3,…}并存储于服务器端的存储结构中，一条数据片段的存储是随机且无规律的并不保存任何可能暴露分段数据次序与组合的信息，用以保证来自所有用户的数据片段是混杂交错存储的因而无法区分数据的用户来源。2. 在客户端带有一组查询索引 [uuid_i | i=1,2,3…]请求到来时，在UUID与分段数据的对应关系P(uuid, DS)={uuid_i : DS_i | i = 1,2,3,…}的存储结构中获取分段数据返回客户端。3. 在需要时向客户端发出数据重建请求 [SR_i | i = 1, 2, 3 …]。

如果服务器端需要主动重建用户完整数据需要向客户端发起通知/请求，经由用户的操作后返回UUID以及对应的次序标示 {uuid_i : seq_i | i=1,2,3…}并给予此做完整数据的组合与重建。在这个过程中，用户完全知情并且可以控制选择是否接受与完成相应的请求。

与现有的隐私保护方案相比，本发明不需要删除与修改用户的隐私数据，只做分段数据的处理，因而可以保证***功能的完整性。

本发明客户端与服务器的存储不依赖于具体的存储结构与形式, 只需要在客户端保存映射关系P (o, index) ={o_i : [uuid_j | j=1,2,3…] | i = 1,2,3… }和P (SR, index) ={SR_i : [uuid_j | j=1,2,3…] | i = 1,2,3… } 以及次序标识P (uuid, seq)，在服务器端保存全局唯一标识符与分段数据的对应关系P (uuid, DS)={uuid_i : DS_i | i = 1,2,3,…}。

本发明用户数据的获取与重建完全由用户控制，无论是用户端或者服务器端发起数据重建请求，只有在客户端获取特定的查询索引 [uuid_i | i=1, 2, 3…] 时才能确定分段数据的组合与重新恢复用户隐私数据，而客户端获取查询索引完全由用户控制，或者由用户的操作发起或者由用户授权而得以处理。

本发明不需要加密模块的引入就可以实现用户隐私的保护，但是加密模块的引入可以增强保护强度，与加密方案的集成不需要特别的处理。

本发明中的客户端可以为任何带本地存储的终端如手机，平板电脑，电脑甚至服务器等。

尽管本发明描述为客户端/服务器的场景模式，也可以适用于P2P 以及服务器之间数据协调的应用场景模式。

本发明的核心思想与创新点在于分离存储数据重建需要的数据查询索引逻辑与实际分段数据于不同的物理位置（或者虚拟环境），基于此可以衍生出灵活的适应于具体应用的访问控制实现方案。

附图说明

图1是本发明的***存储与功能示意图。

图2是本发明客户端上传分段实际数据的操作示意图。

图3是本发明客户端请求数据重建时的操作示意图。

图 4 是本发明服务器端请求数据重建时的操作示意图。

具体实施方式

以下结合附图对本发明的实施例做详细说明：本实施例基于本发明方案，给出了详细具体的操作过程，但本发明的保护范围不限于下述实施例。

如图1所示，客户端需要UUID生成分配器1和数据切割模2，UUID生成分配器可以按需通过分布式或集中产生，数据切割器用以对用户的隐私数据做分段处理。

客户端需要依据***的功能逻辑设计并存储至少三种关系映3：1.用户操作o与查询索引的映射关系P(o, index) ={o_i : [uuid_j | j=1,2,3…] | i = 1,2,3… }，具体的用户操作例子比如“按时间（日期）查询数据”则需要存储日期与分段数据UUID的对应关系，再比如“按用户订单号查询”则需要存储一个订单号与一组分段数据UUID的对应关系。这些对应关系在用户操作时用来获取一组UUID组成的查询索引信息。 2. 服务器端的数据重建请求SR与查询索引的对应关系P (SR, index) ={SR_i : [uuid_j | j=1,2,3…] | i = 1,2,3… }，大多数情况下，服务器端的数据重建请求与基于用户的操作逻辑的数据请求是一致的，但如果服务器端有其他特别的数据重建需求并且这些需求没有在P (o, index)中描述，那么就需要把这些特别的需求存储在 P (SR, index) 中以支持***的逻辑功能；P (SR, index) 的设计基于对***功能的整体规划与考虑；3. UUID对应的分段数据在完整数据中的次序标识映射关系P(uuid, seq)，次序信息在数据重建时需要用到。

.对于用户的非隐私信息或者无需保护的信息，可以采用一般的方法存储这些数据与数据关系以实现***功能逻辑需要。

服务器端的存储设计主要包括：“UUID与实际分段数据的对应关系” P(uuid, DS)4, 在需要进行数据重建时需要根据一组UUID来查询P(uuid, DS)的存储结构以获取实际的分段数据。

用户与服务器间的交互主要包括分段数据上传5，客户端数据获取6和服务器端数据重建7。

如图2所示, 客户端上传数据的操作流程包括获取数据输入8，数据输入的来源可以是用户的操作也可以由客户端硬件产生如GPS，加速计等传感器产生；数据分段处理9；数据的乱序处理10，数据需要乱序上传；UUID生成与分配11，分布式或者集中方式生成；分段数据上传12；并持久化用户操作与UUID的映射关系P(o, index) 13；对于客户端与服务器端需要严格数据一致性保证的需求的应用需要进行数据一致性状态检查与处理14；最后持久化其他必要的数据与数据关系15；服务器端相应的处理为，如果采用UUID集中生成方式，服务器端需要管理UUID的全局生成16；接收分段数据17；持久化数据查询索引与分段数据的映射关系P(index, DS)18；如需数据一致性检查则进行数据一致性保证的相关处理19；并持久化其他必要数据与数据关系20。

如图3所示，客户端获取数据时的操作流程包括：获取用户的操作21；基于已经存储的用户操作o与查询索引的对应关系P(o, index)获取一组UUID 22；上传数据查询索引即一组UUID 23；服务器端接收UUID索引组24，基于P(index, DS) 获取实际分段数据25并发送实际分段数据给客户端26；客户端接收分段数据27并根据P(uuid, seq)重组数据并返回显示给用户28。

如图 4 所示，服务器端请求重建数据时的操作流程包括：服务器端根据***需求发送数据重建请求SR给客户端29；客户端接收服务器端数据重建请求30并向用户询问是否相应数据重建31，如果用户否定重建请求则返回拒绝消息给服务器端，如果用户允许数据重建则基于服务器端的请求SR与查询索引的映射关系P(SR, index)获取查询索引32并返回带次序标示的UUID索引组给服务器端33；服务器端接收客户端的响应，如果用户允许数据重建则根据接收到的带次序标示的UUID索引组重建完整信息34；服务器端在数据重建后删除一切可能暴露用户隐私的索引信息，过程中生成的数据与重建后的完整信息35。

通过分离数据查询索引与实际分段数据于不同的物理位置（或者虚拟环境），因为实际分段数据不具有具体的数据与用户身份或敏感信息的映射，是不会暴露隐私数据因而是隐私安全的，可以分享给第三方做数据分析处理。

尽管本发明的内容通过上述优选实施例作了详细说明，但应当意识到上述实施例描述不应该认为是对本发明的限制。本发明对保护隐私数据的应用具有一般普适性，本发明中某些操作可以有灵活的修改与替代，本发明的保护范围应有所附的权利要求来限定。

Claims

1.一种分离存储用户身份信息无关的“数据查询索引/查询逻辑”与“分段实际数据”的隐私保护架构方法，此处描述方法中术语的定义及其特征：

数据查询索引定义为查询的条件，是一组用以标记分段实际数据的无意义的全局唯一标识符（UUID），全局唯一标识符的生成方法必须与用户的任何身份与隐私信息无关，这些身份隐私信息包括但不限于用户的姓名，用户的账号（***分配），用户特征信息，用户客户端硬件的信息(手机的硬件标识码)，用户登陆端的地址等一切有可能暴露用户身份的信息；数据查询索引存储于客户端，在需要重建完整信息时发送给服务器端用以获取分段真实数据；数据查询逻辑定义为用户操作或者服务器端特定数据重建请求与一组数据查询标识符的映射关系，比如用户需要获取特定数据的操作与相应的一组分段实际数据的标识符的映射关系；分段实际数据是把用户原始的隐私数据进行数据分段操作后的分段数据。

2.本方法中需要客户端与服务器端的交互协调完成的操作主要包括：分段数据上传、客户端数据重建以及服务器端数据重建。

3.本方法中客户端上传数据时需要进行以下步骤的操作:

步骤一. “数据分段”，数据分段可以根据数据的大小，数据的物理类型，数据的逻辑类别等来划分；数据划分粒度的选择以不能通过非索引查询（即非通过一组UUID标识符）的方式确定组合出完整用户数据信息为原则；UUID标识符的产生需不能表达分段实际数据的顺序关系，UUID与数据顺序的信息需要作为一个映射关系存储于客户端；

步骤二. “为分段数据分配全局唯一标识符（UUID），UUID可以灵活地由任何唯一标识符产生方式来生成，如：在客户端以分布式方式生成，或者由服务器集中产生，客户端通过与服务器交互后获取，UUID生成方式受限于特征1；

步骤三. 存储数据查询逻辑于客户端本地的存储结构中，查询逻辑包括“客户端功能操作逻辑”与相应的“分段数据对应的一组UUID”的映射关系，以及“服务器数据重建逻辑”与相应的“分段数据对应的一组UUID”的映射关系，通常这两种查询逻辑具有一定的重叠性，客户端需要存储所有***功能所依赖的查询逻辑；

步骤四. 对于其他非隐私数据相关的数据与数据关系、索引等，采用一般的方法进行存储以实现***功能逻辑。

4.本发明中客户端（用户）获取数据时需要进行以下步骤的操作：

步骤一. 客户端基于用户操作在数据查询逻辑的映射关系中得到相应的一组分段实际数据所对应的UUID（基于特征3中的步骤三）；

步骤二. 数据查询索引（即一组UUID）附带其他可选的查询条件发送至服务器端，服务器端将根据这组UUID以及附带查询条件获取分段实际数据返回给客户端；

步骤三. 客户端依照存储的UUID与分段实际数据的映射关系重新组合分段数据为一条具有完整意义的信息并返回结果给用户。

5.本发明中服务器端如需主动请求重建数据，需要发送重建请求给客户端，并经由用户的同意确认操作后根据客户端的查询逻辑获取相应的一组UUID以及对应的次序标识给服务器端完成数据的组合与重建；在这个过程中，用户完全知情并且可以控制选择是否接受与完成相应的数据重建请求。

6.本发明中服务器端需要一个存储结构保存UUID与分段数据的对应记录，一条记录抽象的表示为 {uuid: DS} , 服务器端的数据因为具有匿名性以及对隐私数据的保护性，因此可以分享给第三方做全局的数据分析以及其他应用。

7.本发明中客户端存储分段数据的UUID以及其顺序关系，并存储“数据查询逻辑”包括：用户操作与相应的“分段数据对应的一组UUID”的对应关系（客户端应用逻辑操作需要与一组UUID相对应用以完成对服务器端数据的获取；以及所有可能的服务器端重建请求与一组UUID的对应关系。

8.***所有需要保护的隐私数据在客户端完成分段，并将分段实际数据存储于服务器端。

9.服务器端的存储结构无法区分任何一条 {uuid: DS} 记录的具体数据与用户身份来源，数据重建只能在客户端发出带有一组UUID的查询请求或者由服务器端向用户发起请求并经由用户同意后时才能完成，其他任何情况，基于分段数据无法确定地组合出意义完整的数据信息。

10.本发明中保护的隐私数据抽象为任何用户隐私相关的敏感数据，不限于任何具体的数据类型与类别。

11.本发明客户端与服务器的存储不依赖于具体的存储结构与形式，可为任何存储技术如关系数据库，非关系数据，键-值（key-value）存储，文本存储等；本发明中的客户端可以为任何带本地存储的终端（如手机客户端与电脑终端等）上的应用。

12.本发明通过对数据查询索引的访问控制（如部分访问）可以方便地实现对实际数据的访问控制，通过在客户端增加映射关系可以实现多种灵活的访问控制，比如基于数据类别，基于***逻辑，基于数据域等访问控制，而服务器端的数据因为具有隐私保护的特性而可以分享给第三方做数据分析处理。

13.本发明中用客户端与服务器端来描述方法的核心思想，但这种分离查询逻辑与分段实际数据的方法不限于客户端/服务器的模式，可以为点对点（P2P）以及服务器间，跨***间，不同域之间的隐私或者敏感数据的保护，在这些情况下可以实现双向的访问控制。