CN109804379B - 通过并行语义微聚合的大数据k-匿名化 - Google Patents
通过并行语义微聚合的大数据k-匿名化 Download PDFInfo
- Publication number
- CN109804379B CN109804379B CN201680089983.8A CN201680089983A CN109804379B CN 109804379 B CN109804379 B CN 109804379B CN 201680089983 A CN201680089983 A CN 201680089983A CN 109804379 B CN109804379 B CN 109804379B
- Authority
- CN
- China
- Prior art keywords
- record
- cluster
- cls
- module
- aggregation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004220 aggregation Methods 0.000 title claims abstract description 45
- 238000000034 method Methods 0.000 claims abstract description 69
- 230000002776 aggregation Effects 0.000 claims abstract description 36
- 101150115304 cls-2 gene Proteins 0.000 claims abstract description 12
- 101150053100 cls1 gene Proteins 0.000 claims abstract description 12
- 238000012545 processing Methods 0.000 claims description 16
- 238000004364 calculation method Methods 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 7
- 230000006870 function Effects 0.000 claims description 6
- 230000015572 biosynthetic process Effects 0.000 claims 1
- 230000008569 process Effects 0.000 description 5
- 238000013459 approach Methods 0.000 description 4
- 238000007796 conventional method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000012935 Averaging Methods 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- YTAHJIFKAKIKAV-XNMGPUDCSA-N [(1R)-3-morpholin-4-yl-1-phenylpropyl] N-[(3S)-2-oxo-5-phenyl-1,3-dihydro-1,4-benzodiazepin-3-yl]carbamate Chemical compound O=C1[C@H](N=C(C2=C(N1)C=CC=C2)C1=CC=CC=C1)NC(O[C@H](CCN1CCOCC1)C1=CC=CC=C1)=O YTAHJIFKAKIKAV-XNMGPUDCSA-N 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000005215 recombination Methods 0.000 description 1
- 230000006798 recombination Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
- G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
- G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
- G06F21/6254—Protecting personal data, e.g. for financial or medical purposes by anonymising data, e.g. decorrelating personal data from the owner's identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/901—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/906—Clustering; Classification
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Bioethics (AREA)
- Computer Security & Cryptography (AREA)
- Computer Hardware Design (AREA)
- Medical Informatics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及一种用于匿名化具有敏感信息的数据集的方法，包括如下步骤：确定要分配给聚合集群（CLS）的记录（x）的数据集（R）；基于预定重复计数器来计算数据集（R）的平均记录（）；使用距离度量（dm）来查找与平均记录（）最远的第一记录（）；使用距离度量（dm）来查找距第一记录（）最远的第二记录（）；形成第一记录（）周围的第一聚合集群（cls1）和第二记录（）周围的第二聚合集群（cls2）；以及通过从先前的数据集（R）中减去第一集群（cls1）和第二集群（cls2）来生成新数据集（R）。
Description
本发明涉及一种用于匿名化具有实体的敏感信息的大数据集(大数据)的方法、***、计算机集群和计算机程序产品。
保护实体(例如人员、引擎、工厂)的隐私是处理数据中的重要问题。更具体地说，保护由未经授权的人共享、分发或读取的数据中的隐私是重要的。用于保护隐私的常见措施是移除可能被用于直接识别个体实体的私人信息(属性)，比如姓名或电话号码。
然而，仅仅移除私人信息不足以保证完全隐私，这是因为外部信息可以与数据集的另外的非私人信息重新组合以便再次确定身份。可能被用于重构私人信息的这种非私人信息被称为准标识符。
例如，可以通过将包含姓名、年龄、性别和邮政编码的地址列表与包含年龄、性别和邮政编码的匿名化记录重新组合来重新识别患者，尽管姓名已从匿名化记录中移除。因此，有关年龄、性别和邮政编码的信息被视为准标识符。
用于防止数据的该重新组合的措施被称为k-匿名。在获得k-匿名时，该记录以下述方式而群集：准标识符的组合与至少数量k个实体相关联。
在前述示例中，准标识符的值可以以下述方式而被泛化(generalized)或聚合：形成了年龄“40-50”、邮政编码“8080*”和性别“M”的组合，数量k个人落入在其中。即使在通过使用准标识符来重构私人信息的尝试中，也将会发现数量k个人。因此，在k个人的组中不能识别单个个体。
企业的数字战略提供了大量的信息(大数据)。为了以开放的方式处理该大量信息，必须移除私人或机密信息。因此，大数据始终是隐私方法的挑战。特别地，k-匿名具有两个主要挑战，即提高用于处理大数据的速度，以及合理处理作为大数据的主要部分的标称属性。
文献US 7,269,578 B2涉及一种用于对输入数据源中的条目进行解标识或匿名化的***和方法。
文献“Ordinal,Continuous and Heterogeneous k-Anonymity ThroughMicroaggregation”，Josep Domingo-Ferrer，Vicenc Torra；2005，Data Mining andKnowledge Discovery，描述了一种如何通过数据的群集来获得k-匿名的方法。
虽然美国专利解释了k-匿名的属性，但Josep Domingo-Ferrer的文献示出了该概念通过使用微聚合的具体实现方式。然而，该方法较慢，这是因为必须执行大量的迭代。例如，对完整数据集进行迭代，以便在每次迭代中计算每个元素的多个距离比较。因此，该方法不能用于处理和匿名化大数据。
此外，标称属性是大数据中的主要元素。日志文件或文本段落的匿名化是用于大数据的匿名化算法的基本目标。尽管前述微聚合方法确实提供了基于标称值的距离方法和聚合方法，但是由于没有考虑语义相似性，因此这对于标称属性而言是不够的。例如，取决于标称值是否相等，距离仅由1或0给出。基于相似性的更细粒度的距离是不可能的。对于组的常见代表值，最频繁的值被用作聚合方法。
因此，可以获得提供匿名但是不能用于进一步分析所处理的数据的无效结果。基于最频繁的值的无效结果的示例是由人的居住地给出的。如果数据集的大多数人居住在特定城镇中，则所有人将以上述聚合方法被分配到该城镇。然而，该分配将不适用于所有人。
因此，本发明的目的是改进处理速度和标称属性的处理，以用于在k-匿名方面来匿名化大数据。
该目的通过根据独立权利要求的主题来解决。有益的实施例受从属权利要求、说明书和附图的限制。
根据第一方面，该目的通过一种用于匿名化具有敏感信息的数据集的方法来解决，该方法包括如下步骤：确定要分配给聚合集群的记录的数据集；基于预定重复计数器来计算数据集的平均记录；使用距离度量来查找与平均记录最远的第一记录；使用距离度量来查找距第一记录最远的第二记录；形成第一记录周围的第一聚合集群和第二记录周围的第二聚合集群；以及通过从先前的数据集中减去第一聚合集群和第二聚合集群来生成新数据集。该方法进一步包括将聚合方法在属性方面(attribute-wise)应用到集群中的记录上的步骤。该方法提供了下述技术优势：与已知的微聚合方法相比，数据集可以被更快地匿名化。可以通过以下优选实施例进一步提高执行速度。
在该方法的优选实施例中，第一聚合集群包括最接近第一记录的多个记录。
在该方法的进一步优选的实施例中，第二聚合集群包括最接近第二记录的多个记录。
在该方法的进一步优选的实施例中，基于预定重复计数器来执行查找最远的第一记录。
在该方法的进一步优选的实施例中，基于预定重复计数器来执行查找距第一记录最远的第二记录。
在该方法的进一步优选的实施例中，计算平均记录的步骤被并行地执行或分布在多个节点上。
在该方法的进一步优选的实施例中，查找最远的第一记录的步骤被并行地执行或分布在多个节点上。
在该方法的进一步优选的实施例中，查找最远的第二记录的步骤被并行地执行或分布在多个节点上。
在该方法的进一步优选的实施例中，基于聚合函数在属性方面计算平均记录。
在该方法的进一步优选的实施例中，具有多个泛化阶段(generalization stage)的分层泛化用于计算数据集的标称属性的平均记录或标称值之间的距离。
根据第二方面，该目的通过一种用于匿名化具有敏感信息的数据集的***来解决，该***包括：确定模块，用于确定要分配给聚合集群的记录的数据集；计算模块，用于基于预定重复计数器来计算数据集的平均记录；查找模块，用于使用距离度量来查找与平均记录最远的第一记录，并使用距离度量来查找距第一记录最远的第二记录；形成模块，其形成第一记录周围的第一聚合集群和第二记录周围的第二聚合集群；以及生成模块，用于通过从先前的数据集中减去第一聚合集群和第二聚合集群来生成新数据集。形成模块被适配成将聚合方法在属性方面应用到集群中的记录上。该***还提供了下述技术优势：与已知的微聚合方法相比，数据集可以被更快地匿名化。
根据第三方面，该目的通过一种具有多个节点以用于匿名化具有敏感信息的数据集的计算机集群来解决，每个节点包括：计算模块，用于基于预定重复计数器来计算数据集的平均记录；查找模块，用于使用距离度量来查找与平均记录最远的第一记录，并使用距离度量来查找距第一记录最远的第二记录；形成模块，其形成第一记录周围的第一聚合集群和第二记录周围的第二聚合集群；以及生成模块，用于通过从先前的数据集中减去第一聚合集群和第二聚合集群来生成新数据集。形成模块被适配成将聚合方法在属性方面应用到集群中的记录上。计算机集群还提供了下述技术优势：与已知的微聚合方法相比，数据集可以被更快地匿名化。
根据第四方面，该目的通过一种可加载到数字计算机的存储器中的计算机程序产品来解决，该计算机程序产品包括：软件代码部分，用于当计算机程序产品运行在计算机上时执行根据第一方面的方法。该***还提供了下述技术优势：与已知的微聚合方法相比，数据集可以被更快地匿名化。
本发明的实施例在附图中示出，并在以下描述中解释。
图1示出了关于要分配给聚合集群的记录集合的示意图；
图2示出了用于匿名化具有敏感信息的数据集的方法的框图；
图3示出了用于匿名化具有敏感信息的数据集的***；以及
图4示出了用于匿名化具有敏感信息的数据集的计算机集群；以及
图5示出了表示多个泛化阶段的树。
图1示出了关于要分配给聚合集群cls的记录集合R的示意图。用于匿名化具有敏感信息的数据集以实现k-匿名的方法可以基于以下步骤：
While|R|≥3k do(|R|是尚未分配给聚合集群的所有记录的集合的基数(cardinality))
a)计算R中所有记录的平均记录平均记录/>是基于聚合函数在属性方面计算的。
b)使用适当距离dm来考虑与平均记录最远的记录xr。
c)查找距先前步骤中考虑的记录xr最远的记录xs。
d)分别在xr和xs周围形成两个集群。一个集群包含xr和最接近xr的k-1个记录。另一个集群包含xs和最接近xs的k-1个记录。
e)将先前的数据集R减去在步骤d)的最后实例中在xr和xs周围形成的集群中的记录作为新数据集R。
End While
IfR中存在3k-1个至2k个之间的记录：
f)计算R中剩余记录的平均记录
g)查找距最远的记录xr。
h)形成包含xr和最接近xr的k-1个记录的集群。
i)形成包含其余记录的另一个集群。
Else(|R|中少于2k个的记录)利用剩余记录形成新的集群。
然而，基于该方法来匿名化大数据集是较慢的，这是因为在while循环的每次迭代中，都计算新的平均记录最远的记录xr和最远的记录xs。
当不在while循环的每次迭代中计算这些值时，可以大幅度地提高该方法的速度。因此，引入新的整数参数calcRevision作为预定重复计数器。该整数参数calcRevision定义了在while循环的多少次迭代之后执行平均记录xr和xs的重新计算。因此，用于计算xr和xs的迭代的数量减少到第calcRevision个，并且增加了该方法的处理速度。防止在循环的每次迭代中重新计算/>xr和xs，使得提高了该方法的效率。
直到循环计数器与calcRevision的预定值模数不一致为止，值xr和xs保持不变，并且搜索仅k个与xr和xs最接近的记录以形成k-匿名组。该计算更高效，这是因为距离度量是从预先执行的迭代得知的。
通过并行化或分布，可以在循环迭代内进一步提高计算速度。迭代内的每个计算(比如距离计算、排序或平均值计算)被实现为使得该计算可以以并行或分布式方式执行。因此，该方法的处理速度取决于处理节点的数量。
如例如Apache Hadoop和Spark的分布式框架是用于对由商用硬件构建的计算机集群上的非常大的数据集进行分布式存储和分布式处理的开源软件框架。计算跨所有节点而分布，并且结果是从这些节点中收集的。以这种方式可以大幅度地提高速度。
相对于先前的方法，新方法可以被表示如下(步骤a)至i)与前述步骤a)至i)相同，并且所有步骤a)至k)被并行化或分布在多个节点上)：
While|R|≥3k do
If#Iteration％calcRevision＝＝0(仅每第calcRevision个迭代)
执行步骤a)至e)
Else
j)分别在xr和xs周围形成两个集群。一个集群包含最接近xr的k个记录。另一个集群包含最接近xs的k个记录。
k)将先前的数据集R减去在步骤j)的最后实例中在xr和xs周围形成的集群中的记录作为新数据集R。
End While
If R中存在3k-1个至2k个之间的记录：执行步骤f)至i)
Else(|R|中少于2k个的记录)利用剩余记录形成新的集群。
标称属性包括文本或词。因此，常见的计算方法对于标称属性而言通常是不够的。然而，标称属性通常是大数据的基本和常见元素。该方法使用基于标称值的距离计算和平均值计算的步骤。
在传统方法中，计算两个标称值之间的距离，以便测试这些值是否相同。在传统方法中，在对标称值进行平均值计算的情况下选择最频繁的值。
因此，使用分层泛化，其可以被描述如下：
第一阶段泛化从每个记录中移除敏感信息，使得多个记录被泛化成单个目标值。例如，在具有五个数字的邮政编码的情况下，通过由通配符替换第五个数字来执行第一泛化。例如，在第一阶段泛化中，将53754和53757的邮政编码泛化成5375*并且使其相等。
泛化的层级是这种泛化阶段的序列。因此，在第二阶段泛化中，该邮政编码的最后两个数字被通配符替换。在泛化的最高阶段，移除所有信息，并利用通配符替换所有值。
对于前述微聚合，以下内容用于标称属性：
两个标称值之间的距离由针对相等所需的泛化的阶段(数量)确定。通过除以泛化阶段的最大数量来对距离进行归一化。以这种方式实现了具有接近语义相似性的值被分配给相同的组。
组的标称值的平均值是从其中所有值是相等的泛化的最低阶段产生的值。与采用最频繁的值的传统方法相比，以这种方式，在对标称属性进行平均中减少了信息的损失。
一旦标称属性的泛化逻辑由具有关于对应语义的专家知识的用户所确定，该算法就能够使用它。
图2示出了用于匿名化具有敏感信息的数据集的方法的框图。在如上所述的进一步的步骤当中，该方法至少包括：步骤S101，确定要分配给聚合集群CLS的记录x的数据集R；步骤S102，基于预定重复计数器calcRevision来计算数据集R的平均记录步骤S103，基于预定重复计数器calcRevision，使用距离度量dm来查找与平均记录/>最远的第一记录xr；步骤S104，基于预定重复计数器calcRevision，使用距离度量dm来查找距第一记录xr最远的第二记录xs；步骤S105，形成第一记录xr周围的第一聚合集群cls1和第二记录xs周围的第二聚合集群cls2，并且将聚合方法在属性方面应用到集群中的记录上；以及步骤S106，通过从先前的数据集R中减去第一聚合集群cls1和第二聚合集群cls2来生成新数据集R。
所有步骤可以由计算机程序产品中的软件模块实现，或者由包括用于执行对应步骤的电路的硬连线数字模块实现。
该方法提供了处理速度的独特改进，使得大数据和大数据***内的匿名化是可能的。此外，可以通过标称属性的改进的处理而获得更合理的结果。对于数据分析或随后的处理而言，这些合理结果是必需的。
图3示出了用于匿名化具有敏感信息的数据集的***100。在其他模块当中，***100包括：确定模块101，用于确定要分配给聚合集群CLS的记录x的数据集R；计算模块102，用于基于预定重复计数器calcRevision来计算数据集R的平均记录查找模块103，用于基于预定重复计数器calcRevision、使用距离度量dm来查找与平均记录/>最远的第一记录xr，并基于预定重复计数器calcRevision、使用距离度量dm来查找距第一记录xr最远的第二记录xs；形成模块104，其形成S105第一记录xr周围的第一聚合集群cls1和第二记录xs周围的第二聚合集群cls2，并且将聚合方法在属性方面应用到集群中的记录上；以及生成模块105，用于通过从先前的数据集R中减去第一聚合集群cls1和第二聚合集群cls2来生成S106新数据集R。
所有步骤可以是计算机程序产品中的软件模块，或包括用于执行对应步骤的电路的硬连线数字模块。
图4示出了用于匿名化具有敏感信息的数据集的计算机集群200。计算机集群200包括多个计算节点201-1、…、201-n，每个计算节点包括处理器和存储器。节点201-1、…、201-n用于前述步骤a)至k)中的一个、多个或全部的并行或分布式执行。为此目的，在计算节点201-1、…、201-n上提供模块101至105。计算节点201-1、…、201-n通过大数据集的并行或分布式处理和匿名化来实现，并且可以高效地用于大数据。
图5示出了表示多个泛化阶段GS的树。两个标称值之间的归一化距离通过针对两个标称值之间的相等所需的泛化阶段GS除以泛化阶段的最大数量来表示。在所描绘的情况中，从11111到55555的归一化距离是5/5＝1。从55511到55555的归一化距离是2/5＝0.4。通常，匿名化不仅对于处理和存储数据起重要作用，而且对于能够共享信息也起重要作用。匿名化对于用于处理和使用大量数据的大数据***而言是一块难题。
本发明特别适用于大量数据，并且使得能够快速并完全地实现对这些数据的伪属性(pseudo-attribute)的k-匿名。相比之下，传统方法不适用于处理大数据，并且不能被采用以处理大数据。附加地，处理大数据的标称属性在传统方法中不是最佳的。为了进一步改进结果的有用性以用于进一步处理，通过使用针对每个标称属性的泛化层级来改进关于标称属性的距离和平均值计算方法。
可以以各种组合提供关于本发明的特定实施例而讨论或示出的所有特征，以便同时实现它们的积极技术效果。
所有方法步骤可以由适于执行对应方法步骤的装置来实现。由特定装置执行的所有功能可以是方法的方法步骤。
本发明的范围由权利要求给出，并且不受说明书中讨论的或附图中示出的特征所限制。
Claims (9)
1.一种用于k-匿名化具有敏感信息的数据集的方法，其中k是预定整数，所述方法包括以下步骤：
确定(S101)要分配给聚合集群(CLS)的来自所述数据集的记录x的数据集R；
迭代以下步骤：
1)当迭代数量是预定整数参数的倍数时：
计算(S102)数据集R的平均记录
使用距离度量dm来查找(S103)与所述平均记录最远的第一记录xr；
使用距离度量dm来查找(S104)距所述第一记录xr最远的第二记录xs；
2)形成(S105)所述第一记录xr周围的第一聚合集群(cls1)和所述第二记录xs周围的第二聚合集群(cls2)，其中所述第一聚合集群(cls1)包括最接近所述第一记录xr的k个记录x，以及所述第二聚合集群(cls2)包括最接近所述第二记录xS的k个记录x；以及
通过从先前的数据集R中减去所述第一聚合集群(cls1)和所述第二聚合集群(cls2)来生成(S106)新数据集，
其中所述预定整数参数是大于1的预定重复计数器，以及所述重复计数器被适配为定义在多少次迭代之后执行平均记录最远的第一记录xr和最远的第二记录xS的重新计算。
2.根据权利要求1所述的方法，其中计算(S102)所述平均记录的步骤被并行地执行或分布在多个节点(201-1、…、201-n)上。
3.根据权利要求1或2所述的方法，其中查找(S103)所述最远的第一记录xr的步骤被并行地执行或分布在多个节点(201-1、…、201-n)上。
4.根据权利要求1或2所述的方法，其中查找(S104)所述最远的第二记录xS的步骤被并行地执行或分布在多个节点(201-1、…、201-n)上。
5.根据前述权利要求1或2所述的方法，其中基于聚合函数在属性方面计算所述平均记录
6.根据权利要求1或2所述的方法，其中具有多个泛化阶段的分层泛化用于计算数据集R的标称属性的平均记录或标称值之间的距离。
7.一种用于k-匿名化具有敏感信息的数据集的***(100)，其中k是预定整数，所述***包括：确定模块(101)、计算模块(102)、查找模块(103)、形成模块(104)和生成模块(105)，
其中所述确定模块(101)被适配为确定要分配给聚合集群(CLS)的来自所述数据集的记录x的数据集R；
其中所述***(100)被配置为迭代以下步骤：
1)当迭代数量是预定整数参数的倍数时：
由所述计算模块(102)计算数据集R的平均记录
由所述查找模块(103)使用距离度量dm来查找与所述平均记录最远的第一记录xr；
由所述查找模块(103)使用距离度量dm来查找距所述第一记录xr最远的第二记录xS；
2)由所述形成模块(104)形成所述第一记录xr周围的第一聚合集群(cls1)和所述第二记录xS周围的第二聚合集群(cls2)，其中所述第一聚合集群(cls1)包括最接近所述第一记录xr的k个记录x，以及所述第二聚合集群(cls2)包括最接近所述第二记录xS的k个记录x；以及
由所述生成模块(105)通过从先前的数据集R中减去所述第一聚合集群(cls1)和所述第二聚合集群(cls2)来生成新数据集，
其中所述预定整数参数是大于1的预定重复计数器，以及所述重复计数器被适配为定义在多少次迭代之后执行平均记录最远的第一记录xr和最远的第二记录xS的重新计算。
8.一种具有多个节点(201-1、…、201-n)以用于k-匿名化具有敏感信息的数据集的计算机集群(200)，其中k是预定整数，每个节点(201-1、…、201-n)包括计算模块(102)、查找模块(103)、形成模块(104)和生成模块(105)，其中所述节点被配置为通过并行或分布式处理来执行根据权利要求1所述的方法。
9.一种计算机可读介质，具有存储于其上的可加载到数字计算机的存储器中的计算机程序产品，所述数字计算机被配置为根据权利要求7的***(100)或配置为根据权利要求8所述的计算机集群(200)，所述计算机程序产品包括软件代码部分，其用于当所述计算机程序产品运行在计算机上时执行根据权利要求1至6之一所述的方法。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/EP2016/069081 WO2018028783A1 (en) | 2016-08-10 | 2016-08-10 | Big data k-anonymizing by parallel semantic micro-aggregation |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109804379A CN109804379A (zh) | 2019-05-24 |
| CN109804379B true CN109804379B (zh) | 2023-12-29 |
Family
ID=56802453
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201680089983.8A Active CN109804379B (zh) | 2016-08-10 | 2016-08-10 | 通过并行语义微聚合的大数据k-匿名化 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US11615209B2 (zh) |
| EP (1) | EP3485419B1 (zh) |
| CN (1) | CN109804379B (zh) |
| WO (1) | WO2018028783A1 (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10565398B2 (en) * | 2017-10-26 | 2020-02-18 | Sap Se | K-anonymity and L-diversity data anonymization in an in-memory database |
| EP3671585A1 (en) | 2018-12-18 | 2020-06-24 | Siemens Aktiengesellschaft | Learning apparatus and an assistance apparatus for generating a list of prioritized interactions |
| FR3091602A1 (fr) | 2019-01-07 | 2020-07-10 | Big Data Sante | Procédé de création d’avatars pour protéger des données sensibles |
| US20220215127A1 (en) * | 2019-04-29 | 2022-07-07 | Telefonaktiebolaget Lm Ericsson (Publ) | Data anonymization views |
| CN110765329B (zh) * | 2019-10-28 | 2022-09-23 | 北京天融信网络安全技术有限公司 | 一种数据的聚类方法和电子设备 |
| US11301639B2 (en) | 2020-06-26 | 2022-04-12 | Huawei Technologies Co., Ltd. | Methods and systems for generating a reference data structure for anonymization of text data |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2002084531A2 (en) * | 2001-04-10 | 2002-10-24 | Univ Carnegie Mellon | Systems and methods for deidentifying entries in a data source |
| US7647484B2 (en) * | 2007-02-23 | 2010-01-12 | International Business Machines Corporation | Low-impact performance sampling within a massively parallel computer |
| US8112422B2 (en) * | 2008-10-27 | 2012-02-07 | At&T Intellectual Property I, L.P. | Computer systems, methods and computer program products for data anonymization for aggregate query answering |
| JP6015777B2 (ja) * | 2013-01-16 | 2016-10-26 | 富士通株式会社 | 秘匿化データ生成方法及び装置 |
-
2016
- 2016-08-10 WO PCT/EP2016/069081 patent/WO2018028783A1/en unknown
- 2016-08-10 EP EP16757579.4A patent/EP3485419B1/en active Active
- 2016-08-10 CN CN201680089983.8A patent/CN109804379B/zh active Active
- 2016-08-10 US US16/323,865 patent/US11615209B2/en active Active
Non-Patent Citations (3)
| Title |
|---|
| Domingo-Ferrer J. 等.Ordinal, Continuous and Heterogeneous k-Anonymity Through Microaggregation.《Data Mining and Knowledge Discovery》.2005,第11卷(第2期),第195-212页. * |
| Efficient microaggregation techniques for large numerical data volumes;Sole M. 等;《International Journal of Information Security》;20120208;第11卷(第4期);全文 * |
| Ordinal, Continuous and Heterogeneous k-Anonymity Through Microaggregation;Domingo-Ferrer J. 等;《Data Mining and Knowledge Discovery》;20050901;第11卷(第2期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| EP3485419A1 (en) | 2019-05-22 |
| EP3485419B1 (en) | 2021-10-20 |
| WO2018028783A1 (en) | 2018-02-15 |
| US11615209B2 (en) | 2023-03-28 |
| CN109804379A (zh) | 2019-05-24 |
| US20190213357A1 (en) | 2019-07-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109804379B (zh) | 通过并行语义微聚合的大数据k-匿名化 | |
| Vatsalan et al. | Privacy-preserving record linkage for big data: Current approaches and research challenges | |
| Park et al. | Parallel computation of skyline and reverse skyline queries using mapreduce | |
| Ji et al. | Differential privacy and machine learning: a survey and review | |
| Victor et al. | Privacy models for big data: a survey | |
| Zhao et al. | Sahad: Subgraph analysis in massive networks using hadoop | |
| Liu et al. | Rating: privacy preservation for multiple attributes with different sensitivity requirements | |
| JP6398724B2 (ja) | 情報処理装置、および、情報処理方法 | |
| CN109983467B (zh) | 用于匿名化数据集的***和方法 | |
| Vatsalan et al. | Efficient two-party private blocking based on sorted nearest neighborhood clustering | |
| Zhang et al. | Scalable local-recoding anonymization using locality sensitive hashing for big data privacy preservation | |
| Silva et al. | MapReduce-based similarity join for metric spaces | |
| Pita et al. | A Spark-based Workflow for Probabilistic Record Linkage of Healthcare Data. | |
| Hariharan et al. | Enhancing privacy preservation in data mining using cluster based greedy method in hierarchical approach | |
| Franke et al. | Parallel Privacy-preserving Record Linkage using LSH-based Blocking. | |
| Khan et al. | Clustering based privacy preserving of big data using fuzzification and anonymization operation | |
| Zainab et al. | Sensitive and private data analysis: A systematic review | |
| Chakravorty et al. | A scalable k-anonymization solution for preserving privacy in an aging-in-place welfare intercloud | |
| Podlesny et al. | Attribute compartmentation and greedy UCC discovery for high-dimensional data anonymization | |
| Khan et al. | Adaptive anonymization of data using b-edge cover | |
| Han et al. | Differentially private top-k query over MapReduce | |
| Pomares-Quimbaya et al. | Anonylitics: From a small data to a big data anonymization system for analytical projects | |
| Chen et al. | Privacy preserving data publishing for recommender system | |
| Bagavathi et al. | Data distribution method for scalable actionable pattern mining | |
| He et al. | FMSM: A fuzzy multi-keyword search scheme for encrypted cloud data based on multi-chain network |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |