CN107563218A - 一种基于大数据的数据脱敏方法和Hbase脱敏处理*** - Google Patents

一种基于大数据的数据脱敏方法和Hbase脱敏处理*** Download PDF

Info

Publication number
CN107563218A
CN107563218A CN201710731649.4A CN201710731649A CN107563218A CN 107563218 A CN107563218 A CN 107563218A CN 201710731649 A CN201710731649 A CN 201710731649A CN 107563218 A CN107563218 A CN 107563218A
Authority
CN
China
Prior art keywords
hbase
desensitization
data
user
service
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710731649.4A
Other languages
English (en)
Other versions
CN107563218B (zh
Inventor
张晓东
喻波
王志海
袁灿
王志华
秦凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Wondersoft Technology Co Ltd
Original Assignee
Beijing Wondersoft Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Wondersoft Technology Co Ltd filed Critical Beijing Wondersoft Technology Co Ltd
Priority to CN201710731649.4A priority Critical patent/CN107563218B/zh
Publication of CN107563218A publication Critical patent/CN107563218A/zh
Application granted granted Critical
Publication of CN107563218B publication Critical patent/CN107563218B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Information Transfer Between Computers (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Storage Device Security (AREA)

Abstract

本发明提供了一种基于大数据的数据脱敏方法和***,应用于Hbase脱敏处理***,Hbase脱敏处理***包括Hbase协处理***,该方法包括:Hbase协处理***截获业务用户对Hbase的数据访问请求;Hbase协处理***根据数据访问请求确定业务用户的标识信息和目标操作对象;Hbase协处理***根据标识信息获取业务用户的至少一条脱敏策略信息;Hbase协处理***在至少一条脱敏策略信息中查找是否存在与目标操作对象匹配的至少一条目标脱敏策略信息;若存在,则Hbase协处理***从Hbase获取目标操作对象对应的目标数据;Hbase协处理***根据至少一条目标脱敏策略信息中的至少一个目标脱敏规则对目标数据进行动态脱敏处理;Hbase协处理***将动态脱敏后的目标数据返回至业务用户。

Description

一种基于大数据的数据脱敏方法和Hbase脱敏处理***
技术领域
本发明涉及大数据脱敏处理技术领域,特别是涉及一种基于大数据的数据脱敏方法和一种Hbase脱敏处理***。
背景技术
随着大数据时代的到来,大数据中蕴藏的巨大价值得以挖掘,同时也带来了隐私信息保护方面的难题,如何在实现大数据高效共享的同时,保护敏感信息不被泄露,也将是数据脱敏必须解决的难题。
Hbase是一个分布式的、面向列的开源数据库,而针对Hbase数据库中大数据访问的动态脱敏问题,目前尚未提出有效的解决方案。
发明内容
本发明提供了一种基于大数据的数据脱敏方法和一种Hbase脱敏处理***,以解决现有技术中无法对Hbase数据库中的访问数据进行动态脱敏的问题。
为了解决上述问题,根据本发明的一个方面,本发明公开了一种基于大数据的数据脱敏方法,应用于Hbase脱敏处理***,所述Hbase脱敏处理***包括Hbase协处理***,所述方法包括:
所述Hbase协处理***截获业务用户对Hbase的数据访问请求;
所述Hbase协处理***根据所述数据访问请求确定所述业务用户的标识信息和目标操作对象;
所述Hbase协处理***根据所述标识信息获取所述业务用户的至少一条脱敏策略信息,所述脱敏策略信息包括用户的标识信息、操作对象和至少一个脱敏规则;
所述Hbase协处理***在所述至少一条脱敏策略信息中查找是否存在与所述目标操作对象匹配的至少一条目标脱敏策略信息;
若存在,则所述Hbase协处理***从所述Hbase获取所述目标操作对象对应的目标数据;
所述Hbase协处理***根据所述至少一条目标脱敏策略信息中的至少一个目标脱敏规则对所述目标数据进行动态脱敏处理;
所述Hbase协处理***将动态脱敏后的目标数据返回至所述业务用户。
根据本发明的另一方面,本发明还公开了一种Hbase脱敏处理***,包括:
Hbase协处理***;
所述Hbase协处理***,用于截获业务用户对Hbase的数据访问请求;
所述Hbase协处理***,用于根据所述数据访问请求确定所述业务用户的标识信息和目标操作对象;
所述Hbase协处理***,用于根据所述标识信息获取所述业务用户的至少一条脱敏策略信息,所述脱敏策略信息包括用户的标识信息、操作对象和至少一个脱敏规则;
所述Hbase协处理***,用于在所述至少一条脱敏策略信息中查找是否存在与所述目标操作对象匹配的至少一条目标脱敏策略信息;
所述Hbase协处理***,还用于若在所述至少一条脱敏策略信息中查找到与所述目标操作对象匹配的至少一条目标脱敏策略信息,则从所述Hbase获取所述目标操作对象对应的目标数据;
所述Hbase协处理***,还用于根据所述至少一条目标脱敏策略信息中的至少一个目标脱敏规则对所述目标数据进行动态脱敏处理;
所述Hbase协处理***,还用于将动态脱敏后的目标数据返回至所述业务用户。
与现有技术相比,本发明包括以下优点:
本发明借助于Hbase协处理***将访问Hbase的数据访问请求进行拦截,以确定业务用户的标识信息和目标操作对象,然后在预先制定的脱敏策略信息中查找与所述标识信息和目标操作对象对应的目标脱敏策略信息,并采用目标脱敏策略信息中的目标脱敏规则来对待访问的目标数据进行脱敏处理,最后将脱敏处理后的数据返回至业务用户,实现了对Hbase数据库的访问数据的动态脱敏,保证了Hbase数据库的数据安全。
附图说明
图1是本发明的一种基于大数据的数据脱敏方法实施例的步骤流程图;
图2是本发明的一种Hbase脱敏处理***实施例的结构框图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。
参照图1,示出了本发明的一种基于大数据的数据脱敏方法实施例的步骤流程图,应用于Hbase脱敏处理***,所述Hbase脱敏处理***包括Hbase协处理***,具体可以包括如下步骤:
步骤101,所述Hbase协处理***截获业务用户对Hbase的数据访问请求;
其中,该Hbase协处理***实现了协处理器接口以及数据脱敏功能。在一个具体实例中,该Hbase协处理***可以设置在Hbase协处理器上。
当业务用户想要访问Hbase数据库中的大数据时,本发明实施例的Hbase协处理***会拦截业务用户的数据访问请求。
其中,业务用户所使用的客户端安装有Linux操作***和Hbase客户端,当业务用户以自己的用户名登录该Hbase客户端后,就可以访问Hbase集群来获取数据,其中,Hbase集群包括多个RegionServer节点,多个RegionServer节点之间的信息共享。
步骤102,所述Hbase协处理***根据所述数据访问请求确定所述业务用户的标识信息和目标操作对象;
其中,该数据访问请求可以包括该业务用户的标识信息,以及目标操作对象。
其中,该业务用户的标识信息可以是业务用户的用户名、用户ID等标识信息。
该目标操作对象可以是该业务用户想要访问的Hbase数据库中目标元数据所指向的数据目标。
例如:目标元数据为Hbase数据库A中数据表A的b列,则目标操作对象则为Hbase数据库A中数据表A的b列中的数据。
步骤103,所述Hbase协处理***根据所述标识信息获取所述业务用户的至少一条脱敏策略信息;
其中,本发明实施例会预先制定脱敏策略信息;
脱敏策略信息包括用户的标识信息(即作用的人)、操作对象(即作用的数据目标)和至少一个脱敏规则(即作用方式);
其中,在一条脱敏策略信息中,针对某个业务用户需要访问的某个操作对象可以涉及多个脱敏规则。
其中,在执行步骤103时,可以通过以下子步骤来实现:
S11,所述Hbase协处理***根据所述标识信息获取所述业务用户的至少一条脱敏策略信息;
其中,本发明实施例预先针对不同的业务用户制定了各自的脱敏策略信息,其中,一个业务用户的脱敏策略信息不限于一条,可以是多条,而一条脱敏策略信息中涉及的脱敏规则也不限于一个,可以是多个。此外,一个业务用户的多条脱敏策略信息可以存储在一个文件中,从而加快策略的检索速度。
举例来说,一个业务用户的策略信息可以存储在一个XML文件中,该业务用户的每条脱敏策略信息就是该XML文件中的一个xml节点。每次添加新内容都会给XML文件计算出一个新的哈希值,让Hbase协处理***可以通过判断hash值来知道这个XML文件是否被更改过了。
其中,Hbase协处理***可以包括脱敏策略解析组件,该脱敏策略解析组件可以根据当前需要访问数据的业务用户的标识信息,来获取对应该标识信息的至少一条脱敏策略信息。
举例来说,该业务用户的标识为C,那么就可以在预先存储的很多脱敏策略信息中查找该C业务用户的脱敏策略信息,可能有多条脱敏策略信息,包括脱敏策略信息1、脱敏策略信息2和脱敏策略信息3。
S12,所述Hbase协处理***对所述业务用户的每条脱敏策略信息进行解析,确定每条脱敏策略信息中所包括的用户的标识信息、操作对象和至少一个脱敏规则。
其中,该脱敏策略解析组件还可以对脱敏策略信息1、脱敏策略信息2和脱敏策略信息3分别进行解析,来确定每条脱敏策略信息中所包含的业务用户的标识信息、操作对象以及至少一个脱敏规则。
步骤104,所述Hbase协处理***在所述至少一条脱敏策略信息中查找是否存在与所述目标操作对象匹配的至少一条目标脱敏策略信息;
举例来说,在查找到的该业务用户的3条脱敏策略信息中,脱敏策略信息1包括标识C、Hbase数据库A中数据表A的b列的数据、脱敏规则1和脱敏规则2;脱敏策略信息2包括标识C、Hbase数据库A中数据表B的b列的数据、脱敏规则3和脱敏规则4;脱敏策略信息3包括标识C、Hbase数据库A中数据表A的c列的数据、脱敏规则5和脱敏规则6。
而参照上述步骤102,在举例中目标操作对象为Hbase数据库A中数据表A的b列中的数据,因此,这里只有脱敏策略信息1与该目标操作对象相匹配。
步骤105,若存在,则所述Hbase协处理***从所述Hbase获取所述目标操作对象对应的目标数据;
其中,由于3个脱敏策略信息中存在与目标操作对象匹配的目标脱敏策略信息,因此,需要对该目标操作对象对应的目标数据进行访问控制。这里,先要从Hbase数据库A中数据表A的b列中获取目标数据。
步骤106,所述Hbase协处理***根据所述至少一条目标脱敏策略信息中的至少一个目标脱敏规则对所述目标数据进行动态脱敏处理;
其中,Hbase协处理***可以包括数据脱敏处理组件,该数据脱敏处理组件就可以分别按照脱敏规则1、脱敏规则2来对获取到的目标数据进行动态脱敏处理。
其中,脱敏规则为针对数据脱敏时制定的规则,包括替换、重排、加密、截断、掩码和日期偏移取整等方法。
步骤107,所述Hbase协处理***将动态脱敏后的目标数据返回至所述业务用户。
借助于本发明上述实施例的技术方案,本发明借助于Hbase协处理***将访问Hbase的数据访问请求进行拦截,以确定业务用户的标识信息和目标操作对象,然后在预先制定的脱敏策略信息中查找与所述标识信息和目标操作对象对应的目标脱敏策略信息,并采用目标脱敏策略信息中的目标脱敏规则来对待访问的目标数据进行脱敏处理,最后将脱敏处理后的数据返回至业务用户,实现了对Hbase数据库的访问数据的动态脱敏,保证了Hbase数据库的数据安全。
可选地,在一个实施例中,所述Hbase脱敏处理***还包括Hbase脱敏业务***,在步骤101之前,根据本发明实施例的方法还包括:
所述Hbase脱敏业务***采集Hbase中每个数据表的元数据信息并存储;
所述Hbase脱敏业务***根据所述每个数据表的元数据信息确定操作对象,所述操作对象包括所述Hbase的数据表中存储的数据的元数据信息;
所述Hbase脱敏业务***定期采集业务用户的标识信息;
所述Hbase脱敏业务***对所述操作对象制定至少一个脱敏规则;
所述Hbase脱敏业务***根据所述操作对象、制定的所述至少一个脱敏规则和定期采集的所述业务用户的标识信息,生成针对每个业务用户的至少一条脱敏策略信息;
所述Hbase脱敏业务***将针对每个业务用户的至少一条脱敏策略信息下发至HDFS***。
其中,在一个具体实例中,该Hbase脱敏业务***可以是脱敏***服务器。
在一个具体的实例中,该Hbase脱敏业务***可以包括用户管理组件、脱敏规则组件、元数据采集组件、脱敏策略组件和业务用户同步组件;
其中,用户管理组件,用于用户管理和角色分配。
所述元数据采集组件可以采集Hbase中每个数据表的元数据信息并存储,例如每个Hbase数据库中每个数据表的元数据信息;
所述脱敏策略组件就可以根据所述元数据采集组件采集到的所述每个数据表的元数据信息来确定(或者说指定)操作对象。
其中,所述操作对象包括所述Hbase的数据表中存储的数据的元数据信息(例如某个Hbase数据库中某个数据表的某行);
此外,所述业务用户同步组件还可以定期采集业务用户的标识信息;
例如采集到了三个业务用户的标识信息,分别以业务用户1、业务用户2、业务用户3表示。
所述脱敏规则组件则可以对指定的所述操作对象制定至少一个脱敏规则,其中,所述脱敏规则组件主要用于对脱敏规则的定义和管理;
例如,对操作对象1制定脱敏规则1,对操作对象2制定脱敏规则2,对操作对象31制定脱敏规则3。
所述脱敏策略组件就可以根据上述指定的操作对象、针对该操作对象制定的至少一个脱敏规则以及定期采集的所述业务用户的标识信息,来生成针对每个业务用户的至少一条脱敏策略信息;
例如,脱敏策略信息1包括:业务用户1、操作对象1和脱敏规则1;脱敏策略信息2包括:业务用户2、操作对象2和脱敏规则2;脱敏策略信息3包括:业务用户3、操作对象3和脱敏规则3。
最后,所述脱敏策略组件就可以将针对每个业务用户的至少一条脱敏策略信息下发至HDFS***。
其中,步骤103中获取的至少一条脱敏策略信息就是从HDFS***中获取到的。
可选地,在另一个实施例中,在步骤101之前,根据本发明实施例的方法还可包括:
所述Hbase协处理***监测Hbase中数据表的元数据信息是否发生变化;
若监测到发生变化,则所述Hbase协处理***通知所述Hbase脱敏业务***对Hbase中数据表的元数据信息进行数据同步;
所述Hbase脱敏业务***采集Hbase中存在变化的数据表的元数据信息,并根据所述存在变化的数据表的元数据信息对存储的相应数据表的元数据信息进行数据同步。
具体而言,该Hbase协处理***可以包括元数据监控组件。
该元数据监控组件是一种触发机制,用于监测Hbase中数据表的元数据信息是否发生变化,在监测到发生变化时,就可以通知所述Hbase脱敏业务***中的元数据采集组件进行数据同步,这样,元数据采集组件就可以采集Hbase中存在变化的数据表的元数据信息,并根据所述存在变化的数据表的元数据信息对存储的相应数据表的元数据信息进行数据同步(即更新)。
这样,就可以使本发明实施例的脱敏策略信息中所指定的操作对象都是与Hbase数据库中的数据表的元数据信息相同步的,避免对数据的错误脱敏。
需要说明的是,对于方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明实施例并不受所描述的动作顺序的限制,因为依据本发明实施例,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作并不一定是本发明实施例所必须的。
与上述本发明实施例所提供的方法相对应,参照图2,示出了本发明一种Hbase脱敏处理***200实施例的结构框图,具体可以包括Hbase协处理***21,可选地,还可以进一步包括Hbase脱敏业务***22;
所述Hbase协处理***21,用于截获业务用户对Hbase的数据访问请求;
所述Hbase协处理***21,用于根据所述数据访问请求确定所述业务用户的标识信息和目标操作对象;
所述Hbase协处理***21,用于根据所述标识信息获取所述业务用户的至少一条脱敏策略信息,所述脱敏策略信息包括用户的标识信息、操作对象和至少一个脱敏规则;
所述Hbase协处理***21,用于在所述至少一条脱敏策略信息中查找是否存在与所述目标操作对象匹配的至少一条目标脱敏策略信息;
所述Hbase协处理***21,还用于若在所述至少一条脱敏策略信息中查找到与所述目标操作对象匹配的至少一条目标脱敏策略信息,则从所述Hbase获取所述目标操作对象对应的目标数据;
所述Hbase协处理***21,还用于根据所述至少一条目标脱敏策略信息中的至少一个目标脱敏规则对所述目标数据进行动态脱敏处理;
所述Hbase协处理***21,还用于将动态脱敏后的目标数据返回至所述业务用户。
可选地,
所述Hbase脱敏业务***22,用于采集Hbase中每个数据表的元数据信息并存储;
所述Hbase脱敏业务***22,还用于根据所述每个数据表的元数据信息确定操作对象,所述操作对象包括所述Hbase的数据表中存储的数据的元数据信息;
所述Hbase脱敏业务***22,还用于定期采集业务用户的标识信息;
所述Hbase脱敏业务***22,还用于对所述操作对象制定至少一个脱敏规则;
所述Hbase脱敏业务***22,还用于根据所述操作对象、制定的所述至少一个脱敏规则和定期采集的所述业务用户的标识信息,生成针对每个业务用户的至少一条脱敏策略信息;
所述Hbase脱敏业务***22,还用于将针对每个业务用户的至少一条脱敏策略信息下发至HDFS***。
可选地,
所述Hbase协处理***21,还用于监测Hbase中数据表的元数据信息是否发生变化;
所述Hbase协处理***21,还用于若监测到Hbase中数据表的元数据信息发生变化,则通知所述Hbase脱敏业务***22对Hbase中数据表的元数据信息进行数据同步;
所述Hbase脱敏业务***22,还用于采集Hbase中存在变化的数据表的元数据信息,并根据所述存在变化的数据表的元数据信息对存储的相应数据表的元数据信息进行数据同步。
可选地,
所述Hbase协处理***21,还用于根据所述标识信息获取所述业务用户的至少一条脱敏策略信息;
所述Hbase协处理***21,还用于对所述业务用户的每条脱敏策略信息进行解析,确定每条脱敏策略信息中所包括的用户的标识信息、操作对象和至少一个脱敏规则。
对于***实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白,本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此,本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明实施例是参照根据本发明实施例的方法、终端设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上,使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明实施例的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例做出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对本发明所提供的一种基于大数据的数据脱敏方法和一种Hbase脱敏处理***,进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

Claims (8)

1.一种基于大数据的数据脱敏方法,其特征在于,应用于Hbase脱敏处理***,所述Hbase脱敏处理***包括Hbase协处理***,所述方法包括:
所述Hbase协处理***截获业务用户对Hbase的数据访问请求;
所述Hbase协处理***根据所述数据访问请求确定所述业务用户的标识信息和目标操作对象;
所述Hbase协处理***根据所述标识信息获取所述业务用户的至少一条脱敏策略信息,所述脱敏策略信息包括用户的标识信息、操作对象和至少一个脱敏规则;
所述Hbase协处理***在所述至少一条脱敏策略信息中查找是否存在与所述目标操作对象匹配的至少一条目标脱敏策略信息;
若存在,则所述Hbase协处理***从所述Hbase获取所述目标操作对象对应的目标数据;
所述Hbase协处理***根据所述至少一条目标脱敏策略信息中的至少一个目标脱敏规则对所述目标数据进行动态脱敏处理;
所述Hbase协处理***将动态脱敏后的目标数据返回至所述业务用户。
2.根据权利要求1所述的方法,其特征在于,所述Hbase脱敏处理***还包括Hbase脱敏业务***,所述Hbase协处理***截获业务用户对Hbase的数据访问请求之前,所述方法还包括:
所述Hbase脱敏业务***采集Hbase中每个数据表的元数据信息并存储;
所述Hbase脱敏业务***根据所述每个数据表的元数据信息确定操作对象,所述操作对象包括所述Hbase的数据表中存储的数据的元数据信息;
所述Hbase脱敏业务***定期采集业务用户的标识信息;
所述Hbase脱敏业务***对所述操作对象制定至少一个脱敏规则;
所述Hbase脱敏业务***根据所述操作对象、制定的所述至少一个脱敏规则和定期采集的所述业务用户的标识信息,生成针对每个业务用户的至少一条脱敏策略信息;
所述Hbase脱敏业务***将针对每个业务用户的至少一条脱敏策略信息下发至HDFS***。
3.根据权利要求2所述的方法,其特征在于,所述Hbase协处理***截获业务用户对Hbase的数据访问请求之前,所述方法还包括:
所述Hbase协处理***监测Hbase中数据表的元数据信息是否发生变化;
若监测到发生变化,则所述Hbase协处理***通知所述Hbase脱敏业务***对Hbase中数据表的元数据信息进行数据同步;
所述Hbase脱敏业务***采集Hbase中存在变化的数据表的元数据信息,并根据所述存在变化的数据表的元数据信息对存储的相应数据表的元数据信息进行数据同步。
4.根据权利要求1所述的方法,其特征在于,所述Hbase协处理***根据所述标识信息获取所述业务用户的至少一条脱敏策略信息,包括:
所述Hbase协处理***根据所述标识信息获取所述业务用户的至少一条脱敏策略信息;
所述Hbase协处理***对所述业务用户的每条脱敏策略信息进行解析,确定每条脱敏策略信息中所包括的用户的标识信息、操作对象和至少一个脱敏规则。
5.一种Hbase脱敏处理***,其特征在于,包括:
Hbase协处理***;
所述Hbase协处理***,用于截获业务用户对Hbase的数据访问请求;
所述Hbase协处理***,用于根据所述数据访问请求确定所述业务用户的标识信息和目标操作对象;
所述Hbase协处理***,用于根据所述标识信息获取所述业务用户的至少一条脱敏策略信息,所述脱敏策略信息包括用户的标识信息、操作对象和至少一个脱敏规则;
所述Hbase协处理***,用于在所述至少一条脱敏策略信息中查找是否存在与所述目标操作对象匹配的至少一条目标脱敏策略信息;
所述Hbase协处理***,还用于若在所述至少一条脱敏策略信息中查找到与所述目标操作对象匹配的至少一条目标脱敏策略信息,则从所述Hbase获取所述目标操作对象对应的目标数据;
所述Hbase协处理***,还用于根据所述至少一条目标脱敏策略信息中的至少一个目标脱敏规则对所述目标数据进行动态脱敏处理;
所述Hbase协处理***,还用于将动态脱敏后的目标数据返回至所述业务用户。
6.根据权利要求5所述的Hbase脱敏处理***,其特征在于,所述Hbase脱敏处理***还包括:Hbase脱敏业务***;
所述Hbase脱敏业务***,用于采集Hbase中每个数据表的元数据信息并存储;
所述Hbase脱敏业务***,还用于根据所述每个数据表的元数据信息确定操作对象,所述操作对象包括所述Hbase的数据表中存储的数据的元数据信息;
所述Hbase脱敏业务***,还用于定期采集业务用户的标识信息;
所述Hbase脱敏业务***,还用于对所述操作对象制定至少一个脱敏规则;
所述Hbase脱敏业务***,还用于根据所述操作对象、制定的所述至少一个脱敏规则和定期采集的所述业务用户的标识信息,生成针对每个业务用户的至少一条脱敏策略信息;
所述Hbase脱敏业务***,还用于将针对每个业务用户的至少一条脱敏策略信息下发至HDFS***。
7.根据权利要求6所述的Hbase脱敏处理***,其特征在于,
所述Hbase协处理***,还用于监测Hbase中数据表的元数据信息是否发生变化;
所述Hbase协处理***,还用于若监测到Hbase中数据表的元数据信息发生变化,则通知所述Hbase脱敏业务***对Hbase中数据表的元数据信息进行数据同步;
所述Hbase脱敏业务***,还用于采集Hbase中存在变化的数据表的元数据信息,并根据所述存在变化的数据表的元数据信息对存储的相应数据表的元数据信息进行数据同步。
8.根据权利要求5所述的Hbase脱敏处理***,其特征在于,
所述Hbase协处理***,还用于根据所述标识信息获取所述业务用户的至少一条脱敏策略信息;
所述Hbase协处理***,还用于对所述业务用户的每条脱敏策略信息进行解析,确定每条脱敏策略信息中所包括的用户的标识信息、操作对象和至少一个脱敏规则。
CN201710731649.4A 2017-08-23 2017-08-23 一种基于大数据的数据脱敏方法和Hbase脱敏处理*** Active CN107563218B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710731649.4A CN107563218B (zh) 2017-08-23 2017-08-23 一种基于大数据的数据脱敏方法和Hbase脱敏处理***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710731649.4A CN107563218B (zh) 2017-08-23 2017-08-23 一种基于大数据的数据脱敏方法和Hbase脱敏处理***

Publications (2)

Publication Number Publication Date
CN107563218A true CN107563218A (zh) 2018-01-09
CN107563218B CN107563218B (zh) 2019-01-15

Family

ID=60975637

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710731649.4A Active CN107563218B (zh) 2017-08-23 2017-08-23 一种基于大数据的数据脱敏方法和Hbase脱敏处理***

Country Status (1)

Country Link
CN (1) CN107563218B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108418676A (zh) * 2018-01-26 2018-08-17 山东超越数控电子股份有限公司 一种基于权限的数据脱敏方法
CN108664812A (zh) * 2018-05-14 2018-10-16 阿里巴巴集团控股有限公司 信息脱敏方法、装置及***
CN109409121A (zh) * 2018-09-07 2019-03-01 阿里巴巴集团控股有限公司 脱敏处理方法、装置和服务器
CN110210241A (zh) * 2018-02-28 2019-09-06 中兴通讯股份有限公司 一种数据脱敏方法和装置
CN110245470A (zh) * 2019-04-25 2019-09-17 深圳壹账通智能科技有限公司 智能数据脱敏方法、装置、计算机设备和存储介质
CN111143875A (zh) * 2019-12-17 2020-05-12 航天信息股份有限公司 一种基于大数据的数据信息脱敏方法及***
CN117313161A (zh) * 2023-11-29 2023-12-29 中邮消费金融有限公司 数据脱敏方法、组件、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106407843A (zh) * 2016-10-17 2017-02-15 深圳中兴网信科技有限公司 数据脱敏方法和数据脱敏装置
CN106529329A (zh) * 2016-10-11 2017-03-22 中国电子科技网络信息安全有限公司 一种用于大数据的脱敏***及脱敏方法
CN106599713A (zh) * 2016-11-11 2017-04-26 中国电子科技网络信息安全有限公司 一种基于大数据的数据库脱敏***及方法
CN106778351A (zh) * 2016-12-30 2017-05-31 中国民航信息网络股份有限公司 数据脱敏方法及装置
CN107403111A (zh) * 2017-08-10 2017-11-28 中国民航信息网络股份有限公司 Hive数据脱敏方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106529329A (zh) * 2016-10-11 2017-03-22 中国电子科技网络信息安全有限公司 一种用于大数据的脱敏***及脱敏方法
CN106407843A (zh) * 2016-10-17 2017-02-15 深圳中兴网信科技有限公司 数据脱敏方法和数据脱敏装置
CN106599713A (zh) * 2016-11-11 2017-04-26 中国电子科技网络信息安全有限公司 一种基于大数据的数据库脱敏***及方法
CN106778351A (zh) * 2016-12-30 2017-05-31 中国民航信息网络股份有限公司 数据脱敏方法及装置
CN107403111A (zh) * 2017-08-10 2017-11-28 中国民航信息网络股份有限公司 Hive数据脱敏方法及装置

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108418676A (zh) * 2018-01-26 2018-08-17 山东超越数控电子股份有限公司 一种基于权限的数据脱敏方法
CN110210241A (zh) * 2018-02-28 2019-09-06 中兴通讯股份有限公司 一种数据脱敏方法和装置
CN110210241B (zh) * 2018-02-28 2023-11-21 中兴通讯股份有限公司 一种数据脱敏方法和装置
CN108664812A (zh) * 2018-05-14 2018-10-16 阿里巴巴集团控股有限公司 信息脱敏方法、装置及***
CN108664812B (zh) * 2018-05-14 2023-03-10 创新先进技术有限公司 信息脱敏方法、装置及***
CN109409121A (zh) * 2018-09-07 2019-03-01 阿里巴巴集团控股有限公司 脱敏处理方法、装置和服务器
CN110245470A (zh) * 2019-04-25 2019-09-17 深圳壹账通智能科技有限公司 智能数据脱敏方法、装置、计算机设备和存储介质
CN111143875A (zh) * 2019-12-17 2020-05-12 航天信息股份有限公司 一种基于大数据的数据信息脱敏方法及***
CN111143875B (zh) * 2019-12-17 2024-03-08 航天信息股份有限公司 一种基于大数据的数据信息脱敏方法及***
CN117313161A (zh) * 2023-11-29 2023-12-29 中邮消费金融有限公司 数据脱敏方法、组件、设备及存储介质
CN117313161B (zh) * 2023-11-29 2024-05-17 中邮消费金融有限公司 数据脱敏方法、组件、设备及存储介质

Also Published As

Publication number Publication date
CN107563218B (zh) 2019-01-15

Similar Documents

Publication Publication Date Title
CN107563218A (zh) 一种基于大数据的数据脱敏方法和Hbase脱敏处理***
EP3399434B1 (en) Short link processing method, device and server
US20200167311A1 (en) Reproducing datasets generated by alert-triggering search queries
JP6716727B2 (ja) ストリーミングデータ分散処理方法及び装置
US9817862B2 (en) Associating metadata with results produced by applying a pipelined search command to machine data in timestamped events
US10367827B2 (en) Using network locations obtained from multiple threat lists to evaluate network data or machine data
CN107392051A (zh) 一种大数据处理方法和***
CN109791594A (zh) 为了在多个不可变数据结构上持续存储而对数据进行分段
CN107391735A (zh) 基于区块链的业务数据溯源方法、装置、***和存储设备
KR102131160B1 (ko) 알람 정보 처리 방법 및 장치, 시스템, 및 컴퓨터 저장 매체
US10984059B2 (en) Data retrieval method and system
WO2021056731A1 (zh) 基于日志数据分析的行为检测方法、装置、设备及介质
US20150234883A1 (en) Method and system for retrieving real-time information
CN106712981A (zh) 一种节点变更通知方法及装置
EP2991280A1 (en) Content sharing method and social synchronizing apparatus
US10432498B1 (en) Location privacy aggregation testing
CN111740868A (zh) 告警数据的处理方法和装置及存储介质
CN107491463B (zh) 数据查询的优化方法和***
Yamamoto et al. Resource-oriented approximation for frequent itemset mining from bursty data streams
CN107885634B (zh) 监控中异常信息的处理方法和装置
US20150106899A1 (en) System and method for cross-cloud identity matching
CN114844771A (zh) 微服务***的监测方法、装置、存储介质、程序产品
WO2012101531A1 (en) Data integrity protection in storage volumes
CN106888238A (zh) 一种数据同步方法及装置
Yadav et al. Big data hadoop: Security and privacy

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant