CN110795756A - 一种数据脱敏方法、装置、计算机设备及计算机可读存储介质 - Google Patents
一种数据脱敏方法、装置、计算机设备及计算机可读存储介质 Download PDFInfo
- Publication number
- CN110795756A CN110795756A CN201910910381.XA CN201910910381A CN110795756A CN 110795756 A CN110795756 A CN 110795756A CN 201910910381 A CN201910910381 A CN 201910910381A CN 110795756 A CN110795756 A CN 110795756A
- Authority
- CN
- China
- Prior art keywords
- data
- desensitization
- target
- target data
- security level
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000586 desensitisation Methods 0.000 title claims abstract description 270
- 238000000034 method Methods 0.000 title claims abstract description 55
- 238000004519 manufacturing process Methods 0.000 claims abstract description 26
- 238000005070 sampling Methods 0.000 claims description 11
- 238000013507 mapping Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 5
- 230000014509 gene expression Effects 0.000 description 5
- 238000012423 maintenance Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 239000003999 initiator Substances 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
- G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
- G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
- G06F21/6254—Protecting personal data, e.g. for financial or medical purposes by anonymising data, e.g. decorrelating personal data from the owner's identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/80—Information retrieval; Database structures therefor; File system structures therefor of semi-structured data, e.g. markup language structured data such as SGML, XML or HTML
- G06F16/81—Indexing, e.g. XML tags; Data structures therefor; Storage structures
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Bioethics (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Medical Informatics (AREA)
- Computer Hardware Design (AREA)
- Computer Security & Cryptography (AREA)
- Storage Device Security (AREA)
Abstract
本发明公开了一种数据脱敏方法、装置、计算机设备及计算机可读存储介质,该方法包括:在生产环境中,接收数据访问请求,数据访问请求用于表示请求方请求访问数据服务器中的目标数据;判断是否对目标数据进行动态脱敏;若判定对目标数据进行动态脱敏,则读取目标数据,对目标数据进行动态脱敏,得到脱敏数据;将脱敏数据反馈给请求方。能够在生产环境中,由服务器对请求方请求的目标数据进行动态脱敏,脱敏后的数据无需长期存储在服务器中,进而释放服务器的存储空间,提高资源利用率。同时,动态脱敏能够不脱离生产环境,实现对敏感数据的查询和调用结果进行实时脱敏,并确保返回数据可用而安全。
Description
技术领域
本发明实施例涉及数据脱敏技术,尤其涉及一种数据脱敏方法、装置、计算机设备及计算机可读存储介质。
背景技术
随着信息技术的不断发展,数据脱敏技术被应用到越来越多的领域。目前使用的数据脱敏方式多数为在服务器侧对原始数据进行脱敏得到脱敏数据,并存储原始数据和脱敏数据。当用户访问敏感数据时,将脱敏数据发送给用户。
但是,随着大数据时代的来临,网络侧存储的数据越来越多,脱敏数据将占用大量的存储资源,资源利用率低。
发明内容
本发明提供一种数据脱敏方法、装置、计算机设备及计算机可读存储介质,以实现对目标数据进行动态脱敏,提高资源利用率。
第一方面,本发明实施例提供了一种数据脱敏方法,包括:
在生产环境中,接收数据访问请求,数据访问请求用于表示请求方请求访问数据服务器中的目标数据;
判断是否对目标数据进行动态脱敏;
若判定对目标数据进行动态脱敏,则读取目标数据,对目标数据进行动态脱敏,得到脱敏数据;
将脱敏数据反馈给请求方。
第二方面,本发明实施例还提供了一种数据脱敏装置,包括:数据平台、脱敏判断引擎和动态脱敏引擎,其中:
数据平台用于,在生产环境中,接收数据访问请求,数据访问请求用于表示请求方请求访问数据服务器中的目标数据;
脱敏判断引擎用于,判断是否对目标数据进行动态脱敏;
动态脱敏引擎用于,若脱敏判断引擎判定对目标数据进行动态脱敏,则读取目标数据,对目标数据进行动态脱敏,得到脱敏数据;
数据平台用于将动态脱敏引擎得到的脱敏数据反馈给请求方。
第三方面,本发明实施例还提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行程序时实现如第一方面所示的数据脱敏方法。
第四方面,本发明实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如第一方面所示的数据脱敏方法。
本发明实施例提供的数据脱敏方法、装置、计算机设备及计算机可读存储介质,在生产环境中,接收数据访问请求,数据访问请求用于表示请求方请求访问数据服务器中的目标数据;判断是否对目标数据进行动态脱敏;若判定对目标数据进行动态脱敏,则读取目标数据,对目标数据进行动态脱敏,得到脱敏数据;将脱敏数据反馈给请求方。相对于目前需要在服务器中存储脱敏后的脱敏数据,导致脱敏数据占用大量***资源,本发明实施例提供的数据脱敏方案,能够在生产环境中,由服务器对请求方请求的目标数据进行动态脱敏,脱敏后的数据无需长期存储在服务器中,进而释放服务器的存储空间,提高资源利用率。同时,动态脱敏能够不脱离生产环境,实现对敏感数据的查询和调用结果进行实时脱敏,并确保返回数据可用而安全。
附图说明
图1是本发明实施例一中的一种数据脱敏方法的流程图;
图2是本发明实施例二中的一种数据脱敏方法的流程图;
图3是本发明实施例三中的一种数据脱敏方法的流程图;
图4是本发明实施例四中的一种数据脱敏方法的流程图;
图5是本发明实施例五中的一种数据脱敏装置的结构示意图;
图6是本发明实施例六中的一种计算机设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部结构。
目前的脱敏方式主要为静态脱敏,静态脱敏时,通过屏蔽、变形、替换、随机、格式保留加密(FPE)和强加密算法(如AES)等多种脱敏算法,针对不同数据类型进行数据掩码扰乱,将脱敏得到的脱敏数据存储在服务器中。当用户请求访问脱敏数据时,从服务器中读取已脱敏的脱敏数据,并将脱敏数据反馈给用户。随着大数据时代的来临,网络侧存储的数据越来越多,脱敏数据将占用大量的存储资源,资源利用率低。
本发明实施例提供了一种动态脱敏方法,服务器本地不存储脱敏后的数据,而是对需要脱敏的数据进行实时的脱敏,并将脱敏后的脱敏数据反馈给用户,进而提高服务器存储空间的利用率。下面通过几个实施例对本方案进行具体说明:
实施例一
图1为本发明实施例一提供的一种数据脱敏方法的流程图,本实施例可适用于在生产环境中进行数据动态脱敏的情况,该方法可以由服务器来执行,具体包括如下步骤:
步骤110、在生产环境中,接收数据访问请求,数据访问请求用于表示请求方请求访问数据服务器中的目标数据。
可选的,数据访问请求可以由终端上的应用向服务器发起。例如,终端上运行的应用程序需要访问服务器中的目标数据,此时应用程序通过终端的通信模块向服务器发送数据访问请求。此时,应用程序需要呈现目标数据,但是目标数据中包含一些需要隐匿的敏感数据,此时服务器不能将目标数据的全部明文展示给应用,而应当对目标数据进行脱敏后,将脱敏数据反馈给终端上的应用。
可选的,数据访问请求还可以由运维人员发起。例如,运维人员需要维护表格结构,进行***调优等。此时运维人员可通过终端向服务器发起含有表格的目标数据。表格中含有需要隐匿的敏感数据,且运维人员的关注点在于表格结构,而非表格中的内容。此时应当避免运维人员检索或导出真实数据。因此服务器对目标数据进行脱敏后,将脱敏数据反馈给终端上的应用。
示例性的,数据访问请求还可以有业务***发出。本申请提供的数据脱敏方法可以应用到某个业务***中,以保证该业务***的数据安全。当其他业务***与该业务***进行数据交互时,可以向该业务***发出数据访问请求。当其他业务***所访问的目标数据包含隐私数据时,需要对交换的数据进行脱敏处理,将脱敏后的脱敏数据反馈给其他业务***。而传统的数据脱敏方式为,服务器现将全部数据进行脱敏,存在本地存储空间中,当其他业务***访问敏感数据时,通过接口读取本地存储空间中已脱敏的目标数据。这样会出现脱敏数据长期滞留在服务器中,占用大量服务器存储资源的问题。
数据访问请求所访问的数据可以根据使用需求确定,包括但不限于:公司运营、财务、人事等数据等,具体如手机号、固定电话、证件号、邮箱、通讯地址、银行***、驾驶证-档案编号、行驶证-车牌号码、行驶证-车辆识别代号等。
在一种使用场景中,可以在网络侧配置一个用于存储数据的云存储服务器。该服务器中存储有能够满足数据访问请求的数据库。可以由数据平台接收数据访问请求。数据平台是一个用于提供目标数据的提取平台。目标数据包括公司运营、财务、人事等数据。
步骤120、判断是否对目标数据进行动态脱敏。
可以通过正则表达式识别目标数据的数据类型或目标数据中是否包含敏感数据。如果目标数据的数据类型为需要脱敏的,或目标数据包含敏感数据,则确定对目标数据进行动态脱敏。执行步骤140。
如果目标数据的数据类型为不需要脱敏,则取消对目标数据进行动态脱敏。或者,如果目标数据未包含敏感数据,则取消对目标数据进行动态脱敏。执行步骤130。
在上述使用场景中,数据平台在接收到数据访问请求后,可定位到目标数据的位置信息。数据平台根据该位置信息获取到目标数据后,将目标数据发送到脱敏判断引擎,由脱敏判断引擎判断是否对目标数据进行动态脱敏。脱敏判断引擎用于,接收数据平台发送的目标数据,根据一定规则(如用于识别敏感数据的正则表达式等)识别目标数据中是否存在需要脱敏的数据。
步骤130、若判定不对目标数据进行动态脱敏,则将目标数据反馈给请求方。
若目标数据中不存在敏感数据,则可将获取到的目标数据发送至请求方。
在上述使用场景中,数据平台在获取目标数据后,由脱敏判断引擎判定不对目标数据进行动态脱敏。数据平台将目标数据反馈至请求方。
步骤140、若判定对目标数据进行动态脱敏,则读取目标数据,对目标数据进行动态脱敏,得到脱敏数据。
若步骤120判定对目标数据进行动态脱敏,则读取目标数据。读取目标数据包含的全部内容,并对全部内容进行动态脱敏。例如,目标数据为电子表格,则读取全部电子表格,对电子表格中每个单元格中的数据进行脱敏,得到脱敏数据。
在上述使用场景中,可以配置动态脱敏引擎,用于在脱敏判断引擎确定对目标数据进行脱敏时,读取目标数据,并对目标数据进行脱敏。
步骤150、将脱敏数据反馈给请求方。
当动态脱敏引擎完成对目标数据的脱敏,得到脱敏数据后,将脱敏数据返回至请求方。
在上述使用场景中,动态脱敏引擎对目标数据进行脱敏后,将脱敏数据发送至脱敏判断引擎,脱敏判断引擎将脱敏数据发送至数据平台,由数据平台反馈至请求方。
本发明实施例提供的数据脱敏方法,在生产环境中,接收数据访问请求,数据访问请求用于表示请求方请求访问数据服务器中的目标数据;判断是否对目标数据进行动态脱敏;若判定对目标数据进行动态脱敏,则读取目标数据,对目标数据进行动态脱敏,得到脱敏数据;将脱敏数据反馈给请求方。相对于目前需要在服务器中存储脱敏后的脱敏数据,导致脱敏数据占用大量***资源,本发明实施例提供的数据脱敏方法,能够在生产环境中,由服务器对请求方请求的目标数据进行动态脱敏,脱敏后的数据无需长期存储在服务器中,进而释放服务器的存储空间,提高资源利用率。同时,动态脱敏能够不脱离生产环境,实现对敏感数据的查询和调用结果进行实时脱敏,并确保返回数据可用而安全。
实施例二
图2为本发明实施例提供的一种数据脱敏方法的流程图,作为上述实施例的进一步说明,在生产环境中实施上述实施例时发现,请求方请求的目标数据存在数据体量较大的情况,此时动态脱敏引擎一次性读取全部目标数据,其处理效率较低,无法满足多发的目标数据脱敏需求。尤其是在生产环境中,多个请求方请求了诸多数据量很大的目标数据时,动态脱敏引擎的脱敏效率的高低对脱敏数据的反馈速率影响较大。基于此,在上述实施例的基础上,该方法包括:
步骤210、在生产环境中,接收数据访问请求,数据访问请求用于表示请求方请求访问数据服务器中的目标数据。
步骤220、判断是否对目标数据进行动态脱敏。
步骤230、若判定不对目标数据进行动态脱敏,则将目标数据反馈给请求方。
步骤240、若判定对目标数据进行动态脱敏,则读取目标数据,若目标数据为电子表格,则将电子表格拆分为多个子表格。
当目标数据为电子表格时,可以使用SAX(Simple API for XML)分析对电子表格进行拆分,得到多个子表格。子表格的格式为可扩展标记语言XML文件。SAX分析能够实现将目标数据的电子表格拆分为由多个子表格构成的流数据。对于流数据中的每个子表格,其所占用的内存空间少,无需动态脱敏引擎提供高额的内存空间,降低了成本。
步骤250、根据子表格进行动态脱敏,得到脱敏数据。
对得到的每个XML格式的子表格进行动态脱敏。具体脱敏算法可以根据目标数据包含的数据类型设置相应的脱敏正则表达式,将目标数据中的敏感数据使用特定符号替换,同时保留目标数据中的非敏感数据。
可选的,步骤250可通过下述方式进行实施:
步骤一、根据子表格内的表头内容或数据内容确定目标列的安全级别。
其中,目标列为子表格内的任意一列。子表格包括表头和数据,表头位于子表格的首行,从子表格的第二行开始记录数据。当子表格的每一行包括多个列,不同行的相同列可以记录相同类型的数据。例如第一列记录序号,第二列记录用户姓名,第三列记录用户手机号,第四列记录用户身份证号等。相同列中的不同行标识,不同主体(如用户)的相同数据类型(如电话号码等)的数据内容。
在一种实现方式中,表头内容包括目标列首行的列名称。此时,可以根据电子表格中表头行的各个列与顶级字段的映射关系,确定每一列的安全等级,具体逻辑如下:
1)依次读取子表格内目标列的首行的列名称。
通常首行用于记录表头。表头行的格列记载有每一列标识的数据类型。例如:首行第一列的内容为“序号”、首行第二列的内容为“姓名”、首行第三列的内容为“电话”等。依次读取首行的各列的列名称。
2)根据列名称确定目标列的数据类型。
列名称为文本数据,根据该文本数据确定文本数据对应到预设的安全级别数据库中数据类型,该数据类型可能为字符串,也可以为用于表示某个数据类型的ID号码等。安全级别数据库中保存有数据类型与安全级别的预设映射关系。
3)根据数据类型与安全级别的预设映射关系确定目标列的安全级别。
从安全级别数据库中,查找目标列的数据类型对应的安全级别。
上述方式能够实现基于目标列首行记载的数据内容,确定目标列安全级别。根据目标列的首行即可确定目标列的安全级别,能够快速的确定安全级别,提高数据处理效率。
在另一种实现方式中,数据内容包括目标列中除首行外的各行记录的数据。此时,在对子表格进行脱敏时,可以使用groovy脚本进行脱敏,groovy脚本的逻辑用语实现步骤251,具体可通过下述方式进行实施:
1)获取子表格中目标列中除首行外的各行的数据类型。
目标列中从第二行之后的行为除首行外的行。可以通过读取每行中数据的数据特征确定各行的数据类型。各行存储的数据的数据类型可能不同,比如,第二行至第四行的数据类型为电话号码,第五行和第六行的数据类型为身份证号。
2)统计数据类型计数,数据类型计数表示目标列中具有相同数据类型的行数。
在目标列中,按照数据类型统计每个数据类型出现的次数,可以将出现的次数确定为具有相同数据类型的行数。
3)根据数据类型计数的大小确定目标列的数据类型。
将数据类型计数进行升序或降序的排序,将竖直最大的数据类型计数标识的数据类型确定为目标列的数据类型。
4)根据数据类型确定目标列的安全级别。
从安全级别数据库中,查找目标列的数据类型对应的安全级别。
上述方式能够这对目标列存储的实际数据确定目标列的安全级别。对于一些目标列所存储的数据的类型与目标列首行记录的表头的类型的情况,能够更加准确的确定目标列的安全级别,提高可靠性。
步骤二、根据安全级别对目标列中的数据进行脱敏,得到脱敏数据。
不同的安全级别可以配置不同的脱敏正则表达式。随着安全级别的提高,屏蔽的敏感数据越高。
步骤260、将脱敏数据反馈给请求方。
可选的,定期对数据平台上的报表进行敏感数据扫描,识别未标识的数据,基于数据的生命周期实现数据的安全管理。随着数据平台接收到的数据越来越多,可能会接受到安全级别数据库中未定义的数据类型。通过定期的扫描敏感数据,可以更新安全级别数据库,使请求的需要脱敏的目标数据均具有相应的安全级别数据,提高可靠性。
进一步的,在确定目标列的安全级别之后,还包括:
若目标列配置有预定义安全级别,则判断预定义安全级别与确定的安全级别是否相同;若不相同,则根据安全级别修改预定义安全级别。
预定义安全级别可以为人工对数据配置的安全级别。可以在安全级别数据库中对人工配置的安全级别进行标识,如添加人工标记标识。如果根据上述方式得到的安全级别与人工判定的安全级别相同,则可验证人工判定的准确性。且可以在后续的定级过程中,有限使用人工判定的结果。如果上述方式得到的安全级别与人工判定的安全级别不同,则可删除人工标记标识,并通知相关人员。上述实施方式能够有效的提示相关人员,其对安全级别数据库中数据的安全级别的认知,保证安全级别认定的准确性。
实施例三
图3为本发明实施例三提供的一种数据脱敏方法的流程图,作为上述实施例的进一步说明,在读取目标数据之前,还包括:根据目标数据确定抽样数据;根据抽样数据判断是否需要对目标数据进行定级;若需要对目标数据进行定级,则对目标数据进行定级;相应的,读取目标数据,包括:若不需要对目标数据进行定级,且判定对目标数据进行动态脱敏,则读取目标数据。示例性的,该方法可通过下属步骤实施:
步骤310、在生产环境中,接收数据访问请求,数据访问请求用于表示请求方请求访问数据服务器中的目标数据。
步骤320、判断是否对目标数据进行动态脱敏。
步骤330、若判定不对目标数据进行动态脱敏,则将目标数据反馈给请求方。
步骤340、根据目标数据确定抽样数据。
在确定目标数据后,为了保证上述实施例中能够确定目标数据中的目标列的安全级别,需要判断安全级别数据库是否已经存储了目标数据包含的数据的安全级别。若读取全部目标数据,则会耗费过多的***资源。因此,可通过采样的方式,从目标数据的各里中提取数据,得到抽样数据。
在上述使用场景中,可以由脱敏判断引擎根据目标数据确定抽样数据。
步骤350、根据抽样数据判断是否需要对目标数据进行定级。
从安全级别数据库中查找抽样数据中的每个数据的数据类型是否存在相应的安全级别。如果存在相应的安全级别,则不需要对目标数据进行定级,执行步骤370。如果不存在相应的安全级别,则需要对目标数据进行定级,执行步骤360。
在上述使用场景中,脱敏判断引擎根据抽样数据判断是否需要对目标数据进行定级。
步骤360、若需要对目标数据进行定级,则对目标数据进行定级。
可根据预先配置的数据类型与安全级别的映射关系,对目标数据进行定级。
在上述使用场景中,若脱敏判断引擎判定需要对目标数据进行定级,则将目标数据(或抽样数据)发送至数据定级引擎、数据顶级引擎用于根据预先配置的数据类型与安全级别的映射关系,对目标数据(或抽样数据)进行定级。
步骤370、若不需要对目标数据进行定级,且判定对目标数据进行动态脱敏,则读取目标数据,对目标数据进行动态脱敏,得到脱敏数据。
在上述使用场景中,若脱敏判断引擎判定不需要对目标数据进行定级,且判定对目标数据进行动态脱敏,则将目标数据发送至动态脱敏引擎。动态脱敏引擎读取目标数据,对目标数据进行动态脱敏,得到脱敏数据。
步骤380、将脱敏数据反馈给请求方。
本实施例提供的数据脱敏方法,能够保证目标数据具有安全级别,提高可靠性。
实施例四
图4为本发明实施例四提供的一种数据脱敏方法的流程图,作为上述实施例的进一步说明,在接收数据访问请求之后,还包括:根据数据访问请求确定目标数据;将目标数据存储到中继存储空间,中继存储空间用于存储目标数据;相应的,判断是否对目标数据进行动态脱敏,包括:读取中继存储空间中的目标数据;判断是否对目标数据进行动态脱敏。示例性的,该方法可通过下属步骤实施:
步骤410、在生产环境中,接收数据访问请求,数据访问请求用于表示请求方请求访问数据服务器中的目标数据。
步骤420、根据数据访问请求确定目标数据。
步骤430、将目标数据存储到中继存储空间,中继存储空间用于存储目标数据。
考虑到在数据请求的多发场景下,即生产环境中,会出现同时多个发起方发起了数据请求。此时,考虑到动态脱敏引擎的存储空间有限,可以由脱敏判断引擎将目标数据传送到中继服务器中。中继服务器可以用于存储目标数据。在上述实施例对目标数据进行才分得到多个子表格时,中继服务器可存储拆分出的多个子表格。
步骤440、读取中继存储空间中的目标数据。
动态脱敏引擎通过异步通信从中继服务器读取子表格,并进行脱敏,得到脱敏数据。
步骤450、判断是否对目标数据进行动态脱敏。
步骤460、若判定不对目标数据进行动态脱敏,则将目标数据反馈给请求方。
步骤470、若判定对目标数据进行动态脱敏,则读取目标数据,对目标数据进行动态脱敏,得到脱敏数据。
动态脱敏引擎得到脱敏数据后,将脱敏数据存储到中继服务器。
步骤480、将脱敏数据反馈给请求方。
脱敏判断引擎从中继服务器中读取脱敏数据,并将脱敏数据发送至数据平台。最后,由数据平台将脱敏数据反馈给发起方。
本实施例提供的数据脱敏方法,能够通过中继服务器提高多发请求的响应速度,提高处理效率。
实施例五
图5为本发明实施例五提供的一种数据脱敏装置的结构示意图,该装置位于服务器中,该装置可执行本发明任意实施例所提供的数据脱敏方法,具备执行方法相应的功能模块和有益效果。示例性的,该装置包括:数据平台51、脱敏判断引擎52和动态脱敏引擎53,其中:
数据平台51用于,在生产环境中,接收数据访问请求,数据访问请求用于表示请求方请求访问数据服务器中的目标数据。
脱敏判断引擎52用于,判断是否对目标数据进行动态脱敏。
动态脱敏引擎53用于,若脱敏判断引擎52判定对目标数据进行动态脱敏,则读取目标数据,对目标数据进行动态脱敏,得到脱敏数据。
数据平台51用于将动态脱敏引擎53得到的脱敏数据反馈给请求方。
进一步的,动态脱敏引擎53用于:
若目标数据为电子表格,则将电子表格拆分为多个子表格。
根据子表格进行动态脱敏,得到脱敏数据。
进一步的,动态脱敏引擎53用于:
根据子表格内的表头内容或数据内容确定目标列的安全级别,目标列为子表格内的任意一列。
根据安全级别对目标列中的数据进行脱敏,得到脱敏数据。
进一步的,表头内容包括目标列首行的列名称。相应的,动态脱敏引擎53 用于:
依次读取子表格内目标列的首行的列名称。
根据列名称确定目标列的数据类型。
根据数据类型与安全级别的预设映射关系确定目标列的安全级别。
进一步的,数据内容包括目标列中除首行外的各行记录的数据,相应的,动态脱敏引擎53用于:
获取子表格中目标列中除首行外的各行的数据类型。
统计数据类型计数,数据类型计数表示目标列中具有相同数据类型的行数。
根据数据类型计数的大小确定目标列的数据类型。
根据数据类型确定目标列的安全级别。
进一步的,还包括数据定级引擎,数据顶级引擎用于对目标数据进行定级。
数据定级引擎还用于:
若目标列配置有预定义安全级别,则判断预定义安全级别与确定的安全级别是否相同。
若不相同,则根据安全级别修改预定义安全级别。
进一步的,脱敏判断引擎52用于:
根据目标数据确定抽样数据。
根据抽样数据判断是否需要对目标数据进行定级。
若需要对目标数据进行定级,则将目标数据发送至数据定级引擎,由数据定级引擎对目标数据进行定级。
脱敏判断引擎52用于:若不需要对目标数据进行定级,且判定对目标数据进行动态脱敏,则读取目标数据。
进一步的,还包括中继存储服务器,中继存储服务器具有中继存储空间。
数据平台51用于根据数据访问请求确定目标数据。
将目标数据存储到中继存储服务器的中继存储空间,中继存储空间用于存储目标数据。
相应的,脱敏判断引擎52访问中继存储服务器,读取中继存储空间中的目标数据。判断是否对目标数据进行动态脱敏。
本发明实施例提供的数据脱敏装置,数据平台51在生产环境中,接收数据访问请求,数据访问请求用于表示请求方请求访问数据服务器中的目标数据;脱敏判断引擎52判断是否对目标数据进行动态脱敏;若判定对目标数据进行动态脱敏,则动态脱敏引擎53读取目标数据,对目标数据进行动态脱敏,得到脱敏数据;通过数据平台51将脱敏数据反馈给请求方。相对于目前需要在服务器中存储脱敏后的脱敏数据,导致脱敏数据占用大量***资源,本发明实施例提供的数据脱敏方法,能够在生产环境中,由服务器对请求方请求的目标数据进行动态脱敏,脱敏后的数据无需长期存储在服务器中,进而释放服务器的存储空间,提高资源利用率。同时,动态脱敏能够不脱离生产环境,实现对敏感数据的查询和调用结果进行实时脱敏,并确保返回数据可用而安全。
实施例六
图6为本发明实施例六提供的一种计算机设备的结构示意图,该计算机设备可以为服务器,如图6所示,该计算机设备包括处理器610、存储器620、输入装置630和输出装置640;计算机设备中处理器610的数量可以是一个或多个,图6中以一个处理器610为例;计算机设备中的处理器610、存储器620、输入装置630和输出装置640可以通过总线或其他方式连接,图6中以通过总线连接为例。
存储器620作为一种计算机可读存储介质,可用于存储软件程序、计算机可执行程序以及模块,如本发明实施例中的数据脱敏方法对应的程序指令/模块 (例如,数据平台、脱敏判断引擎、数据定级引擎或动态脱敏引擎)。处理器 610通过运行存储在存储器620中的软件程序、指令以及模块,从而执行计算机设备的各种功能应用以及数据处理,即实现上述的数据脱敏方法。
存储器620可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作***、至少一个功能所需的应用程序;存储数据区可存储根据终端的使用所创建的数据等。此外,存储器620可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中,存储器620可进一步包括相对于处理器610 远程设置的存储器,这些远程存储器可以通过网络连接至计算机设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置630可用于接收输入的数字或字符信息,以及产生与计算机设备的用户设置以及功能控制有关的键信号输入。输出装置640可包括显示屏等显示设备。
实施例七
本发明实施例七还提供一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时用于执行一种数据脱敏方法,该方法包括:
在生产环境中,接收数据访问请求,数据访问请求用于表示请求方请求访问数据服务器中的目标数据;
判断是否对目标数据进行动态脱敏;
若判定对目标数据进行动态脱敏,则读取目标数据,对目标数据进行动态脱敏,得到脱敏数据;
将脱敏数据反馈给请求方。
进一步的,对目标数据进行动态脱敏,得到脱敏数据,包括:
若目标数据为电子表格,则将电子表格拆分为多个子表格;
根据子表格进行动态脱敏,得到脱敏数据。
进一步的,根据子表格进行动态脱敏,得到脱敏数据,包括:
根据子表格内的表头内容或数据内容确定目标列的安全级别,目标列为子表格内的任意一列;
根据安全级别对目标列中的数据进行脱敏,得到脱敏数据。
进一步的,表头内容包括目标列首行的列名称;相应的,根据子表格内的表头内容确定目标列的安全级别,包括:
依次读取子表格内目标列的首行的列名称;
根据列名称确定目标列的数据类型;
根据数据类型与安全级别的预设映射关系确定目标列的安全级别。
进一步的,数据内容包括目标列中除首行外的各行记录的数据,相应的,根据子表格内的数据内容确定目标列的安全级别,包括:
获取子表格中目标列中除首行外的各行的数据类型;
统计数据类型计数,数据类型计数表示目标列中具有相同数据类型的行数;
根据数据类型计数的大小确定目标列的数据类型;
根据数据类型确定目标列的安全级别。
进一步的,在确定目标列的安全级别之后,还包括:
若目标列配置有预定义安全级别,则判断预定义安全级别与确定的安全级别是否相同;
若不相同,则根据安全级别修改预定义安全级别。
进一步的,在读取目标数据之前,还包括:
根据目标数据确定抽样数据;
根据抽样数据判断是否需要对目标数据进行定级;
若需要对目标数据进行定级,则对目标数据进行定级;
相应的,读取目标数据,包括:
若不需要对目标数据进行定级,且判定对目标数据进行动态脱敏,则读取目标数据。
进一步的,在接收数据访问请求之后,还包括:
根据数据访问请求确定目标数据;
将目标数据存储到中继存储空间,中继存储空间用于存储目标数据;
相应的,判断是否对目标数据进行动态脱敏,包括:
读取中继存储空间中的目标数据;
判断是否对目标数据进行动态脱敏。
当然,本发明实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上的方法操作,还可以执行本发明任意实施例所提供的数据脱敏方法中的相关操作.
通过以上关于实施方式的描述,所属领域的技术人员可以清楚地了解到,本发明可借助软件及必需的通用硬件来实现,当然也可以通过硬件实现,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如计算机的软盘、只读存储器 (Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例的方法。
值得注意的是,上述搜索装置的实施例中,所包括的各个单元和模块只是按照功能逻辑进行划分的,但并不局限于上述的划分,只要能够实现相应的功能即可;另外,各功能单元的具体名称也只是为了便于相互区分,并不用于限制本发明的保护范围。
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。
Claims (11)
1.一种数据脱敏方法,其特征在于,包括:
在生产环境中,接收数据访问请求,所述数据访问请求用于表示请求方请求访问数据服务器中的目标数据;
判断是否对所述目标数据进行动态脱敏;
若判定对所述目标数据进行动态脱敏,则读取所述目标数据,对所述目标数据进行动态脱敏,得到脱敏数据;
将所述脱敏数据反馈给所述请求方。
2.根据权利要求1所述的数据脱敏方法,其特征在于,所述对所述目标数据进行动态脱敏,得到脱敏数据,包括:
若目标数据为电子表格,则将电子表格拆分为多个子表格;
根据子表格进行动态脱敏,得到脱敏数据。
3.根据权利要求2所述的数据脱敏方法,其特征在于,所述根据子表格进行动态脱敏,得到脱敏数据,包括:
根据子表格内的表头内容或数据内容确定目标列的安全级别,所述目标列为所述子表格内的任意一列;
根据所述安全级别对所述目标列中的数据进行脱敏,得到脱敏数据。
4.根据权利要求3所述的数据脱敏方法,其特征在于,所述表头内容包括目标列首行的列名称;相应的,所述根据子表格内的表头内容确定目标列的安全级别,包括:
依次读取子表格内所述目标列的首行的列名称;
根据所述列名称确定所述目标列的数据类型;
根据所述数据类型与安全级别的预设映射关系确定所述目标列的安全级别。
5.根据权利要求4所述的数据脱敏方法,其特征在于,所述数据内容包括所述目标列中除首行外的各行记录的数据,相应的,所述根据子表格内的数据内容确定目标列的安全级别,包括:
获取所述子表格中目标列中除首行外的各行的数据类型;
统计数据类型计数,所述数据类型计数表示所述目标列中具有相同数据类型的行数;
根据所述数据类型计数的大小确定所述目标列的数据类型;
根据所述数据类型确定所述目标列的安全级别。
6.根据权利要求4或5所述的数据脱敏方法,其特征在于,在确定所述目标列的安全级别之后,还包括:
若所述目标列配置有预定义安全级别,则判断所述预定义安全级别与确定的安全级别是否相同;
若不相同,则根据所述安全级别修改所述预定义安全级别。
7.根据权利要求1或3所述的数据脱敏方法,其特征在于,在读取所述目标数据之前,还包括:
根据所述目标数据确定抽样数据;
根据所述抽样数据判断是否需要对所述目标数据进行定级;
若需要对所述目标数据进行定级,则对所述目标数据进行定级;
相应的,所述读取所述目标数据,包括:
若不需要对所述目标数据进行定级,且判定对所述目标数据进行动态脱敏,则读取所述目标数据。
8.根据权利要求1所述的数据脱敏方法,其特征在于,在接收数据访问请求之后,还包括:
根据数据访问请求确定目标数据;
将所述目标数据存储到中继存储空间,所述中继存储空间用于存储目标数据;
相应的,所述判断是否对所述目标数据进行动态脱敏,包括:
读取所述中继存储空间中的目标数据;
判断是否对所述目标数据进行动态脱敏。
9.一种数据脱敏装置,其特征在于,包括:数据平台、脱敏判断引擎和动态脱敏引擎,其中:
所述数据平台用于,在生产环境中,接收数据访问请求,所述数据访问请求用于表示请求方请求访问数据服务器中的目标数据;
所述脱敏判断引擎用于,判断是否对所述目标数据进行动态脱敏;
所述动态脱敏引擎用于,若所述脱敏判断引擎判定对所述目标数据进行动态脱敏,则读取所述目标数据,对所述目标数据进行动态脱敏,得到脱敏数据;
所述数据平台用于将所述动态脱敏引擎得到的所述脱敏数据反馈给所述请求方。
10.一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1-8中任一所述的数据脱敏方法。
11.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-8中任一所述的数据脱敏方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910910381.XA CN110795756A (zh) | 2019-09-25 | 2019-09-25 | 一种数据脱敏方法、装置、计算机设备及计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910910381.XA CN110795756A (zh) | 2019-09-25 | 2019-09-25 | 一种数据脱敏方法、装置、计算机设备及计算机可读存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110795756A true CN110795756A (zh) | 2020-02-14 |
Family
ID=69439686
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910910381.XA Withdrawn CN110795756A (zh) | 2019-09-25 | 2019-09-25 | 一种数据脱敏方法、装置、计算机设备及计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110795756A (zh) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112037004A (zh) * | 2020-07-14 | 2020-12-04 | 北京文思海辉金信软件有限公司 | 业务处理结果呈现方法、装置、计算机设备和存储介质 |
CN112417406A (zh) * | 2020-12-04 | 2021-02-26 | 中国电子信息产业集团有限公司第六研究所 | 一种数据的脱敏方法、装置、可读存储介质及电子设备 |
CN112948877A (zh) * | 2021-03-03 | 2021-06-11 | 北京中安星云软件技术有限公司 | 一种基于tcp代理的数据库动态脱敏方法及*** |
CN113472757A (zh) * | 2021-06-18 | 2021-10-01 | 上汽通用五菱汽车股份有限公司 | 车辆数据的处理方法、处理平台和可读存储介质 |
CN114282591A (zh) * | 2021-11-18 | 2022-04-05 | 厦门市美亚柏科信息股份有限公司 | 一种动态安全级别实时划分方法、终端设备及存储介质 |
WO2022088754A1 (zh) * | 2020-10-27 | 2022-05-05 | 华为技术有限公司 | 文件脱敏方法、装置及存储介质 |
WO2022143758A1 (zh) * | 2020-12-30 | 2022-07-07 | 华为技术有限公司 | 一种数据脱敏方法、装置及存储*** |
CN115495769A (zh) * | 2022-11-16 | 2022-12-20 | 江苏曼荼罗软件股份有限公司 | 一种数据脱敏方法、***、可读存储介质及设备 |
WO2023097521A1 (zh) * | 2021-11-30 | 2023-06-08 | 西门子股份公司 | 数据模型生成的方法和装置 |
-
2019
- 2019-09-25 CN CN201910910381.XA patent/CN110795756A/zh not_active Withdrawn
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112037004A (zh) * | 2020-07-14 | 2020-12-04 | 北京文思海辉金信软件有限公司 | 业务处理结果呈现方法、装置、计算机设备和存储介质 |
WO2022088754A1 (zh) * | 2020-10-27 | 2022-05-05 | 华为技术有限公司 | 文件脱敏方法、装置及存储介质 |
CN112417406A (zh) * | 2020-12-04 | 2021-02-26 | 中国电子信息产业集团有限公司第六研究所 | 一种数据的脱敏方法、装置、可读存储介质及电子设备 |
WO2022143758A1 (zh) * | 2020-12-30 | 2022-07-07 | 华为技术有限公司 | 一种数据脱敏方法、装置及存储*** |
EP4261723A4 (en) * | 2020-12-30 | 2024-06-19 | Huawei Technologies Co., Ltd. | DATA DESENSITIZATION METHOD AND APPARATUS AND STORAGE SYSTEM |
CN112948877A (zh) * | 2021-03-03 | 2021-06-11 | 北京中安星云软件技术有限公司 | 一种基于tcp代理的数据库动态脱敏方法及*** |
CN113472757A (zh) * | 2021-06-18 | 2021-10-01 | 上汽通用五菱汽车股份有限公司 | 车辆数据的处理方法、处理平台和可读存储介质 |
CN113472757B (zh) * | 2021-06-18 | 2022-06-24 | 上汽通用五菱汽车股份有限公司 | 车辆数据的处理方法、处理平台和可读存储介质 |
CN114282591A (zh) * | 2021-11-18 | 2022-04-05 | 厦门市美亚柏科信息股份有限公司 | 一种动态安全级别实时划分方法、终端设备及存储介质 |
WO2023097521A1 (zh) * | 2021-11-30 | 2023-06-08 | 西门子股份公司 | 数据模型生成的方法和装置 |
CN115495769A (zh) * | 2022-11-16 | 2022-12-20 | 江苏曼荼罗软件股份有限公司 | 一种数据脱敏方法、***、可读存储介质及设备 |
CN115495769B (zh) * | 2022-11-16 | 2023-03-10 | 江苏曼荼罗软件股份有限公司 | 一种数据脱敏方法、***、可读存储介质及设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110795756A (zh) | 一种数据脱敏方法、装置、计算机设备及计算机可读存储介质 | |
EP4099170B1 (en) | Method and apparatus of auditing log, electronic device, and medium | |
US20150234927A1 (en) | Application search method, apparatus, and terminal | |
CN108090351B (zh) | 用于处理请求消息的方法和装置 | |
CN112636957B (zh) | 基于日志的预警方法、装置、服务器及存储介质 | |
CN105354251B (zh) | 电力***中基于Hadoop的电力云数据管理索引方法 | |
CN110377651B (zh) | 批量数据的处理方法、装置、设备及存储介质 | |
CN107784205B (zh) | 一种用户产品审核的方法、装置、服务器和存储介质 | |
CN111586695B (zh) | 短信识别方法及相关设备 | |
CN113204345A (zh) | 页面生成方法、装置、电子设备及存储介质 | |
CN114598597B (zh) | 多源日志解析方法、装置、计算机设备及介质 | |
CN110650126A (zh) | 一种防网站流量攻击方法、装置以及智能终端、存储介质 | |
CN114490715A (zh) | 一种数据提取方法、装置、电子设备及存储介质 | |
EP4216076A1 (en) | Method and apparatus of processing an observation information, electronic device and storage medium | |
CN107666431B (zh) | 书签通讯消息获取方法和装置 | |
CN116775488A (zh) | 异常数据确定方法、装置、设备、介质及产品 | |
CN113032836B (zh) | 数据脱敏方法和装置 | |
CN103605480B (zh) | Web服务器及其磁盘资源访问控制方法 | |
CN115544558A (zh) | 敏感信息检测方法、装置、计算机设备及存储介质 | |
CN107977381B (zh) | 数据配置方法、索引管理方法、相关装置以及计算设备 | |
CN114722004A (zh) | 消息检索方法、装置、电子设备及存储介质 | |
CN114168557A (zh) | 一种访问日志的处理方法、装置、计算机设备和存储介质 | |
CN112347066B (zh) | 日志处理方法、装置及服务器和计算机可读存储介质 | |
CN112528339A (zh) | 一种基于Caché数据库的数据脱敏方法及电子设备 | |
CN114756901B (zh) | 操作性风险监控方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WW01 | Invention patent application withdrawn after publication | ||
WW01 | Invention patent application withdrawn after publication |
Application publication date: 20200214 |