CN108509805A - 数据加解密与脱敏运行引擎及其工作方法 - Google Patents

数据加解密与脱敏运行引擎及其工作方法 Download PDF

Info

Publication number
CN108509805A
CN108509805A CN201810236550.1A CN201810236550A CN108509805A CN 108509805 A CN108509805 A CN 108509805A CN 201810236550 A CN201810236550 A CN 201810236550A CN 108509805 A CN108509805 A CN 108509805A
Authority
CN
China
Prior art keywords
desensitization
sql statement
sql
database
deciphering
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810236550.1A
Other languages
English (en)
Inventor
王浩
李键
邓双林
徐德意
邓远杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SHENZHEN TYDIC INFORMATION TECHNOLOGY Co Ltd
Original Assignee
SHENZHEN TYDIC INFORMATION TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SHENZHEN TYDIC INFORMATION TECHNOLOGY Co Ltd filed Critical SHENZHEN TYDIC INFORMATION TECHNOLOGY Co Ltd
Priority to CN201810236550.1A priority Critical patent/CN108509805A/zh
Publication of CN108509805A publication Critical patent/CN108509805A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/547—Remote procedure calls [RPC]; Web services

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Bioethics (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Storage Device Security (AREA)

Abstract

本发明涉及一种数据加解密与脱敏运行引擎、其工作方法及计算机可读存储介质。该数据加解密与脱敏运行引擎的工作方法包括：步骤10、集成至业务***的SDK客户端拦截SQL语句并根据元数据配置判断是否需要改写，不需要改写的SQL语句直接向数据库发送请求，需要改写的SQL语句请求安全服务进行改写；步骤20、安全服务获取需要改写的SQL语句，根据元数据配置完成SQL语句改写，向SDK客户端返回改写后SQL语句，SDK客户端调用改写后SQL语句向数据库发起请求；步骤30、对于涉及脱敏处理的请求，数据库扩展函数作为RPC客户端调用RPC运算服务的运算组件来返回结果。本发明使用客户SDK模式绕过透明加密网关代理模式因稳定性带来的业务不可用风险。

Description

数据加解密与脱敏运行引擎及其工作方法
技术领域
本发明涉及信息***安全技术领域，尤其涉及一种数据加解密与脱敏运行引擎、工作方法及计算机可读存储介质。
背景技术
目前国内信息***频繁发生用户账号信息泄漏事件，大量存有敏感信息的数据从数据库中被导出。信息***明文存储敏感信息是不安全的，敏感信息明文展示也是不安全的。数据加密存储、数据脱敏展示，是防御数据泄漏重要的安全措施。当前数据加密存储与脱敏需要解决诸多技术难题，包括兼容关系数据库与no-sql数据库、支持密文范围查询、透明加密(即支持业务***不用过多改造)、业务***集成加解密数据库要保持稳定性、脱敏业务复杂性。国内外现有解决方案如下：
透明加密，采用网关代理模式，即在数据库与业务***之间加入代理层处理数据加解密，代理层返回处理结果给客户端。代理层存在因性能瓶颈引起的单点故障，因此代理层的稳定性决定业务***的稳定性。代理层稳定性，直接影响到多个数据数据库的业务***；
透明加密代理网关模式在兼容关系数据库与no-sql数据库存在通讯协议适配难度，它要适配hive、hbase、mysql、oracle等主流数据库的通讯协议，代理与它们间的通信；
密文范围查询，使用保序加密算法加密密文索引，但是只支持数字类型加密范围查询，不支持字符串范围查询。
现有透明加密技术中没有包括脱敏技术，因为脱敏涉及业务脱敏逻辑，如工号在某个业务场景下才脱敏，单纯在数据库中扩展函数不能完成这些脱敏逻辑，脱敏逻辑直接耗用数据库CPU。
发明内容
因此，本发明的目的在于提供一种数据加解密与脱敏运行引擎、工作方法及计算机可读存储介质，解决现有透明加密网关代理模式因稳定性带来的业务不可用风险的问题。
为实现上述目的，本发明提供了一种数据加解密与脱敏运行引擎，包括：
SDK客户端，用于集成至业务***以拦截SQL语句并根据元数据配置判断是否需要改写，不需要改写的SQL语句直接向数据库发送请求，需要改写的SQL语句请求安全服务进行改写；
安全服务，用于获取需要改写的SQL语句，根据元数据配置完成SQL语句改写，向SDK客户端返回改写后SQL语句，SDK客户端调用改写后SQL语句向数据库发起请求；
数据库扩展函数，当处理涉及脱敏处理的请求时，用于作为RPC客户端调用RPC运算服务的运算组件来返回结果。
其中，还包括元数据配置管理模块，用于配置元数据，元数据包括各类数据库脱敏字段、加密算法、脱敏字段规则配置。
其中，所述数据库扩展函数包括：
字符串索引函数，使用逐字加密，根据明文生成索引密文串；
数值索引函数，使用保序加密，根据数值生成索引等序数值；
加密函数，根据明文生成密文；
解密函数，根据密文生成明文；
脱敏函数，根据明文输出脱敏文本。
本发明还提供了一种数据加解密与脱敏运行引擎的工作方法，包括：
步骤10、集成至业务***的SDK客户端拦截SQL语句并根据元数据配置判断是否需要改写，不需要改写的SQL语句直接向数据库发送请求，需要改写的SQL语句请求安全服务进行改写；
步骤20、安全服务获取需要改写的SQL语句，根据元数据配置完成SQL语句改写，向SDK客户端返回改写后SQL语句，SDK客户端调用改写后SQL语句向数据库发起请求；
步骤30、对于涉及脱敏处理的请求，数据库扩展函数作为RPC客户端调用RPC运算服务的运算组件来返回结果。
其中，还包括步骤：通过元数据配置管理模块配置元数据，元数据包括各类数据库脱敏字段、加密算法、脱敏字段规则配置。
其中，步骤20中，所述安全服务获取需要改写得SQL语句后，根据元数据配置中的敏感字段定义，判断SQL语句中涉及加密、脱敏的敏感字段，准备改写SQL语句；安全服务分析SQL语法树，找到涉及的敏感字段，完成SQL改写。
其中，所述SQL语法树采用支持基于phoenix语法、hive-sql语法、关系数据库语法的SQL分析引擎。
其中，所述数据库扩展函数包括：
字符串索引函数，使用逐字加密，根据明文生成索引密文串；
数值索引函数，使用保序加密，根据数值生成索引等序数值；
加密函数，根据明文生成密文；
解密函数，根据密文生成明文；
脱敏函数，根据明文输出脱敏文本。
其中，密文范围查询步骤包括：
数字、字符串分别使用保序加密、逐字加密算法生成索引数据，存储在数据库索引列；
基本查询流程基于二阶段查询，第一阶段以密文索引列为查询条件，将查询条件按索引数据生成算法转化后，生成查询条件；
第二阶段为基于第一阶段查询结果进行的查询，第二阶段以密文列为查询条件，用密文列解密算法解密条件再查询。
本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的数据加解密与脱敏运行引擎的工作方法。
综上，本发明的数据加解密与脱敏运行引擎、工作方法及计算机可读存储介质，使用客户SDK模式绕过透明加密网关代理模式因稳定性带来的业务不可用风险；外置脱敏运算业务，从数据库剥离与脱敏相关的cpu计算资源。
附图说明
下面结合附图，通过对本发明的具体实施方式详细描述，将使本发明的技术方案及其他有益效果显而易见。
附图中，
图1为本发明数据加解密与脱敏运行引擎一较佳实施例的总体架构运行原理示意图；
图2为本发明数据加解密与脱敏运行引擎一较佳实施例中数据库扩展函数运行原理示意图；
图3为本发明数据加解密与脱敏运行引擎的工作方法一较佳实施例的流程图。
具体实施方式
参见图1，其为本发明数据加解密与脱敏运行引擎一较佳实施例的总体架构运行原理示意图。该数据加解密与脱敏运行引擎主要包括：SDK客户端、安全服务、以及数据库扩展函数。
SDK客户端集成至业务***，可以拦截SQL语句并根据元数据配置判断是否需要改写，不需要改写的SQL语句直接向数据库发送请求，需要改写的SQL语句请求安全服务进行改写；SDK客户端可以通过http协议向安全服务发送请求。
安全服务用于获取需要改写的SQL语句，根据元数据配置完成SQL语句改写，向SDK客户端返回改写后SQL语句，SDK客户端调用改写后SQL语句向数据库发起请求；安全服务获取SQL语句并获取元数据配置中的敏感字段定义，判断SQL语句中涉及加密、脱敏的敏感字段，准备改写SQL语句；安全服务分析SQL语法树，找到涉及的敏感字段，完成SQL改写。SQL语法树可以采用支持基于phoenix语法、hive-sql语法，关系数据库语法的SQL分析引擎。
安全服务向SDK客户端返回改写后SQL语句。SDK客户端调用改写后SQL语句向数据库发起请求，并返回结果。
涉及脱敏处理的请求时，可以由数据库扩展函数通过RPC运算服务返回数据，数据库扩展函数，用于作为RPC客户端调用RPC运算服务的运算组件来返回结果。
整个运行流程没有代理网关，改写后SQL语句仍然由业务***直接向数据库发起请求，不会如现有技术因为代理模式发生稳定性问题导致业务***不能处理业务的情况。整个过程中即使是改写引擎失败，业务***也只是与敏感字段相关的业务受影响，不涉及敏感字段的SQL语句仍然能正常与业务***交互。
本发明还可以包括元数据配置管理模块，用于配置元数据，元数据具体可以包括各类数据库脱敏字段、加密算法(AES、DES、国密算法)、脱敏字段配置。安全服务、SDK客户端均会依赖元数据进行SQL改写的相关逻辑处理。
参见图2，其为本发明数据加解密与脱敏运行引擎一较佳实施例中数据库扩展函数运行原理示意图。数据库扩展函数可以根据hbase、hive、mysql、oracle分别开发自定义函数。Hbase基于phoeinx语法自定义函数，Hive基于hive sql语法自定义函数，mysql基于c++自定义函数，oracle基于java或者c++自定义函数。
RPC运算服务可以包括：运算组件，根据预设脱敏逻辑设置的异常行为存储模块，例如***工号异常行为存储模块，加密、解密、脱敏服务，以及数字、字符串密文索引服务。与业务***中工号等业务场景相关的脱敏逻辑，例如***工号异常行为存储模块，可以由运算组件实现，运算由驻留在数据库服务器之外的独立主机完成，数据库扩展函数作为运算组件的客户端，用于调用与返回结果。除***工号异常行为存储模块外，根据其他脱敏逻辑，也可以建立其他相应的异常行为存储模块。
通过数据库扩展函数抽取出耗CPU的密码运算在运算组件，除了可以由运算组件实现脱敏逻辑，RPC运算服务进一步还可以提供加密、解密、脱敏服务，以及数字、字符串密文索引服务。
本发明是关系型数据库、no-sql数据库上加密、解密、脱敏的融合性技术发明，业务***不需要使用代理网关，只需要简单集成SDK客户端，就能完成敏感数据加密、解密、脱敏。
参见图3，其为本发明数据加解密与脱敏运行引擎的工作方法一较佳实施例的流程图。本发明一较佳实施例中还相应提供了上述加解密与脱敏运行引擎的工作方法，主要包括：
步骤10、集成至业务***的SDK客户端拦截SQL语句并根据元数据配置判断是否需要改写，不需要改写的SQL语句直接向数据库发送请求，需要改写的SQL语句请求安全服务进行改写；该步骤相比现有技术代理模式中任何SQL语句都要经过代理中转的方案有明显优点，即不与敏感字段相关的SQL语句是直接操作数据库；
步骤20、安全服务获取需要改写的SQL语句，根据元数据配置完成SQL语句改写，向SDK客户端返回改写后SQL语句，SDK客户端调用改写后SQL语句向数据库发起请求；本发明安全服务可以采用分布式架构开发，横向扩展相较现有的代理模式会受数据库连接数的限制的缺点，性能上会有明显改善；基于负载均衡的技术，横向扩展也增加了安全服务的稳定性，从而提高业务***涉及敏感业务的可用性；
步骤30、对于涉及脱敏处理的请求，数据库扩展函数作为RPC客户端调用RPC运算服务的运算组件来返回结果。
步骤20中，所述安全服务获取需要改写得SQL语句后，根据元数据配置中的敏感字段定义，判断SQL语句中涉及加密、脱敏的敏感字段，准备改写SQL语句；安全服务分析SQL语法树，找到涉及的敏感字段，完成SQL改写。SQL语法树采用支持基于phoenix语法、hive-sql语法、关系数据库语法的SQL分析引擎。
本发明一较佳实施例中，数据库扩展函数具体可以包括：
(1)STR_IDX_ENCRYPT函数，字符串索引函数，使用逐字加密，取每个字符进行MD5，密文前N位组成索引密文串。输入参数分别是明文，输出为索引密文串。根据明文生成索引密文串。
(2)NUM_IDX_ENCRYPT函数，数值索引函数，使用保序加密。输入参数分别是数值，输出为索引等序数值。根据数值生成索引等序数值。
(3)ENCRYPT函数，加密函数，输入参数分别是明文、16进制密钥串、加密算法名称(DES、AES、国密等)，输出为加密列16进制密文串。根据明文生成密文。
(4)DECRYPT函数，解密函数，输入参数分别是16进制密文串、16进制密钥串、解密算法名称(DES、AES、国密等)，输出为明文。根据密文生成明文。
(5)MASK函数，脱敏函数，输入参数分别是明文、脱敏规则ID、用户ID，输出为脱敏后文本。根据明文输出脱敏文本。用户ID决定用户是否有权限查看明文数据，即部分用户敏感字段可见，部分用户敏感字段脱敏。
本发明使用二阶段索引范围查询建立库内密文索引数字与字符串范围查询。为实现密文范围查询，数字、字符串分别使用保序加密、逐字加密算法生成索引数据，存储在数据库索引列。索引列数据不能解密，只能用于范围查询。等值查询，基于密文字段即可。基本查询流程基于二阶段查询，第一阶段为粗略的范围索文查询，第二阶段为基于第一阶段粗略范围查询的结果进行精确的查询：
第一阶段以密文索引列为查询条件，将查询条件按索引数据生成算法(即字符串索引函数和数值索引函数)转化后，生成查询条件。如果查询列是字符串类型，以查询关键字北京为例，索引算法记为STR_IDX_ENCRYPT,即查询条件为IDX like‘STR_NUM_IDX_ENCRYPT(“北京”)％’如果查询列是数字类型，则查询条件为IDX>＝NUM_IDX_ENCRYPT(数字范围起始值)and IDX<＝NUM_IDX_ENCRYPT(数字范围结束值)。
第二阶段以密文列为查询条件，用密文列解密算法(即解密函数)解密条件再查询。如果查询列是字符串类型，以查询关键字北京为例，解密算法记为DECRYPT,即查询条件为DECRYPT(密文列)like‘北京％’.如果查询列是数字类型，本阶段非必选，但可以防止第一阶段查询不精确。即查询条件为DECRYPT(密文列)>＝数字范围起始值and<＝数字范围结束值。
下面以Oracle数据库为例，针对核心SQL语句CRUD改造过程进行说明，根据具体业务***场景来举例说明本发明的数据加解密与脱敏运行引擎及工作方法。
如下表1所示，账号表ACCOUT中包括账号USERID字段、身份证IDCARD字段，密码默认生成，不在示例中描述。如下表2所示，元数据配置表META中包括指定账号表ACCOUT的IDCARD字段需要加密与脱敏，标识1代表是。
账号USERID 身份证IDCARD
D001 421081288812260001
D002 421081288812260002
表1账号表ACCOUT
表名称 字段名称 是否加密 是否脱敏 脱敏规则
ACCOUT IDCARD 1 1 38
表2元数据配置表META
一、SQL***改写
(1)业务***注册账号入口处，接收注册用户输入账号，输入身份证实名认证，完成最基础的注册账号逻辑。
(2)业务***生成INSERT SQL向数据库发送语法，INSERT INTO ACCOUT(USERID,IDCARD)VAL(？,？)
(3)SDK客户端根据元数据配置表META中的配置第一次判断SQL中是否包括ACCOUT表需要加密处理，如果包括，则SDK客户端请求安全服务SQL改写。如不包括，SQL不改写，不涉及敏感字段的SQL直接向数据库发送请求。该步骤相比现有技术代理模式中任何SQL语句都要经过代理中转的方案有明显优点，即不与敏感字段相关的SQL语句是直接操作数据库。
(4)安全服务第二次判断改写SQL中ACCOUT表IDCARD字段需要加密处理。如果是，INSERT SQL语句改写为INSERT INTO ACCOUT(USERID,IDCARD)VAL(？，ENCRYPT(？，‘密钥串’))。如果否，返回原始SQL不做处理。本发明安全服务采用分布式架构开发，横向扩展相较现有的代理模式会受数据库连接数的限制的缺点，性能上会有明显改善。基于负载均衡的技术，横向扩展也增加了安全服务的稳定性，从而提高业务***涉及敏感业务的可用性。
二、SQL分页查询改写
(1)业务***查询账号信息，查看信息时，身份证信息需要脱敏展示。
(2)业务***生成SELECT SQL向数据库发送语法，SELECT SQL语句是
(3)SDK客户端根据元数据配置表META中的配置判断SQL中是否包括ACCOUT表需要加密处理，如果包括，则SDK客户端请求安全服务SQL改写。如不包括，SQL不改写，不涉及敏感字段的SQL直接向数据库发送请求。由于IDCARD字段先是加密存储，后还要脱敏，因此需要先解密后脱敏。
(4)安全服务第二次判断改写SQL中ACCOUT表IDCARD字段需要加密与脱敏处理，脱敏规则是38。如果是，SELECT SQL语句改写为
***用户ID决定IDCARD是否脱敏展示，可以限制查看脱敏信息的用户范围。通过脱敏信息查看审计等其它措施，能达到即满足业务***差异化脱敏要求，又能实现脱敏信息查看监控。
三、SQL字符串范围查询改写
(1)业务***范围查询身份证，以省编号开头查询。
(2)业务***生成SELECT SQL向数据库发送语法，SELECT SQL语句是
(3)SDK客户端根据元数据配置表META中的配置判断SQL中是否包括ACCOUT表需要加密处理，如果包括，则SDK客户端请求安全服务SQL改写。如不包括，SQL不改写，不涉及敏感字段的SQL直接向数据库发送请求。由于IDCARD字段先是加密存储，后还要脱敏，因此需要先解密后脱敏。
(4)安全服务第二次判断改写SQL中ACCOUT表IDCARD字段需要加密与脱敏处理，脱敏规则是38。如果是，SELECT SQL语句改写为
SQL改写中加入Oracle语法提示进行第一阶段粗略查询范围，按照IDCARD_IDX列索引查询数据，第二阶段精确查询基于第一阶段粗略查询结果上解密IDCARD然后进行范围查询。
四、数据库扩展函数脱敏实现流程。
以业务***限制***用户查询账号表数据为例，每天的操作频繁，并且非正常时间段判断为异常行为的***用户，异常行为的***用户则需要脱敏展示：
(1)RPC运算服务内部调用运算组件，根据***用户账号表查询日志进行在线流式审计分析，分析结论存入***工号异常行为存储模块，如图2所示。
(2)Oracle数据库(或其他类型数据库)扩展函数调用RPC运算服务，判断***用户是否脱敏展示身份证IDCARD字段。如果脱敏，函数返回脱敏内容。如果不用脱敏，函数返回明文。
(3)RPC运算服务从***工号异常行为存储模块中检索***用户是否脱敏展示数据，并返回给RPC调用端，即Oracle数据库扩展函数。
上述***工号异常行为存储模块的脱敏逻辑仅用于举例，根据其他脱敏逻辑，也可以建立其他相应的异常行为存储模块。
本领域技术人员可以理解，实现上述实施例的数据加解密与脱敏运行引擎的工作方法中全部或部分步骤可以通过硬件来完成，也可以通过程序来控制相关的硬件完成，本发明一较佳实施例中提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述的数据加解密与脱敏运行引擎的工作方法。作为举例，计算机可读存储介质可以是U盘、移动硬盘、只读存储器、随机存取存储器、磁碟或者光盘等。
综上，本发明的数据加解密与脱敏运行引擎、工作方法及计算机可读存储介质使用客户SDK模式绕过透明加密网关代理模式因稳定性带来的业务不可用风险；使用二阶段索引范围查询建立库内密文索引数字与字符串范围查询；使用客户SDK模式兼容关系数据库与no-sql数据库；外置脱敏运算业务，从数据库剥离与脱敏相关的cpu计算资源，即RPC运算服务。
以上所述，对于本领域的普通技术人员来说，可以根据本发明的技术方案和技术构思作出其他各种相应的改变和变形，而所有这些改变和变形都应属于本发明后附的权利要求的保护范围。

Claims (10)

1.一种数据加解密与脱敏运行引擎，其特征在于，包括：
SDK客户端，用于集成至业务***以拦截SQL语句并根据元数据配置判断是否需要改写，不需要改写的SQL语句直接向数据库发送请求，需要改写的SQL语句请求安全服务进行改写；
安全服务，用于获取需要改写的SQL语句，根据元数据配置完成SQL语句改写，向SDK客户端返回改写后SQL语句，SDK客户端调用改写后SQL语句向数据库发起请求；
数据库扩展函数，当处理涉及脱敏处理的请求时，用于作为RPC客户端调用RPC运算服务的运算组件来返回结果。
2.如权利要求1所述的数据加解密与脱敏运行引擎，其特征在于，还包括元数据配置管理模块，用于配置元数据，元数据包括各类数据库脱敏字段、加密算法、脱敏字段规则配置。
3.如权利要求1所述的数据加解密与脱敏运行引擎，其特征在于，所述数据库扩展函数包括：
字符串索引函数，使用逐字加密，根据明文生成索引密文串；
数值索引函数，使用保序加密，根据数值生成索引等序数值；
加密函数，根据明文生成密文；
解密函数，根据密文生成明文；
脱敏函数，根据明文输出脱敏文本。
4.一种数据加解密与脱敏运行引擎的工作方法，其特征在于，包括：
步骤10、集成至业务***的SDK客户端拦截SQL语句并根据元数据配置判断是否需要改写，不需要改写的SQL语句直接向数据库发送请求，需要改写的SQL语句请求安全服务进行改写；
步骤20、安全服务获取需要改写的SQL语句，根据元数据配置完成SQL语句改写，向SDK客户端返回改写后SQL语句，SDK客户端调用改写后SQL语句向数据库发起请求；
步骤30、对于涉及脱敏处理的请求，数据库扩展函数作为RPC客户端调用RPC运算服务的运算组件来返回结果。
5.如权利要求4所述的数据加解密与脱敏运行引擎的工作方法，其特征在于，还包括步骤：通过元数据配置管理模块配置元数据，元数据包括各类数据库脱敏字段、加密算法、脱敏字段规则配置。
6.如权利要求4所述的数据加解密与脱敏运行引擎的工作方法，其特征在于，步骤20中，所述安全服务获取需要改写得SQL语句后，根据元数据配置中的敏感字段定义，判断SQL语句中涉及加密、脱敏的敏感字段，准备改写SQL语句；安全服务分析SQL语法树，找到涉及的敏感字段，完成SQL改写。
7.如权利要求6所述的数据加解密与脱敏运行引擎的工作方法，其特征在于，所述SQL语法树采用支持基于phoenix语法、hive-sql语法、关系数据库语法的SQL分析引擎。
8.如权利要求4所述的数据加解密与脱敏运行引擎的工作方法，其特征在于，所述数据库扩展函数包括：
字符串索引函数，使用逐字加密，根据明文生成索引密文串；
数值索引函数，使用保序加密，根据数值生成索引等序数值；
加密函数，根据明文生成密文；
解密函数，根据密文生成明文；
脱敏函数，根据明文输出脱敏文本。
9.如权利要求4所述的数据加解密与脱敏运行引擎的工作方法，其特征在于，密文范围查询步骤包括：
数字、字符串分别使用保序加密、逐字加密算法生成索引数据，存储在数据库索引列；
基本查询流程基于二阶段查询，第一阶段以密文索引列为查询条件，将查询条件按索引数据生成算法转化后，生成查询条件；
第二阶段为基于第一阶段查询结果进行的查询，第二阶段以密文列为查询条件，用密文列解密算法解密条件再查询。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求4至9中任一项所述的数据加解密与脱敏运行引擎的工作方法。
CN201810236550.1A 2018-03-21 2018-03-21 数据加解密与脱敏运行引擎及其工作方法 Pending CN108509805A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810236550.1A CN108509805A (zh) 2018-03-21 2018-03-21 数据加解密与脱敏运行引擎及其工作方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810236550.1A CN108509805A (zh) 2018-03-21 2018-03-21 数据加解密与脱敏运行引擎及其工作方法

Publications (1)

Publication Number Publication Date
CN108509805A true CN108509805A (zh) 2018-09-07

Family

ID=63377907

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810236550.1A Pending CN108509805A (zh) 2018-03-21 2018-03-21 数据加解密与脱敏运行引擎及其工作方法

Country Status (1)

Country Link
CN (1) CN108509805A (zh)

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109522320A (zh) * 2018-11-12 2019-03-26 杭州弗兰科信息安全科技有限公司 一种服务于数据库同态加密的优化方法
CN109902514A (zh) * 2019-03-07 2019-06-18 杭州比智科技有限公司 一种数据脱敏控制***、方法、服务器和存储介质
CN110598440A (zh) * 2019-08-08 2019-12-20 中腾信金融信息服务(上海)有限公司 一种分布式自动加解密***
CN110874364A (zh) * 2019-11-19 2020-03-10 北京启迪区块链科技发展有限公司 一种查询语句处理方法、装置、设备及存储介质
CN110958218A (zh) * 2019-10-16 2020-04-03 平安国际智慧城市科技股份有限公司 基于多网通信的数据传输方法及相关设备
CN111177788A (zh) * 2020-01-07 2020-05-19 北京启明星辰信息安全技术有限公司 Hive的动态脱敏方法及动态脱敏***
CN111475524A (zh) * 2020-03-05 2020-07-31 平安科技（深圳）有限公司 基于***的数据处理方法、装置和计算机设备
CN111767300A (zh) * 2020-05-11 2020-10-13 全球能源互联网研究院有限公司 一种电力数据内外网穿透的动态脱敏方法及装置
CN111859426A (zh) * 2020-07-21 2020-10-30 西安电子科技大学 一种通用加密数据库连接器及其设置方法
CN112417476A (zh) * 2020-11-24 2021-02-26 广州华熙汇控小额贷款有限公司 敏感数据的脱敏方法及数据脱敏***
CN112732745A (zh) * 2021-01-14 2021-04-30 国网上海市电力公司 基于云服务器的数据存储方法、装置、服务器及存储介质
CN112800474A (zh) * 2021-03-19 2021-05-14 北京安华金和科技有限公司 一种数据脱敏方法、装置、存储介质及电子装置
CN112906024A (zh) * 2021-03-03 2021-06-04 江苏保旺达软件技术有限公司 一种数据脱敏方法、装置、存储介质及服务器
CN113064925A (zh) * 2021-03-15 2021-07-02 深圳依时货拉拉科技有限公司 一种大数据查询方法、***及计算机可读存储介质
CN113196269A (zh) * 2018-12-05 2021-07-30 甲骨文国际公司 选择性和完全性查询改写
CN113407997A (zh) * 2021-06-30 2021-09-17 平安国际智慧城市科技股份有限公司 数据脱敏方法、装置、计算机设备及存储介质
CN113449320A (zh) * 2021-06-25 2021-09-28 郑州信源信息技术股份有限公司 一种数据库敏感数据脱敏方法及***
CN113836171A (zh) * 2021-09-27 2021-12-24 北京金山云网络技术有限公司 数据脱敏方法、装置、电子设备及可读存储介质
WO2022048464A1 (zh) * 2020-09-01 2022-03-10 华为技术有限公司 数据脱敏方法、数据脱敏装置以及存储设备
CN114500121A (zh) * 2022-04-18 2022-05-13 北京安华金和科技有限公司 一种基于安全协议的数据脱敏方法和装置
CN115495769A (zh) * 2022-11-16 2022-12-20 江苏曼荼罗软件股份有限公司 一种数据脱敏方法、***、可读存储介质及设备
CN115659391A (zh) * 2022-10-08 2023-01-31 郑州云智信安安全技术有限公司 一种支持数据库统计函数的数值脱敏方法及装置
CN116915387A (zh) * 2023-09-14 2023-10-20 山东三未信安信息科技有限公司 一种可扩展的数据库透明加密装置及方法
CN117113422A (zh) * 2023-10-24 2023-11-24 中电科网络安全科技股份有限公司 一种数据库加密方法、装置、设备及介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140380051A1 (en) * 2013-06-21 2014-12-25 International Business Machines Corporation Secure data access using sql query rewrites
CN104881280A (zh) * 2015-05-13 2015-09-02 南京邮电大学 一种支持多查询的密文数据库中间件的设计方法
CN106548085A (zh) * 2015-09-17 2017-03-29 ***通信集团甘肃有限公司 一种数据的处理方法及装置
CN106778288A (zh) * 2015-11-24 2017-05-31 阿里巴巴集团控股有限公司 一种数据脱敏的方法及***

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140380051A1 (en) * 2013-06-21 2014-12-25 International Business Machines Corporation Secure data access using sql query rewrites
CN104881280A (zh) * 2015-05-13 2015-09-02 南京邮电大学 一种支持多查询的密文数据库中间件的设计方法
CN106548085A (zh) * 2015-09-17 2017-03-29 ***通信集团甘肃有限公司 一种数据的处理方法及装置
CN106778288A (zh) * 2015-11-24 2017-05-31 阿里巴巴集团控股有限公司 一种数据脱敏的方法及***

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
何国平: "数据库透明加密中间件的研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
姚华: "常见数据库加密技术对比", 《计算机与网络》 *
江堂碧: "支持挖掘的流式数据脱敏关键技术研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109522320A (zh) * 2018-11-12 2019-03-26 杭州弗兰科信息安全科技有限公司 一种服务于数据库同态加密的优化方法
CN109522320B (zh) * 2018-11-12 2022-08-02 杭州弗兰科信息安全科技有限公司 一种服务于数据库同态加密的优化方法
CN113196269A (zh) * 2018-12-05 2021-07-30 甲骨文国际公司 选择性和完全性查询改写
CN113196269B (zh) * 2018-12-05 2022-05-27 甲骨文国际公司 选择性和完全性查询改写
CN109902514A (zh) * 2019-03-07 2019-06-18 杭州比智科技有限公司 一种数据脱敏控制***、方法、服务器和存储介质
CN110598440A (zh) * 2019-08-08 2019-12-20 中腾信金融信息服务(上海)有限公司 一种分布式自动加解密***
CN110958218A (zh) * 2019-10-16 2020-04-03 平安国际智慧城市科技股份有限公司 基于多网通信的数据传输方法及相关设备
CN110874364A (zh) * 2019-11-19 2020-03-10 北京启迪区块链科技发展有限公司 一种查询语句处理方法、装置、设备及存储介质
CN111177788A (zh) * 2020-01-07 2020-05-19 北京启明星辰信息安全技术有限公司 Hive的动态脱敏方法及动态脱敏***
CN111475524A (zh) * 2020-03-05 2020-07-31 平安科技（深圳）有限公司 基于***的数据处理方法、装置和计算机设备
CN111475524B (zh) * 2020-03-05 2024-05-28 平安科技（深圳）有限公司 基于***的数据处理方法、装置和计算机设备
CN111767300A (zh) * 2020-05-11 2020-10-13 全球能源互联网研究院有限公司 一种电力数据内外网穿透的动态脱敏方法及装置
CN111859426A (zh) * 2020-07-21 2020-10-30 西安电子科技大学 一种通用加密数据库连接器及其设置方法
CN111859426B (zh) * 2020-07-21 2023-04-07 西安电子科技大学 一种通用加密数据库连接器及其设置方法
WO2022048464A1 (zh) * 2020-09-01 2022-03-10 华为技术有限公司 数据脱敏方法、数据脱敏装置以及存储设备
CN112417476A (zh) * 2020-11-24 2021-02-26 广州华熙汇控小额贷款有限公司 敏感数据的脱敏方法及数据脱敏***
CN112732745A (zh) * 2021-01-14 2021-04-30 国网上海市电力公司 基于云服务器的数据存储方法、装置、服务器及存储介质
CN112906024A (zh) * 2021-03-03 2021-06-04 江苏保旺达软件技术有限公司 一种数据脱敏方法、装置、存储介质及服务器
CN113064925A (zh) * 2021-03-15 2021-07-02 深圳依时货拉拉科技有限公司 一种大数据查询方法、***及计算机可读存储介质
CN112800474A (zh) * 2021-03-19 2021-05-14 北京安华金和科技有限公司 一种数据脱敏方法、装置、存储介质及电子装置
CN113449320A (zh) * 2021-06-25 2021-09-28 郑州信源信息技术股份有限公司 一种数据库敏感数据脱敏方法及***
CN113407997A (zh) * 2021-06-30 2021-09-17 平安国际智慧城市科技股份有限公司 数据脱敏方法、装置、计算机设备及存储介质
CN113836171A (zh) * 2021-09-27 2021-12-24 北京金山云网络技术有限公司 数据脱敏方法、装置、电子设备及可读存储介质
CN114500121B (zh) * 2022-04-18 2022-06-28 北京安华金和科技有限公司 一种基于安全协议的数据脱敏方法和装置
CN114500121A (zh) * 2022-04-18 2022-05-13 北京安华金和科技有限公司 一种基于安全协议的数据脱敏方法和装置
CN115659391A (zh) * 2022-10-08 2023-01-31 郑州云智信安安全技术有限公司 一种支持数据库统计函数的数值脱敏方法及装置
CN115659391B (zh) * 2022-10-08 2023-09-01 郑州云智信安安全技术有限公司 一种支持数据库统计函数的数值脱敏方法及装置
CN115495769A (zh) * 2022-11-16 2022-12-20 江苏曼荼罗软件股份有限公司 一种数据脱敏方法、***、可读存储介质及设备
CN115495769B (zh) * 2022-11-16 2023-03-10 江苏曼荼罗软件股份有限公司 一种数据脱敏方法、***、可读存储介质及设备
CN116915387A (zh) * 2023-09-14 2023-10-20 山东三未信安信息科技有限公司 一种可扩展的数据库透明加密装置及方法
CN117113422A (zh) * 2023-10-24 2023-11-24 中电科网络安全科技股份有限公司 一种数据库加密方法、装置、设备及介质

Similar Documents

Publication Publication Date Title
CN108509805A (zh) 数据加解密与脱敏运行引擎及其工作方法
US10757080B2 (en) Vaultless tokenization engine
US8966250B2 (en) Appliance, system, method and corresponding software components for encrypting and processing data
Yan et al. Confidentiality support over financial grade consortium blockchain
Bates et al. Towards secure provenance-based access control in cloud environments
US20170034136A1 (en) Methods and Systems For Proxying Data
US11170128B2 (en) Information security using blockchains
US20230289464A1 (en) Data access method and device, storage medium, and electronic device
JP2002523816A (ja) 公開鍵証明書に含まれたアトリビュートを使用するアクセス制御
Mahindrakar et al. Automating GDPR compliance using policy integrated blockchain
KR101111162B1 (ko) 개인정보 은닉화를 수행하는 ｄｂ보안 방법
Macedo et al. A practical framework for privacy-preserving NoSQL databases
EP3346412B1 (en) System and method for consent centric data compliance checking
Tang et al. Securing android applications via edge assistant third-party library detection
Uddin et al. Horus: A security assessment framework for android crypto wallets
CN108170753A (zh) 一种共有云中Key-Value数据库加密与安全查询的方法
Zhu et al. Full Encryption: An end to end encryption mechanism in GaussDB
CN114448648A (zh) 基于rpa的敏感凭据管理方法及***
CN113282959A (zh) 业务数据处理方法、装置及电子设备
CN116583833A (zh) 自审计区块链
KR20200047992A (ko) 개인정보의 암호화 및 비식별화를 동시 처리하는 방법, 서버 장치 및 클라우드 컴퓨팅 서비스 서버 장치
CN108319821A (zh) 一种软件激活方法及装置
US11138319B2 (en) Light-weight context tracking and repair for preventing integrity and confidentiality violations
CN115941279A (zh) 数据中用户标识的加解密方法、***及设备
CN117459327B (zh) 一种云数据透明加密保护方法、***及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180907