CN111625843A - 一种适用于大数据平台的数据透明加解密*** - Google Patents

一种适用于大数据平台的数据透明加解密*** Download PDF

Info

Publication number
CN111625843A
CN111625843A CN201910668324.5A CN201910668324A CN111625843A CN 111625843 A CN111625843 A CN 111625843A CN 201910668324 A CN201910668324 A CN 201910668324A CN 111625843 A CN111625843 A CN 111625843A
Authority
CN
China
Prior art keywords
encryption
key
decryption
module
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910668324.5A
Other languages
English (en)
Inventor
不公告发明人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fangying Jintai Technology Beijing Co ltd
Original Assignee
Fangying Jintai Technology Beijing Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fangying Jintai Technology Beijing Co ltd filed Critical Fangying Jintai Technology Beijing Co ltd
Priority to CN201910668324.5A priority Critical patent/CN111625843A/zh
Publication of CN111625843A publication Critical patent/CN111625843A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/602—Providing cryptographic facilities or services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6227—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database where protection concerns the structure of data, e.g. records, types, queries
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
    • H04L63/0428—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
    • H04L63/045—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload wherein the sending and receiving network entities apply hybrid encryption, i.e. combination of symmetric and asymmetric encryption
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/06—Network architectures or network communication protocols for network security for supporting key management in a packet data network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/2866—Architectures; Arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/34—Network arrangements or protocols for supporting network services or applications involving the movement of software or configuration parameters 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2221/00—Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/21—Indexing scheme relating to G06F21/00 and subgroups addressing additional information or applications relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/2107—File encryption

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • Bioethics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Storage Device Security (AREA)

Abstract

本申请公开一种适用于大数据平台的数据透明加解密***，所述***包含加解密算法执行子***与密钥生命周期管理子***。其中，加解密算法执行子***至少包含中间控制模块、执行模块、数据存储模块、配置接收与控制模块、密钥算法库与密钥调用模块；密钥生命周期管理子***包含密钥生命周期用户管理模块、密钥生命周期管理服务模块、密钥存储模块。该***能够同时支持使用国际标准密码算法与国家商用密码算法，且实现对数据加密密钥的全生命周期管理。

Description

一种适用于大数据平台的数据透明加解密***
技术领域
本发明涉及数据加解密与密钥生命周期管理，尤其涉及一种大数据平台中支持国密算法的数据透明加解密***。
背景技术
越来越多的企业和组织预见到大数据的发展潜力，纷纷部署大数据分析与处理平台以处理大型数据集。其中，分布式***基础架构Hadoop平台由于其能够实时处理来自多源异构海量数据，而得以广泛应用。然而该平台在帮助企业快速分析数据的同时，也带来了新的数据安全风险，由于具有不同分析需求的不同用户可以访问大数据平台中的数据，极易导致数据泄露，尤其是管理员用户，极易绕过访问控制策略直接访问存储在大数据平台中的数据，如何保证大数据平台中所存储敏感数据的安全至关重要。
大数据平台数据透明加解密能够解决上述问题，该方法能够保护海量数据存储安全，且不影响大数据平台的正常业务访问。能够对用户和机器生成的许多不同类型数据进行加密操作，包括以下组件产生的数据：关系数据库管理***（RDBMS）、非关系数据库（如Hbase）、基于Hadoop的一个数据仓库工具（Hive）和Hadoop分布式文件***（HDFS）等。
然而，现阶段大数据平台安全加密***多数存在以下不足：
1. 无法同时支持数据库列级透明加密与文件***中文件级透明加密。
2. 不支持国家商用密码算法，例如SM2, SM3, SM4, SM9。
3. 密钥管理过于复杂，无法实现对数据加密密钥（包含国密算法加密密钥）的全生命周期管理。
针对现有技术中的缺陷，本发明提供一种适用于大数据平台的数据透明加解密***，所述***包含加解密算法执行与密钥生命周期管理两个子***。其特征在于，该***能够为***使用者提供更高的数据传输与存储安全性，同时能够保证密钥的安全存储与全生命周期管理。
在加解密算法执行子***中，设计全新密码算法库，***使用者不仅可以调用常见密码算法（包含对称加密算法AES，DES，3DES，RC2等，公钥加密算法DH，RSA，DSA，ECC等，信息摘要算法MD5，DSS，SHA-1等），同样可以调用国家商用密码算法，包括：抵御密钥替换攻击方面存在可证明安全且签名长度更短的数字签名算法SM2、能够抵御差分分析且具有较强的扩散性的密码杂凑算法SM3、硬件资源占用更少的对称加密算法SM4、加密强度等同于3072位密钥的RSA加密算法的公钥加密算法SM9。
密钥生命周期管理子***不仅能够为加密算法执行子***中密码算法（包含常见密钥算法与国密算法）实时提供数据加密密钥，同样能够保证加密密钥的安全性。此外，该子***为***使用者提供密钥生命周期实时管理功能，使得***使用者对密钥的操作更为清晰明了，同时提高了密钥管理安全性。基于国密算法的加密***部署在大数据平台Hadoop中，为Hive、Hbase、HDFS等组件提供具有更高效率、更高安全性的加密环境。
与现有大数据安全平台加密***相比，本发明具有以下优势：
1. 能够同时支持使用国际加密算法（如AES, 3DES等）与国密算法（如SM4, SM9），对数据库列级透明加密与文件***中文件级执行透明加密操作。
2. 加密算法执行子***中，支持本土化对称加密国密算法，例如SM4, SM9；支持本土化非对称加密国密算法，例如SM2；支持本土化杂凑国密算法，例如SM3；支持管理本土化对称加密国密算法，例如SM4, SM9。
3. 密钥生命周期管理子***中，支持管理本土化非对称加密国密算法，例如SM3。
4. ***使用者能够通过密钥管理互操作协议（KMIP）与密钥服务器交互，实现对数据加密密钥（包含国密算法加密密钥 ）的全生命周期管理。
发明内容
本发明提供用一种适用于大数据平台的数据透明加解密***，所述***包含加解密算法执行与密钥生命周期管理两个子***。其特征在于，该***能够为***使用者提供更高的数据传输与存储安全性，同时能够保证密钥的安全存储与全生命周期管理。
一种适用于大数据平台的数据透明加解密***，所述***对大数据平台中数据的存取操作透明，且包括加解密算法执行子***与密钥生命周期管理子***；
所述存取操作透明，包含不改变数据存取所使用的接口和少量增加数据存取所需要的时间。
所述加解密算法执行子***包括：中间控制模块、加密配置引擎模块、解密配置引擎模块、执行模块、数据存储模块、配置接收与控制模块、密钥算法库与密钥调用模块。
中间控制模块用于接收加解密配置指令，指令中包含加解密策略及加解密属性，并将加解密策略及加解密属性发送至数据存储模块，同时触发配置接收与控制模块；
所述加密配置引擎模块由中间控制模块调用，用于对已有数据执行加密，该模块修改已有数据存储单元的属性，由未加密修改为加密，并调用执行模块对数据进行透明加密和存储；
所述解密配置引擎模块由中间控制模块调用，用于对已加密数据执行解密，该模块修改已有数据存储单元的属性，由已加密修改为未加密，并调用执行模块对数据进行透明解密和存储；
所述执行模块用于对数据透明加解密，该模块以加解密插件形式与大数据平台中的组件结合；
所述加解密插件，分为加密子模块和解密子模块；
所述加密子模块，当大数据平台组件接收到数据写入指令时被调用，大数据组件将得到的数据结构传递给加密子模块，该子模块从数据存储模块中获取加密参数，从密钥调用模块中获取密钥，并调用密钥算法库对数据进行加密，并将加密后的数据结构传递给大数据平台组件，由大数据平台组件执行数据存储；
所述解密子模块，当大数据平台组件接收到数据读取指令时被调用，大数据组件将得到的数据结构传递给解密子模块，该子模块从数据存储模块中获取加密参数，从密钥调用模块中获取密钥，并调用密钥算法库对数据进行解密，并将解密后的数据结构传递给大数据平台组件，由大数据平台组件执行数据读取；
所述数据存储模块用于存储加解密属性和加解密策略；
所述配置接收与控制模块用于接收加解密配置指令；
密钥生命周期管理子***包含密钥生命周期管理服务模块、密钥存储模块；所述密钥存储模块用于密钥的存储；所述密钥生命周期管理服务器模块用于对密钥管理；
所述加解密算法执行子***中的密钥调用模块用于从密钥存储模块获取密钥；所述密钥算法库和密钥调用模块通过密钥管理互操作协议，与密钥生命周期管理子***中的密钥生命周期管理服务模块交互。
其中的所述加解密算法执行子***，进一步包括：中间控制模块接收加解密配置指令，加解密指令中对应包含加解密策略并将加解密策略及属性存储至数据存储模块中。
其中的所述加解密算法执行子***，包括配置接收与控制模块，通过API接口接收加解密配置指令，获取加解密策略和属性，并保存在内存中；
其中的所述加解密算法执行子***，包括执行模块，该模块读取配置接收与控制模块写入的加解密策略和属性，并执行对应的加解密操作。
所述加解密算法执行子***进一步包括，所述加密配置引擎模块还用于，通过接口执行数据加密配置，执行加密配置的初始化操作。
所述加解密算法执行子***进一步包括解密配置引擎模块，通过接口执行数据解密配置，执行取消加密配置的清理操作。
所述密钥生命周期管理子***进一步包括密钥生命周期用户管理模块，其中所述密钥生命周期用户管理模块用于提出以下至少之一的密钥管理请求：密钥创建、密钥更新、密钥激活、密钥销毁；使用密钥管理互操作协议，将请求发送至密钥生命周期管理服务模块。
所述密钥生命周期管理服务模块，支持以下至少之一的国际标准密码算法：AES,3EDS, RSA, SHA-1, MD5等，同样能够支持以下至少之一的国家商用算法：SM2, SM3, SM4,SM9。
执行对称加密算法时，在加密和解密的过程中，使用的是同一密钥；执行公钥加密算法时，在加密与解密过程中，使用的分别为公钥与私钥。
附图说明
图1为本发明提出的一种适用于大数据平台的数据透明加解密***框图；
图2为本发明提出的一种适用于大数据平台的数据透明加解密***的功能框图；
图3为本发明提出的加密算法执行流程图；
图4为本发明提出的密钥管理执行流程图。
具体实施方式
下面结合附图1-4和实施例对本发明作更加详细的说明。
实施例一
本发明涉及数据加解密与密钥生命周期管理***，尤其涉及一种适用于大数据平台的数据透明加解密***。Hadoop是一个能够对大量数据进行分布式处理的软件框架。 Hadoop能以一种可靠、高效、可伸缩的方式进行数据处理。如图1所示，所述***将部署在大数据平台Hadoop中，该***包含加解密算法执行与密钥生命周期管理两个子***。如图3-4中所述的描述，其中“层”也可以具体为一个装置模块的功能。图3-4中只是示例性地列出主要的功能模块。
加解密算法执行子***包含中间控制模块、执行模块、加密配置引擎模块、解密配置引擎模块、数据存储模块、配置接收与控制模块、密钥算法库与密钥调用模块。该子***用作加密算法的执行方。
密钥生命周期管理子***包含密钥生命周期用户管理模块、密钥生命周期管理服务模块、密钥存储模块。该子***用作密钥生命周期管理服务方。
如图2所示，本发明包含加解密算法执行子***与密钥生命周期管理子***。加解密算法执行子***包含三种加密算法类别，分别是对称加密算法、非对称加密算法与杂凑算法。其中，对称加密算法不仅包含常见国际加密算法，例如AES, 3DES等，同样包含国密算法SM4，SM9。在非对称加密算法中，不仅包含常见国际加密算法，例如ECC, RSA等，同样包含国密算法SM2。在杂凑算法中，不仅包含常见国际算法，例如MD5, SHA-1等，同样包含国密算法SM3。
密钥生命周期管理子***中，能够管理对称加密密钥与非对称加密密钥两种类别。其中，对称加密算法不仅包含常见国际加密算法，例如AES, 3DES等，同样包含国密算法SM4，SM9。在非对称加密算法中，不仅包含常见国际加密算法，例如ECC, RSA等，同样包含国密算法SM2。
如图3所示，数据加解密流程如下：
特别指出，执行对称加密算法时，在加密和解密的过程中，使用的是同一密钥，对称加密算法适用于加密如列级数据、数据表、文件级等数据类型。执行公钥加密算法时，在加密与解密的过程中，使用的分别为公钥与私钥，公钥加密算法适用于加密对称密钥值，随机数等数据量较小的数据。加密算法执行子***同时适用于以上两类数据类型。
1）加密算法执行
步骤S10：中间控制模块接收加解密配置指令，指令中包含加解密策略、算法等，并将加密策略及属性存储至数据存储模块MySQL中，同时触发配置接收与控制模块；
步骤S11：配置接收与控制模块通过配置下发引擎模块的API接口接收加密配置指令，参数包括大数据组件Hive、 Hbase、HDFS等存储的加密对象、加密算法、加密操作，并向下调用加密配置引擎模块完成加密配置指令；
步骤S12：加解密配置引擎模块通过API接口执行加密配置，执行加密配置的初始化操作；
步骤S13：通过数据存储模块获取加密属性如加密算法（AES, 3DES, SM4等），加密策略（实时，延时等）；
步骤S14：查询密钥调用模块来获取密钥。其中密钥调用模块通过密钥管理互操作协议KMIP，与密钥生命周期管理子***中的密钥生命周期管理服务模块交互，使用KMIP能够保证密钥传递过程的高安全性与高效率性；
步骤S15：执行模块通过使用大数据平台组件的接口执行数据加密操作，包括Hive、Hbase、HDFS，获取大数据平台中的加密对象，并调用加密算法库完成数据加密，对应于配置接收与控制模块接收到的加密算法要求，如AES, 3DES, SM4等；
步骤S16：取消加解密配置引擎模块，通过API接口执行取消加密配置，执行加密配置的清理操作如删除加密区等；
2）解密算法执行
步骤S20：中间控制模块接收加解密配置指令，指令中包含解密策略如延时、实时等，并将解密策略及属性存储至数据存储模块MySQL中，同时触发配置接收与控制模块；
步骤S21：配置接收与控制模块通过配置下发引擎模块的API接口接收解密配置指令，参数包括大数据组件Hive、 Hbase、HDFS等输出的密文对象、解密算法、解密操作，并向下调用加解密配置引擎模块完成解密配置指令；
步骤S22：加解密配置引擎模块通过API接口执行解密配置，执行解密配置的初始化操作如取消加密区等；
步骤S23： 执行模块通过各个组件的接入模块接入相应组件，适配组件包括Hive、Hbase、HDFS；执行模块中加密执行模块获取当前加密对象，即待加密数据，如列数据或非线性文件；
步骤S24：通过数据存储模块获取解密属性如算法（AES, 3DES, SM4等）；
步骤S25：查询密钥调用模块来获取密钥。其中密钥调用模块通过密钥管理互操作协议KMIP，与密钥生命周期管理子***中的密钥生命周期管理服务模块交互，使用KMIP能够保证密钥传递过程的高安全性与高效率性；
步骤S26：调用加解密算法库完成数据解密，对应于配置接收与控制模块接收到的解密算法要求，如AES, 3DES, SM4等；
步骤S27：取消加解密配置引擎模块：通过API接口执行取消加密配置，执行加密配置的清理操作如删除加密区等；
3）密钥生命周期管理
如图4所示，密钥生命周期管理流程如下：
步骤S30：密钥生命周期用户管理模块提出密钥管理请求如密钥创建、密钥更新、密钥激活、密钥销毁等等。通过SLL/TLS连接，使用密钥管理互操作协议KMIP，将请求发送至密钥生命周期管理服务模块；其中，KMIP为基于TTLV(Type/Tag/Length/Value)编码的二进制编码方式，它具有灵活、高效、扩展性好等优点，能够较好的解决HDFS中当前所采用的基于HTTP编码方式的效率低、负载重的问题。
步骤S31：密钥生命周期管理服务模块通过与数据存储模块交互，执行相应操作以响应密钥生命周期用户管理模块提出的密钥管理请求，该模块不仅支持常见的国际密码算法如AES, 3EDS, RSA, SHA-1, MD5等，同样能够支持国密算法，如SM2, SM3, SM4, SM9。
步骤S32：将密钥存储至硬件安全模块HSM。
步骤S33：将密钥管理操作结果返回至密钥生命周期用户管理模块。
实施例二
如图3-4中所述的描述，其中“层”也可以具体为一个装置模块的功能。图3-4中只是示例性地列出主要的功能模块。
一种适用于大数据平台的数据透明加解密***。所述的***也可以具体由以下功能模块构成：
所述***对大数据平台中数据的存取操作透明，且包括加解密算法执行子***与密钥生命周期管理子***；
所述存取操作透明，包含不改变数据存取所使用的接口和少量增加数据存取所需要的时间。
所述加解密算法执行子***包括：中间控制模块、加密配置引擎模块、解密配置引擎模块、执行模块、数据存储模块、配置接收与控制模块、密钥算法库与密钥调用模块。
中间控制模块用于接收加解密配置指令，指令中包含加解密策略及加解密属性，并将加、解密策略及加、解密属性发送至数据存储模块，同时触发配置接收与控制模块；
所述加密配置引擎模块由中间控制模块调用，用于对已有数据执行加密，该模块修改已有数据存储单元的属性，由未加密修改为加密，并调用执行模块对数据进行透明加密和存储；
所述解密配置引擎模块由中间控制模块调用，用于对已加密数据执行解密，该模块修改已有数据存储单元的属性，由已加密修改为未加密，并调用执行模块对数据进行透明解密和存储；
所述执行模块用于对数据透明加解密，该模块以加解密插件形式与大数据平台中的组件结合；
所述加解密插件，分为加密子模块和解密子模块；
所述加密子模块，当大数据平台组件接收到数据写入指令时被调用，大数据组件将得到的数据结构传递给加密子模块，该子模块从数据存储模块中获取加密参数，从密钥调用模块中获取密钥，并调用密钥算法库对数据进行加密，并将加密后的数据结构传递给大数据平台组件，由大数据平台组件执行数据存储；
所述解密子模块，当大数据平台组件接收到数据读取指令时被调用，大数据组件将得到的数据结构传递给解密子模块，该子模块从数据存储模块中获取加密参数，从密钥调用模块中获取密钥，并调用密钥算法库对数据进行解密，并将解密后的数据结构传递给大数据平台组件，由大数据平台组件执行数据读取；
所述数据存储模块用于存储加解密属性和加解密策略；
所述配置接收与控制模块用于接收加、解密配置指令；
密钥生命周期管理子***包含密钥生命周期管理服务模块、密钥存储模块；所述密钥存储模块用于密钥的存储；所述密钥生命周期管理服务器模块用于对密钥管理；
所述加解密算法执行子***中的密钥调用模块用于从密钥存储模块获取密钥；所述密钥算法库和密钥调用模块通过密钥管理互操作协议，与密钥生命周期管理子***中的密钥生命周期管理服务模块交互。
通过示例阐述了本公开的许多具体细节，以便提供对相关披露的透彻理解。然而，对于本领域的普通技术人员来讲，本公开显而易见的可以在没有这些细节的情况下实施。应当理解的是，本公开中使用“***”、“装置”、“单元”和/或“模块”术语，是用于区分在顺序排列中不同级别的不同部件、元件、部分或组件的一种方法。然而，如果其他表达式可以实现相同的目的，这些术语可以被其他表达式替换。
应当理解的是，当设备、单元或模块被称为“在……上”、“连接到”或“耦合到”另一设备、单元或模块时，其可以直接在另一设备、单元或模块上，连接或耦合到或与其他设备、单元或模块通信，或者可以存在中间设备、单元或模块，除非上下文明确提示例外情形。例如，本公开所使用的术语“和/或”包括一个或多个相关所列条目的任何一个和所有组合。
本公开所用术语仅为了描述特定实施例，而非限制本公开范围。如本公开说明书和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的特征、整体、步骤、操作、元素和/或组件，而该类表述并不构成一个排它性的罗列，其他特征、整体、步骤、操作、元素和/或组件也可以包含在内。
本发明公开的这些或其他特征和特点、操作方法、结构的相关元素的功能、部分的结合以及制造的经济性可以被更好地理解，其中说明和附图形成了说明书的一部分。然而，可以清楚地理解，附图仅用作说明和描述的目的，并不意在限定本公开的保护范围。可以理解的是，附图并非按比例绘制。
本公开中使用了多种结构图用来说明根据本公开的实施例的各种变形。应当理解的是，前面或下面的结构并不是用来限定本公开。本公开的保护范围以权利要求为准。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及方法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

Claims (10)

1.一种适用于大数据平台的数据透明加解密***，其特征在于：
所述***包括加解密算法执行子***与密钥生命周期管理子***；
所述加解密算法执行子***包括至少执行模块、数据存储模块、密钥算法库和密钥调用模块；
所述执行模块用于对数据透明加解密，所述执行模块与大数据平台中的组件结合；
所述执行模块，分为加密子模块和解密子模块；
所述加密子模块，当大数据平台组件接收到数据写入指令时被调用，大数据平台组件将得到的数据结构传递给加密子模块，该加密子模块从数据存储模块中获取加密参数，从密钥调用模块中获取密钥，并调用密钥算法库对数据进行加密，并将加密后的数据结构传递给大数据平台组件，由大数据平台组件执行数据存储；
所述解密子模块，当大数据平台组件接收到数据读取指令时被调用，大数据组件将得到的数据结构传递给解密子模块，该解密子模块从数据存储模块中获取加密参数，从密钥调用模块中获取密钥，并调用密钥算法库对数据进行解密，并将解密后的数据结构传递给大数据平台组件，由大数据平台组件执行数据读取；
所述数据存储模块用于存储加解密属性和加解密策略；
密钥生命周期管理子***包含密钥生命周期管理服务模块、密钥存储模块；所述密钥存储模块用于密钥的存储；所述密钥生命周期管理服务器模块用于对密钥管理；
所述加解密算法执行子***中的密钥调用模块用于从密钥存储模块获取密钥；所述密钥算法库和密钥调用模块通过密钥管理互操作协议，与密钥生命周期管理子***中的密钥生命周期管理服务模块交互。
2.如权利要求1所述的***，所述加解密算法执行子***还包括：
中间控制模块、加密配置引擎模块、解密配置引擎模块、配置接收与控制模块；
中间控制模块用于接收加解密配置指令，指令中包含加解密策略及加解密属性，并将加解密策略及加解密属性发送至数据存储模块，同时触发配置接收与控制模块；
所述加密配置引擎模块由中间控制模块调用，用于对已有数据执行加密，该模块修改已有数据存储单元的属性，由未加密修改为加密，并调用执行模块对数据进行透明加密和存储；
所述解密配置引擎模块由中间控制模块调用，用于对已加密数据执行解密，该模块修改已有数据存储单元的属性，由已加密修改为未加密，并调用执行模块对数据进行透明解密和存储；
所述配置接收与控制模块用于接收加解密配置指令。
3.如权利要求2所述的***，其中的所述加解密算法执行子***进一步包括：中间控制模块接收加解密配置指令，加解密指令中对应包含加解密策略并将加解密策略及属性存储至数据存储模块中。
4.如权利要求2所述的***，其中的所述加解密算法执行子***，其中配置接收与控制模块，通过API接口接收加解密配置指令，获取加解密策略和属性。
5.如权利要求2所述的***，其中所述加解密算法执行子***包括的执行模块还用于读取配置接收与控制模块写入的加解密策略和属性，并执行对应的加解密操作。
6.如权利要求5所述的***，所述加解密算法执行子***进一步包括，其中加密配置引擎模块还用于，通过接口执行数据加密配置，执行加密配置的初始化操作；
其中解密配置引擎模块，通过接口执行数据解密配置，执行取消加密配置的清理操作。
7.如权利要求1所述的***，所述密钥生命周期管理子***进一步包括密钥生命周期用户管理模块，其中所述密钥生命周期用户管理模块用于提出以下至少之一的密钥管理请求：密钥创建、密钥更新、密钥激活、密钥销毁；使用密钥管理互操作协议，将请求发送至密钥生命周期管理服务模块。
8.如权利要求1-7中任一所述的***，所述密钥生命周期管理服务模块，支持以下至少之一的国际标准密码算法：AES, 3EDS, RSA, SHA-1, MD5等，同样能够支持以下至少之一的国家商用算法：SM2, SM3, SM4, SM9。
9.如权利要求1-7中任一所述的***，执行对称加密算法时，加密和解密的过程中，使用的是同一密钥；执行公钥加密算法时，在加密与解密过程中，使用的分别为公钥与私钥。
10.如权利要求1-7中任一所述的***，其中所述大数据平台为Hadoop平台。
CN201910668324.5A 2019-07-23 2019-07-23 一种适用于大数据平台的数据透明加解密*** Pending CN111625843A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910668324.5A CN111625843A (zh) 2019-07-23 2019-07-23 一种适用于大数据平台的数据透明加解密***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910668324.5A CN111625843A (zh) 2019-07-23 2019-07-23 一种适用于大数据平台的数据透明加解密***

Publications (1)

Publication Number Publication Date
CN111625843A true CN111625843A (zh) 2020-09-04

Family

ID=72258788

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910668324.5A Pending CN111625843A (zh) 2019-07-23 2019-07-23 一种适用于大数据平台的数据透明加解密***

Country Status (1)

Country Link
CN (1) CN111625843A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113505377A (zh) * 2021-05-25 2021-10-15 重庆沄析工业互联网有限公司 一种基于软件框架集成国密sm4数据加解密技术的方法
CN114793169A (zh) * 2022-03-21 2022-07-26 中国信息通信研究院 大数据平台全流程数据加密保护方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080034199A1 (en) * 2006-02-08 2008-02-07 Ingrian Networks, Inc. High performance data encryption server and method for transparently encrypting/decrypting data
US20090138700A1 (en) * 2007-09-28 2009-05-28 Shingo Miyazaki Cryptographic management apparatus, decryption management apparatus and program
CN103595730A (zh) * 2013-11-28 2014-02-19 中国科学院信息工程研究所 一种密文云存储方法和***
WO2016026287A1 (zh) * 2014-08-19 2016-02-25 深圳市中兴微电子技术有限公司 一种加密装置、加密方法及计算机存储介质
CN105681031A (zh) * 2016-01-08 2016-06-15 成都卫士通信息产业股份有限公司 一种存储加密网关密钥管理***及方法
CN106302449A (zh) * 2016-08-15 2017-01-04 中国科学院信息工程研究所 一种密文存储与密文检索开放云服务方法和***
CN107592295A (zh) * 2017-08-01 2018-01-16 佛山市深研信息技术有限公司 一种大数据的加密方法
CN108111479A (zh) * 2017-11-10 2018-06-01 中国电子科技集团公司第三十二研究所 用于Hadoop分布式文件***透明加解密的密钥管理方法
CN109274646A (zh) * 2018-08-22 2019-01-25 华东计算技术研究所（中国电子科技集团公司第三十二研究所） 基于kmip协议的密钥管理客户端服务端方法和***及介质
CN109802832A (zh) * 2017-11-17 2019-05-24 ***通信集团公司 一种数据文件的处理方法、***、大数据处理服务器和计算机存储介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080034199A1 (en) * 2006-02-08 2008-02-07 Ingrian Networks, Inc. High performance data encryption server and method for transparently encrypting/decrypting data
US20090138700A1 (en) * 2007-09-28 2009-05-28 Shingo Miyazaki Cryptographic management apparatus, decryption management apparatus and program
CN103595730A (zh) * 2013-11-28 2014-02-19 中国科学院信息工程研究所 一种密文云存储方法和***
WO2016026287A1 (zh) * 2014-08-19 2016-02-25 深圳市中兴微电子技术有限公司 一种加密装置、加密方法及计算机存储介质
CN105681031A (zh) * 2016-01-08 2016-06-15 成都卫士通信息产业股份有限公司 一种存储加密网关密钥管理***及方法
CN106302449A (zh) * 2016-08-15 2017-01-04 中国科学院信息工程研究所 一种密文存储与密文检索开放云服务方法和***
CN107592295A (zh) * 2017-08-01 2018-01-16 佛山市深研信息技术有限公司 一种大数据的加密方法
CN108111479A (zh) * 2017-11-10 2018-06-01 中国电子科技集团公司第三十二研究所 用于Hadoop分布式文件***透明加解密的密钥管理方法
CN109802832A (zh) * 2017-11-17 2019-05-24 ***通信集团公司 一种数据文件的处理方法、***、大数据处理服务器和计算机存储介质
CN109274646A (zh) * 2018-08-22 2019-01-25 华东计算技术研究所（中国电子科技集团公司第三十二研究所） 基于kmip协议的密钥管理客户端服务端方法和***及介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
LIONEL DUPRÉ;等: "Impact of information security measures on the velocity of big data infrastructures" *
袁斯烺: "基于Hadoop与SSM的大数据云存储平台设计与实现" *
高汉军;寇鹏;王丽娜;余荣威;董永峰;: "面向虚拟化平台的透明加密***设计与实现" *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113505377A (zh) * 2021-05-25 2021-10-15 重庆沄析工业互联网有限公司 一种基于软件框架集成国密sm4数据加解密技术的方法
CN114793169A (zh) * 2022-03-21 2022-07-26 中国信息通信研究院 大数据平台全流程数据加密保护方法

Similar Documents

Publication Publication Date Title
JP6609010B2 (ja) 複数許可データセキュリティ及びアクセス
CN108632284B (zh) 基于区块链的用户数据授权方法、介质、装置和计算设备
US10581603B2 (en) Method and system for secure delegated access to encrypted data in big data computing clusters
US9866375B2 (en) Multi-level key management
CN109525570B (zh) 一种面向集团客户的数据分层安全访问控制方法
US10484352B2 (en) Data operations using a proxy encryption key
JP4993733B2 (ja) 暗号クライアント装置、暗号パッケージ配信システム、暗号コンテナ配信システム及び暗号管理サーバ装置
Seiger et al. SecCSIE: a secure cloud storage integrator for enterprises
US10250613B2 (en) Data access method based on cloud computing platform, and user terminal
US20140281520A1 (en) Secure cloud data sharing
CN107615730A (zh) 跨文件***对象和客户端共享的数据的安全的基于云的存储
CN103686716B (zh) 安卓***机密性完整性增强访问控制***
CN108520183A (zh) 一种数据存储方法及装置
EP2943878B1 (en) Clipboard management
US8769302B2 (en) Encrypting data and characterization data that describes valid contents of a column
US20120278611A1 (en) Vpn-based method and system for mobile communication terminal to access data securely
CA3083722C (en) Re-encrypting data on a hash chain
US11728974B2 (en) Tenant-based database encryption
US11849026B2 (en) Database integration with an external key management system
CN109697370A (zh) 数据库数据加解密方法、装置、计算机设备和存储介质
CN102594779B (zh) 一种用户数据处理方法及其设备
WO2018208786A1 (en) Method and system for secure delegated access to encrypted data in big data computing clusters
CN111625843A (zh) 一种适用于大数据平台的数据透明加解密***
Omran et al. A new technique to partition and manage data security in cloud databases
CN113014545A (zh) 一种数据处理方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
AD01 Patent right deemed abandoned

Effective date of abandoning: 20231117

AD01 Patent right deemed abandoned