CN112800473B - 一种基于大数据安全屋的数据处理方法 - Google Patents

一种基于大数据安全屋的数据处理方法 Download PDF

Info

Publication number
CN112800473B
CN112800473B CN202110285868.0A CN202110285868A CN112800473B CN 112800473 B CN112800473 B CN 112800473B CN 202110285868 A CN202110285868 A CN 202110285868A CN 112800473 B CN112800473 B CN 112800473B
Authority
CN
China
Prior art keywords
data
processing
big
big data
instruction set
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110285868.0A
Other languages
English (en)
Other versions
CN112800473A (zh
Inventor
汤文巍
章智云
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vhs Shanghai Health Technology Co ltd
Original Assignee
Vhs Shanghai Health Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vhs Shanghai Health Technology Co ltd filed Critical Vhs Shanghai Health Technology Co ltd
Priority to CN202110285868.0A priority Critical patent/CN112800473B/zh
Publication of CN112800473A publication Critical patent/CN112800473A/zh
Application granted granted Critical
Publication of CN112800473B publication Critical patent/CN112800473B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Bioethics (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • Storage Device Security (AREA)

Abstract

本发明涉及一种基于大数据安全屋的数据处理方法，包括以下步骤：接收大数据访问处理请求，并生成与所述大数据访问处理请求对应的服务令牌，所述服务令牌具有唯一性；根据所述服务令牌初始化对应的执行沙盒环境，并将与所述大数据访问处理请求相关的数据子集和数据处理指令集放入所述执行沙盒环境；在所述执行沙盒环境中完成所述大数据访问处理请求，并进行跨域数据的数据安全隔离处理得到隔离处理结果，及进行脱敏处理得到脱敏处理结果；释放所述执行沙盒环境，消除所述数据子集和所述数据处理指令集，注销所述服务令牌，发送所述脱敏处理结果。本发明能够提升数据的安全可控性。

Description

一种基于大数据安全屋的数据处理方法
技术领域
本发明涉及大数据处理技术领域，特别是涉及一种基于大数据安全屋的数据处理方法。
背景技术
现有的大数据处理通过基于底层大数据存储的分布式服务将处理逻辑代码传送至分布式的数据节点进行数据运算处理。该方式虽然通过分布式部署在多节点中执行本地化的数据处理，尽可能降低网络传输所带来的性能成本。但是，本地化执行的数据处理任务缺少有效的安全管控能力，无法确保在分布式数据处理过程中数据的安全性。特别是在涉及到广域网的分布式数据处理时，现有的大数据处理机制就更加无法适应对于数据的安全保密与数据的可用可及领域的高可控性的要求。
发明内容
本发明所要解决的技术问题是提供一种基于大数据安全屋的数据处理方法，提升数据的安全可控性。
本发明解决其技术问题所采用的技术方案是：提供一种基于大数据安全屋的数据处理方法，包括以下步骤：
(1)接收大数据访问处理请求，并生成与所述大数据访问处理请求对应的服务令牌，所述服务令牌具有唯一性；
(2)根据所述服务令牌初始化对应的执行沙盒环境，并将与所述大数据访问处理请求相关的数据子集和数据处理指令集放入所述执行沙盒环境；
(3)在所述执行沙盒环境中完成所述大数据访问处理请求，实现跨域数据的数据安全隔离处理得到隔离处理结果，并对所述隔离处理结果进行脱敏处理得到脱敏处理结果；
(4)释放所述执行沙盒环境，消除所述数据子集和所述数据处理指令集，注销所述服务令牌，发送所述脱敏处理结果。
所述步骤(1)在接收大数据访问处理请求后还包括对发起方的身份进行确认的步骤，当发起方的身份通过后生成与所述大数据访问处理请求对应的服务令牌。
所述步骤(2)中将与所述大数据访问处理请求相关的数据子集和数据处理指令集放入所述执行沙盒环境后还包括将数据子集的提取状态、数据量和数据集范围，以及数据处理指令集的加载状态和指令集范围保存到日志的步骤。
所述步骤(3)中还包括将数据处理状态、结果数据量、脱敏情况保存到日志的步骤。
所述步骤(4)还包括将所述大数据访问处理请求的处理状态及结果保存到日志中。
有益效果
由于采用了上述的技术方案，本发明与现有技术相比，具有以下的优点和积极效果：
本发明采用主动的数据加载，确保沙盒执行环境仅存放有限的相关数据子集，避免跨域的数据访问泄密，采用唯一性的服务令牌，确保沙盒执行环境的数据实现隔离缓存、隔离寄存、隔离计算等安全隔离方式和处理指令集执行安全，通过主动的脱敏，确保沙盒执行后的处理结果有效脱敏。
本发明通过安全可信的数据加载、处理执行与主动脱敏的技术方案，有效地解决了对于大数据处理访问中执行效率与数据访问安全管控所存在的***矛盾。通过本发明实现的数据安全屋机制可以广泛地用于大数据源的安全可信应用，将高成本投入所采集到的社会公共数据资源真正高效安全地用于各个行业的商业应用，提升社会效益。
附图说明
图1是本发明的流程图。
具体实施方式
下面结合具体实施例，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。
本发明的实施方式涉及一种基于大数据安全屋的数据处理方法，如图1所示，包括以下步骤：
步骤(1)，通过对大数据访问处理请求的鉴权，确认请求的发起方身份及相关的大数据访问权限。在步骤(1)完成大数据访问处理请求的鉴权后，通过步骤(1a)在日志中记载相应的大数据访问处理请求信息及相应的鉴权结果。
步骤(2)，对于通过步骤(1)完成鉴权并确认有效的大数据访问处理请求，申请并生成相应的唯一***令牌用于后续步骤的安全可信执行与数据隔离。在步骤(2)完成服务令牌生成后，通过步骤(2a)在日志中记载相应的大数据访问请求日志，留存此次请求所生成的服务令牌。
步骤(3)，基于步骤(2)生成的服务令牌，初始化相应的执行沙盒环境。按步骤(1)所接受的大数据访问处理请求提取相关的数据子集存放入执行沙盒环境。步骤(3)完成执行沙盒环境的初始化准备后，通过步骤(3a)记载相应的数据子集提取状态、数据量、数据集范围等相关信息到日志中，以备后续核验。
步骤(4)，基于步骤(2)生成的服务令牌，按步骤(1)所接受的大数据访问处理请求加载相关的数据处理指令集并存放入执行沙盒环境。步骤(4)完成数据处理指令集加载至执行沙盒后，通过步骤(4a)记载相应的数据处理指令集的加载状态、指令集范围等相关信息到日志中，以备后续核验。
步骤(5)，基于步骤(2)生成的服务令牌，在执行沙盒环境中启动步骤(4)加载数据处理指令集完成对步骤(3)存放的数据子集进行处理，实现跨域数据的数据安全隔离处理得到隔离处理结果，并对得到的隔离处理结果予以进行脱敏处理。步骤(5)完成数据处理指令集的执行并生成脱敏处理结果后，通过步骤(5a)记载相应的数据处理状态、结果数据量、脱敏情况等相关信息到日志中，以备后续核验。
步骤(6)，将释放步骤(3)所初始化的执行沙盒环境，相应的步骤(3)存放入沙盒内的数据子集、步骤(4)加载到沙盒内的数据处理指令集也会一并释放消除。之后，步骤(6)将步骤(2)申请生成的唯一***令牌予以注销，并将步骤(5)生成的脱敏处理结果返回给大数据访问处理请求的发起方。步骤(6)完成脱敏处理结果返回后，通过步骤(6a)完成最后的大数据访问处理请求的处理状态及结果记载到日志中，以备后续核验。
不难发现，本发明采用主动的数据加载，确保沙盒执行环境仅存放有限的相关数据子集，避免跨域的数据访问泄密，采用唯一性的服务令牌，确保沙盒执行环境的数据安全隔离和处理指令集执行安全，通过主动的脱敏，确保沙盒执行后的处理结果有效脱敏。

Claims (5)

1.一种基于大数据安全屋的数据处理方法，其特征在于，包括以下步骤：
(1)接收大数据访问处理请求，并生成与所述大数据访问处理请求对应的服务令牌，所述服务令牌具有唯一性；
(2)根据所述服务令牌初始化对应的执行沙盒环境，确保所述执行沙盒环境数据安全隔离和处理指令集执行安全，并将与所述大数据访问处理请求相关的数据子集和数据处理指令集放入所述执行沙盒环境；
(3)在所述执行沙盒环境中完成所述大数据访问处理请求，实现跨域数据的数据安全隔离处理得到隔离处理结果，并对所述隔离处理结果进行脱敏处理得到脱敏处理结果；
(4)释放所述执行沙盒环境，消除所述数据子集和所述数据处理指令集，注销所述服务令牌，发送所述脱敏处理结果。
2.根据权利要求1所述的基于大数据安全屋的数据处理方法，其特征在于，所述步骤(1)在接收大数据访问处理请求后还包括对发起方的身份进行确认的步骤，当发起方的身份通过后生成与所述大数据访问处理请求对应的服务令牌。
3.根据权利要求1所述的基于大数据安全屋的数据处理方法，其特征在于，所述步骤(2)中将与所述大数据访问处理请求相关的数据子集和数据处理指令集放入所述执行沙盒环境后还包括将数据子集的提取状态、数据量和数据集范围，以及数据处理指令集的加载状态和指令集范围保存到日志的步骤。
4.根据权利要求1所述的基于大数据安全屋的数据处理方法，其特征在于，所述步骤(3)中还包括将数据处理状态、结果数据量、脱敏情况保存到日志的步骤。
5.根据权利要求1所述的基于大数据安全屋的数据处理方法，其特征在于，所述步骤(4)还包括将所述大数据访问处理请求的处理状态及结果保存到日志中。
CN202110285868.0A 2021-03-17 2021-03-17 一种基于大数据安全屋的数据处理方法 Active CN112800473B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110285868.0A CN112800473B (zh) 2021-03-17 2021-03-17 一种基于大数据安全屋的数据处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110285868.0A CN112800473B (zh) 2021-03-17 2021-03-17 一种基于大数据安全屋的数据处理方法

Publications (2)

Publication Number Publication Date
CN112800473A CN112800473A (zh) 2021-05-14
CN112800473B true CN112800473B (zh) 2022-01-04

Family

ID=75817115

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110285868.0A Active CN112800473B (zh) 2021-03-17 2021-03-17 一种基于大数据安全屋的数据处理方法

Country Status (1)

Country Link
CN (1) CN112800473B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113065126B (zh) * 2021-06-03 2022-05-27 北京数安行科技有限公司 基于分布式数据沙盒的个人信息合规的方法和装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103080873A (zh) * 2010-04-12 2013-05-01 谷歌公司 用于输入法编辑器的扩展框

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8276152B2 (en) * 2007-12-05 2012-09-25 Microsoft Corporation Validation of the change orders to an I T environment
CN108234223B (zh) * 2018-04-19 2021-09-07 郑州云海信息技术有限公司 一种数据中心综合管理***的安全服务设计方法
US10776196B2 (en) * 2018-08-29 2020-09-15 International Business Machines Corporation Systems and methods for anomaly detection in a distributed computing system
CN110399209B (zh) * 2019-07-26 2022-02-25 中国工商银行股份有限公司 数据处理方法、***、电子设备和存储介质
CN112329007B (zh) * 2021-01-06 2021-04-13 睿至科技集团有限公司 一种敏感数据可控共享***及方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103080873A (zh) * 2010-04-12 2013-05-01 谷歌公司 用于输入法编辑器的扩展框

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Execution of Big Data Analytics in Automotive Industry using Hortonworks Sandbox;Sukhpreet Singh et al;《IEEE》;20200901;158-163 *
大数据环境下数字图书馆信息安全策略研究;程罗德;《图书馆学刊》;20200130;第42卷(第1期);74-79 *

Also Published As

Publication number Publication date
CN112800473A (zh) 2021-05-14

Similar Documents

Publication Publication Date Title
CN110096857B (zh) 区块链***的权限管理方法、装置、设备和介质
US20200175583A1 (en) Blockchain-based leasing
CN103475484B (zh) USB key认证方法及***
CN101827101A (zh) 基于可信隔离运行环境的信息资产保护方法
CN112800473B (zh) 一种基于大数据安全屋的数据处理方法
CN103500202A (zh) 一种轻量级数据库的安全保护方法及***
CN113395406B (zh) 一种基于电力设备指纹的加密认证方法及***
CN105022939A (zh) 信息验证方法及装置
CN115941171A (zh) 网络密钥交换协商方法、装置及网络设备
CN111884814A (zh) 一种用于智能终端防伪造的方法和***
CN101702724A (zh) 网络访问的安全控制方法及装置
CN107645474B (zh) 登录开放平台的方法及登录开放平台的装置
CN106919439A (zh) 基于磁盘虚拟化和镜像智能管理的虚拟机存储隔离技术
CN108111528A (zh) 一种基于区块链的防钓鱼方法及***
CN102983969B (zh) 一种操作***的安全登录***及安全登录方法
CN112580114B (zh) 一种信息处理方法、装置、设备及存储介质
CN107589999B (zh) 一种天地一体化工程中进程通信安全通道建立方法
US20230303032A1 (en) Cloud-based keyless entry system
CN111090616B (zh) 一种文件管理方法、对应装置、设备及存储介质
CN110990111B (zh) 一种云环境下虚拟可信根的校验方法和***
CN107659574A (zh) 一种数据访问控制***
CN103559430A (zh) 基于安卓***的应用账号管理方法和装置
CN105516134A (zh) 一种***集成的认证方法及***
CN111369246B (zh) 智能合约的调用鉴权方法、装置、电子设备及存储介质
US9098266B1 (en) Data layer service availability

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant