CN117313078A - 一种安全可控的数据协同开发环境构建方法 - Google Patents
一种安全可控的数据协同开发环境构建方法 Download PDFInfo
- Publication number
- CN117313078A CN117313078A CN202311185870.6A CN202311185870A CN117313078A CN 117313078 A CN117313078 A CN 117313078A CN 202311185870 A CN202311185870 A CN 202311185870A CN 117313078 A CN117313078 A CN 117313078A
- Authority
- CN
- China
- Prior art keywords
- data
- development environment
- collaborative development
- user
- audit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000011161 development Methods 0.000 title claims abstract description 102
- 238000010276 construction Methods 0.000 title claims abstract description 25
- 238000012550 audit Methods 0.000 claims abstract description 60
- 244000035744 Hura crepitans Species 0.000 claims abstract description 58
- 230000006399 behavior Effects 0.000 claims abstract description 47
- 238000000034 method Methods 0.000 claims abstract description 34
- 230000006378 damage Effects 0.000 claims abstract description 22
- 238000011156 evaluation Methods 0.000 claims abstract description 20
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 14
- 230000006870 function Effects 0.000 claims description 18
- 230000008569 process Effects 0.000 claims description 18
- 238000004458 analytical method Methods 0.000 claims description 17
- 238000012545 processing Methods 0.000 claims description 17
- 230000007246 mechanism Effects 0.000 claims description 16
- 230000000694 effects Effects 0.000 claims description 9
- 238000003860 storage Methods 0.000 claims description 9
- 230000008859 change Effects 0.000 claims description 8
- 238000002955 isolation Methods 0.000 claims description 7
- 230000001360 synchronised effect Effects 0.000 claims description 7
- 238000007405 data analysis Methods 0.000 claims description 6
- 238000007726 management method Methods 0.000 claims description 6
- 238000012544 monitoring process Methods 0.000 claims description 6
- 238000011835 investigation Methods 0.000 claims description 5
- 238000012423 maintenance Methods 0.000 claims description 5
- 230000002159 abnormal effect Effects 0.000 claims description 4
- 238000013475 authorization Methods 0.000 claims description 4
- 230000003993 interaction Effects 0.000 claims description 4
- 230000007774 longterm Effects 0.000 claims description 4
- 238000012986 modification Methods 0.000 claims description 4
- 230000004048 modification Effects 0.000 claims description 4
- 238000004140 cleaning Methods 0.000 claims description 3
- 238000013135 deep learning Methods 0.000 claims description 3
- 238000005065 mining Methods 0.000 claims description 3
- 230000000737 periodic effect Effects 0.000 claims description 3
- 238000012552 review Methods 0.000 claims description 3
- 238000004088 simulation Methods 0.000 claims description 3
- 238000012384 transportation and delivery Methods 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 2
- 238000002474 experimental method Methods 0.000 claims description 2
- 238000013515 script Methods 0.000 claims description 2
- 238000000638 solvent extraction Methods 0.000 claims description 2
- 230000001960 triggered effect Effects 0.000 claims description 2
- 230000002547 anomalous effect Effects 0.000 claims 1
- 238000000586 desensitisation Methods 0.000 claims 1
- 238000007689 inspection Methods 0.000 claims 1
- 230000001105 regulatory effect Effects 0.000 claims 1
- 230000000007 visual effect Effects 0.000 abstract description 3
- 238000012356 Product development Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 3
- 238000012827 research and development Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000013502 data validation Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000013210 evaluation model Methods 0.000 description 1
- 238000013067 regular audit Methods 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
- G06F21/52—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems during program execution, e.g. stack integrity ; Preventing unwanted data erasure; Buffer overflow
- G06F21/53—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems during program execution, e.g. stack integrity ; Preventing unwanted data erasure; Buffer overflow by executing in a restricted environment, e.g. sandbox or secure virtual machine
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
- G06F21/57—Certifying or maintaining trusted computer platforms, e.g. secure boots or power-downs, version controls, system software checks, secure updates or assessing vulnerabilities
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/604—Tools and structures for managing or administering access control systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
- G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/54—Interprogram communication
- G06F9/547—Remote procedure calls [RPC]; Web services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2209/00—Indexing scheme relating to G06F9/00
- G06F2209/54—Indexing scheme relating to G06F9/54
- G06F2209/547—Messaging middleware
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Computer Security & Cryptography (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Health & Medical Sciences (AREA)
- Bioethics (AREA)
- General Health & Medical Sciences (AREA)
- Automation & Control Theory (AREA)
- Databases & Information Systems (AREA)
- Storage Device Security (AREA)
Abstract
本发明涉及一种安全可控的数据协同开发环境构建方法，属于计算机领域。本发明的方法包括五部分，第一部分是协同开发环境任务编排，第二部分是适合协同开发环境数据沙箱构建，第三部分是数据的使用与销毁，第四个部分协同开发环境行为审计，第五部分是协同开发环境资源贡献度评估。本发明构建的数据产品协同开发环境，将业务***中需要的具体数据资源、算法模型动态加载到一个安全可控、虚拟的运行环境。通过可视化操作，按需加载模型以及权限内数据，确保沙箱内数据资源安全可控。
Description
技术领域
本发明属于计算机领域，具体涉及一种安全可控的数据协同开发环境构建方法。
背景技术
当前，随着云计算、大数据等技术的发展，数据的规模、活性以及对数据的统一运用能力逐渐成为国家层面竞争力的体现。数据产品研发过程中需要用到各种类型、各种形式的模型和数据资源，而各行业沉淀的数据资源、算法模型都是相关领域具有核心价值的战略资产，但这些数据、模型都分散于不同单位、不同组织甚至不同部门中，外单位无法轻易获取。另一方面，由于数据资源以及模型算法容易拷贝的特点，使得保证独有数据资源在共享、流转和处理过程中不被泄露，成为了数据产品多方合作研发的另一痛点。
在多方协同合作开展数据产品研发过程中，目前无法保证数据资源的绝对安全，现阶段各方最担心的是交出数据资源之后怎样保证自己数据资源的安全。为了解决上述问题，一是需要一个安全、受控的运行环境；二是运行环境中的数据不可被以任何形式带走；三是运行后的结果应能体现出自己的数据资源的实际使用情况，包括调用次数、用量、占比等等。
综上所述，构建安全可控的支持多方数据资源交换和数据确权的协同开发与应用的生态环境，支撑多方协同开展数据产品开发与共享应用，是数据产品研发过程中亟需解决的问题。
发明内容
(一)要解决的技术问题
本发明要解决的技术问题是如何提供一种安全可控的数据协同开发环境构建方法，以解决构建安全可控的支持多方数据资源交换和数据确权的协同开发与应用的生态环境，支撑多方协同开展数据产品开发与共享应用的问题。
(二)技术方案
为了解决上述技术问题，本发明提出一种安全可控的数据协同开发环境构建方法，该方法包括五部分，第一部分是协同开发环境任务编排，第二部分是适合协同开发环境数据沙箱构建，第三部分是数据的使用与销毁，第四个部分协同开发环境行为审计，第五部分是协同开发环境资源贡献度评估；
协同开发环境任务编排：
协同开发环境任务编排由任务编排模块实现，任务编排模块基于云服务实现任务的快速编排和交付，驱动各类型数据服务、数据库服务和中间件服务的交互过程；任务编排模块由消息发布流程引擎、消息中间件和执行器组成，消息发布流程引擎发布的消息经由消息中间件进行缓存，之后由执行器完成指令下发、文件操作和函数服务；执行器包括：同步执行器和异步执行器；
适合协同开发环境数据沙箱构建：
适合协同开发环境数据沙箱构建由数据沙箱构建模块实现，数据沙箱构建模块通过面向多方、加密、受控的沙箱式应用平台环境构建技术，将应用任务中需要的具体资源动态加载并创建一个安全的、虚拟的云平台运行环境进行数据产品的集中开发利用，同时实现在沙箱环境下进行跨域协同应用开发；数据沙箱构建模块为用户提供指令下发、软件安装、运维流程、IT策略以及应用的自动化构建及运维；
数据的使用与销毁：
数据的使用与销毁由使用与销毁模块实现，使用与销毁模块实现多方协同开发环境中数据的使用与销毁，提供数据隔离与隐私保护、访问控制、数据共享、数据处理能力；设计自动化机制，确保在协作结束后及时销毁沙箱；实现自动清理功能，以删除在沙箱中生成的临时文件和数据；为用户提供备份和恢复机制；
在协同开发环境中使用、销毁与导出数据的过程中共包含了三种角色：数据提供者、协同开发环境和数据使用者，协同开发环境为数据提供者和数据使用者提供了数据资源目录服务，数据使用者通过数据资源目录服务进行资源检索，以获取数据提供者的资源；由数据提供者完成资源审批后将资源导入数据资源池供数据使用者使用；待各参与方所需资源都以完成导入后，协同开发环境会为数据使用方创建数据沙箱，数据使用方在数据沙箱中通过工具库中提供的分析挖掘工具、实验仿真工具、深度学习工具框架和算法模型库中提供的算法对数据资源池中的数据进行数据分析，得出数据分析结果；同时在协作结束后及时销毁数据沙箱从而避免数据残留；对相应的数据结果进行数据加密后，数据使用方提出结果导出申请，数据提供者进行结果导出审批通过后，数据使用方得到沙箱中导出的分析结果；
协同开发环境行为审计：
协同开发环境行为审计由行为审计模块实现，行为审计模块在沙箱中的多方协同数据使用环境中起着关键作用，用于跟踪和记录用户在沙箱中的操作和访问事件，以便监控活动、发现异常、进行调查和确保安全性；
协同开发环境资源贡献度评估：
协同开发环境资源贡献度评估由评估模块实现，协同开发环境中的资源贡献度可以衡量不同用户、团队或参与者在协同过程中所做的贡献；这种评估可以帮助了解谁在协作中起到了重要作用，以及如何公平地分配奖励或认可。
(三)有益效果
本发明提出一种安全可控的数据协同开发环境构建方法，本发明构建一种“开箱即用”的数据产品协同开发环境，支持数据产品由沙箱生产后，依据数据产品使用方的需要，将数据产品直接在服务器端进行在线运行调用，降低数据产品使用的“门槛”。在对数据资源严格保护的前提下，实现各类资源的快速获取和整合利用，又能保证各类资源的私密性与安全性。
本发明构建的数据产品协同开发环境，将业务***中需要的具体数据资源、算法模型动态加载到一个安全可控、虚拟的运行环境。通过可视化操作，按需加载模型以及权限内数据，确保沙箱内数据资源安全可控。
附图说明
图1为本发明的***架构图；
图2为同步执行器调用方式时序图；
图3为异步执行器调用方式时序图；
图4为用户服务构建流程图；
图5为协同开发环境使用、销毁与导出流程图。
具体实施方式
为使本发明的目的、内容和优点更加清楚，下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。
在多方协同合作开展数据产品研发过程中，目前无法保证数据资源的绝对安全，现阶段各方最担心的是交出数据资源之后怎样保证自己数据资源的安全。
本发明的安全可控的数据协同开发环境构建方法的工作流程如图1所示，主要分为五部分，第一部分是协同开发环境任务编排，第二部分是适合协同开发环境数据沙箱构建，第三部分是数据的使用与销毁，第四个部分协同开发环境行为审计，第五部分是协同开发环境资源贡献度评估；
协同开发环境从数据产品开发的全生命周期维度重新定义标准化的数据产品开发方式，破除数据产品开发的协同壁垒，定义一种“沙箱化、协同化”的数据产品开发方式。数据协同开发环境为数据、算法模型产品研发任务提供标准、安全可控、高效便捷的协同开发环境。通过云服务编排引擎以及多种云服务资源调度算法，按照任务需求方的指令进行协同开发环境的构建、使用以及销毁等操作，同时，通过日志记录相关操作，根据贡献评价模型，对数据产品进行确权。
协同开发环境任务编排：
协同开发环境任务编排由任务编排模块实现，任务编排模块基于云服务实现任务的快速编排和交付，驱动各类型数据服务、数据库服务和中间件服务的交互过程。任务编排模块基于消息队列服务实现任务的订阅分发和远程执行，远程执行器只需要实现标准交互协议即可简单接入，具备跨语言，跨架构，跨平台的特点。
任务编排模块由消息发布流程引擎、消息中间件和执行器组成。消息发布流程引擎发布的消息经由消息中间件进行缓存，之后由执行器完成指令下发、文件操作和函数服务等工作。
在协同开发环境任务编排过程中，提供同步执行器和异步执行器两种任务编排方式，保证关键资源的使用效率，减少由于数据传输带来的资源消耗以及不安全因素。
执行器分为两类，同步执行器执行同步任务，协同开发环境任务的创建、销毁、取消和回滚等流程都是通过同步任务进行触发，时序图如图2所示。
异步执行器用来执行耗时较久的远程、异步任务。只有当异步执行器发布执行完成回复时，才发布下一条任务消息，时序图如图3所示。
适合协同开发环境数据沙箱构建：
适合协同开发环境数据沙箱构建由数据沙箱构建模块实现，数据沙箱构建模块通过面向多方、加密、受控的沙箱式应用平台环境构建技术，将应用任务中需要的具体资源动态加载并创建一个安全的、虚拟的云平台运行环境进行数据产品的集中开发利用，同时实现在沙箱环境下进行跨域协同应用开发，有效解决多方资源安全加密协同应用的问题，保证各类资源的快速获取和整合利用。支持根据数据资源列表，自动化部署需要的工具软件、开发环境等，以及自动加载需要用到的模型、算法、资源等内容，形成算力与算料均满足数据资源任务要求的协同开发环境。
数据沙箱构建模块能够为用户提供诸如指令下发、软件安装、运维流程、IT策略以及应用的自动化构建及运维。如下图4所示，用户B可以将应用、服务、软件先做成模板，将步骤繁琐、脚本复杂的应用服务通过客户端同步到协同开发环境。用户A不需要每次部署应用都重复执行复杂的步骤，只要在界面轻松地选择方案，通过下载的方式就可以轻松快捷部署出定制好的应用、服务、软件，而且可以避免出错，可以无数次重复使用。
用户对每个应用程序的自动化部署声明包含不同的版本，每个版本可以对应多种部署的架构，每种架构对应一份部署方案。通过部署方案，声明应用部署行为中的资源操作，指令操作，文件操作，监控配置等行为，通过流程引擎进行自动化的驱动。
数据的使用与销毁：
数据的使用与销毁由使用与销毁模块实现，使用与销毁模块实现多方协同开发环境中数据的使用与销毁需要提供数据隔离与隐私保护、访问控制、数据共享、数据处理等多个方面能力。
数据隔离与隐私保护功能包括：将数据根据不同团队或用户的需要进行逻辑分区，确保数据的隔离；对敏感数据进行加密，确保即使在沙箱内部也不会暴露原始数据，在某些情况下，可以对数据进行脱敏处理，以便在沙箱内部使用，同时保护用户隐私。
访问控制功能包括：支持身份验证和授权，实施严格的身份验证和授权机制，确保只有经过授权的用户或团队可以访问特定的数据和功能；设置细粒度的访问控制策略，以便根据用户或角色的不同需要限制数据和功能的访问权限。
数据共享功能包括：用户可以完成数据共享与协作，提供安全的共享链接，允许特定用户或团队在沙箱环境中访问特定的数据集；使用版本控制***来跟踪数据的变更和历史，以便多方之间的协同工作更加有序。
数据处理功能包括：通过沙箱化运行时与数据处理管道进行数据处理，使用沙箱技术隔离数据处理任务，以防止恶意代码对数据进行损害或泄漏；设计数据处理管道，允许多方在沙箱中进行数据转换、分析和处理，同时确保数据不会离开沙箱环境。
数据使用完成后可以自动化清理和销毁，设计自动化机制，确保在协作结束后及时销毁沙箱，避免长时间的未使用状态；实现自动清理功能，以删除在沙箱中生成的临时文件和数据，从而避免数据残留问题。为用户提供备份和恢复机制，通过实现备份和恢复机制，以防止意外数据丢失，同时确保沙箱环境的稳定性。
数据使用与销毁的具体的过程如图5，在协同开发环境中使用、销毁与导出数据的过程中共包含了三种角色：数据提供者、协同开发环境和数据使用者。协同开发环境为数据提供者和数据使用者提供了数据资源目录服务，数据使用者可以通过数据资源目录服务进行资源检索，以获取数据提供者的资源；由数据提供者完成资源审批后将资源导入数据资源池供数据使用者使用。待各参与方所需资源都以完成导入后，协同开发环境会为数据使用方创建数据沙箱，数据使用方可以在数据沙箱中通过工具库中提供的分析挖掘工具、实验仿真工具、深度学习工具框架和算法模型库中提供的算法对数据资源池中的数据进行数据分析，得出数据分析结果。同时在协作结束后及时销毁数据沙箱从而避免数据残留。对相应的数据结果进行数据加密后，数据使用方可以提出结果导出申请，数据提供者进行结果导出审批通过后，数据使用方就可以得到沙箱中导出的分析结果。
协同开发环境行为审计：
协同开发环境行为审计由行为审计模块实现，行为审计模块在沙箱中的多方协同数据使用环境中起着关键作用，它能够跟踪和记录用户在沙箱中的操作和访问事件，以便监控活动、发现异常、进行调查和确保安全性。行为审计在沙箱环境中的多方协同数据使用中是不可或缺的一部分，它不仅有助于确保安全性，还可以提供对环境活动的洞察，从而及时应对潜在的风险和威胁。
行为审计模块为用户提供日志记录，启用详细的日志记录机制，跟踪沙箱中的各项活动，包括用户登录、操作执行、数据访问等；记录每个操作的时间戳、执行者、操作类型、目标对象等信息，以便后续审计和分析。
行为审计模块为用户提供操作审计，记录用户执行的各种操作，如文件上传、下载、数据处理、代码运行等；记录操作的输入参数、输出结果和执行状态，以便在需要时进行重现和分析。
行为审计模块支持用户访问审计，记录用户对数据和资源的访问，包括读取和写入操作；记录访问的时间、资源路径、访问类型等信息，以便跟踪数据流动。
行为审计模块支持权限变更审计，记录对权限和访问控制的变更操作，如用户角色变更、访问权限修改等；记录变更前后的状态以及执行者信息，以便进行权限管理的审计和追溯。
行为审计模块提供异常和警报，实现实时监控机制，检测异常操作和不寻常的访问模式；设置警报机制，当检测到异常情况时，及时通知管理员或安全团队。
行为审计模块提供审计日志存储，将审计日志存储在安全的位置，以防止未经授权的访问或篡改；考虑使用安全的存储解决方案，如加密存储或访问控制严格的存储***。
行为审计模块支持长期保存和归档，将审计日志进行长期保存和归档，以便进行后续调查、法律合规性证明或安全事故分析。
行为审计模块提供审计分析和报告，定期分析审计日志，检查用户行为、趋势和异常模式；生成定期的审计报告，汇总重要的安全事件和活动，供管理层审查。
行为审计模块可以满足合规性和法规要求，根据适用的合规性和法规要求，确保审计机制满足规定的标准，并能够提供必要的审计证据。
行为审计模块支持审计策略更新，定期审查和更新审计策略，以适应环境的变化、安全威胁的演变和新的合规性要求。
协同开发环境资源贡献度评估：
协同开发环境资源贡献度评估由评估模块实现，协同开发环境中的资源贡献度可以衡量不同用户、团队或参与者在协同过程中所做的贡献。这种评估可以帮助了解谁在协作中起到了重要作用，以及如何公平地分配奖励或认可。
用户可以进行任务分配和追踪，在协同开发环境中，明确每个任务的责任人，确保每个人都知道自己应该完成的任务；使用任务跟踪工具或项目管理工具，记录任务的分配、进展和完成情况。
通过行为审计进行行为分析，监控用户在协同环境中的行为，如提交代码、处理数据、参与讨论等；分析每个用户的活动频率、深度和质量，以了解他们在项目中的实际参与程度。
设计贡献度指标，将不同类型的贡献转化为可量化的指标，如代码提交数量、评论数量、问题解决数量等；为每个指标分配权重，以反映其对项目成功的影响程度。
用户可以进行协同评价，启用用户评价***，让团队成员对其他成员的贡献进行评价；提供定期的匿名或实名评价，用于获取协作方对贡献度的看法。
本发明构建一种“开箱即用”的数据产品协同开发环境，支持数据产品由沙箱生产后，依据数据产品使用方的需要，将数据产品直接在服务器端进行在线运行调用，降低数据产品使用的“门槛”。在对数据资源严格保护的前提下，实现各类资源的快速获取和整合利用，又能保证各类资源的私密性与安全性。
本发明构建的数据产品协同开发环境，将业务***中需要的具体数据资源、算法模型动态加载到一个安全可控、虚拟的运行环境。通过可视化操作，按需加载模型以及权限内数据，确保沙箱内数据资源安全可控。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。
Claims (10)
1.一种安全可控的数据协同开发环境构建方法，其特征在于，该方法包括五部分，第一部分是协同开发环境任务编排，第二部分是适合协同开发环境数据沙箱构建，第三部分是数据的使用与销毁，第四个部分协同开发环境行为审计，第五部分是协同开发环境资源贡献度评估；
协同开发环境任务编排：
协同开发环境任务编排由任务编排模块实现，任务编排模块基于云服务实现任务的快速编排和交付，驱动各类型数据服务、数据库服务和中间件服务的交互过程；任务编排模块由消息发布流程引擎、消息中间件和执行器组成，消息发布流程引擎发布的消息经由消息中间件进行缓存，之后由执行器完成指令下发、文件操作和函数服务；执行器包括：同步执行器和异步执行器；
适合协同开发环境数据沙箱构建：
适合协同开发环境数据沙箱构建由数据沙箱构建模块实现，数据沙箱构建模块通过面向多方、加密、受控的沙箱式应用平台环境构建技术，将应用任务中需要的具体资源动态加载并创建一个安全的、虚拟的云平台运行环境进行数据产品的集中开发利用，同时实现在沙箱环境下进行跨域协同应用开发；数据沙箱构建模块为用户提供指令下发、软件安装、运维流程、IT策略以及应用的自动化构建及运维；
数据的使用与销毁：
数据的使用与销毁由使用与销毁模块实现，使用与销毁模块实现多方协同开发环境中数据的使用与销毁，提供数据隔离与隐私保护、访问控制、数据共享、数据处理能力；设计自动化机制，确保在协作结束后及时销毁沙箱；实现自动清理功能，以删除在沙箱中生成的临时文件和数据；为用户提供备份和恢复机制；
在协同开发环境中使用、销毁与导出数据的过程中共包含了三种角色：数据提供者、协同开发环境和数据使用者，协同开发环境为数据提供者和数据使用者提供了数据资源目录服务，数据使用者通过数据资源目录服务进行资源检索，以获取数据提供者的资源；由数据提供者完成资源审批后将资源导入数据资源池供数据使用者使用；待各参与方所需资源都以完成导入后，协同开发环境会为数据使用方创建数据沙箱，数据使用方在数据沙箱中通过工具库中提供的分析挖掘工具、实验仿真工具、深度学习工具框架和算法模型库中提供的算法对数据资源池中的数据进行数据分析，得出数据分析结果；同时在协作结束后及时销毁数据沙箱从而避免数据残留；对相应的数据结果进行数据加密后，数据使用方提出结果导出申请，数据提供者进行结果导出审批通过后，数据使用方得到沙箱中导出的分析结果；
协同开发环境行为审计：
协同开发环境行为审计由行为审计模块实现，行为审计模块在沙箱中的多方协同数据使用环境中起着关键作用，用于跟踪和记录用户在沙箱中的操作和访问事件，以便监控活动、发现异常、进行调查和确保安全性；
协同开发环境资源贡献度评估：
协同开发环境资源贡献度评估由评估模块实现，协同开发环境中的资源贡献度用于衡量不同用户、团队或参与者在协同过程中所做的贡献；这种评估帮助了解谁在协作中起到了重要作用，以及如何公平地分配奖励或认可。
2.如权利要求1所述的安全可控的数据协同开发环境构建方法，其特征在于，同步执行器执行同步任务，协同开发环境任务的创建、销毁、取消和回滚流程都是通过同步任务进行触发。
3.如权利要求1所述的安全可控的数据协同开发环境构建方法，其特征在于，异步执行器用来执行耗时较久的远程、异步任务，只有当异步执行器发布执行完成回复时，才发布下一条任务消息。
4.如权利要求1所述的安全可控的数据协同开发环境构建方法，其特征在于，用户B将应用、服务、软件先做成模板，将步骤繁琐、脚本复杂的应用服务通过客户端同步到协同开发环境，用户A不需要每次部署应用都重复执行复杂的步骤，只要在界面轻松地选择方案，通过下载的方式就轻松快捷部署出定制好的应用、服务、软件。
5.如权利要求4所述的安全可控的数据协同开发环境构建方法，其特征在于，用户对每个应用程序的自动化部署声明包含不同的版本，每个版本对应多种部署的架构，每种架构对应一份部署方案，通过部署方案，声明应用部署行为中的资源操作、指令操作、文件操作、监控配置行为，通过流程引擎进行自动化的驱动。
6.如权利要求1所述的安全可控的数据协同开发环境构建方法，其特征在于，数据隔离与隐私保护功能包括：将数据根据不同团队或用户的需要进行逻辑分区，确保数据的隔离；对敏感数据进行加密，确保即使在沙箱内部也不会暴露原始数据，对数据进行脱敏处理，以便在沙箱内部使用，同时保护用户隐私；访问控制功能包括：支持身份验证和授权，实施严格的身份验证和授权机制，确保只有经过授权的用户或团队能访问特定的数据和功能；设置细粒度的访问控制策略，以便根据用户或角色的不同需要限制数据和功能的访问权限。
7.如权利要求6所述的安全可控的数据协同开发环境构建方法，其特征在于，数据共享功能包括：用户完成数据共享与协作，提供安全的共享链接，允许特定用户或团队在沙箱环境中访问特定的数据集；使用版本控制***来跟踪数据的变更和历史；数据处理功能包括：通过沙箱化运行时与数据处理管道进行数据处理，使用沙箱技术隔离数据处理任务，以防止恶意代码对数据进行损害或泄漏，设计数据处理管道，允许多方在沙箱中进行数据转换、分析和处理，同时确保数据不会离开沙箱环境。
8.如权利要求1所述的安全可控的数据协同开发环境构建方法，其特征在于，行为审计模块为用户提供操作审计，记录用户执行的各种操作，包括：文件上传、下载、数据处理、代码运行；记录操作的输入参数、输出结果和执行状态，以便在需要时进行重现和分析；行为审计模块支持用户访问审计，记录用户对数据和资源的访问，包括读取和写入操作，记录访问的时间、资源路径、访问类型信息，以便跟踪数据流动；行为审计模块支持权限变更审计，记录对权限和访问控制的变更操作，包括：用户角色变更、访问权限修改；记录变更前后的状态以及执行者信息，以便进行权限管理的审计和追溯。
9.如权利要求8所述的安全可控的数据协同开发环境构建方法，其特征在于，行为审计模块提供异常和警报，实现实时监控机制，检测异常操作和不寻常的访问模式,设置警报机制，当检测到异常情况时，及时通知管理员或安全团队；行为审计模块提供审计日志存储，将审计日志存储在安全的位置，以防止未经授权的访问或篡改；行为审计模块支持长期保存和归档，将审计日志进行长期保存和归档，以便进行后续调查、法律合规性证明或安全事故分析；行为审计模块提供审计分析和报告，定期分析审计日志，检查用户行为、趋势和异常模式；生成定期的审计报告，汇总重要的安全事件和活动，供管理层审查；行为审计模块满足合规性和法规要求，根据适用的合规性和法规要求，确保审计机制满足规定的标准，并能够提供必要的审计证据；行为审计模块支持审计策略更新，定期审查和更新审计策略，以适应环境的变化、安全威胁的演变和新的合规性要求。
10.如权利要求1所述的安全可控的数据协同开发环境构建方法，其特征在于，通过评估模块，用户进行任务分配和追踪，在协同开发环境中，明确每个任务的责任人，确保每个人都知道自己应该完成的任务，使用任务跟踪工具或项目管理工具，记录任务的分配、进展和完成情况；通过行为审计进行行为分析，监控用户在协同环境中的行为，包括：提交代码、处理数据和参与讨论，分析每个用户的活动频率、深度和质量，以了解他们在项目中的实际参与程度；设计贡献度指标，将不同类型的贡献转化为可量化的指标，包括：代码提交数量、评论数量和问题解决数量，为每个指标分配权重，以反映其对项目成功的影响程度；用户进行协同评价，启用用户评价***，让团队成员对其他成员的贡献进行评价，提供定期的匿名或实名评价，用于获取协作方对贡献度的看法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311185870.6A CN117313078A (zh) | 2023-09-14 | 2023-09-14 | 一种安全可控的数据协同开发环境构建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311185870.6A CN117313078A (zh) | 2023-09-14 | 2023-09-14 | 一种安全可控的数据协同开发环境构建方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117313078A true CN117313078A (zh) | 2023-12-29 |
Family
ID=89284034
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311185870.6A Pending CN117313078A (zh) | 2023-09-14 | 2023-09-14 | 一种安全可控的数据协同开发环境构建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117313078A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117640432A (zh) * | 2024-01-26 | 2024-03-01 | 中广核风电有限公司 | 分布式数据中心运维监控方法 |
-
2023
- 2023-09-14 CN CN202311185870.6A patent/CN117313078A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117640432A (zh) * | 2024-01-26 | 2024-03-01 | 中广核风电有限公司 | 分布式数据中心运维监控方法 |
| CN117640432B (zh) * | 2024-01-26 | 2024-04-12 | 中广核风电有限公司 | 分布式数据中心运维监控方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN117313078A (zh) | 一种安全可控的数据协同开发环境构建方法 | |
| Baca et al. | Countermeasure graphs for software security risk assessment: An action research | |
| Neisse et al. | Model-based specification and refinement of usage control policies | |
| Singi et al. | CAG: compliance adherence and governance in software delivery using blockchain | |
| Desai et al. | Best practices for ensuring security in devops: A case study approach | |
| Zeng | A methodology for cost‐benefit analysis of information security technologies | |
| US20230334160A1 (en) | Systems and methods for software security analysis | |
| Mashaly et al. | Privacy by Design: A Microservices-Based Software Architecture Approach | |
| Fernandez et al. | Using participatory technical-action-research to validate a software sustainability model | |
| Jiles | GOVERN YOUR BOTS! | |
| US11748458B2 (en) | Systems and methods for a governance engine | |
| AlHogail et al. | Enhancing it security in organizations through knowledge management | |
| Al-Ali et al. | Use cases in dataflow-based privacy and trust modeling and analysis in industry 4.0 systems | |
| Sodanil et al. | A knowledge transfer framework for secure coding practices | |
| Arthur et al. | On the challenges of deploying privacy-preserving synthetic data in the enterprise | |
| Bagozi et al. | Exploiting blockchain and smart contracts for data exploration as a service | |
| Dorn et al. | Analyzing design tradeoffs in large-scale socio-technical systems through simulation of dynamic collaboration patterns | |
| Brunner et al. | Enabling change-driven workflows in continuous information security management | |
| Allen et al. | Challenges Cybersecurity Architects Are Facing In A Cloud Computing Environment | |
| Olsina et al. | Supplementary Results of a Comparative Syntactic and Semantic Study of Terms for Software Testing Glossaries | |
| Sarferaz | Legal Auditing | |
| Go | Analysing the information technology and security risks of Epic: the difference in the risk perception of Epic between the literature and practice | |
| Memon et al. | Techniques and Trends Towards Various Dimensions of Robust Security Testing in Global Software Engineering | |
| Hakim et al. | Using the information security index to measure university information security management: concepts and strategies | |
| Bull et al. | Group Assignment 4.1: Creating the Logical Architecture |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |