CN114363079A - 一种云平台的分布式智能数据监管*** - Google Patents

一种云平台的分布式智能数据监管*** Download PDF

Info

Publication number
CN114363079A
CN114363079A CN202210026033.8A CN202210026033A CN114363079A CN 114363079 A CN114363079 A CN 114363079A CN 202210026033 A CN202210026033 A CN 202210026033A CN 114363079 A CN114363079 A CN 114363079A
Authority
CN
China
Prior art keywords
layer
supervision
cloud
monitoring
platform
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210026033.8A
Other languages
English (en)
Inventor
邢佳
于振华
李鹏
马康
曹文东
王蕊
赵田军
武东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beiyin Financial Technology Co ltd
Original Assignee
Beiyin Financial Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beiyin Financial Technology Co ltd filed Critical Beiyin Financial Technology Co ltd
Priority to CN202210026033.8A priority Critical patent/CN114363079A/zh
Publication of CN114363079A publication Critical patent/CN114363079A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Storage Device Security (AREA)

Abstract

本发明提供的一种云平台的分布式智能数据监管***,监管***包括:物理层、操作***层、安全检测和加固层、安全控制层、云原生层和租户端云管平台层;所述物理层为分布式物力资源;所述操作***层与所述物理层连接,用于管理物理的计算机资源;所述安全检测和加固层,用于对资产管理进行安全扫描;所述安全控制层与所述安全检测和加固层连接;所述云原生层与所述安全控制层连接;所述租户端云管平台层用于为多租户提供独立的资源访问平台。基于内生分层的资源监管模式,采集各层监控数据,自学习分析数据异常特征从而丰富相应的监管知识库。

Description

一种云平台的分布式智能数据监管***
技术领域
本发明涉及数据监管领域,尤其涉及一种云平台的分布式智能数据监管***。
背景技术
金融行业的业务***处理着大量的个人和企业隐私数据,自2008年全球金融危机以来,随着新规章制度的不断发布,金融机构正努力跟上***的监管要求,也因此面临着巨大压力。另一方面,以弹性伸缩、统一编排、平台化的云计算技术在金融行业的快速落地,也使得旧有基于传统IT架构的技术监管手段显得力不从心。云平台在实现科技创新的同时,主要压力来自于监管合规性的高度复杂性要求以及监管机构设定的严格时间限制,需要同时具备事前、事中、事后的全面审计能力。因此,如何在一个多租户的金融级云计算平台中,支撑业务敏捷交付、资源弹性供给的科技业务发展同时,实现租户间数据流量的隔离和敏感涉密信息的全面防护与审计过程中,就显得尤其重要和迫在眉睫。
现有技术方案都是从业务层添加验证规则来监控或者修复安全问题。这些方案业务侵入性很强,需要改动现有代码才能实现。或者通过网络层植入流量旁路镜像,进行网络报文分析,但其无法适应弹性基础设施,尤其在以容器基础为主的PaaS云平台上,信息点永远是动态变化的。
发明内容
鉴于上述问题,提出了本发明以便提供克服上述问题或者至少部分地解决上述问题的一种云平台的分布式智能数据监管***。
根据本发明的一个方面,提供了一种云平台的分布式智能数据监管***,所述监管***包括:物理层、操作***层、安全检测和加固层、安全控制层、云原生层和租户端云管平台层;
所述物理层为分布式物力资源;
所述操作***层与所述物理层连接,用于管理物理的计算机资源;
所述安全检测和加固层,用于对资产管理进行安全扫描,实现一致性安全基线加固;
所述安全控制层与所述安全检测和加固层连接,用于根据检测时间采取安全控制措施;
所述云原生层与所述安全控制层连接,用于在集群安全层面,检查集群的配置安全性和潜在的漏洞风险;
所述租户端云管平台层用于为多租户提供独立的资源访问平台。
可选的,所述监管***还包括:监管引擎模块,用于监管规则的维护、更新、定位,并进行特征数据的分析、学习。
可选的,所述监管引擎模块具体包括:事前监管单元、事中监管单元和事后监管单元;
所述事前监管单元用于规则的维护、下发执行;
所述事中监管单元用于监管请求、特征比对和学习引擎;
所述事后监管单元用于告警通知并进行联动防御控制。
可选的,所述事后监管单元具体包括:启动时子单元、启动后子单元和监管子单元;
所述监管子单元分别与所述启动时子单元和所述启动后子单元连接,用于全程监管事件记录审计数据库,用作告警或后期监管分析;
所述启动时子单元用于云平台将业务启动命令行交给本地缓存的监管规则处理;
所述启动后子单元用于将本地监管代理程序实时监管业务运行进程。
可选的,所述事中监管单元具体包括:流量控制子单元、流量镜像子单元和启动控制子单元;
业务镜像构建完成后,在云平台节点拉取并启动运行前,基于节点缓存的镜像进行监管扫描;
业务应用应用启动时,如果发现镜像被篡改的应用程序,云平台拒绝启动应用服务实例;
流量通过旁路采集,监管平台根据监管需要,设定如果发现业务监管数据泄漏是否发出告警直至阻断流量的预定动作。
本发明提供的一种云平台的分布式智能数据监管***,所述监管***包括:物理层、操作***层、安全检测和加固层、安全控制层、云原生层和租户端云管平台层;所述物理层为分布式物力资源;所述操作***层与所述物理层连接,用于管理物理的计算机资源;所述安全检测和加固层,用于对资产管理进行安全扫描,实现一致性安全基线加固;所述安全控制层与所述安全检测和加固层连接,用于根据检测时间采取安全控制措施;所述云原生层与所述安全控制层连接,用于在集群安全层面,检查集群的配置安全性和潜在的漏洞风险;所述租户端云管平台层用于为多租户提供独立的资源访问平台。基于内生分层的资源监管模式,采集各层监控数据,自学习分析数据异常特征从而丰富相应的监管知识库。
上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图。
图1为本发明实施例提供的一种云平台的分布式智能数据监管***的组成框图;
图2为本发明实施例提供的容器云平台的工作原理图;
图3为本发明实施例提供的是事中业务进展流程图;
图4为本发明实施例提供的事后业务进展流程图;
图5为本发明实施例提供的监控引擎的工作原理示意图;
图6为本发明实施例资源监控模式图;
图7为本发明实施例提供的采用的AI分析模型,对经验数据进行模式识别和学习,理解的流程图;
图8为本发明实施例提供的分析模型的建模方法流程图;
图9为本发明实施例提供的采用按监督学习方式对数据进行二元分类的广义线性分类器-支持向量机模型的训练方法流程图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
本发明的说明书实施例和权利要求书及附图中的术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元。
下面结合附图和实施例,对本发明的技术方案做进一步的详细描述。
本发明从容器化部署、微服务应用模式、研发运营一体化等云原生特有的技术架构和应用模式出发,设计实现了一种分布式监控管理***,通过实现金融敏感业务***的事前、事中、事后监管能力,结合对云平台多租户场景,并利用AI机器学***台计算机资源的分布式部署和资源弹性伸缩,动态智能化编排运维优势的基础上,并对现有应用程序没有代码侵入的情况下,提高云平台的综合安全防范能力。本发明适用于容器云领域。
如图1所示,分布式监控管理***框架:
本发明涉及一种基于容器云平台的分布式监控管理***,包括:
物理层:分布式物理资源,例如,服务器,网络,防火墙,存储等;
操作***层:用于管理物理的计算机硬件与软件资源。如管理与配置内存、决定***资源供需的优先次序、控制输入设备与输出设备、操作网络与管理文件***等基本事务。
安全检测和加固层:基于对容器,进程,工作负载,中间件等资产管理进行安全扫描,实现一致性安全基线加固,例如,基于角色的权限控制,身份识别和访问管理;针对镜像中配置文件可能存在敏感信息泄露等进行检测。
安全控制层:根据检测时间,采取安全控制措施,例如,告警提醒,阻断网络,控制镜像下载和运行,清理文件句柄,控制或者杀死运行进程。
云原生层:覆盖Build、Ship、Run的全生命周期,实现应用***的DevSecOps安全实践落地,实现业务上线即安全。从容器的构建、分发、运行角度出发,在各个阶段检测镜像中是否存在应用漏洞、是否使用基础镜像、是否是受信任镜像、是否存在恶意文件、敏感信息等。在集群安全层面,检查集群的配置安全性和潜在的漏洞风险。
租户端云管平台层:为多租户提供独立的资源访问平台,其中包括Web UI界面查看平台资源,工作负载,日志监控信息等,还包括命令行,API,SDK***对接资源控制和管理。
监控引擎贯穿以上6层实现各层的日志审计,时间监控,事件溯源,敏感信息监控,报文扫描,监控规则自学习和下发,监控分析和可视化。
如图2所示,基于安全平台的事前,事中,事后的安全事件监管和处理能力。容器云平台的核心功能是解决云上应用实例的启动、网络、进程、文件等特征数据的获取,并有能力进行实例控制,体现在:
事前:构建流水线、代码扫描、制品扫描。
应用构建过程,利用云平台提供CICD流水线:
在代码获取构建的过程中,基于监管引擎的规则将代码进行安全性扫描;
在代码构建产出物与基础镜像合并时,对引用的基础镜像进行监管验证,如有缺陷,停止业务镜像的构建。
如图3所示,事中:流量控制、流量镜像、启动控制。
业务镜像构建完成后,在云平台节点拉取并启动运行前,再次基于节点缓存的镜像进行监管扫描,以防止传输过程中,镜像被篡改。
业务应用启动时,若果发现镜像被篡改或含有不符合监管要求的应用程序,则云平台拒绝启动该应用服务实例。
在云平台环境中,多台主机的资源被池话,通过网络流量隧道加密封装控制技术,使得不同应用的流量互相***漏,并可以通过流量复制技术,将业务流量按应用进行加密复制给监管引擎代理程序进行旁路分析。
流量通过旁路采集,不影响业务通讯效率,监管平台可以根据监管需要,设定如果发现业务监管数据泄漏是否发出告警直至阻断流量的预定动作。
如图4所示,事后:进程检查、文件句柄跟踪;
启动时,云平台将业务启动命令行交给本地缓存的监管规则处理,不符合即停止;
启动后,本地监管代理程序实时监管业务运行进程,除监管平台主动推送规则更新外,也定时主动从监管引擎同步规则,比对实际进程清单;
全程监管事件记录审计数据库,用作告警或后期监管分析。
如图5所示,监管引擎主要解决监管规则的维护、更新、定位,有能力进行特征数据的分析、学习,有高性能的实时处理能力,体现在:
事前:规则维护、下发执行;事中:监管请求、特征比对、学习引擎;事后:告警通知、联动防御控制。
事件处理流程及描述如下:
在云平台多租户业务***间建立多个网络隔离域,并能够通过标记方式识别动态迁移的服务实例属于哪个租户业务***,实时更新隔离规则。隔离边界包括租户间和同租户的不同应用实例间;
在云平台节点上运行监管引擎的服务代理程序,并通过云平台本身的机制保证其生命周期。该服务程序能够对租户业务流量进行原始获取,对业务启动作业流程进行准入控制,对业务中运行的服务集成具备审计识别能力;
监管服务代理程序能够与云平台联动,基于云平台对租户、业务运行实例的生命周期管理事件,自动进行检测点的发现和追踪;
监管服务代理程序对于业务流量不做分析处理,因为含有隐私保护数据,故获取的原始数据通过加密管道,实时传输给专门的监管引擎平台;
监管引擎平台可以控制监管服务代理程序,根据监管规则作出任务下达,完成在包括但不限于启动控制、流量带宽、服务进程等控制点上执行监管预定控制动作。
资源监管模式
本发明提出了基于内生分层的资源监管模式,分层是指在主机层,云原生层,应用层三层自底向上对CPU,内存和网络进行逐层监控分析。内生是指在容器云架构体系内,也就是以容器云为核心,对下对接主机资源监管,即主机操作***,主机硬件资源的虚拟化;对上对接容器架构打包运行的程序的资源监管,即基于容器的运行程序对主机资源的控制权,容器之间传输的数据信息。解决传统的容器云架构中控制权滥用,容器逃逸,敏感信息保护不足的问题。并建立三层之间自底向上的资源映射关系和关联关系。
如图6所示,资源监控模式,
从主机层,或者操作***层面的CPU,内存,网络资源全维度资源监控,从进程层面做到细化监控。
在云原生层,涵盖云原生化资源监控,在资源监控上,要实现CPU、内存等在容器、Pod、Service、Tenant不同层的识别和映射关系;在进程监控上,要能够精准识别到容器,甚至细粒度到进程的***调用、内核功能调用;在网络监控上,除了主机物理网络之外,还要包括Pod之间的虚拟化网络,甚至是应用之间的Mesh网络流量的资源监控。
从应用层来看,微服务架构下的应用,使得应用资源监控变的异常复杂,监控既包括应用本身的平均延时、应用间的API调用链、API调用参数;还包括应用所承载的业务信息,例如业务调用逻辑、参数、个人敏感信息、租户对数据的访问控制。
智能安全监控引擎,基于资源监管模型,利用AI技术对多租户场景的安全事件进行自学习。
***监管通常分为基于特征的扫描和监管、基于异常的监管和基于混合的监管。基于特征的监管旨在利用已知攻击的特征来检测已知攻击。它是检测现有规则库的已知攻击的有效方法。然而,新类型的攻击无法检测到,因为它的特征没有呈现;为了克服这个问题,基于异常特征的检测将当前***监控与预定义的配置文件进行比较,用于检测可能是安全漏洞的异常行为。基于异常特征的检测可有效抵御未知攻击或零日攻击,而无需对***进行任何更新。
如图7所示,本发明采用的AI分析模型,对经验数据进行模式识别和学习,理解。
如图8所示,分析模型的建模过程采用传统机器学习方法论的流程,从数据收集,到数据清洗,特征工程到数据建模的全生命周期管理。
如图9所示,采用按监督学习方式对数据进行二元分类的广义线性分类器-支持向量机,模型的训练步骤如下:
总监控***或者日志审计***中加载数据集并将其导入模型分布式数据集或数据帧中。数据预处理,数据清洗,数据标准化。
特征选择,利用主成分分析法,卡房选择器进行数据特征选择;利用训练数据集对SVM分类模型进行训练;使用测试数据集测试和评估模型。
本发明基于内生分层的资源监管模式,采集各层监控数据,自学习分析数据异常特征从而丰富相应的监管知识库。
有益效果:分布式监控管理***;基于安全平台的事前,事中,事后的安全事件监管和处理能力;一种云原生安全防护模式,***无代码侵入,智能安全监控引擎,利用AI技术对多租户场景的安全事件进行自学习。
以上的具体实施方式,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上仅为本发明的具体实施方式而已,并不用于限定本发明的保护范围,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (5)

1.一种云平台的分布式智能数据监管***,其特征在于,所述监管***包括:物理层、操作***层、安全检测和加固层、安全控制层、云原生层和租户端云管平台层;
所述物理层为分布式物力资源;
所述操作***层与所述物理层连接,用于管理物理的计算机资源;
所述安全检测和加固层,用于对资产管理进行安全扫描,实现一致性安全基线加固;
所述安全控制层与所述安全检测和加固层连接,用于根据检测时间采取安全控制措施;
所述云原生层与所述安全控制层连接,用于在集群安全层面,检查集群的配置安全性和潜在的漏洞风险;
所述租户端云管平台层用于为多租户提供独立的资源访问平台。
2.根据权利要求1所述的一种云平台的分布式智能数据监管***,其特征在于,所述监管***还包括:监管引擎模块,用于监管规则的维护、更新、定位,并进行特征数据的分析、学习。
3.根据权利要求2所述的一种云平台的分布式智能数据监管***,其特征在于,所述监管引擎模块具体包括:事前监管单元、事中监管单元和事后监管单元;
所述事前监管单元用于规则的维护、下发执行;
所述事中监管单元用于监管请求、特征比对和学习引擎;
所述事后监管单元用于告警通知并进行联动防御控制。
4.根据权利要求3所述的一种云平台的分布式智能数据监管***,其特征在于,所述事后监管单元具体包括:启动时子单元、启动后子单元和监管子单元;
所述监管子单元分别与所述启动时子单元和所述启动后子单元连接,用于全程监管事件记录审计数据库,用作告警或后期监管分析;
所述启动时子单元用于云平台将业务启动命令行交给本地缓存的监管规则处理;
所述启动后子单元用于将本地监管代理程序实时监管业务运行进程。
5.根据权利要求3所述的一种云平台的分布式智能数据监管***,其特征在于,所述事中监管单元具体包括:流量控制子单元、流量镜像子单元和启动控制子单元;
业务镜像构建完成后,在云平台节点拉取并启动运行前,基于节点缓存的镜像进行监管扫描;
业务应用应用启动时,如果发现镜像被篡改的应用程序,云平台拒绝启动应用服务实例;
流量通过旁路采集,监管平台根据监管需要,设定如果发现业务监管数据泄漏是否发出告警直至阻断流量的预定动作。
CN202210026033.8A 2022-01-11 2022-01-11 一种云平台的分布式智能数据监管*** Pending CN114363079A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210026033.8A CN114363079A (zh) 2022-01-11 2022-01-11 一种云平台的分布式智能数据监管***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210026033.8A CN114363079A (zh) 2022-01-11 2022-01-11 一种云平台的分布式智能数据监管***

Publications (1)

Publication Number Publication Date
CN114363079A true CN114363079A (zh) 2022-04-15

Family

ID=81110025

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210026033.8A Pending CN114363079A (zh) 2022-01-11 2022-01-11 一种云平台的分布式智能数据监管***

Country Status (1)

Country Link
CN (1) CN114363079A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115794538A (zh) * 2022-09-07 2023-03-14 上海道客网络科技有限公司 一种云原生场景下有状态应用的全链路监控方法和***

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107070889A (zh) * 2017-03-10 2017-08-18 中国电建集团成都勘测设计研究院有限公司 一种基于云平台的统一安全防御***
CN108737425A (zh) * 2018-05-24 2018-11-02 北京凌云信安科技有限公司 基于多引擎漏洞扫描关联分析的脆弱性管理***
CN112579288A (zh) * 2020-12-18 2021-03-30 曙光星云信息技术(北京)有限公司 一种基于云计算智能安全用数据管理***

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107070889A (zh) * 2017-03-10 2017-08-18 中国电建集团成都勘测设计研究院有限公司 一种基于云平台的统一安全防御***
CN108737425A (zh) * 2018-05-24 2018-11-02 北京凌云信安科技有限公司 基于多引擎漏洞扫描关联分析的脆弱性管理***
CN112579288A (zh) * 2020-12-18 2021-03-30 曙光星云信息技术(北京)有限公司 一种基于云计算智能安全用数据管理***

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
CNCF: "云原生应用安全落地,你需要了解的容器安全体系", 《URL:HTTPS://CLOUD.TENCENT.COM/DEVELOPER/ARTICLE/1868138》, pages 1 - 4 *
国家保密科技测评中心: "云原生中的容器安全防护和实践", 《URL:HTTP://WWW.GJBMJ.GOV.CN/N1/2021/1104/C411145-32273826.HTML》 *
安全狗: "云原生安全攻防技术浅析", 《HTTPS://ZHUANLAN.ZHIHU.COM/P/371890519》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115794538A (zh) * 2022-09-07 2023-03-14 上海道客网络科技有限公司 一种云原生场景下有状态应用的全链路监控方法和***
CN115794538B (zh) * 2022-09-07 2023-08-04 上海道客网络科技有限公司 一种云原生场景下有状态应用的全链路监控方法和***

Similar Documents

Publication Publication Date Title
Mesbahi et al. Reliability and high availability in cloud computing environments: a reference roadmap
CN112102111B (zh) 一种发电厂数据智能处理***
US11063983B2 (en) Componentized security policy generation
US10339309B1 (en) System for identifying anomalies in an information system
US9129108B2 (en) Systems, methods and computer programs providing impact mitigation of cyber-security failures
US11750642B1 (en) Automated threat modeling using machine-readable threat models
CN112766672A (zh) 一种基于全面评估的网络安全保障方法及***
US20220038477A1 (en) Malchain detection
US20220407889A1 (en) Provenance based identification of policy deviations in cloud computing environments
CN112579288A (zh) 一种基于云计算智能安全用数据管理***
US11392821B2 (en) Detecting behavior patterns utilizing machine learning model trained with multi-modal time series analysis of diagnostic data
CN113132318A (zh) 面向配电自动化***主站信息安全的主动防御方法及***
JP2023550974A (ja) イメージ基盤悪性コード検知方法および装置とこれを利用する人工知能基盤エンドポイント脅威検知および対応システム
CN114363079A (zh) 一种云平台的分布式智能数据监管***
Karunamurthy et al. Cloud Database: Empowering Scalable and Flexible Data Management
Rieke et al. Monitoring security compliance of critical processes
US20230396635A1 (en) Adaptive system for network and security management
Rajawat et al. Analysis assaulting pattern for the security problem monitoring in 5G‐enabled sensor network systems with big data environment using artificial intelligence/machine learning
US11709723B2 (en) Cloud service framework
Kundu et al. Collaborative and accountable hardware governance using blockchain
Rios et al. SLA-based continuous security assurance in multi-cloud DevOps
Zhang et al. A security monitoring method based on autonomic computing for the cloud platform
CN113254936A (zh) 一种基于类脑计算的终端安全管理与控制平台
CN111488218A (zh) 一种一体机计算***与方法
Kabanda Performance of Machine Learning and Big Data Analytics Paradigms in Cyber Security

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination