CN117972686B - 一种数据治理方法以及相关装置 - Google Patents

一种数据治理方法以及相关装置 Download PDF

Info

Publication number
CN117972686B
CN117972686B CN202410361678.6A CN202410361678A CN117972686B CN 117972686 B CN117972686 B CN 117972686B CN 202410361678 A CN202410361678 A CN 202410361678A CN 117972686 B CN117972686 B CN 117972686B
Authority
CN
China
Prior art keywords
data
intrusion
inspected
determining
coefficient
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202410361678.6A
Other languages
English (en)
Other versions
CN117972686A (zh
Inventor
夏映辉
蔡毅
蔡立辉
杨文明
谢伟
陈利生
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Lichuang Information Technology Co ltd
Original Assignee
Guangdong Lichuang Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Lichuang Information Technology Co ltd filed Critical Guangdong Lichuang Information Technology Co ltd
Priority to CN202410361678.6A priority Critical patent/CN117972686B/zh
Publication of CN117972686A publication Critical patent/CN117972686A/zh
Application granted granted Critical
Publication of CN117972686B publication Critical patent/CN117972686B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明实施例提供一种数据治理方法以及相关装置,属于数据处理技术领域。该方法包括:获得待检验数据,并对待检验数据进行数据标记,获得待检验数据对应的标记信息;根据标记信息确定待检验数据对应的异常行为指征;获得待检验数据对应的度量系数,并根据度量系数和异常行为指征确定待检验数据对应的入侵风险系数;根据入侵风险系数确定待检验数据对应的动态检测目标;根据动态检测目标计算待检验数据对应的威胁性度量值;根据威胁性度量值确定待检验数据对应的入侵损失值,根据入侵损失值确定待检验数据对应的入侵检测结果;根据入侵检测结果对待检验数据进行数据治理,获得待检验数据对应的治理结果。

Description

一种数据治理方法以及相关装置
技术领域
本发明涉及数据处理技术领域,尤其涉及一种数据治理方法以及相关装置。
背景技术
随着互联网技术在工业领域中的应用,可以对工业设备的运行数据进行采集并进行存储,从而为工业设备的分析提供了良好的数据支撑。但是随着网络的发展,数据存储往往成为各种安全威胁的目标。例如,对存储数据进行未经授权的访问、恶意操作等,但是,相关技术中无法及时发现数据存储中的异常行为,如未经授权的访问、恶意篡改或破坏数据等,从而对工业设备的行为监测造成了干扰,进而影响了工业设备的正常运行和生产效率。
发明内容
本发明实施例的主要目的在于提供一种数据治理方法以及相关装置,旨在解决相关技术中无法及时发现数据存储中的异常行为,如未经授权的访问、恶意篡改或破坏数据等,从而对工业设备的行为监测造成了干扰,进而影响了工业设备的正常运行和生产效率的问题。
第一方面,本发明实施例提供一种数据治理方法,包括:
获得待检验数据,并对所述待检验数据进行数据标记,获得所述待检验数据对应的标记信息;
根据所述标记信息确定所述待检验数据对应的异常行为指征;
获得所述待检验数据对应的度量系数,并根据所述度量系数和所述异常行为指征确定所述待检验数据对应的入侵风险系数;
根据所述入侵风险系数确定所述待检验数据对应的动态检测目标,并根据所述动态检测目标计算所述待检验数据对应的威胁性度量值;
根据所述威胁性度量值确定所述待检验数据对应的入侵损失值,根据所述入侵损失值确定所述待检验数据对应的入侵检测结果;
根据所述入侵检测结果对所述待检验数据进行数据治理,获得所述待检验数据对应的治理结果。
第二方面,本发明实施例提供一种数据治理装置,包括:
数据获取模块,用于获得待检验数据,并对所述待检验数据进行数据标记,获得所述待检验数据对应的标记信息;
指征确定模块,用于根据所述标记信息确定所述待检验数据对应的异常行为指征;
风险确定模块,用于获得所述待检验数据对应的度量系数,并根据所述度量系数和所述异常行为指征确定所述待检验数据对应的入侵风险系数;
动态检测模块,用于根据所述入侵风险系数确定所述待检验数据对应的动态检测目标,并根据所述动态检测目标计算所述待检验数据对应的威胁性度量值;
入侵检测模块,用于根据所述威胁性度量值确定所述待检验数据对应的入侵损失值,根据所述入侵损失值确定所述待检验数据对应的入侵检测结果;
数据治理模块,用于根据所述入侵检测结果对所述待检验数据进行数据治理,获得所述待检验数据对应的治理结果。
第三方面,本发明实施例还提供一种终端设备,所述终端设备包括处理器、存储器、存储在所述存储器上并可被所述处理器执行的计算机程序以及用于实现所述处理器和所述存储器之间的连接通信的数据总线,其中所述计算机程序被所述处理器执行时,实现如本发明说明书提供的任一项数据治理方法的步骤。
第四方面,本发明实施例还提供一种存储介质,用于计算机可读存储,其特征在于,所述存储介质存储有一个或者多个程序,所述一个或者多个程序可被一个或者多个处理器执行,以实现如本发明说明书提供的任一项数据治理方法的步骤。
本发明实施例提供一种数据治理方法以及相关装置,该方法包括:获得待检验数据,并对待检验数据进行数据标记,获得待检验数据对应的标记信息;根据标记信息确定待检验数据对应的异常行为指征;获得待检验数据对应的度量系数,并根据度量系数和异常行为指征确定待检验数据对应的入侵风险系数;根据入侵风险系数确定待检验数据对应的动态检测目标;根据动态检测目标计算待检验数据对应的威胁性度量值;根据威胁性度量值确定待检验数据对应的入侵损失值,根据入侵损失值确定待检验数据对应的入侵检测结果;根据入侵检测结果对待检验数据进行数据治理,获得待检验数据对应的治理结果。本申请对待检验数据进行标记可以帮助识别数据中的异常行为,为后续的入侵检测提供基础数据。并且确定异常行为指征可以帮助***更准确地识别潜在的入侵行为,提高检测的准确性和效率。进而通过度量系数可以对数据进行量化分析,帮助确定入侵风险系数,从而更好地评估数据的安全性。此外,根据入侵检测结果对待检验数据进行数据治理可以及时应对安全威胁,最大程度地减少入侵带来的影响,保障***正常运行。解决了相关技术中无法及时发现数据存储中的异常行为,如未经授权的访问、恶意篡改或破坏数据等,从而对工业设备的行为监测造成了干扰,进而影响了工业设备的正常运行和生产效率的问题。
附图说明
为了更清楚地说明本申请实施例技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种数据治理方法的流程示意图;
图2为本发明实施例提供的一种数据治理装置的模块结构示意图;
图3为本发明实施例提供的一种终端设备的结构示意框图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
附图中所示的流程图仅是示例说明,不是必须包括所有的内容和操作/步骤,也不是必须按所描述的顺序执行。例如,有的操作/步骤还可以分解、组合或部分合并,因此实际执行的顺序有可能根据实际情况改变。
应当理解,在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样,除非上下文清楚地指明其它情况,否则单数形式的“一”、“一个”及“该”意在包括复数形式。
本发明实施例提供一种数据治理方法以及相关装置。其中,该数据治理方法可应用于终端设备中,该终端设备可以平板电脑、笔记本电脑、台式电脑、个人数字助理和穿戴式设备等电子设备。该终端设备可以为服务器,也可以为服务器集群。
下面结合附图,对本发明的一些实施例作详细说明。在不冲突的情况下,下述的实施例及实施例中的特征可以相互组合。
请参照图1,图1为本发明实施例提供的一种数据治理方法的流程示意图。
如图1所示,该数据治理方法包括步骤S101至步骤S106。
步骤S101、获得待检验数据,并对所述待检验数据进行数据标记,获得所述待检验数据对应的标记信息。
示例性地,在工业场景中,涉及到许多工业设备,如发动机,空压机等设备,为保证工业设备地正常运行,需要对工业设备的运行信息进行实时监测,从而采集到了工业设备对应的运行数据,进而为保证对工业设备的分析需要将运行数据进行存储。但是随着网络的发展对数据存储后,数据存储结果往往成为各种安全威胁的目标。例如,对存储数据进行未经授权的访问、恶意操作等。因此,需要对存储数据进行数据治理,从而保证工业设备的工作效率和运行安全。
示例性地,待检验数据为数据库中存储的工作设备的运行数据。例如,待检验数据可以是发动机的运行数据,也可以是空压机的运行数据等等,本申请不做具体限制,用户可根据实际需求自行选择。
示例性地,定义标记规则,即根据何种条件来标记数据,这可以是基于规则、机器学习模型或专家知识等,进而根据定义的标记类型和规则,对待检验数据进行标记。这可能涉及手动标记或利用算法进行自动标记。手动标记需要人工分析数据并进行标记,而自动标记可能会利用机器学习模型或规则引擎来自动识别和标记异常行为,从而获得待检验数据对应的标记信息。
步骤S102、根据所述标记信息确定所述待检验数据对应的异常行为指征。
示例性地,从待检验数据中提取相关的特征,这些特征可以是数值型、分类型或者是其他形式的数据。这些特征应该能够反映待检验数据的状态和特点。进而基于已经标记的数据,定义异常行为的标准或者规则。这可能包括了在特定环境下不符合预期行为的模式或者阈值。从而利用机器学习算法或者规则引擎等方法,根据提取的特征和已定义的异常行为标准,识别出异常行为指征。
在一些实施方式中,所述根据所述标记信息确定所述待检验数据对应的异常行为指征,包括:确定所述待检验数据对应的异常行为步长和异常评价系数;根据所述标记信息和所述待检验数据对应的查询系数确定所述待检验数据对应的异常行为能力;根据所述异常行为步长、所述异常评价系数以及所述异常行为能力确定所述待检验数据对应的所述异常行为指征;其中,根据下列公式计算所述异常行为指征:
D表示所述异常行为指征,表示所述异常行为步长,/>表示所述异常评价系数,表示第i个所述标记信息对应的所述异常行为能力,n表示所述待检验数据对应的所述标记信息的数量。
示例性地,异常行为步长是指异常行为发生的频率或者持续时间,可以通过分析历史数据或者专业知识来确定。异常评价系数是对异常行为严重程度的评估,通常可以基于风险评估模型或者专家意见来确定。进而根据标记信息中的异常行为定义和数据特征,以及查询系数(用于确定数据的相关性和异常程度),可以评估待检验数据的异常行为能力。从而帮助确定待检验数据是否具有潜在的入侵行为,并对其进行优先级排序,有助于***更有效地分配资源进行入侵检测和响应。最后,结合异常行为步长、异常评价系数和异常行为能力,可以确定待检验数据对应的异常行为指征,即描述数据异常特征和严重程度的指标。
示例性地,根据下列公式计算异常行为指征,该公式可提供更精细化的异常行为描述:
D表示异常行为指征,表示异常行为步长,/>表示异常评价系数,/>表示第i个标记信息对应的异常行为能力,n表示待检验数据对应的标记信息的数量。
步骤S103、获得所述待检验数据对应的度量系数,并根据所述度量系数和所述异常行为指征确定所述待检验数据对应的入侵风险系数。
示例性地,度量系数可以是各种衡量数据特征和性能的指标,例如数据的大小、频率、变化率等。这些指标可以通过数据分析、统计方法或者专业知识来获取。进而可以帮助量化待检验数据的特征和性能,为后续的入侵风险评估提供数据基础。
示例性地,结合待检验数据的度量系数和已确定的异常行为指征,可以利用风险评估模型或者规则引擎来确定入侵风险系数。这个过程可以是定量的、定性的或者是结合两者的方法。
在一些实施方式中,所述根据所述度量系数和所述异常行为指征确定所述待检验数据对应的入侵风险系数,包括:从入侵类型集中确定所述待检验数据对应的初始入侵类型,并从所述入侵类型集中获得所述初始入侵类型对应的风险参考范围;对所述待检验数据进行数据统计,获得所述待检验数据对应的数据累积量;根据所述风险参考范围和所述异常行为指征对所述待检验数据进行异常累计,获得所述待检验数据对应的异常累积值;根据所述数据累积量、所述异常累积值以及所述度量系数确定所述待检验数据对应的所述入侵风险系数。
示例性地,通过分析入侵类型集,确定待检验数据可能涉及的初始入侵类型。然后,从入侵类型集中获取每种初始入侵类型对应的风险参考范围,这可以基于历史数据、专家知识或者风险评估模型来确定。
示例性地,对待检验数据进行数据统计,包括计算数据的数量、平均值、标准差等统计量,以获取待检验数据对应的数据累积量,从而可以帮助量化待检验数据的特征和性能,为后续的入侵风险评估提供数据基础。
示例性地,根据异常行为指征和风险参考范围,对待检验数据进行异常累积。从而帮助识别待检验数据中的异常行为,并为后续的入侵风险评估提供重要依据。最后结合数据累积量、异常累积值以及度量系数,利用风险评估模型或者规则引擎来确定待检验数据对应的入侵风险系数。这个过程可能涉及将数据累积量和异常累积值进行加权或者综合,以确定最终的风险评估结果。
具体地,深入理解入侵类型和风险参考范围、数据统计方法以及风险评估模型,以确保对待检验数据的入侵风险进行全面评估和预测。这可以提高对数据存储对应的***对安全威胁的感知能力,并及时采取相应的防御措施,保护***和数据的安全。
在一些实施方式中,所述根据所述数据累积量、所述异常累积值以及所述度量系数确定所述待检验数据对应的所述入侵风险系数,包括:设置所述待检验数据对应的风险偏离系数;根据所述风险偏离系数、所述数据累积量、所述异常累积值以及所述度量系数确定所述待检验数据对应的所述入侵风险系数;其中,根据下列公式计算所述入侵风险系数:
G表示所述入侵风险系数,a表示所述风险偏离系数,f表示所述度量系数,L表示所述数据累积量,Y表示所述异常累积值。
示例性地,风险偏离系数是用于衡量待检验数据的风险偏离程度的指标,可以根据***需求或者专业判断来设定。通常,风险偏离系数越高表示风险越大。从而结合风险偏离系数、数据累积量、异常累积值以及度量系数,根据下列公式确定待检验数据对应的入侵风险系数:
G表示入侵风险系数,a表示风险偏离系数,f表示度量系数,L表示数据累积量,Y表示异常累积值。
具体地,该方法可以全面评估待检验数据的入侵风险,并根据风险程度采取适当的安全措施和响应策略。同时,考虑了风险偏离系数可以更好地反映数据的实际风险情况。从而可提供较为准确地入侵风险系数,为后续提高数据治理结果提供了支撑。
步骤S104、根据所述入侵风险系数确定所述待检验数据对应的动态检测目标,并根据所述动态检测目标计算所述待检验数据对应的威胁性度量值。
示例性地,根据入侵风险系数,制定相应的动态检测目标。这些目标可以是根据风险程度不同而设定的安全策略、告警阈值或者响应措施。例如,对于高风险的数据,可以设置更严格的监测和检测目标,以便及时发现和应对潜在的入侵行为。
示例性地,根据动态检测目标,对待检验数据进行相应的威胁性度量值计算。这可能涉及使用各种安全指标、行为分析技术或者机器学习模型来评估待检验数据的威胁性。
在一些实施方式中,所述根据所述入侵风险系数确定所述待检验数据对应的动态检测目标,包括:获得所述待检验数据在进行数据传输时所涉及的传输节点,并确定所述传输节点在数据传输过程中对应的样本总量值和样本总量最大值;根据所述入侵风险系数、所述样本总量值和所述样本总量最大值确定所述待检验数据对应的所述动态检测目标。
示例性地,获取待检验数据在进行数据传输时所涉及的传输节点。这可能涉及到网络拓扑结构的分析、数据传输记录的查看或者网络流量监测等方式,以确定数据传输路径上的各个传输节点。进而通过获取传输节点信息,了解数据传输的路径和中间节点,为后续的动态检测目标确定提供必要的基础。
示例性地,对每个传输节点,在数据传输过程中收集样本数据,并确定样本总量值和样本总量最大值。这可以通过监测数据传输流量、记录数据传输量或者统计数据包数量等方式来实现。
示例性地,结合入侵风险系数、样本总量值和样本总量最大值,制定相应的动态检测目标。这可能涉及根据风险系数调整检测策略、设置阈值或者制定监测规则,以确保对数据传输过程中的安全威胁进行有效监测和检测。
具体地,通过根据入侵风险系数和传输节点的样本量信息确定动态检测目标,可以更精准地调整安全监测策略,及时发现和应对潜在的安全威胁,提高***对数据传输安全的保障能力。
在一些实施方式中,所述根据所述动态检测目标计算所述待检验数据对应的威胁性度量值,包括:对所述待检验数据进行入侵信息参量检验,进而获得所述待检验数据对应的检验特征值和检验系数;根据所述检验特征值、所述检验系数以及所述动态检测目标确定所述待检验数据对应的所述威胁性度量值。
示例性地,对待检验数据进行入侵信息参量检验,以获取检验特征值和检验系数。这可能涉及使用入侵检测***、安全工具或者特定的检验算法来分析待检验数据的特征和属性,从而得出检验结果。通过进行入侵信息参量检验,可以深入了解待检验数据的安全状况,发现其中可能存在的入侵行为或异常情况,为后续的威胁性度量提供数据基础。
示例性地, 结合检验特征值、检验系数以及之前确定的动态检测目标,计算待检验数据的威胁性度量值。这可能涉及将检验特征值和检验系数与动态检测目标进行关联,并根据预先设定的评估模型或算法来计算威胁性度量值。
具体地,通过确定威胁性度量值,可以量化待检验数据的威胁程度,为安全决策提供客观依据。同时,考虑了检验特征值、检验系数以及动态检测目标,可以更准确地评估数据的安全风险,有助于***及时采取相应的安全措施。
步骤S105、根据所述威胁性度量值确定所述待检验数据对应的入侵损失值,根据所述入侵损失值确定所述待检验数据对应的入侵检测结果。
示例性地,根据前述步骤得到的威胁性度量值,通过与已有的安全策略或者风险评估模型相结合,确定待检验数据对应的入侵损失值。这可能涉及将威胁性度量值映射到具体的损失范围或者损失等级上,以便进一步评估入侵对***或数据的潜在影响。从而根据入侵损失值,制定相应的入侵检测结果。这可能包括将入侵事件分类为不同的级别或者类型,以便***能够采取适当的响应措施。
举例说明:入侵检测结果可以是安全级别正常、潜在安全风险、明显的安全漏洞或者严重入侵事件。其中,入侵检测结果为安全级别正常说明威胁性度量值低,入侵损失值也低,表示当前没有检测到明显的安全威胁;入侵检测结果为潜在安全风险,说明威胁性度量值中等,入侵损失值相对较低,可能表示存在一些未能成功执行的攻击尝试或可疑活动;入侵检测结果为明显的安全漏洞说明威胁性度量值中等,威胁性度量值高,入侵损失值中等,表明可能已经遭受了一定程度的安全攻击;入侵检测结果为严重入侵事件,表示遭受了重大的安全攻击,可能导致大量数据泄露或重要服务中断。
在一些实施方式中,所述根据所述威胁性度量值确定所述待检验数据对应的入侵损失值,包括:根据所述检验特征值确定所述待检验数据对应的入侵信息;根据所述入侵信息和所述威胁性度量值进行损失值计算,获得所述待检验数据对应的所述入侵损失值。
示例性地,根据前述步骤获取的检验特征值,结合已有的入侵信息参量检验结果,确定待检验数据对应的入侵信息。这可能涉及将检验特征值与已知的入侵特征进行比对或者匹配,以确定数据是否存在入侵行为。进而结合确定的入侵信息、威胁性度量值和入侵损失模型,计算待检验数据对应的入侵损失值。这可能包括根据入侵信息的严重程度、影响范围以及威胁性度量值来确定损失值的具体计算方式,例如使用评估模型或者算法进行计算。
具体地,通过确定入侵信息和计算损失值,可以全面评估待检验数据的安全状态,发现潜在的入侵行为或者安全威胁。进而通过计算入侵损失值,可以客观地量化安全风险,为安全决策提供准确的依据,并以最大程度地减少入侵对***造成的损失和风险。
步骤S106、根据所述入侵检测结果对所述待检验数据进行数据治理,获得所述待检验数据对应的治理结果。
示例性地,根据入侵检测结果和***需求,确定待检验数据的数据治理需求。这可能涉及对数据进行清洗、整合、转换或者其他形式的处理,以确保数据的质量和安全性。制定针对待检验数据的数据治理策略。这包括确定数据治理的目标、范围、流程和方法,以及涉及的各方责任和角色。从而根据制定的数据治理策略,执行相应的数据治理操作。这可能包括数据清洗、标准化、加密、脱敏等操作,以确保数据的完整性、可用性和保密性。
示例性地,根据数据治理操作的执行情况和效果,生成待检验数据的治理结果。这可能包括生成数据治理报告、数据质量报告以及安全合规报告等,以便进一步的审查和决策。
举例说明:
(1)入侵检测结果为安全级别正常,则数据治理需求为进行常规维护和优化;治理操作为定期数据清洗和标准化,确保数据准确性和一致性;治理结果为生成数据维护报告,证明数据的完整性和一致性,确认数据和***的稳定性和可靠性。
(2)入侵检测结果为潜在安全风险,则数据治理需求为对可疑活动进行深入分析,确认是否存在潜在的威胁;治理操作为对与可疑活动相关的数据进行详细审查,进行数据清洗和隔离可疑项;生成安全审查报告,详细说明审查过程和发现,可能更新安全策略以防止未来的安全风险。
(3)入侵检测结果为明显的安全漏洞,则数据治理需求为快速响应以修复漏洞并减轻任何已经发生的损害;治理操作为对受影响的数据进行紧急恢复,修补安全漏洞,加密受影响的敏感数据;治理结果为生成修复报告和安全改进报告,展示已经采取的措施和修复效果,恢复数据和***的完整性。
(4)入侵检测结果为严重入侵事件,则数据治理需求为执行全面的数据恢复和安全加固,防止未来入侵;治理操作为从备份中恢复数据,全面审计和加固安全措施,可能包括更换***组件或更新软件;治理结果为生成详细的恢复报告和安全加固报告,说明已采取的应对措施、恢复进展和长期安全策略。
通过以上步骤,可以实现对待检验数据的有效数据治理,提高数据质量和安全性,保障数据的合规性和可信度。需要注意的是,数据治理是一个持续的过程,需要不断地进行监控和改进,以适应不断变化的业务和安全环境。
请参阅图2,图2为本申请实施例提供的一种数据治理装置200,该数据治理装置200包括数据获取模块201、指征确定模块202、风险确定模块203、动态检测模块204、入侵检测模块205、数据治理模块206,其中,数据获取模块201,用于获得待检验数据,并对所述待检验数据进行数据标记,获得所述待检验数据对应的标记信息;指征确定模块202,用于根据所述标记信息确定所述待检验数据对应的异常行为指征;风险确定模块203,用于获得所述待检验数据对应的度量系数,并根据所述度量系数和所述异常行为指征确定所述待检验数据对应的入侵风险系数;动态检测模块204,用于根据所述入侵风险系数确定所述待检验数据对应的动态检测目标,并根据所述动态检测目标计算所述待检验数据对应的威胁性度量值;入侵检测模块205,用于根据所述威胁性度量值确定所述待检验数据对应的入侵损失值,根据所述入侵损失值确定所述待检验数据对应的入侵检测结果;数据治理模块206,用于根据所述入侵检测结果对所述待检验数据进行数据治理,获得所述待检验数据对应的治理结果。
在一些实施方式中,指征确定模块202在所述根据所述标记信息确定所述待检验数据对应的异常行为指征过程中,执行:
确定所述待检验数据对应的异常行为步长和异常评价系数;
根据所述标记信息和所述待检验数据对应的查询系数确定所述待检验数据对应的异常行为能力;
根据所述异常行为步长、所述异常评价系数以及所述异常行为能力确定所述待检验数据对应的所述异常行为指征;
其中,根据下列公式计算所述异常行为指征:
D表示所述异常行为指征,表示所述异常行为步长,/>表示所述异常评价系数,表示第i个所述标记信息对应的所述异常行为能力,n表示所述待检验数据对应的所述标记信息的数量。
在一些实施方式中,风险确定模块203在所述根据所述度量系数和所述异常行为指征确定所述待检验数据对应的入侵风险系数过程中,执行:
从入侵类型集中确定所述待检验数据对应的初始入侵类型,并从所述入侵类型集中获得所述初始入侵类型对应的风险参考范围;
对所述待检验数据进行数据统计,获得所述待检验数据对应的数据累积量;
根据所述风险参考范围和所述异常行为指征对所述待检验数据进行异常累计,获得所述待检验数据对应的异常累积值;
根据所述数据累积量、所述异常累积值以及所述度量系数确定所述待检验数据对应的所述入侵风险系数。
在一些实施方式中,风险确定模块203在所述根据所述数据累积量、所述异常累积值以及所述度量系数确定所述待检验数据对应的所述入侵风险系数过程中,执行:
设置所述待检验数据对应的风险偏离系数;
根据所述风险偏离系数、所述数据累积量、所述异常累积值以及所述度量系数确定所述待检验数据对应的所述入侵风险系数;
其中,根据下列公式计算所述入侵风险系数:
G表示所述入侵风险系数,a表示所述风险偏离系数,f表示所述度量系数,L表示所述数据累积量,Y表示所述异常累积值。
在一些实施方式中,动态检测模块204在所述根据所述入侵风险系数确定所述待检验数据对应的动态检测目标过程中,执行:
获得所述待检验数据在进行数据传输时所涉及的传输节点,并确定所述传输节点在数据传输过程中对应的样本总量值和样本总量最大值;
根据所述入侵风险系数、所述样本总量值和所述样本总量最大值确定所述待检验数据对应的所述动态检测目标。
在一些实施方式中,动态检测模块204在所述根据所述动态检测目标计算所述待检验数据对应的威胁性度量值过程中,执行:
对所述待检验数据进行入侵信息参量检验,进而获得所述待检验数据对应的检验特征值和检验系数;
根据所述检验特征值、所述检验系数以及所述动态检测目标确定所述待检验数据对应的所述威胁性度量值。
在一些实施方式中,入侵检测模块205在所述根据所述威胁性度量值确定所述待检验数据对应的入侵损失值过程中,执行:
根据所述检验特征值确定所述待检验数据对应的入侵信息;
根据所述入侵信息和所述威胁性度量值进行损失值计算,获得所述待检验数据对应的所述入侵损失值。
在一些实施方式中,数据治理装置200可应用于终端设备。
需要说明的是,所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,上述描述的数据治理装置200的具体工作过程,可以参考前述数据治理方法实施例中的对应过程,在此不再赘述。
请参阅图3,图3为本发明实施例提供的一种终端设备的结构示意性框图。
如图3所示,终端设备300包括处理器301和存储器302,处理器301和存储器302通过总线303连接,该总线比如为I2C(Inter-integrated Circuit)总线。
具体地,处理器301用于提供计算和控制能力,支撑整个终端设备的运行。处理器301可以是中央处理单元 (Central Processing Unit,CPU),该处理器301还可以是其他通用处理器、数字信号处理器 (Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列 (Field-Programmable Gate Array,FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中,通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
具体地,存储器302可以是Flash芯片、只读存储器 (ROM,Read-Only Memory)磁盘、光盘、U盘或移动硬盘等。
本领域技术人员可以理解,图3中示出的结构,仅仅是与本发明实施例方案相关的部分结构的框图,并不构成对本发明实施例方案所应用于其上的终端设备的限定,具体的服务器可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
其中,所述处理器用于运行存储在存储器中的计算机程序,并在执行所述计算机程序时实现本发明实施例提供的任意一种所述的数据治理方法。
在一实施例中,所述处理器用于运行存储在存储器中的计算机程序,并在执行所述计算机程序时实现如下步骤:
获得待检验数据,并对所述待检验数据进行数据标记,获得所述待检验数据对应的标记信息;
根据所述标记信息确定所述待检验数据对应的异常行为指征;
获得所述待检验数据对应的度量系数,并根据所述度量系数和所述异常行为指征确定所述待检验数据对应的入侵风险系数;
根据所述入侵风险系数确定所述待检验数据对应的动态检测目标,并根据所述动态检测目标计算所述待检验数据对应的威胁性度量值;
根据所述威胁性度量值确定所述待检验数据对应的入侵损失值,根据所述入侵损失值确定所述待检验数据对应的入侵检测结果;
根据所述入侵检测结果对所述待检验数据进行数据治理,获得所述待检验数据对应的治理结果。
在一些实施方式中,处理器301在所述根据所述标记信息确定所述待检验数据对应的异常行为指征过程中,执行:
确定所述待检验数据对应的异常行为步长和异常评价系数;
根据所述标记信息和所述待检验数据对应的查询系数确定所述待检验数据对应的异常行为能力;
根据所述异常行为步长、所述异常评价系数以及所述异常行为能力确定所述待检验数据对应的所述异常行为指征;
其中,根据下列公式计算所述异常行为指征:
D表示所述异常行为指征,表示所述异常行为步长,/>表示所述异常评价系数,表示第i个所述标记信息对应的所述异常行为能力,n表示所述待检验数据对应的所述标记信息的数量。
在一些实施方式中,处理器301在所述根据所述度量系数和所述异常行为指征确定所述待检验数据对应的入侵风险系数过程中,执行:
从入侵类型集中确定所述待检验数据对应的初始入侵类型,并从所述入侵类型集中获得所述初始入侵类型对应的风险参考范围;
对所述待检验数据进行数据统计,获得所述待检验数据对应的数据累积量;
根据所述风险参考范围和所述异常行为指征对所述待检验数据进行异常累计,获得所述待检验数据对应的异常累积值;
根据所述数据累积量、所述异常累积值以及所述度量系数确定所述待检验数据对应的所述入侵风险系数。
在一些实施方式中,处理器301在所述根据所述数据累积量、所述异常累积值以及所述度量系数确定所述待检验数据对应的所述入侵风险系数过程中,执行:
设置所述待检验数据对应的风险偏离系数;
根据所述风险偏离系数、所述数据累积量、所述异常累积值以及所述度量系数确定所述待检验数据对应的所述入侵风险系数;
其中,根据下列公式计算所述入侵风险系数:
G表示所述入侵风险系数,a表示所述风险偏离系数,f表示所述度量系数,L表示所述数据累积量,Y表示所述异常累积值。
在一些实施方式中,处理器301在所述根据所述入侵风险系数确定所述待检验数据对应的动态检测目标过程中,执行:
获得所述待检验数据在进行数据传输时所涉及的传输节点,并确定所述传输节点在数据传输过程中对应的样本总量值和样本总量最大值;
根据所述入侵风险系数、所述样本总量值和所述样本总量最大值确定所述待检验数据对应的所述动态检测目标。
在一些实施方式中,处理器301在所述根据所述动态检测目标计算所述待检验数据对应的威胁性度量值过程中,执行:
对所述待检验数据进行入侵信息参量检验,进而获得所述待检验数据对应的检验特征值和检验系数;
根据所述检验特征值、所述检验系数以及所述动态检测目标确定所述待检验数据对应的所述威胁性度量值。
在一些实施方式中,处理器301在所述根据所述威胁性度量值确定所述待检验数据对应的入侵损失值过程中,执行:
根据所述检验特征值确定所述待检验数据对应的入侵信息;
根据所述入侵信息和所述威胁性度量值进行损失值计算,获得所述待检验数据对应的所述入侵损失值。
需要说明的是,所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,上述描述的终端设备的具体工作过程,可以参考前述数据治理方法实施例中的对应过程,在此不再赘述。
本发明实施例还提供一种存储介质,用于计算机可读存储,所述存储介质存储有一个或者多个程序,所述一个或者多个程序可被一个或者多个处理器执行,以实现如本发明实施例说明书提供的任一项数据治理方法的步骤。
其中,所述存储介质可以是前述实施例所述的终端设备的内部存储单元,例如所述终端设备的硬盘或内存。所述存储介质也可以是所述终端设备的外部存储设备,例如所述终端设备上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(SecureDigital,SD)卡,闪存卡(Flash Card)等。
本领域普通技术人员可以理解,上文中所公开方法中的全部或某些步骤、***、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施例中,在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分;例如,一个物理组件可以具有多个功能,或者一个功能或步骤可以由若干物理组件合作执行。某些物理组件或所有物理组件可以被实施为由处理器,如中央处理器、数字信号处理器或微处理器执行的软件,或者被实施为硬件,或者被实施为集成电路,如专用集成电路。这样的软件可以分布在计算机可读介质上,计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的,术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外,本领域普通技术人员公知的是,通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据,并且可包括任何信息递送介质。
应当理解,在本发明说明书和所附权利要求书中使用的术语“和/ 或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者***不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者***所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者***中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。以上所述,仅为本发明的具体实施例,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。

Claims (9)

1.一种数据治理方法,其特征在于,所述方法包括:
获得待检验数据,并对所述待检验数据进行数据标记,获得所述待检验数据对应的标记信息;
根据所述标记信息确定所述待检验数据对应的异常行为指征;
获得所述待检验数据对应的度量系数,并根据所述度量系数和所述异常行为指征确定所述待检验数据对应的入侵风险系数;
根据所述入侵风险系数确定所述待检验数据对应的动态检测目标,并根据所述动态检测目标计算所述待检验数据对应的威胁性度量值;
根据所述威胁性度量值确定所述待检验数据对应的入侵损失值,根据所述入侵损失值确定所述待检验数据对应的入侵检测结果;
根据所述入侵检测结果对所述待检验数据进行数据治理,获得所述待检验数据对应的治理结果;
所述根据所述标记信息确定所述待检验数据对应的异常行为指征,包括:
确定所述待检验数据对应的异常行为步长和异常评价系数;
根据所述标记信息和所述待检验数据对应的查询系数确定所述待检验数据对应的异常行为能力;
根据所述异常行为步长、所述异常评价系数以及所述异常行为能力确定所述待检验数据对应的所述异常行为指征;
根据所述异常行为步长、所述异常评价系数以及所述异常行为能力确定所述待检验数据对应的所述异常行为指征,包括:
根据下列公式计算所述异常行为指征:
D表示所述异常行为指征,表示所述异常行为步长,/>表示所述异常评价系数,/>表示第i个所述标记信息对应的所述异常行为能力,n表示所述待检验数据对应的所述标记信息的数量。
2.根据权利要求1所述的方法,其特征在于,所述根据所述度量系数和所述异常行为指征确定所述待检验数据对应的入侵风险系数,包括:
从入侵类型集中确定所述待检验数据对应的初始入侵类型,并从所述入侵类型集中获得所述初始入侵类型对应的风险参考范围;
对所述待检验数据进行数据统计,获得所述待检验数据对应的数据累积量;
根据所述风险参考范围和所述异常行为指征对所述待检验数据进行异常累计,获得所述待检验数据对应的异常累积值;
根据所述数据累积量、所述异常累积值以及所述度量系数确定所述待检验数据对应的所述入侵风险系数。
3.根据权利要求2所述的方法,其特征在于,所述根据所述数据累积量、所述异常累积值以及所述度量系数确定所述待检验数据对应的所述入侵风险系数,包括:
设置所述待检验数据对应的风险偏离系数;
根据所述风险偏离系数、所述数据累积量、所述异常累积值以及所述度量系数确定所述待检验数据对应的所述入侵风险系数;
其中,根据下列公式计算所述入侵风险系数:
G表示所述入侵风险系数,a表示所述风险偏离系数,f表示所述度量系数,L表示所述数据累积量,Y表示所述异常累积值。
4.根据权利要求1所述的方法,其特征在于,所述根据所述入侵风险系数确定所述待检验数据对应的动态检测目标,包括:
获得所述待检验数据在进行数据传输时所涉及的传输节点,并确定所述传输节点在数据传输过程中对应的样本总量值和样本总量最大值;
根据所述入侵风险系数、所述样本总量值和所述样本总量最大值确定所述待检验数据对应的所述动态检测目标。
5.根据权利要求1所述的方法,其特征在于,所述根据所述动态检测目标计算所述待检验数据对应的威胁性度量值,包括:
对所述待检验数据进行入侵信息参量检验,进而获得所述待检验数据对应的检验特征值和检验系数;
根据所述检验特征值、所述检验系数以及所述动态检测目标确定所述待检验数据对应的所述威胁性度量值。
6.根据权利要求5中所述的方法,其特征在于,所述根据所述威胁性度量值确定所述待检验数据对应的入侵损失值,包括:
根据所述检验特征值确定所述待检验数据对应的入侵信息;
根据所述入侵信息和所述威胁性度量值进行损失值计算,获得所述待检验数据对应的所述入侵损失值。
7.一种数据治理装置,其特征在于,包括:
数据获取模块,用于获得待检验数据,并对所述待检验数据进行数据标记,获得所述待检验数据对应的标记信息;
指征确定模块,用于根据所述标记信息确定所述待检验数据对应的异常行为指征;
风险确定模块,用于获得所述待检验数据对应的度量系数,并根据所述度量系数和所述异常行为指征确定所述待检验数据对应的入侵风险系数;
动态检测模块,用于根据所述入侵风险系数确定所述待检验数据对应的动态检测目标,并根据所述动态检测目标计算所述待检验数据对应的威胁性度量值;
入侵检测模块,用于根据所述威胁性度量值确定所述待检验数据对应的入侵损失值,根据所述入侵损失值确定所述待检验数据对应的入侵检测结果;
数据治理模块,用于根据所述入侵检测结果对所述待检验数据进行数据治理,获得所述待检验数据对应的治理结果;
所述根据所述标记信息确定所述待检验数据对应的异常行为指征,包括:
确定所述待检验数据对应的异常行为步长和异常评价系数;
根据所述标记信息和所述待检验数据对应的查询系数确定所述待检验数据对应的异常行为能力;
根据所述异常行为步长、所述异常评价系数以及所述异常行为能力确定所述待检验数据对应的所述异常行为指征;
根据所述异常行为步长、所述异常评价系数以及所述异常行为能力确定所述待检验数据对应的所述异常行为指征,包括:
根据下列公式计算所述异常行为指征:
D表示所述异常行为指征,表示所述异常行为步长,/>表示所述异常评价系数,/>表示第i个所述标记信息对应的所述异常行为能力,n表示所述待检验数据对应的所述标记信息的数量。
8.一种终端设备,其特征在于,所述终端设备包括处理器、存储器;
所述存储器用于存储计算机程序;
所述处理器用于执行所述计算机程序并在执行所述计算机程序时实现如权利要求1至6中任一项所述的数据治理方法。
9.一种计算机存储介质,用于计算机存储,其特征在于,所述计算机存储介质存储有一个或者多个程序,所述一个或者多个程序可被一个或者多个处理器执行,以实现权利要求1至6中任一项所述的数据治理方法的步骤。
CN202410361678.6A 2024-03-28 2024-03-28 一种数据治理方法以及相关装置 Active CN117972686B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410361678.6A CN117972686B (zh) 2024-03-28 2024-03-28 一种数据治理方法以及相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410361678.6A CN117972686B (zh) 2024-03-28 2024-03-28 一种数据治理方法以及相关装置

Publications (2)

Publication Number Publication Date
CN117972686A CN117972686A (zh) 2024-05-03
CN117972686B true CN117972686B (zh) 2024-06-14

Family

ID=90863310

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410361678.6A Active CN117972686B (zh) 2024-03-28 2024-03-28 一种数据治理方法以及相关装置

Country Status (1)

Country Link
CN (1) CN117972686B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115906024A (zh) * 2021-09-30 2023-04-04 耀灵人工智能(浙江)有限公司 一种存储计算一体化的对等计算体系

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9401924B2 (en) * 2012-12-20 2016-07-26 At&T Intellectual Property I, L.P. Monitoring operational activities in networks and detecting potential network intrusions and misuses
US10769045B1 (en) * 2017-09-26 2020-09-08 Amazon Technologies, Inc. Measuring effectiveness of intrusion detection systems using cloned computing resources
CN109271784A (zh) * 2018-09-22 2019-01-25 肖哲睿 一种信息网络安全风险管理***

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115906024A (zh) * 2021-09-30 2023-04-04 耀灵人工智能(浙江)有限公司 一种存储计算一体化的对等计算体系

Also Published As

Publication number Publication date
CN117972686A (zh) 2024-05-03

Similar Documents

Publication Publication Date Title
US10404737B1 (en) Method for the continuous calculation of a cyber security risk index
US10878102B2 (en) Risk scores for entities
US10438001B1 (en) Identification, prediction, and assessment of cyber security risk
CN105516130B (zh) 一种数据处理方法和装置
CN107360188B (zh) 基于云防护和云监测***的网站风险值评估方法及装置
US9389946B2 (en) Operation management apparatus, operation management method, and program
US10437696B2 (en) Proactive information technology infrastructure management
TW201629824A (zh) 使用適應性行爲輪廓之異常檢測技術
US20090106843A1 (en) Security risk evaluation method for effective threat management
RU2017118317A (ru) Система и способ автоматического расчета кибер-риска в бизнес-критических приложениях
CN111865982B (zh) 基于态势感知告警的威胁评估***及方法
CN115378744B (zh) 一种网络安全测试评估***及方法
CN111898647A (zh) 一种基于聚类分析的低压配电设备误告警识别方法
WO2011155308A1 (ja) 契約違反予測システム、契約違反予測方法および契約違反予測プログラム
CN108092985B (zh) 网络安全态势分析方法、装置、设备及计算机存储介质
US9235463B2 (en) Device and method for fault management of smart device
CN114338372B (zh) 网络信息安全监控方法及***
CN117614978A (zh) 一种用于数字化车间的信息安全通信管理***
KR101281460B1 (ko) 통계적 공정 관리도를 이용하여 이상증후를 탐지하는 방법
CN117235743B (zh) 一种基于安全风险的智慧电力管理方法及***
CN117972686B (zh) 一种数据治理方法以及相关装置
CN110458713B (zh) 模型监控方法、装置、计算机设备及存储介质
CN116846658A (zh) 一种基于服务质量跟踪的网络安全风险智能评估方法
CN114817964A (zh) 基于多重复合函数的大数据平台监管方法和装置
Kai et al. Development of qualification of security status suitable for cloud computing system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant